JP2020156800A - 医療用アームシステム、制御装置、及び制御方法 - Google Patents

医療用アームシステム、制御装置、及び制御方法 Download PDF

Info

Publication number
JP2020156800A
JP2020156800A JP2019059940A JP2019059940A JP2020156800A JP 2020156800 A JP2020156800 A JP 2020156800A JP 2019059940 A JP2019059940 A JP 2019059940A JP 2019059940 A JP2019059940 A JP 2019059940A JP 2020156800 A JP2020156800 A JP 2020156800A
Authority
JP
Japan
Prior art keywords
arm
unit
information
medical
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019059940A
Other languages
English (en)
Inventor
長尾　大輔
Daisuke Nagao
大輔 長尾
容平 黒田
Yohei Kuroda
容平 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019059940A priority Critical patent/JP2020156800A/ja
Priority to CN202080022981.3A priority patent/CN113645919A/zh
Priority to US17/440,800 priority patent/US20220168047A1/en
Priority to PCT/JP2020/012495 priority patent/WO2020196338A1/en
Priority to EP20716971.5A priority patent/EP3946129A1/en
Publication of JP2020156800A publication Critical patent/JP2020156800A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

【課題】周囲の状況に応じてより好適な態様でアームの動作を制御可能とする。【解決手段】少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部と、前記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部と、を備え、前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、前記制御部は、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報を生成または更新する、医療用アームシステム。【選択図】図６

Description

本開示は、医療用アームシステム、制御装置、及び制御方法に関する。
近年、医療分野においては、アームの先端に撮像装置が保持されたバランス型アーム（以下、「支持アーム」とも称する）を用いて、当該撮像装置によって撮影された術部の画像を観察しながら、手術等の各種の施術を行う方法が提案されている。バランス型アームを用いることにより、所望の方向から安定的に患部を観察することができ、施術を効率的に行うことが可能となる。このような撮像装置の一例として、内視鏡装置や顕微鏡装置が挙げられる。
また、内視鏡装置を利用して人体内部を観察する場合に、観察対象物の前に障害物が存在するような状況も想定され得る。このような状況下においては、例えば、斜視鏡を用いることで、障害物に遮られることなく観察対象物を観察することが可能となる場合がある。具体的な一例として、特許文献１には、斜視鏡の利用を想定した医療用アームシステムの一例が開示されている。
国際公開第２０１８／１５９３３８号
ところで、内視鏡装置を利用して人体内部を観察する場合には、例えば、カメラヘッドに装着される内視鏡（鏡筒）の光軸上に観察対象物が位置するように当該内視鏡装置の位置及び姿勢が制御されることが望ましい。一方で、内視鏡装置により撮像される画像のみでは当該内視鏡装置の周囲の状況を把握することが困難な場合がある。このように、内視鏡装置等の医療用器具や、当該医療用器具を支持するアームの周囲の状況を把握することが困難な状況下では、医師が思い通りに当該医療用器具を操作することが困難となるような状況も想定され得る。
そこで、本開示では、周囲の状況に応じてより好適な態様でアームの動作を制御可能とする技術を提案する。
本開示によれば、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部と、前記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部と、を備え、前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、前記制御部は、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報を生成または更新する、医療用アームシステムが提供される。
また、本開示によれば、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部と、前記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部と、を備え、前記アーム部の少なくとも一部には、前記作用点の周囲の空間に関する第１の情報を取得する取得部が支持され、前記制御部は、前記第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、前記作用点の周囲の空間に関する第３の情報と、に基づき、前記アーム部の動作を制御する、医療用アームシステムが提供される。
また、本開示によれば、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部を備え、前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、前記制御部は、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報を生成または更新する、制御装置が提供される。
また、本開示によれば、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部を備え、前記制御部は、前記作用点の周囲の空間に関する第３の情報に基づき、前記アーム部の動作を制御する、制御装置が提供される。
また、本開示によれば、コンピュータが、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御することを含み、前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報が生成または更新される、制御方法が提供される。
また、本開示によれば、コンピュータが、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御することを含み、前記作用点の周囲の空間に関する第３の情報に基づき、前記アーム部の動作を制御される、制御方法が提供される。
本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 同実施形態に係る支持アーム装置の外観を示す概略図である。 同実施形態に係る斜視鏡の構成を示す模式図である。 斜視鏡と直視鏡を対比して示す模式図である。 同実施形態に係る医療用アームシステムの一構成例を示す機能ブロック図である。 斜視鏡を利用した観察を行う場合におけるアーム制御の一例について概要を説明するための説明図である。 斜視鏡を利用した観察を行う場合におけるアーム制御の一例について概要を説明するための説明図である。 斜視鏡を利用した観察を行う場合における技術的課題の一例について説明するための説明図である。 偏光イメージセンサを利用することで得られる効果の一例について説明するための説明図である。 偏光イメージセンサを利用することで得られる効果の一例について説明するための説明図である。 同実施形態に係る制御装置の一連の処理の流れの一例を示したフローチャートである。 変形例１に係る内視鏡装置の概略的な構成の一例について説明するための説明図である。 変形例２に係る医療用アームシステムの動作について概要を説明するための説明図である。 変形例３に係る医療用アームシステムの動作について概要を説明するための説明図である。 実施例１に係るアーム制御の一例について概要を説明するための説明図である。 実施例１に係るアーム制御の他の一例について概要を説明するための説明図である。 実施例２に係るアーム制御の一例について概要を説明するための説明図である。 実施例２に係るアーム制御の他の一例について概要を説明するための説明図である。 実施例３に係るアーム制御の一例について概要を説明するための説明図である。 実施例３に係るアーム制御の他の一例について概要を説明するための説明図である。 実施例４に係るアーム制御の他の一例について概要を説明するための説明図である。 実施例５に係るアーム制御の一例について概要を説明するための説明図である。 実施例７に係る環境マップの生成または更新に係る制御の一例について説明するための説明図である。 実施例７に係る環境マップの生成または更新に係る制御の一例について説明するための説明図である。 実施例８に医療用アームシステムにおける予測モデルを利用した制御の一例について説明するための説明図である。 実施例８に医療用アームシステムにおける予測モデルを利用した制御の一例について説明するための説明図である。 同実施形態に係る情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。 同実施形態に係る医療用観察システムの応用例について説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．内視鏡システムの構成例
２．支持アーム装置の構成例
３．斜視鏡の基本的構成
４．医療用アームシステムの機能構成
５．アームの制御
５．１．概要
５．２．環境マップの生成方法
５．３．処理
５．４．変形例
５．５．実施例
６．ハードウェア構成
７．応用例
８．むすび
＜＜１．内視鏡システムの構成例＞＞
図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡装置５００１と、その他の術具５０１７と、内視鏡装置５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
腹腔鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡装置５００１の鏡筒５００３（即ち、内視鏡部）や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡装置５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡装置５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡装置５００１の安定的な位置の固定が実現され得る。
（内視鏡装置）
内視鏡装置５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３（内視鏡部）と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡装置５００１を図示しているが、内視鏡装置５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
鏡筒５００３（内視鏡部）の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡装置５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、カメラヘッド５００５に接続される鏡筒５００３は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡装置５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡装置５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡装置５００１に供給する。
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡装置５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を集音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡装置５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡装置５００１を自由に移動させることが可能になるため、所望の方向から内視鏡装置５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡装置５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡装置５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡装置５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１（スレイブ装置）は、スレイブ装置と離れた手術室内の位置または手術室から離れた場所に設置される入力装置５０４７（マスタ装置）を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡装置５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡装置５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡装置５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
（光源装置）
光源装置５０４３は、内視鏡装置５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡装置５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡装置５００１に搭載される。
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５０６３は、内視鏡装置５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡装置５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
＜＜２．支持アーム装置の構成例＞＞
次に、本開示に係る技術が適用され得る支持アーム装置の構成の一例について以下に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。また、本開示の一実施形態に係る支持アーム装置が医療分野に適用された場合には、当該支持アーム装置は、医療用支持アーム装置として機能し得る。
図３は、本実施形態に係る支持アーム装置４００の外観を示す概略図である。図３に示すように、本実施形態に係る支持アーム装置４００は、ベース部４１０及びアーム部４２０を備える。ベース部４１０は支持アーム装置４００の基台であり、ベース部４１０からアーム部４２０が延伸される。また、図３には図示しないが、ベース部４１０内には、支持アーム装置４００を統合的に制御する制御部が設けられてもよく、アーム部４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵやＤＳＰ等の各種の信号処理回路によって構成される。
アーム部４２０は、複数の能動関節部４２１ａ〜４２１ｆと、複数のリンク４２２ａ〜４２２ｆと、アーム部４２０の先端に設けられた先端ユニットとしての内視鏡装置４２３とを有する。
リンク４２２ａ〜４２２ｆは略棒状の部材である。リンク４２２ａの一端が能動関節部４２１ａを介してベース部４１０と連結され、リンク４２２ａの他端が能動関節部４２１ｂを介してリンク４２２ｂの一端と連結され、さらに、リンク４２２ｂの他端が能動関節部４２１ｃを介してリンク４２２ｃの一端と連結される。リンク４２２ｃの他端は受動スライド機構４３１を介してリンク４２２ｄに連結され、さらに、リンク４２２ｄの他端は受動関節部２００を介してリンク４２２ｅの一端と連結される。リンク４２２ｅの他端は能動関節部４２１ｄ，４２１ｅを介してリンク４２２ｆの一端と連結される。内視鏡装置４２３は、アーム部４２０の先端、すなわち、リンク４２２ｆの他端に、能動関節部４２１ｆを介して連結される。このように、ベース部４１０を支点として、複数のリンク４２２ａ〜４２２ｆの端同士が、能動関節部４２１ａ〜４２１ｆ、受動スライド機構４３１及び受動関節部４３３によって互いに連結されることにより、ベース部４１０から延伸されるアーム形状が構成される。
かかるアーム部４２０のそれぞれの能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータが駆動制御されることにより、内視鏡装置４２３の位置及び姿勢が制御される。本実施形態において、内視鏡装置４２３は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部４２０の先端に設けられる先端ユニットは内視鏡装置４２３に限定されず、内視鏡の代わりに外視鏡を用いることも可能である。また、アーム部４２０の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置４００は、医療用器具を備えた医療用支持アーム装置として構成される。
ここで、以下では、図３に示すように座標軸を定義して支持アーム装置４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部４１０に対する上下方向をｚ軸方向及び上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部４１０からアーム部４２０が延伸されている方向（すなわち、ベース部４１０に対して内視鏡装置４２３が位置している方向）をｙ軸方向及び前後方向と定義する。さらに、ｙ軸及びｚ軸と互いに直交する方向をｘ軸方向及び左右方向と定義する。
能動関節部４２１ａ〜４２１ｆはリンク同士を互いに回動可能に連結する。能動関節部４２１ａ〜４２１ｆはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部４２１ａ〜４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部４２０の駆動を制御することができる。ここで、能動関節部４２１ａ〜４２１ｆは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部４２１ａ〜４２１ｆは回転機構を有するため、以下の説明において、能動関節部４２１ａ〜４２１ｆの駆動制御とは、具体的には、能動関節部４２１ａ〜４２１ｆの回転角度及び／又は発生トルク（能動関節部４２１ａ〜４２１ｆが発生させるトルク）が制御されることを意味する。
受動スライド機構４３１は、受動形態変更機構の一態様であり、リンク４２２ｃとリンク４２２ｄとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構４３１は、リンク４２２ｃとリンク４２２ｄとを互いに直動可能に連結してもよい。ただし、リンク４２２ｃとリンク４２２ｄとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構４３１は、例えばユーザによって進退動の操作が行われ、リンク４２２ｃの一端側の能動関節部４２１ｃと受動関節部４３３との間の距離を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。
受動関節部４３３は、受動形態変更機構の一態様であり、リンク４２２ｄとリンク４２２ｅとを互いに回動可能に連結する。受動関節部４３３は、例えばユーザによって回動の操作が行われ、リンク４２２ｄとリンク４２２ｅとの成す角度を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。
なお、本明細書において、「アーム部の姿勢」とは、アームを構成する部分のうち少なく一部が駆動制御等により変化し得るアーム部の状態を示している。具体的な一例として、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態が、「アーム部の姿勢」に該当し得る。また、「アーム部の形態」とは、アームを構成する各部の位置や姿勢の関係が変わることで変化し得るアーム部の状態を示している。具体的な一例として、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態が、「アーム部の形態」に該当し得る。
本実施形態に係る支持アーム装置４００は、６つの能動関節部４２１ａ〜４２１ｆを有し、アーム部４２０の駆動に関して６自由度が実現されている。つまり、支持アーム装置４００の駆動制御は制御部による６つの能動関節部４２１ａ〜４２１ｆの駆動制御により実現される一方、受動スライド機構４３１及び受動関節部４３３は、制御部による駆動制御の対象とはなっていない。
具体的には、図３に示すように、能動関節部４２１ａ，４２１ｄ，４２１ｆは、接続されている各リンク４２２ａ，４２２ｅの長軸方向及び接続されている内視鏡装置４２３の撮影方向を回転軸方向とするように設けられている。能動関節部４２１ｂ，４２１ｃ，４２１ｅは、接続されている各リンク４２２ａ〜４２２ｃ，４２２ｅ，４２２ｆ及び内視鏡装置４２３の連結角度をｙ−ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部４２１ａ，４２１ｄ，４２１ｆは、いわゆるヨーイングを行う機能を有し、能動関節部４２１ｂ，４２１ｃ，４２１ｅは、いわゆるピッチングを行う機能を有する。
このようなアーム部４２０の構成を有することにより、本実施形態に係る支持アーム装置４００ではアーム部４２０の駆動に対して６自由度が実現されるため、アーム部４２０の可動範囲内において内視鏡装置４２３を自由に移動させることができる。図３では、内視鏡装置４２３の移動可能範囲の一例として半球を図示している。半球の中心点ＲＣＭ（遠隔運動中心）が内視鏡装置４２３によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置４２３の撮影中心を半球の中心点に固定した状態で、内視鏡装置４２３を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。
以上、本開示に係る技術が適用され得る支持アーム装置の構成の一例について説明した。
＜＜３．斜視鏡の基本的構成＞＞
続いて、内視鏡の例として斜視鏡の基本的構成について説明する。
図４は、本開示の一実施形態に係る斜視鏡４１００の構成を示す模式図である。図４に示すように、斜視鏡４１００は、カメラヘッド４２００の先端に装着されている。斜視鏡４１００は図１及び図２で説明した鏡筒５００３に対応し、カメラヘッド４２００は、図１及び図２で説明したカメラヘッド５００５に対応する。斜視鏡４１００とカメラヘッド４２００は互いに独立して回動可能としてもよい。斜視鏡４１００とカメラヘッド４２００の間には、各関節部５０３３ａ，５０３３ｂ，５０３３ｃと同様にアクチュエータが設けられてもよく、斜視鏡４１００はアクチュエータの駆動によってカメラヘッド４２００に対して回転することが可能となる。これにより、後述する回転角θＺが制御される。
斜視鏡４１００は支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりに斜視鏡４１００を保持し、また術者や助手の操作によって斜視鏡４１００を所望の部位が観察できるように移動させる機能を有する。
図５は、斜視鏡４１００と直視鏡４１５０を対比して示す模式図である。直視鏡４１５０では、対物レンズの被写体への向き（Ｃ１）と直視鏡４１５０の長手方向（Ｃ２）は一致する。一方、斜視鏡４１００では、対物レンズの被写体への向き（Ｃ１）は、斜視鏡４１００の長手方向（Ｃ２）に対して所定の角度φを有している。
以上、内視鏡の例として斜視鏡の基本的構成について説明した。
＜＜４．医療用アームシステムの機能構成＞＞
次いで、図６を参照して、本開示の一実施形態に係る医療用アームシステムの一構成例について説明する。図６は、本開示の一実施形態に係る医療用アームシステムの一構成例を示す機能ブロック図である。なお、図６に示す医療用アームシステムでは、支持アーム装置のアーム部の駆動の制御に関わる構成について主に図示している。
図６を参照すると、本開示の一実施形態に係る医療用アームシステム１は、支持アーム装置１０、制御装置２０及び表示装置３０を備える。本実施形態においては、制御装置２０によって、支持アーム装置１０のアーム部の状態に応じた各種の演算が行われ、その演算結果に基づいて当該アーム部の駆動が制御される。また、支持アーム装置１０のアーム部には後述する撮像部１４０が保持されており、撮像部１４０によって撮影された画像が表示装置３０の表示画面に表示される。以下、支持アーム装置１０、制御装置２０及び表示装置３０の構成について詳細に説明する。
支持アーム装置１０は、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部を有し、当該アーム部を可動範囲内で駆動させることにより、当該アーム部の先端に設けられる先端ユニットの位置及び姿勢の制御を行う。支持アーム装置１０は、図８に示す支持アーム装置４００に対応している。
図６を参照すると、支持アーム装置１０は、アーム制御部１１０及びアーム部１２０を有する。また、アーム部１２０は、関節部１３０及び撮像部１４０を有する。
アーム制御部１１０は、支持アーム装置１０を統合的に制御するとともに、アーム部１２０の駆動を制御する。具体的には、アーム制御部１１０は駆動制御部１１１を有し、駆動制御部１１１からの制御によって関節部１３０の駆動が制御されることにより、アーム部１２０の駆動が制御される。より具体的には、駆動制御部１１１は、関節部１３０のアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部１３０における回転角度及び発生トルクを制御する。なお、上述したように、駆動制御部１１１によるアーム部１２０の駆動制御は、制御装置２０における演算結果に基づいて行われる。従って、駆動制御部１１１によって制御される、関節部１３０のアクチュエータにおけるモータに対して供給される電流量は、制御装置２０における演算結果に基づいて決定される電流量である。また、当該制御部は、各関節部にそれぞれ設けられ、各関節部の駆動をそれぞれ制御してもよい。
アーム部１２０は、例えば、複数の関節部と複数のリンクから構成される多リンク構造体として構成され、アーム制御部１１０からの制御によりその駆動が制御される。アーム部１２０は、図１に示すアーム部５０３１に対応している。アーム部１２０は、関節部１３０及び撮像部１４０を有する。なお、アーム部１２０が有する複数の関節部の機能及び構成は互いに同様であるため、図６では、それら複数の関節部を代表して１つの関節部１３０の構成を図示している。
関節部１３０は、アーム部１２０においてリンク間を互いに回動可能に連結するとともに、アーム制御部１１０からの制御によりその回転駆動が制御されることによりアーム部１２０を駆動する。関節部１３０は、図８に示す関節部４２１ａ〜４２１ｆに対応している。また、関節部１３０は、アクチュエータを有し、当該アクチュエータの構成は、例えば図３、図９Ａ及び図９Ｂに示す構成と同様である。
関節部１３０は、関節駆動部１３１及び関節状態検出部１３２を有する。
関節駆動部１３１は、関節部１３０のアクチュエータにおける駆動機構であり、関節駆動部１３１が駆動することにより関節部１３０が回転駆動する。関節駆動部１３１は、駆動制御部１１１によってその駆動が制御される。例えば、関節駆動部１３１は、図１に示す関節部５０３３ａ〜５０３３ｃそれぞれに設けられたアクチュエータを駆動するためのドライバに対応する構成であり、関節駆動部１３１が駆動することは、当該ドライバが駆動制御部１１１からの指令に応じた電流量で各アクチュエータを駆動することに対応している。
関節状態検出部１３２は、関節部１３０の状態を検出する。ここで、関節部１３０の状態とは、関節部１３０の運動の状態を意味していてよい。例えば、関節部１３０の状態には、関節部１３０の回転の状態を示す関節部１３０の回転角度、回転角速度、回転角加速度、発生トルク等の情報が含まれる。本実施形態においては、関節状態検出部１３２は、関節部１３０の回転角度を検出する回転角度検出部１３３及び関節部１３０の発生トルク及び外トルクを検出するトルク検出部１３４を有する。関節状態検出部１３２は、検出した関節部１３０の状態を制御装置２０に送信する。
撮像部１４０は、アーム部１２０の先端に設けられる先端ユニットの一例であり、撮影対象の画像を取得する。撮像部１４０の具体的な一例として、図３に示す内視鏡装置４２３が挙げられる。具体的には、撮像部１４０は、撮影対象を動画や静止画の形式で撮影することのできるカメラ等である。より具体的には、撮像部１４０は、２次元上に配列された複数の受光素子を有し、当該受光素子における光電変換により、撮影対象の画像を表す画像信号を取得することができる。撮像部１４０は、取得した画像信号を表示装置３０に送信する。
なお、図３に示す支持アーム装置４００において内視鏡装置４２３がアーム部４２０の先端に設けられていたように、支持アーム装置１０においても、実際には撮像部１４０がアーム部１２０の先端に設けられている。図６では、撮像部１４０が複数の関節部１３０及び複数のリンクを介して最終段のリンクの先端に設けられる様子を、関節部１３０と撮像部１４０との間にリンクを模式的に図示することにより表現している。
なお、本実施形態においては、アーム部１２０の先端には先端ユニットとして各種の医療用器具が接続され得る。当該医療用器具としては、例えば、メスや鉗子等の各種の施術器具や、超音波検査装置の探触子等の各種の検査装置の一ユニット等、施術に際して用いられる各種のユニットが挙げられる。また、本実施形態では、図６に示す撮像部１４０や、内視鏡、顕微鏡等の撮像機能を有するユニットも医療用器具に含まれてよい。このように、本実施形態に係る支持アーム装置１０は、医療用器具を備えた医療用支持アーム装置であると言える。同様に、本実施形態に係る医療用アームシステム１は、医療用アームシステムであると言える。なお、図６に示す支持アーム装置１０は、撮像機能を有するユニットを先端ユニットとして備えるビデオ顕微鏡用支持アーム装置であるとも言える。
以上、支持アーム装置１０の機能及び構成について説明した。次に、制御装置２０の機能及び構成について説明する。図６を参照すると、制御装置２０は、入力部２１０、記憶部２２０及び制御部２３０を有する。
制御部２３０は、制御装置２０を統合的に制御するとともに、支持アーム装置１０におけるアーム部１２０の駆動を制御するための各種の演算を行う。具体的には、制御部２３０は、支持アーム装置１０のアーム部１２０の駆動を制御するために、例えば公知の全身協調制御及び理想関節制御における各種の演算を行う。
制御部２３０は、全身協調制御部２４０及び理想関節制御部２５０を有する。
全身協調制御部２４０は、一般化逆動力学を用いた全身協調制御に関する各種の演算を行う。本実施形態では、全身協調制御部２４０は、関節状態検出部１３２によって検出された関節部１３０の状態に基づいてアーム部１２０の状態（アーム状態）を取得する。また、全身協調制御部２４０は、当該アーム状態と、アーム部１２０の運動目的及び拘束条件と、に基づいて、操作空間におけるアーム部１２０の全身協調制御のための制御値を、一般化逆動力学を用いて算出する。なお、操作空間とは、例えばアーム部１２０に作用する力とアーム部１２０に発生する加速度との関係を記述するための空間である。
全身協調制御部２４０は、アーム状態取得部２４１、演算条件設定部２４２、仮想力算出部２４３及び実在力算出部２４４を有する。
アーム状態取得部２４１は、関節状態検出部１３２によって検出された関節部１３０の状態に基づいて、アーム部１２０の状態（アーム状態）を取得する。ここで、アーム状態とは、アーム部１２０の運動の状態を意味していてよい。例えば、アーム状態には、アーム部１２０の位置、速度、加速度、力等の情報が含まれる。上述したように、関節状態検出部１３２は、関節部１３０の状態として、各関節部１３０における回転角度、回転角速度、回転角加速度、発生トルク等の情報を取得している。また、後述するが、記憶部２２０は、制御装置２０によって処理される各種の情報を記憶するものであり、本実施形態においては、記憶部２２０には、アーム部１２０に関する各種の情報（アーム情報）、例えばアーム部１２０の構成に関する情報、すなわち、アーム部１２０を構成する関節部１３０及びリンクの数や、リンクと関節部１３０との接続状況、リンクの長さ等の情報が格納されていてよい。アーム状態取得部２４１は、記憶部２２０から当該アーム情報を取得することができる。従って、アーム状態取得部２４１は、関節部１３０の状態とアーム情報とに基づいて、複数の関節部１３０、複数のリンク及び撮像部１４０の空間上の位置（座標）（すなわち、アーム部１２０の形状や撮像部１４０の位置及び姿勢）や、各関節部１３０、リンク及び撮像部１４０に作用している力等の情報をアーム状態として取得することができる。
換言すると、アーム状態取得部２４１は、アーム部１２０の少なくとも一部を基点として設定された作用点の位置や姿勢に関する情報を、アーム状態として取得することが可能である。具体的な一例として、アーム部１２０を構成する関節部１３０及びリンクの位置、姿勢、及び形状等の情報に基づき、当該アーム部１２０の一部に対する相対的な位置として、作用点の位置を認識することが可能である。また、当該アーム部１２０に保持される先端ユニット（例えば、撮像部１４０）の位置、姿勢、及び形状等を加味することで、当該先端ユニットの一部（例えば、先端等）に相当する位置に、作用点が設定されてもよい。また、作用点が設定される位置は、先端ユニットの一部やアーム部１２０の一部のみには限定されない。例えば、アーム部１２０に先端ユニットが支持されていない状態においって、アーム部１２０に先端ユニットが支持されている場合に当該先端ユニットに相当する位置（空間）に作用点が設定されてもよい。なお、以上のようにして取得される作用点の位置及び姿勢に関する情報（換言すると、アーム状態として取得される情報）が「第２の情報」の一例に相当する。
そして、アーム状態取得部２４１は、取得したアーム情報を演算条件設定部２４２に送信する。
演算条件設定部２４２は、一般化逆動力学を用いた全身協調制御に関する演算における演算条件を設定する。ここで、演算条件とは、運動目的及び拘束条件であってよい。運動目的は、アーム部１２０の運動に関する各種の情報であってよい。具体的には、運動目的は、撮像部１４０の位置及び姿勢（座標）、速度、加速度並びに力等の目標値であったり、アーム部１２０の複数の関節部１３０及び複数のリンクの位置（座標）、速度、加速度及び力等の目標値であったりしてもよい。また、拘束条件は、アーム部１２０の運動を制限（拘束）する各種の情報であってよい。具体的には、拘束条件は、アーム部の各構成部材が移動不可能な領域の座標や、移動不可能な速度、加速度の値、発生不可能な力の値等であってよい。また、拘束条件における各種の物理量の制限範囲は、アーム部１２０の構造的に実現することが不可能であることから設定されてもよいし、ユーザによって適宜設定されてもよい。また、演算条件設定部２４２は、アーム部１２０の構造についての物理モデル（例えば、アーム部１２０を構成するリンクの数や長さ、リンクの関節部１３０を介した接続状況、関節部１３０の可動範囲等がモデル化されたもの）を有し、当該物理モデルに、所望の運動条件及び拘束条件が反映された制御モデルを生成することにより、運動条件及び拘束条件を設定してもよい。
また、演算条件設定部２４２は、各種センサ等の検知部による検知結果に応じた情報に基づき運動条件及び拘束条件を設定してもよい。具体的な一例として、演算条件設定部２４２は、アーム部１２０に支持されたユニット（例えば、撮像部１４０）により取得された情報（例えば、当該ユニットの周囲の空間に関する情報）を加味して、運動条件及び拘束条件を設定してもよい。より具体的な一例として、演算条件設定部２４２は、上記アーム情報に基づき上記作用点の位置及び姿勢（換言すると、上記作用点の自己位置）を推定するとともに、当該推定の結果と上記ユニットにより取得された情報とに基づき、当該作用点の周囲の空間に関する環境マップ（例えば、体腔内や術野の３次元空間に関するマップ）の生成または更新を行ってもよい。このような自己位置の推定や環境マップの生成に係る技術の一例として、ＳＬＡＭ（Simultaneous Localization and Mapping）と称される技術が挙げられる。そして、演算条件設定部２４２は、上記作用点の自己位置と、上記環境マップと、に基づき、運動条件及び拘束条件を設定してもよい。なお、この場合における上記ユニット（センサユニット）が「取得部」の一例に相当し、当該ユニットにより取得される情報（センサ情報）が「第１の情報」の一例に相当する。また、上記環境マップが「第３の情報」の一例に相当する。
本実施形態においては、運動目的及び拘束条件を適切に設定することにより、アーム部１２０に所望の動作を行わせることが可能となる。例えば、運動目的として、撮像部１４０の位置の目標値を設定することにより撮像部１４０をその目標の位置に移動させることはもちろんのこと、アーム部１２０が空間上の所定の領域内に侵入しないようにする等、拘束条件によって移動の制約を設けてアーム部１２０を駆動させることも可能である。また、環境マップを利用することで、例えば、撮像部１４０と、他の物体（例えば、臓器等）と、の接触が避けられるようにする等、当該撮像部１４０の周囲の状況に応じて拘束条件を設定し、当該拘束条件によって移動の制約を設けてアーム部１２０を駆動させることも可能である。
運動目的の具体例として、例えば、運動目的は、撮像部１４０の撮影方向が施術部位に固定された状態のピボット動作（例えば、撮像部１４０が施術部位を頂点とした円錐の面内を移動し、当該円錐の軸を旋回軸とした旋回動作）であってもよい。また、当該ピボット動作においては、撮像部１４０と円錐の頂点に当たる点との距離が一定に保たれた状態で旋回動作が行われてもよい。このようなピボット動作を行うことにより、観察部位を等距離からかつ異なる角度から観察できるようになるため、手術を行うユーザの利便性を向上させることができる。
また、他の具体例として、運動目的は、各関節部１３０における発生トルクを制御する内容であってもよい。具体的には、運動目的は、アーム部１２０に作用する重力を打ち消すように関節部１３０の状態を制御するとともに、更に外部から与えられた力の方向へのアーム部１２０の移動をサポートするように関節部１３０の状態を制御するパワーアシスト動作であってもよい。より具体的には、パワーアシスト動作においては、アーム部１２０の各関節部１３０における重力による外トルクを打ち消す発生トルクを各関節部１３０に生じさせるように各関節部１３０の駆動が制御されることにより、アーム部１２０の位置及び姿勢が所定の状態で保持される。この状態で更に外部から（例えばユーザから）外トルクが加えられた場合に、与えられた外トルクと同じ方向の発生トルクを各関節部１３０に生じさせるように各関節部１３０の駆動が制御される。このようなパワーアシスト動作を行うことにより、ユーザが手動でアーム部１２０を動かす場合に、ユーザはより小さい力でアーム部１２０を移動させることができるため、あたかも無重力下でアーム部１２０を動かしているような感覚をユーザに対して与えることができる。また、上述したピボット動作と当該パワーアシスト動作とを組み合わせることも可能である。
ここで、本実施形態において、運動目的とは、全身協調制御において実現されるアーム部１２０の動作（運動）を意味していてもよいし、当該動作における瞬時的な運動目的（すなわち、運動目的における目標値）を意味していてもよい。例えば上記のピボット動作であれば、撮像部１４０がピボット動作を行うこと自体が運動目的であるが、ピボット動作を行っている最中においては、当該ピボット動作における円錐面内での撮像部１４０の位置や速度等の値が、瞬時的な運動目的（当該運動目的における目標値）として設定されている。また例えば上記のパワーアシスト動作であれば、外部から加えられた力の方向へのアーム部１２０の移動をサポートするパワーアシスト動作を行うこと自体が運動目的であるが、パワーアシスト動作を行っている最中においては、各関節部１３０に加えられる外トルクと同じ方向への発生トルクの値が、瞬時的な運動目的（当該運動目的における目標値）として設定されている。本実施形態における運動目的は、瞬時的な運動目的（例えばある時間におけるアーム部１２０の各構成部材の位置や速度、力等の目標値）と、瞬時的な運動目的が連続的に達成された結果、経時的に実現されるアーム部１２０の各構成部材の動作の、双方を含む概念である。全身協調制御部２４０における全身協調制御のための演算における各ステップでは瞬時的な運動目的がその都度設定され、当該演算が繰り返し行われることにより、最終的に所望の運動目的が達成される。
なお、本実施形態においては、運動目的が設定される際に、各関節部１３０の回転運動における粘性抵抗係数も適宜設定されてよい。上述したように、本実施形態に係る関節部１３０は、アクチュエータの回転運動における粘性抵抗係数を適宜調整できるように構成される。従って、運動目的の設定に際して各関節部１３０の回転運動における粘性抵抗係数も設定することにより、例えば外部から加えられる力に対して回転しやすい状態や回転し難い状態を実現することができる。例えば上述したパワーアシスト動作であれば、関節部１３０における粘性抵抗係数が小さく設定されることにより、ユーザがアーム部１２０を移動させる際に要する力がより小さくてよく、ユーザに与えられる無重力感がより助長される。このように、各関節部１３０の回転運動における粘性抵抗係数は、運動目的の内容に応じて適宜設定されてよい。
本実施形態においては、記憶部２２０には、全身協調制御に関する演算において用いられる運動目的や拘束条件等の演算条件に関するパラメータが格納されていてもよい。演算条件設定部２４２は、記憶部２２０に記憶されている拘束条件を、全身協調制御の演算に用いる拘束条件として設定することができる。
また、本実施形態においては、演算条件設定部２４２は、複数の方法によって運動目的を設定することができる。例えば、演算条件設定部２４２は、アーム状態取得部２４１から送信されるアーム状態に基づいて運動目的を設定してもよい。上述したように、アーム状態には、アーム部１２０の位置の情報やアーム部１２０に対して作用する力の情報が含まれる。従って、例えばユーザがアーム部１２０を手動で移動させようとしている場合には、アーム状態取得部２４１によって、ユーザがアーム部１２０をどのように移動させようとしているか、に関する情報もアーム状態として取得される。従って、演算条件設定部２４２は、取得されたアーム状態に基づいて、ユーザがアーム部１２０を移動させた位置や速度、力等を瞬時的な運動目的として設定することができる。このように運動目的が設定されることにより、アーム部１２０の駆動は、ユーザによるアーム部１２０の移動を追随し、サポートするように制御される。
また、例えば、演算条件設定部２４２は、入力部２１０からユーザによって入力される指示に基づいて運動目的を設定してもよい。後述するが、入力部２１０は、ユーザが制御装置２０に支持アーム装置１０の駆動制御に関する情報や命令等を入力するための入力インタフェースであり、本実施形態においては、ユーザによる入力部２１０からの操作入力に基づいて、運動目的が設定されてもよい。具体的には、入力部２１０は、例えばレバー、ペダル等のユーザが操作する操作手段を有し、当該レバー、ペダル等の操作に応じて、アーム部１２０の各構成部材の位置や速度等が、演算条件設定部２４２によって瞬時的な運動目的として設定されてもよい。
更に、例えば、演算条件設定部２４２は、記憶部２２０に記憶されている運動目的を、全身協調制御の演算に用いる運動目的として設定してもよい。例えば、空間上の所定の点で撮像部１４０が静止するという運動目的であれば、当該所定の点の座標を運動目的として予め設定することができる。また、例えば、撮像部１４０が空間上において所定の軌跡上を移動するという運動目的であれば、当該所定の軌跡を表す各点の座標を運動目的として予め設定することができる。このように、運動目的が予め設定できるものである場合には、当該運動目的が予め記憶部２２０に記憶されていてもよい。また、例えば上述したピボット動作であれば、運動目的は円錐の面内における位置や速度等を目標値とするものに限られるし、パワーアシスト動作であれば、運動目的は力を目標値とするものに限られる。このように、ピボット動作やパワーアシスト動作のような運動目的が予め設定されている場合には、これらの運動目的における瞬時的な運動目的として設定され得る目標値の範囲や種類等に関する情報が、記憶部２２０に記憶されていてもよい。演算条件設定部２４２は、このような運動目的に関する各種の情報も含めて、運動目的として設定することができる。
なお、演算条件設定部２４２が、上記のいずれの方法で運動目的を設定するかは、支持アーム装置１０の用途等に応じてユーザによって適宜設定可能であってよい。また、演算条件設定部２４２は、また、上記の各方法を適宜組み合わせることにより、運動目的及び拘束条件を設定してもよい。なお、記憶部２２０に格納されている拘束条件の中に運動目的の優先度が設定されていてもよく、複数の互いに異なる運動目的が存在する場合には、演算条件設定部２４２は、当該拘束条件の優先度に応じて運動目的を設定してもよい。演算条件設定部２４２は、アーム状態並びに設定した運動目的及び拘束条件を仮想力算出部２４３に送信する。
仮想力算出部２４３は、一般化逆動力学を用いた全身協調制御に関する演算における仮想力を算出する。なお、仮想力の算出処理については、一般化逆動力学を用いた全身協調制御に関する公知の技術を適用することが可能であるため、詳細な説明は省略する。仮想力算出部２４３は、算出した仮想力ｆｖを実在力算出部２４４に送信する。
実在力算出部２４４は、一般化逆動力学を用いた全身協調制御に関する演算における実在力を算出する。なお、実在力の算出処理については、一般化逆動力学を用いた全身協調制御に関する公知の技術を適用することが可能であるため、詳細な説明は省略する。実在力算出部２４４は、算出した実在力（発生トルク）τａを理想関節制御部２５０に送信する。なお、本実施形態においては、実在力算出部２４４によって算出された発生トルクτａのことを、全身協調制御における関節部１３０の制御値という意味で、制御値又は制御トルク値とも呼称する。
理想関節制御部２５０は、理論モデルに基づいた理想的な応答を実現する理想関節制御に関する各種の演算を行う。本実施形態では、理想関節制御部２５０は、実在力算出部２４４によって算出された発生トルクτａに対して外乱の影響を補正することにより、アーム部１２０の理想的な応答を実現するトルク指令値τを算出する。なお、理想関節制御部２５０によって行われる演算処理については、理想関節制御に関する公知の技術を適用することが可能であるため、詳細な説明は省略する。
理想関節制御部２５０は、外乱推定部２５１及び指令値算出部２５２を有する。
外乱推定部２５１は、トルク指令値τと、回転角度検出部１３３によって検出された回転角度ｑから算出される回転角速度に基づいて、外乱推定値τｄを算出する。なお、ここでいうトルク指令値τは、最終的に支持アーム装置１０に送信されるアーム部１２０での発生トルクを表す指令値である。
指令値算出部２５２は、外乱推定部２５１によって算出された外乱推定値τｄを用いて、最終的に支持アーム装置１０に送信されるアーム部１２０に生じさせるトルクを表す指令値であるトルク指令値τを算出する。具体的には、指令値算出部２５２は、トルク目標値τｒｅｆに対して外乱推定部２５１によって算出された外乱推定値τｄを加算することにより、トルク指令値τを算出する。なお、トルク目標値τｒｅｆについては、例えば、公知の理想関節制御における二次遅れ系の運動方程式として示される理想モデルから算出することが可能である。例えば、外乱推定値τｄが算出されていない場合には、トルク指令値τはトルク目標値τｒｅｆとなる。
以上説明したように、理想関節制御部２５０においては、外乱推定部２５１と指令値算出部２５２との間で繰り返し情報のやり取りが行われることにより、理想関節制御に係る一連の処理（即ち、理想関節制御に係る各種の演算）が行われる。理想関節制御部２５０は算出したトルク指令値τを支持アーム装置１０の駆動制御部１１１に送信する。駆動制御部１１１は、送信されたトルク指令値τに対応する電流量を、関節部１３０のアクチュエータにおけるモータに対して供給する制御を行うことにより、当該モータの回転数を制御し、関節部１３０における回転角度及び発生トルクを制御する。
本実施形態に係る医療用アームシステム１においては、支持アーム装置１０におけるアーム部１２０の駆動制御は、アーム部１２０を用いた作業が行われている間継続的に行われるため、支持アーム装置１０及び制御装置２０における以上説明した処理が繰り返し行われる。すなわち、支持アーム装置１０の関節状態検出部１３２によって関節部１３０の状態が検出され、制御装置２０に送信される。制御装置２０では、当該関節部１３０の状態と、運動目的及び拘束条件とに基づいて、アーム部１２０の駆動を制御するための全身協調制御及び理想関節制御に関する各種の演算が行われ、演算結果としてのトルク指令値τが支持アーム装置１０に送信される。支持アーム装置１０では、当該トルク指令値τに基づいてアーム部１２０の駆動が制御され、駆動中又は駆動後の関節部１３０の状態が、再び関節状態検出部１３２によって検出される。
制御装置２０が有する他の構成についての説明を続ける。
入力部２１０は、ユーザが制御装置２０に支持アーム装置１０の駆動制御に関する情報や命令等を入力するための入力インターフェースである。本実施形態においては、ユーザによる入力部２１０からの操作入力に基づいて、支持アーム装置１０のアーム部１２０の駆動が制御され、撮像部１４０の位置及び姿勢が制御されてもよい。具体的には、上述したように、ユーザによって入力部２１０から入力されたアームの駆動の指示に関する指示情報が演算条件設定部２４２に入力されることにより、演算条件設定部２４２が当該指示情報に基づいて全身協調制御における運動目的を設定してもよい。このように、ユーザが入力した指示情報に基づく運動目的を用いて全身協調制御が行われることにより、ユーザの操作入力に応じたアーム部１２０の駆動が実現される。
具体的には、入力部２１０は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等のユーザが操作する操作手段を有する。例えば入力部２１０がペダルを有する場合、ユーザは当該ペダルを足で操作することによりアーム部１２０の駆動を制御することができる。従って、ユーザが患者の施術部位に対して両手を使って処置を行っている場合であっても、足によるペダルの操作によって撮像部１４０の位置及び姿勢、すなわち、施術部位の撮影位置や撮影角度を調整することができる。
記憶部２２０は、制御装置２０によって処理される各種の情報を記憶する。本実施形態においては、記憶部２２０は、制御部２３０によって行われる全身協調制御及び理想関節制御に関する演算において用いられる各種のパラメータを記憶することができる。例えば、記憶部２２０は、全身協調制御部２４０による全身協調制御に関する演算において用いられる運動目的及び拘束条件を記憶していてもよい。記憶部２２０が記憶する運動目的は、上述したように、例えば撮像部１４０が空間上の所定の点で静止することのような、予め設定され得る運動目的であってよい。また、拘束条件は、アーム部１２０の幾何的な構成や支持アーム装置１０の用途等に応じて、ユーザによって予め設定され、記憶部２２０に格納されていてもよい。また、記憶部２２０には、アーム状態取得部２４１がアーム状態を取得する際に用いるアーム部１２０に関する各種の情報が記憶されていてもよい。更に、記憶部２２０には、制御部２３０による全身協調制御及び理想関節制御に関する演算における演算結果や演算過程で算出される各数値等が記憶されてもよい。このように、記憶部２２０には、制御部２３０によって行われる各種の処理に関するあらゆるパラメータが格納されていてよく、制御部２３０は、記憶部２２０と相互に情報を送受信しながら各種の処理を行うことができる。
以上、制御装置２０の機能及び構成について説明した。なお、本実施形態に係る制御装置２０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバ等の各種の情報処理装置（演算処理装置）によって構成することができる。次に、表示装置３０の機能及び構成について説明する。
表示装置３０は、各種の情報を表示画面上にテキスト、イメージ等様々な形式で表示することにより、当該情報をユーザに対して視覚的に通知する。本実施形態においては、表示装置３０は、支持アーム装置１０の撮像部１４０によって撮影された画像を表示画面上に表示する。具体的には、表示装置３０は、撮像部１４０によって取得された画像信号に各種の画像処理を施す画像信号処理部（図示せず。）や処理された画像信号に基づく画像を表示画面上に表示させる制御を行う表示制御部（図示せず。）等の機能及び構成を有する。なお、表示装置３０は、上記の機能及び構成以外にも、一般的に表示装置が有する各種の機能及び構成を有してもよい。表示装置３０は、例えば、図１に示す表示装置５０４１に対応している。
以上、図６を参照して、本実施形態に係る支持アーム装置１０、制御装置２０及び表示装置３０の機能及び構成について説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
以上説明したように、本実施形態によれば、支持アーム装置１０における多リンク構造体であるアーム部１２０が、少なくとも６自由度以上の自由度を有するとともに、当該アーム部１２０を構成する複数の関節部１３０のそれぞれの駆動が駆動制御部１１１によって制御される。そして、当該アーム部１２０の先端には医療用器具が設けられる。このように、各関節部１３０の駆動が制御されることにより、より自由度の高いアーム部１２０の駆動制御が実現され、よりユーザにとって操作性の高い医療用の支持アーム装置１０が実現される。
より具体的には、本実施形態によれば、支持アーム装置１０において、関節状態検出部１３２によって関節部１３０の状態が検出される。そして、制御装置２０において、当該関節部１３０の状態と、運動目的及び拘束条件とに基づいて、アーム部１２０の駆動を制御するための一般化逆動力学を用いた全身協調制御に関する各種の演算が行われ、演算結果としてのトルク指令値τが算出される。更に、支持アーム装置１０において、当該トルク指令値τに基づいてアーム部１２０の駆動が制御される。このように、本実施形態においては、一般化逆動力学を用いた全身協調制御により、アーム部１２０の駆動が制御される。従って、力制御によるアーム部１２０の駆動制御が実現され、よりユーザにとって操作性の高い支持アーム装置が実現される。また、本実施形態では、全身協調制御において、例えばピボット動作やパワーアシスト動作といった、よりユーザの利便性を向上させる各種の運動目的を実現する制御が可能となる。更に、本実施形態においては、例えばアーム部１２０を手動で移動させたり、ペダルからの操作入力により移動させたりといった、多様な駆動手段が実現されるため、ユーザの利便性の更なる向上が実現される。
また、本実施形態においては、アーム部１２０の駆動制御について、全身協調制御と併せて理想関節制御が適用される。理想関節制御においては、関節部１３０内部の摩擦や慣性等の外乱成分を推定し、推定した外乱成分を用いたフィードフォワード制御が行われる。従って、摩擦等の外乱成分がある場合であっても、関節部１３０の駆動について理想的な応答を実現することができる。よって、アーム部１２０の駆動制御において、振動等の影響がより少ない、高精度の応答性と高い位置決め精度や安定性が実現される。
更に、本実施形態においては、アーム部１２０を構成する複数の関節部１３０のそれぞれが、例えば図３に示すような、理想関節制御に適合した構成を有し、各関節部１３０における回転角度、発生トルク及び粘性抵抗係数を電流値によって制御することができる。このように、各関節部１３０の駆動が電流値によって制御され、また、全身協調制御により各関節部１３０の駆動がアーム部１２０全体の状態を把握しながら制御されるため、カウンターバランスが不要となり、支持アーム装置１０の小型化が実現される。
なお、上記ではアーム部１２０が多リンク構造体として構成されている場合の一例について説明したが、必ずしも本開示の一実施形態に係る医療用アームシステム１の構成を限定するものではない。即ち、アーム部１２０の位置や姿勢を認識し、当該認識の結果に応じた全身協調制御や理想関節制御に係る技術に基づき当該アーム部１２０の動作を制御することが可能であれば、当該アーム部１２０の構成は特に限定されない。具体的な一例として、アーム部１２０に相当する部分が、所謂軟性内視鏡の先端部のように少なくとも一部が湾曲可能な可撓性の部材として構成されていることで、先端に設けられる医療用器具の位置や姿勢を制御可能に構成されていてもよい。
＜＜５．アームの制御＞＞
＜５．１．概要＞
続いて、本開示の一実施形態に係る医療用アームシステムにおけるアームの制御について説明する。本実施形態に係る医療用アームシステム１では、アーム部１２０に支持されたユニット（例えば、内視鏡等の先端ユニット）により取得される情報と、当該アーム部１２０の位置や姿勢に関する情報（アーム情報）と、を利用して、設定された作用点の周囲の空間（例えば、当該ユニットの周囲の空間）に関する情報（以降では、便宜上「環境マップ」とも称する）が生成または更新される。このような構成により、例えば、患者の体腔内の空間の環境マップを生成することも可能となる。このような構成の基で、本実施形態に係る医療用アームシステムでは、当該環境マップが、アーム部１２０の動作の制御（例えば、位置及び姿勢の制御、外力に対する反力のフィードバック等）に利用される。
ここで、本実施形態に係る医療用アームシステムにおけるアーム制御の特徴をよりわかりやすくするために、図７及び図８を参照して、斜視鏡を利用した観察を行う場合におけるアーム制御の一例について説明する。図７及び図８は、斜視鏡を利用した観察を行う場合におけるアーム制御の一例について概要を説明するための説明図である。
例えば、図７及び図８に示す例では、図５の右図に示す例における硬性鏡軸Ｃ２が実リンク（実回転リンク）の軸として設定され、斜視鏡光軸Ｃ１が仮想リンク（仮想回転リンク）の軸として設定されている。このような設定の基で、斜視鏡ユニットを、複数の連動リンクとしてモデル化してアーム制御を行うことで、図７及び図８に示すような、術者のハンドアイコーディネイトを維持するため制御が可能となる。
具体的には、図７は、斜視鏡のズーム操作を考慮した仮想回転リンクの更新について説明するための図である。図７には、斜視鏡４１００と観察対象物４３００とが示されている。図７に示すように、例えば、ズーム操作が行われた場合に、仮想回転リンクの距離及び向きを変更することによって（図７に示されるように、拡大操作の場合には、仮想回転リンクの距離を短くし、仮想回転リンクの向きをスコープ軸に対して大きく傾けることによって）、観察対象物４３００がカメラ中心に捉えられるように制御することが可能となる。
また、図８は、斜視鏡の回転操作を考慮した仮想回転リンクの更新について説明するための図である。図８には、斜視鏡４１００と観察対象物４３００とが示されている。図８に示すように、例えば、回転操作が行われた場合に、仮想回転リンクの距離を一定にすることによって、観察対象物４３００がカメラ中心に捉えられるように制御することが可能となる。
次いで、図９を参照して、患者の体腔内の情報（例えば、環境マップ）の利用が困難な場合に生じ得る技術的課題の一例について、斜視鏡を利用した観察を行う場合に着目して説明する。図９は、斜視鏡を利用した観察を行う場合における技術的課題の一例について説明するための説明図であり、図８を参照して説明した例のように、回転操作が行われることで、観察対象物４３００を異なる方向から観察する場合の一例について示している。図９において、参照符号４１００ａ及び４１００ｂは、観察対象物４３００を互いに異なる方向から観察する場合における、斜視鏡４１００の位置それぞれを模式的に示している。
例えば、観察対象物４３００を異なる方向から観察するような状況下で、当該観察対象物４３００がカメラ中心に捉えられた状態を維持する場合には、斜視鏡４１００の光軸上に観察対象物４３００（特に、観察対象物４３００のうちの注目している点）が位置するように、当該斜視鏡４１００の位置及び姿勢を制御することが望ましい。具体的な一例として、図９の左側の図は、斜視鏡４１００の位置及び姿勢を変化させた場合においても、当該斜視鏡４１００の光軸上に観察対象物４３００が位置する状態が維持されている状況を模式的に示している。
これに対して、図９の右側の図は、参照符号４１００ｂで示す位置に斜視鏡４１００が位置する場合に、当該斜視鏡４１００の光軸上に観察対象物４３００が位置していない状況を模式的に示している。このような状況下では、斜視鏡４１００の位置や姿勢が変化することで、観察対象物４３００がカメラ中心に捉えられた状態を維持することが困難となる。即ち、注目している観察対象物４３００が画面の中心から離隔した位置に提示されることとなり、ひいては当該観察対象物４３００が画面内に提示されないような状況（即ち、画面外に位置するような状況）も想定され得る。このような状況を鑑み、観察対象物４３００の位置及び姿勢を３次元的に認識できることがより望ましい。
また、図７を参照して説明した例のように、例えば、斜視鏡４１００（換言すると、内視鏡部）の挿抜操作によるズーム動作が行われる状況下で、斜視鏡４１００の長手方向の挿抜操作のみが行われた場合には、当該斜視鏡４１００の光軸上に観察対象物４３００が位置しない状態となり得る。即ち、ズーム動作が行われる状況下においても、観察対象物４３００がカメラ中心に捉えられた状態を維持するためには、斜視鏡４１００の光軸上に観察対象物４３００が位置する状態が維持されるように当該斜視鏡４１００の位置や姿勢が制御されることが望ましい。
なお、本開示に係る医療用アームシステム１に依れば、アーム部１２０に支持された内視鏡装置（ひいては、斜視鏡４１００）の位置及び姿勢については、当該アーム部１２０の状態に応じたアーム情報として認識することが可能である。即ち、アーム部１２０自身の機構的情報（ロータリエンコーダ、リニアエンコーダ）や動力学的情報（質量、イナーシャ、重心位置、トルクセンサ、力覚センサ）に基づき、当該アーム部１２０に支持されたユニット（換言すると、作用点）の３次元的な位置及び姿勢を認識することが可能である。しかしながら、アーム部１２０の外部環境については、上述した機構的情報や動力学的情報のみからでは認識することが困難な場合がある。
このような状況を鑑み、本開示では、周囲の状況に応じてより好適な態様でアーム部１２０の動作を制御可能とする技術を提案する。具体的には、本開示の一実施形態に係る医療用アームシステム１は、アーム部１２０に支持される撮像部（例えば、内視鏡装置等）や各種センサにより取得される情報に基づき、アーム部１２０の外部環境（特に、作用点の周囲の空間）に関する環境マップを生成または更新する。このような構成の基で、医療用アームシステム１は、当該環境マップに基づき、観察対象物４３００の位置や姿勢をより正確に認識し、当該認識結果をアーム部１２０の制御（例えば、位置制御、速度制御、力制御等）に利用する。
＜５．２．環境マップの生成方法＞
続いて、アーム部１２０の外部環境に関する環境マップの生成または更新に係る方法の一例について以下に説明する。
（撮像画像を利用する方法）
アーム部１２０に先端ユニットとして支持された内視鏡装置等のような撮像部（イメージセンサ）により撮像された画像（静止画像または動画像）を利用して３次元空間を再構築することで、環境マップを生成または更新することが可能である。具体的な一例として、撮像画像から抽出される特徴点を利用して環境マップを生成または更新する方法が挙げられる。この場合には、撮像画像に対して画像解析を施すことで特徴点（例えば、物体の頂点やエッジ等）が抽出され、複数の撮像画像間で抽出された特徴点の対応関係から三角測量の応用により３次元空間が再構築される。撮像部（内視鏡装置）が広く使用されている２Ｄ画像を撮像するものであれば、互いに異なる位置から撮像された複数の画像を利用することで３次元空間を再構築すること可能である。また、撮像部がステレオカメラとして構成されている場合には、同時に複数枚（例えば、２枚）の画像を撮像することが可能であるため、当該複数の画像間における各画像から抽出される特徴点の対応関係に基づき３次元空間を再構築することが可能である。
また、撮像画像として内視鏡画像を利用する場合には、内視鏡装置を支持するアーム部１２０に対して別途追加でセンサを設けなくとも３次元空間を再構築し、当該再構築の結果に基づき環境マップを生成または更新することが可能となる。
なお、撮像画像を利用して３次元空間を再構築する場合には、当該撮像画像からは実空間の単位（例えば、ＳＩ単位系等）を特定することが困難な場合がある。このような場合には、３次元空間の再構築に利用した撮像画像と、当該撮像画像の撮像時におけるアーム部１２０の機構的情報（Kinematics）と、を組み合わせることで、当該単位を特定することも可能である。
アーム部の位置及び姿勢と、撮像画像の解析結果に基づく位置及び姿勢と、のそれぞれは、以下に（式１）及び（式２）として示すようにモデル化を行うことが可能である。
Figure 2020156800
上記（式１）においてｐｃは、撮像画像の座標系における特徴点の位置（３次元ベクトル）を示している。これに対して、ｐｒは、アーム部の座標系における特徴点の位置（３次元ベクトル）を示している。また、Ｒｃは、撮像画像の座標系における特徴点の姿勢（３×３行列）を示している。これに対して、Ｒｒは、アーム部の座標系における特徴点の姿勢（３×３行列）を示している。また、Ｓｃ→ｒは、撮像画像の座標系とアーム部の座標系との間のスケーリング係数（スカラー値）を示している。また、ｔｃ→ｒは、撮像画像の座標系とアーム部の座標系とを対応付ける（例えば、略一致させる）ためのオフセット（３次元ベクトル）を示している。また、Ｒｃ→ｒは、撮像画像の座標系とアーム部の座標系とを対応付ける（例えば、略一致させる）ための回転行列（３×３行列）を示している。即ち、上記（式１）及び（式２）に基づき、２点以上の特徴点について、ｐｃ及びｐｒとＲｃ及びＲｒとがわかれば、Ｓｃ→ｒ、ｔｃ→ｒ、及びＲｃ→ｒを算出することが可能である。
また、他の一例として、撮像画像から抽出される色に関する情報（換言すると、色空間）に基づき３次元空間を再構築することで、環境マップの生成または更新が行われてもよい。なお、この場合に色空間として利用される情報は特に限定されない。具体的な一例として、ＲＧＢ表色系のモデルが適用されてもよいし、ＨＳＶモデルが適用されてもよい。
（測距センサを利用する方法）
アーム部１２０の一部に支持された測距センサによる、実空間内の物体と当該測距センサとの間の距離（デプス）の測定結果を利用して３次元空間を再構築することで、環境マップを生成または更新することが可能である。測距センサの具体的な一例として、ＴｏＦ（Time of Flight）センサが挙げられる。ＴｏＦセンサは、光源から光が投射されてから当該光が物体で反射した反射光が検出されるまでの時間を測定することで、当該測定結果に基づき当該物体までの距離を算出する。この場合には、例えば、反射光を検出するイメージセンサそれぞれの画素について距離（デプス）の情報を取得することが可能となるため、比較的解像度の高い３次元空間情報を構築することが可能である。
（パターン光を利用する方法）
光源から投射されたパターン光の画像をアーム部１２０の一部に支持された撮像部により撮像し、当該画像に撮像されたパターン光の形状に基づき３次元空間を再構築することで、環境マップを生成または更新することが可能である。この方法は、例えば、画像中における変化がより少ない物体を撮像対象とするような状況下においても３次元空間情報を再構築することが可能である。また、上記ＴｏＦセンサを利用する場合に比べて、より安価に実現することも可能である。また、パターン光が投射されている状態での撮像と、パターン光が投射されていない状態での撮像と、を時分割で行う制御を導入することで、例えば、撮像装置（内視鏡装置）に対してパターン光を投射する光源を設けることで実現することも可能である。なお、この場合には、例えば、パターン光が投射されていない状態で撮像された画像を、観察対象物を観察するための画像として表示装置に提示すればよい。
（特殊光を利用する方法）
狭帯域光、自家蛍光、及び赤外光等のような特殊光を観察しながら行われる手技があり、当該特殊光の撮像結果を３次元空間の再構築に利用することが可能である。この場合には、例えば、３次元空間の再構築に加えて、病変部、血管、及びリンパ等の付加的な情報を記録することも可能である。
（偏光イメージセンサを利用する方法）
偏光イメージセンサは、到来する光に含まれる各種偏光のうち、一部の偏光のみを検出可能とするイメージセンサである。このような偏光イメージセンサにより撮像された画像を利用して３次元空間を再構築することで、環境マップを生成または更新することが可能である。
この方法を利用することで、例えば、光量が多いことで所謂白飛びという現象が生じることによる３次元空間の再構築に係る精度低下を防止することが可能となる。また、他の一例として、当該方法を利用することで、透明や半透明の物体（例えば、体組織）や、肉眼では認識しにくい偏光度の異なる物体が存在する環境の３次元空間をより安定的に再構築することも可能となる。例えば、図１０は、偏光イメージセンサを利用することで得られる効果の一例について説明するための説明図であり、白飛びが生じるような状況下で偏光イメージセンサにより撮像される画像の一例について示している。図１０の左図は、光量が比較的多い状況下において、一般的なイメージセンサを利用して観察対象物の画像を撮像した場合の一例を示している。即ち、同図では、白飛びが生じている。これに対して、図１０の右図は、左図と同様に光量が比較的多い状況下において、偏光イメージセンサを利用して観察対象物の画像を撮像した場合の一例を示している。同図を参照するとわかるように、左図に比べて検出される光量が抑えられ、観察対象物がより鮮明に撮像されている。これにより、撮像画像からの観察対象の特徴量の抽出に係る精度が向上し、ひいては当該撮像画像を利用した３次元空間の再構築に係る精度をより向上させることが可能となる。
また、この方法を利用することで、例えば、電気メス等の利用に伴いミストが発生することで、撮像画像にノイズが顕在化したり、撮像画像のコントラストが低下するような状況下においても、当該ミストの影響を低減することが可能となる。例えば、図１１は、偏光イメージセンサを利用することで得られる効果の一例について説明するための説明図であり、ミストが発生している環境下で偏光イメージセンサにより撮像される画像の一例について示している。図１０の左図は、ミストが発生している環境下で、一般的なイメージセンサを利用して観察対象物の画像を撮像した場合の一例を示している。即ち、同図では、ミストの影響によりコントラストが低下している。これに対して、図１１の右図は、左図と同様にミストが発生している環境下において、偏光イメージセンサを利用して観察対象物の画像を撮像した場合の一例を示している。同図を参照するとわかるように、コントラストの低下が抑制され、観察対象物がより鮮明に撮像されている。これにより、撮像画像からの観察対象の特徴量の抽出に係る精度が向上し、ひいては当該撮像画像を利用した３次元空間の再構築に係る精度をより向上させることが可能となる。
（補足）
上述した環境マップの生成または更新に係る各方法のうち、２以上の方法が組み合わせて利用されてもよい。具体的な一例として、「撮像画像を利用する方法」と、「測距センサを利用する方法」、「パターン光を利用する方法」、「特殊光を利用する方法」、及び「偏光イメージセンサを利用する方法」のいずれかと、の組み合わせが利用されてもよい。この場合には、例えば、撮像画像の取得に内視鏡装置を利用することで、当該内視鏡装置に加えて、適用する方法に応じた取得部（センサ等）を別途設けることで、上記方法の組み合わせを実現することが可能となる。このように、複数の方法を組み合わせることで、例えば、環境マップの生成または更新に係る精度をより向上させることも可能となる。
また、上述した情報のみに限らず、作用点の位置及び姿勢の推定（即ち、自己位置の推定）や、周囲の空間の認識に利用することが可能であれば、他の情報が利用されてもよい。具体的な一例として、作用点（例えば、内視鏡）の位置や姿勢の変化を検出する加速度センサや角速度センサの情報が、当該作用点の自己位置の推定に利用されてもよい。
また、環境マップの生成または更新に利用するアーム情報の取得方法についても特に限定はされない。具体的な一例として、アーム部を外部のカメラで撮像することで得られる画像に基づき当該アーム部の状態を認識することで、当該認識結果に応じたアーム情報が取得されてもよい。具体的な一例として、アーム部の各部にマーカを取り付け、当該アーム部を外部のカメラで撮像することで得られる画像を、当該アーム部の位置及び姿勢の認識（ひいては、作用点の位置及び姿勢の認識）に利用してもよい。この場合には、撮像された画像中からアーム部の各部に取り付けられたマーカを抽出し、抽出された複数のマーカ間の位置及び姿勢の関係に基づき、当該アーム部の位置及び姿勢を認識すればよい。
以上、アーム部１２０の外部環境に関する環境マップの生成または更新に係る方法の一例について説明した。
＜５．３．処理＞
続いて、図１２を参照して、本実施形態に係る制御装置２０の一連の処理の流れの一例について、特に、環境マップの生成または更新と、当該環境マップの利用と、に係る動作に着目して説明する。図１２は、本実施形態に係る制御装置２０の一連の処理の流れの一例を示したフローチャートである。なお、本項では、内視鏡装置（撮像部１４０）の先端が作用点として設定され、当該内視鏡装置により撮像された画像を利用して、環境マップの生成または更新が行われる場合の一例について説明する。
制御装置２０（演算条件設定２４２）は、内視鏡装置（撮像部１４０）により撮像された画像（換言すると、当該内視鏡装置の周囲の空間に関する情報）を取得する。制御装置２０は、取得した撮像画像から特徴点を抽出する。以上のようにして、制御装置２０は、内視鏡装置（換言すると、作用点）の位置や姿勢に応じて当該内視鏡装置による撮像画像を逐次取得し、当該撮像画像から特徴点の抽出を行う（Ｓ１０１）。
制御装置２０（アーム状態取得部２４１）は、支持アーム装置１０から、関節状態検出部１３２によって検出された関節部１３０の状態に基づいて、アーム部１２０の状態（即ち、アーム状態）を取得する。当該制御装置２０は、取得したアーム状態に基づき、作用点（例えば、撮像部１４０）の３次元空間上における位置及び姿勢（換言すると、作用点の自己位置）を推定する（Ｓ１０３）。
制御装置２０（演算条件設定２４２）は、複数の撮像画像間で抽出された特徴点の対応関係と、当該複数の撮像画像それぞれが撮像されたタイミングでの内視鏡装置の自己位置（換言すると、作用点の自己位置）と、に基づき、３次元空間を再構築する。制御装置２０は、３次元空間の再構築の結果に基づき、作用点の周囲の空間に関する環境マップを生成する。また、このとき環境マップが既に生成されている場合には、制御装置２０は、３次元空間の再構築の結果に基づき、当該環境マップを更新してもよい。具体的には、制御装置２０は、環境マップ中において３次元空間が生成されていない部分を、新たに再構築した３次元空間の情報を利用して補完してもよい（Ｓ１０５）。
また、制御装置２０（演算条件設定２４２）は、生成または更新された環境マップと、作用点の自己位置の推定結果と、に基づき、当該作用点と、周囲に位置する物体（例えば、臓器等の部位）と、の間の位置関係を推定する（Ｓ１０７）。そして、制御装置２０（仮想力演算部２４３、次財力演算部２４４、及び理想関節制御部２５０等）は、当該作用点と当該物体との間の位置関係の推定結果に応じて、アーム部１２０の動作を制御する（Ｓ１０９）。
以上のような制御を適用することで、例えば、図７及び図８を参照して説明したアーム制御（即ち、斜視鏡を利用した観察を行う場合におけるアーム制御）を、より好適な態様で実現することが可能となる。即ち、この場合には、環境マップに基づき、観察対象物と斜視鏡との間の位置及び姿勢の関係に応じて、当該斜視鏡の光軸上に当該観察対象物が位置する状態が維持されるように、アーム部１２０の動作が制御されればよい。なお、環境マップを利用したアーム部の制御方法の他の一例については、実施例として詳細を別途後述する。
以上、図１２を参照して、本実施形態に係る制御装置２０の一連の処理の流れの一例について、特に、環境マップの生成または更新と、当該環境マップの利用と、に係る動作に着目して説明した。
＜５．４．変形例＞
続いて、本実施形態に係る医療用アームシステム１の変形例について説明する。
（変形例１：内視鏡装置の構成例）
まず、変形例１として、本実施形態に係る医療用アームシステム１においてアーム部１２０に先端ユニットとして支持される内視鏡装置の構成の一例について概要を説明する。例えば、図１３は、変形例１に係る内視鏡装置の概略的な構成の一例について説明するための説明図である。
環境マップの生成または更新に係る方法として説明したアーム部１２０の外部環境のセンシング方法の一部（特に、撮像画像を利用する方法以外の他の方法）においては、内視鏡装置とは別にセンサを設ける必要が生じる場合がある。一方で、患者の体腔内に内視鏡装置を挿入するためのポートとは別に、上記センサを挿入するためのポートを設置することが侵襲性の観点から困難な場合がある。このような場合においては、内視鏡装置により、３次元空間の再構築に利用する情報を取得可能であることが好ましい場合がある。図１３には、このような課題を解決するための内視鏡装置の一構成例が開示されている。
具体的には、図１３に示す内視鏡装置１０００は、内視鏡部１００１と、カメラヘッド１００３とを含む。内視鏡部１００１は、所謂内視鏡の鏡筒（即ち、患者の体腔内に挿入される鏡筒）に相当する部分を模式的に示している。即ち、内視鏡部１００１により取得された観察対象物（例えば、患部）の像がカメラヘッド１００３により撮像される。
また、カメラヘッド１００３は、分岐光学系１００５と、撮像部１００７と、取得部１００９とを含む。
撮像部１００７は、所謂イメージセンサに相当する。即ち、内視鏡部１００１を介してカメラヘッド１００３に入射した光が撮像部１００７に結像されることで、観察対象物の画像が撮像される。
取得部１００９は、３次元空間の再構築に利用する情報を取得するための構成を模式的に示している。具体的な一例として、取得部１００９は、「５．２．環境マップの生成方法」において説明した、撮像部（イメージセンサ）や偏光イメージセンサとして構成され得る。
分岐光学系１００５は、例えば、ハーフミラーとして構成され得る。この場合には、分岐光学系１００５は、内視鏡部１００１を介してカメラヘッド１００３に入射した光のうち、一部を反射させ、他の一部を透過させる。図１３に示す例では、分岐光学系１００５を透過した光は、撮像部１００７に到達する。これにより、観察対象物の画像が撮像される。また、分岐光学系１００５により反射された光は、取得部１００９に到達する。このような構成の基で、取得部１００９により取得された情報に基づき３次元空間の再構築が行われ、当該再構築の結果を利用して環境マップの生成または更新が行われる。
また、分岐光学系１００５は、ダイクロイック膜のような波長特性に応じて入射光を分離する光学膜を利用して構成された色分解光学系として構成されていてもよい。この場合には、分岐光学系１００５は、内視鏡部１００１を介してカメラヘッド１００３に入射した光のうち、一部の波長帯に属する光を反射させ、他の波長帯に属する光を透過させる。このような構成により、例えば、カメラヘッド１００３に入射した光のうち、可視光領域に属する光を撮像部１００７に導光させ、他の波長帯域に属する光（例えば、赤外光等）を取得部１００９に導光させることも可能である。
なお、撮像部１００７及び取得部１００９のうち少なくともいずれかがカメラヘッド１００３に対して着脱可能に構成されていてもよい。このような構成により、例えば、実施される手技や観察対象物の観察方法に応じて、撮像部１００７及び取得部１００９のうちの少なくともいずれかとして適用されるデバイスを選択的に切り替えることが可能となる。
以上、変形例１として、図１３を参照して、本実施形態に係る医療用アームシステム１においてアーム部１２０に先端ユニットとして支持される内視鏡装置の構成の一例について概要を説明した。
（変形例２：撮像部を利用した情報の取得に係る制御例）
次いで、変形例２として、内視鏡装置等の撮像部を利用して、観察対象物の観察に利用する画像と、環境マップの生成または更新に利用する画像と、の双方を個別に取得するための制御方法の一例について説明する。例えば、図１４は、変形例２に係る医療用アームシステムの動作について概要を説明するための説明図であり、環境マップの生成または更新に利用する情報の取得に係る制御の一例について示している。
図１４に示す例では、内視鏡装置（撮像部）により、観察対象物の観察に利用する画像（即ち、ディスプレイ等の出力部を介して提示される画像）と、環境マップの生成または更新に利用する画像と、が時分割で取得される。具体的には、タイミングｔ、ｔ＋２、及びｔ＋４で取得された画像については、表示部に表示されることで医師（ユーザ）に提示される。これに対して、タイミングｔ＋１及びｔ＋３で取得された画像については、環境マップの生成または更新に係る処理に利用される。即ち、当該画像からの特徴点の抽出と、当該特徴点の抽出結果に基づく３次元空間の再構築と、当該３次元空間の再構築を利用した環境マップの生成または更新と、が行われる。
以上のような制御を適用することで、内視鏡装置に対して別途センサを設けなくとも、観察対象物の撮像結果の表示と、環境マップの生成または更新と、の双方を実現することが可能となる。
以上、変形例２として、図１４を参照して、内視鏡装置等の撮像部を利用して、観察対象物の観察に利用する画像と、環境マップの生成または更新に利用する画像と、の双方を個別に取得するための制御方法の一例について説明した。
（変形例３：マスク処理の適用例）
次いで、変形例３として、取得された周囲の環境の情報のうち一部をマスク処理により３次元空間の再構築の対象（換言すると、環境マップの生成または更新の対象）から除外する処理の一例について説明する。例えば、図１５は、変形例３に係る医療用アームシステムの動作について概要を説明するための説明図であり、環境マップの生成または更新に利用する情報の取得に係る制御の一例について示している。
図１５において、参照符号Ｖ１０１は、内視鏡装置（撮像部）により撮像された画像を示している。即ち、図１５に示す例では、内視鏡装置により撮像された画像Ｖ１０１を利用して患者の体腔内を観察しながら、患部に対して各種処置を行うような状況を示している。このような状況下では、患者の体腔内の部位（例えば、臓器等）の他に、患部に対して処置を施すために利用される医療用器具等のような当該部位以外の他の物体が画像中に撮像される場合がある。例えば、画像Ｖ１０１においても、患者の体腔内の部位に加えて医療用器具が撮像されている。このような状況下では、作用点の周囲の３次元空間の再構築に利用される情報（換言すると、環境マップの生成または更新に利用する情報）についても、当該医療用器具に関する情報が取得される場合がある。例えば、参照符号Ｖ１０３は、３次元空間の再構築に利用される情報を示している。即ち、図１５に示す例では、情報Ｖ１０３においても、患者の体腔内の部位に関する情報（例えば、当該部位の特徴点の抽出結果）に加えて、医療用器具に関する情報（例えば、当該医療用器具の特徴点の抽出結果）が取得されている。
一方で、医療用器具については、医師の操作により位置や姿勢が変化するという特性から、患者の体腔内の部位に比べて位置や姿勢が変化する頻度が高い。このような頻繁に動く物体については、環境マップの生成または更新の対象とすると、当該環境マップの生成または更新に係る処理負荷が増大し、ひいては他の処理に影響を及ぼす場合も想定され得る。このような状況を鑑み、位置や姿勢が変化する頻度のより大きい物体については、３次元空間の再構築の対象（ひいては、環境マップの生成または更新の対象）から除外してもよい。また、医療用器具に限らず、血液等のように位置、姿勢、及び形状等が変化する頻度が高い物体（固体または液体等）についても、３次元空間の再構築の対象から除外してもよい。
なお、作用点の周囲の３次元空間の再構築に利用される情報から、除外対象となる物体（例えば、医療用器具、血液等）に関する情報を特定することが可能であれば、その方法は特に限定されない。具体的な一例として、医療用器具が支持されたアーム部１２０の状態（例えば、位置及び姿勢）に応じたアーム情報に基づき、当該医療用器具の位置及び姿勢を認識することが可能である。具体的な一例として、内視鏡装置の位置及び姿勢に基づき認識される当該内視鏡装置の撮像範囲と、医療用器具の位置及び姿勢と、の間の相対的な関係に応じて、撮像画像中における当該医療用器具の位置や姿勢を認識することが可能である。また、除外対象となる物体の形状の特徴や色の特徴を検出することで、当該物体の位置や姿勢を認識することも可能である。以上のようにして取得される、除外対象となる物体の位置及び姿勢の認識結果から、作用点の周囲の３次元空間の再構築に利用される情報における当該物体に相当する領域を特定することで、当該領域に対してマスク処理が施されてもよい。また、他の一例として、作用点の周囲の３次元空間の再構築に利用される情報のうち、位置及び姿勢の変化量が閾値を超える情報（例えば、移動量が閾値を超える特徴点）が、当該３次元空間の再構築の対象から除外されてもよい。
以上、変形例３として、図１５を参照して、取得された周囲の環境の情報のうち一部をマスク処理により３次元空間の再構築の対象（換言すると、環境マップの生成または更新の対象）から除外する処理の一例について説明する。
＜５．５．実施例＞
続いて、実施例として、本実施形態に係る医療用アームシステム１の動作の一例について具体的な例を挙げて説明する。
（実施例１：環境マップを利用した力制御）
まず、実施例１として、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じてアーム部の力制御を行う場合の一例について説明する。
例えば、図１６は、実施例１に係るアーム制御の一例について概要を説明するための説明図である。図１６において、参照符号１０００は、内視鏡装置を示している。即ち、参照符号１００１及び１００３は、内視鏡装置１０００の内視鏡部及びカメラヘッドをそれぞれ示している。また、参照符号Ｍ１０１は、患者の体腔内の部位（例えば、臓器等）を模式的に示している。
実施例１に係るアーム制御では、観察対象部となる部位Ｍ１０１と内視鏡部１００１の先端（換言すると、作用点）との間の位置関係に応じて、内視鏡装置１０００を支持するアーム部１２０の力制御に係るパラメータが調整される。
具体的には、図１６の上図に示す例のように、部位Ｍ１０１と内視鏡部１００１の先端との間の距離が近い場合（例えば、閾値以下の場合）には、アーム部１２０の制御に係る仮想慣性モーメント及び仮想質量がより大きくなるように制御されてもよい。即ち、この場合には、内視鏡装置１０００を操作する医師が、内視鏡のイナーシャや質量を実際よりも重く感じるように調整されることとなり、直接操作時の手振れによる影響を低減させることが可能となる。
これに対して、図１６の下図に示す例のように、部位Ｍ１０１と内視鏡部１００１の先端との間の距離が遠い場合（例えば、閾値を超える場合）には、アーム部１２０の制御に係る仮想慣性モーメント及び仮想質量がより小さくなるように制御されてもよい。即ち、この場合には、内視鏡装置１０００を操作する医師が、内視鏡のイナーシャや質量を実際より軽く感じるように調整されることとなり、軽快な操作感の実現や操作負荷の低減が可能となる。
また、部位Ｍ１０１と内視鏡部１００１の先端との間の距離が近い場合に、クーロン摩擦や粘性摩擦といった摩擦パラメータを大きくなるように、アーム部１２０の動作が制御されてもよい。これにより、内視鏡装置１０００に対して不意に強い力が加えられた場合においても、急激な位置や姿勢の変化を抑制することが可能となる。また、内視鏡装置１０００を等速で動かすような状況下において、医師（操作者）が繊細な力の調整を行わずとも、当該内視鏡装置１０００に対して一定の力がかかった状態が維持されるように制御することも可能となる。
また、図１７は、実施例１に係るアーム制御の他の一例について概要を説明するための説明図である。図１７において、図１６と同様の符号は、図１６に示す例において同符号が付された対象を同様に示している。また、参照符号Ｍ１０３は、患者の体腔内の部位（例えば、臓器等）を模式的に示しており、部位Ｍ１０１とは異なる他の部位に相当する。
例えば、図１７に示す例では、内視鏡装置１０００による撮像された画像からでは、医師が部位Ｍ１０３の存在を確認することが困難な状況を模式的に示している。このような状況においても、例えば、環境マップに基づき当該部位Ｍ１０３と内視鏡装置１０００との間の位置関係を認識することで、部位Ｍ１０３と内視鏡装置１０００との接触が回避されるように、上述したような動力学パラメータを調整することが可能となる。具体的な一例として、図１７に示すように、医師が内視鏡装置１０００を操作した場合に、当該操作により内視鏡装置１０００に加わる力Ｆ１０５を打ち消すような反力Ｆ１０７を発生させるようにアーム部１２０の動作が制御されることで、内視鏡装置１０００と部位Ｍ１０３との接触を回避することが可能となる。
以上、実施例１として、図１６及び図１７を参照して、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じてアーム部の力制御を行う場合の一例について説明した。
（実施例２：環境マップを利用した速度制御）
次いで、実施例２として、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じて作用点の移動に係る速度制御を行う場合の一例について説明する。
例えば、図１８は、実施例２に係るアーム制御の一例について概要を説明するための説明図である。図１８において、図１６及び図１７と同様の符号は、図１６及び図１７に示す例において同符号が付された対象を同様に示している。
実施例２に係るアーム制御では、内視鏡装置１０００の挿入がリモコンや音声指示等により行われる状況下で、観察対象部となる部位Ｍ１０３と内視鏡部１００１の先端（換言すると、作用点）との間の位置関係に応じて、当該内視鏡装置１０００の挿入速度が制御される。
具体的には、図１８の上図に示す例のように、部位Ｍ１０３と内視鏡部１００１の先端との間の距離が近い場合（例えば、閾値以下の場合）には、内視鏡装置１０００の挿入速度がより遅くなるように（例えば、閾値以下となるように）制御されてもよい。これに対して、図１８の下図に示す例のように、部位Ｍ１０３と内視鏡部１００１の先端との間の距離が遠い場合（例えば、閾値を超える場合）には、内視鏡装置１０００の挿入速度がより速くなるように（例えば、閾値を超えるように）制御されてもよい。
また、図１９は、実施例２に係るアーム制御の他の一例について概要を説明するための説明図である。図１９において、図１６及び図１７と同様の符号は、図１６及び図１７に示す例において同符号が付された対象を同様に示している。
例えば、図１９に示す例では、内視鏡装置１０００による撮像された画像からでは、医師が部位Ｍ１０３の存在を確認することが困難な状況を模式的に示している。このような状況においても、例えば、環境マップに基づき当該部位Ｍ１０３と内視鏡装置１０００との間の位置関係を認識することで、部位Ｍ１０３と内視鏡装置１０００との接触を回避することを目的として、内視鏡装置１０００の位置や姿勢の変化に係る速度が制御されてもよい。
具体的な一例として、図１９の上図に示す例のように、部位Ｍ１０１及びＭ１０３のそれぞれと内視鏡部１００１の先端との間の距離が近い場合（例えば、閾値以下の場合）には、内視鏡装置１０００の位置や姿勢の変化に係る速度がより遅くなるように（例えば、閾値以下となるように）制御されてもよい。これに対して、図１９の下図に示す例のように、部位Ｍ１０１及びＭ１０３のそれぞれと内視鏡部１００１の先端との間の距離が遠い場合（例えば、閾値を超える場合）には、内視鏡装置１０００の位置や姿勢の変化に係る速度がより速くなるように（例えば、閾値を超えるように）制御されてもよい。
以上、実施例２として、図１８及び図１９を参照して、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じて作用点の移動に係る速度制御を行う場合の一例について説明した。
（実施例３：環境マップを利用した制御量の調整）
次いで、実施例３として、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じてアーム部の位置や姿勢の変化に係る制御量の調整を行う場合の一例について説明する。
例えば、図２０は、実施例３に係るアーム制御の一例について概要を説明するための説明図である。図２０において、図１６及び図１７と同様の符号は、図１６及び図１７に示す例において同符号が付された対象を同様に示している。
実施例３に係るアーム制御では、内視鏡装置１０００の挿入がリモコンや音声指示等により行われる状況下で、観察対象部となる部位Ｍ１０３と内視鏡部１００１の先端（換言すると、作用点）との間の位置関係に応じて、当該内視鏡装置１０００の挿入に係る移動量が調整される。
具体的には、図２０の上図に示す例のように、部位Ｍ１０３と内視鏡部１００１の先端との間の距離が近い場合（例えば、閾値以下の場合）には、内視鏡装置１０００の挿入に係る移動量がより小さくなるように（例えば、閾値以下となるように）調整されてもよい。これに対して、図２０の下図に示す例のように、部位Ｍ１０３と内視鏡部１００１の先端との間の距離が遠い場合（例えば、閾値を超える場合）には、内視鏡装置１０００の挿入に係る移動量がより大きくなるように（例えば、閾値を超えるように）調整されてもよい。
また、図２１は、実施例３に係るアーム制御の他の一例について概要を説明するための説明図である。図２１において、図１６及び図１７と同様の符号は、図１６及び図１７に示す例において同符号が付された対象を同様に示している。
例えば、図２１に示す例では、内視鏡装置１０００による撮像された画像からでは、医師が部位Ｍ１０３の存在を確認することが困難な状況を模式的に示している。このような状況においても、例えば、環境マップに基づき当該部位Ｍ１０３と内視鏡装置１０００との間の位置関係を認識することで、部位Ｍ１０３と内視鏡装置１０００との接触を回避することを目的として、内視鏡装置１０００の位置や姿勢の変化に係る制御量が調整されてもよい。
具体的な一例として、図２１の上図に示す例のように、部位Ｍ１０１及びＭ１０３のそれぞれと内視鏡部１００１の先端との間の距離が近い場合（例えば、閾値以下の場合）には、内視鏡装置１０００の位置や姿勢の変化に係る制御量（変化量）がより小さくなるように（例えば、閾値以下となるように）調整されてもよい。これに対して、図２１の下図に示す例のように、部位Ｍ１０１及びＭ１０３のそれぞれと内視鏡部１００１の先端との間の距離が遠い場合（例えば、閾値を超える場合）には、内視鏡装置１０００の位置や姿勢の変化に係る制御量（変化量）がより大きくなるように（例えば、閾値を超えるように）調整されてもよい。
以上、実施例３として、図２０及び図２１を参照して、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じてアーム部の位置や姿勢の変化に係る制御量の調整を行う場合の一例について説明した。
（実施例４：環境マップを利用した移動経路の制御例）
続いて、実施例４として、環境マップを利用することで観察対象物に向けて作用点を移動させる経路の計画や、作用点の移動時における経路の制御を行う場合の一例について説明する。
あらかじめ生成された環境マップを利用することで、内視鏡装置１０００による撮像された画像からでは認識することが困難な部位の位置や姿勢を認識することが可能である。このような特性を利用することで、例えば、所望の部位（観察対象物）を観察可能な位置に内視鏡装置１０００を移動させる際に、当該移動の経路をあらかじめ計画することが可能である。
例えば、図２２は、実施例４に係るアーム制御の他の一例について概要を説明するための説明図である。図２２において、図１６及び図１７と同様の符号は、図１６及び図１７に示す例において同符号が付された対象を同様に示している。また、参照符号Ｍ１０５は、患者の体腔内の部位（例えば、臓器等）を模式的に示しており、部位Ｍ１０１及びＭ１０３とは異なる他の部位に相当する。
図２２では、部位Ｍ１０１を観察対象物として、内視鏡装置１０００を、当該部位Ｍ１０１が観察可能な位置まで移動させる状況を模式的に示している。また、図２２に示す例では、観察対象となる部位Ｍ１０１以外にも、部位Ｍ１０３及びＭ１０５が存在している。このような状況下においても、例えば、あらかじめ生成された環境マップを利用することで、部位Ｍ１０１、Ｍ１０３、及びＭ１０５それぞれの位置や姿勢をあらかじめ認識することが可能である。そのため、当該認識結果を利用することで、内視鏡装置１０００と、部位Ｍ１０３及びＭ１０５それぞれと、の接触を回避しながら、部位Ｍ１０１を観察可能な位置に当該内視鏡装置１０００を移動させる経路をあらかじめ計画することが可能である。また、部位Ｍ１０１を観察可能な位置に内視鏡装置１０００を移動させる状況下においても、上記経路に沿って当該内視鏡装置１０００が移動するように制御することも可能である。
以上、実施例４として、図２２を参照して、環境マップを利用することで観察対象物に向けて作用点を移動させる経路の計画や、作用点の移動時における経路の制御を行う場合の一例について説明した。
（実施例５：環境マップを利用した加速度制御）
次いで、実施例５として、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じて作用点の移動に係る加速度制御を行う場合の一例について説明する。
例えば、図２３は、実施例５に係るアーム制御の一例について概要を説明するための説明図である。図２３において、図１６及び図１７と同様の符号は、図１６及び図１７に示す例において同符号が付された対象を同様に示している。
実施例５に係るアーム制御では、内視鏡装置１０００の挿入がリモコンや音声指示等により行われる状況下で、観察対象部となる部位Ｍ１０３と内視鏡部１００１の先端（換言すると、作用点）との間の位置関係に応じて、当該内視鏡装置１０００の位置や姿勢の変化に係る加速度が制御される。
具体的には、図２３の上図に示す例のように、部位Ｍ１０１と内視鏡部１００１の先端との間の距離が近い場合（例えば、閾値以下の場合）には、内視鏡装置１０００の位置や姿勢の変化に係る加速度がより小さくなるように（例えば、閾値以下となるように）制御されてもよい。これに対して、図２３の下図に示す例のように、部位Ｍ１０１と内視鏡部１００１の先端との間の距離が遠い場合（例えば、閾値を超える場合）には、内視鏡装置１０００の位置や姿勢の変化に係る加速度がより大きくなるように（例えば、閾値を超えるように）制御されてもよい。
以上のような制御により、例えば、リモコンやジョイスティック等の操作デバイスを利用して内視鏡装置１０００の位置や姿勢の操作が行われる場合に、その時々の状況に応じて当該操作に対するフィードバックを変化させることが可能となる。これにより、例えば、医師（操作者）に対して、疑似的に操作の重たさをフィードバックすることが可能となる。
以上、実施例５として、図２３を参照して、環境マップを利用することで観察対象物と作用点との間の位置関係を認識し、当該位置関係の認識結果に応じて作用点の移動に係る加速度制御を行う場合の一例について説明した。
（実施例６：物体の表面形状に応じた制御の一例）
続いて、実施例６として、環境マップを利用することで観察対象物の表面形状を認識し、当該観察対象物の表面と作用点との間の位置及び生成の関係に応じて当該作用点の位置及び姿勢の制御を行う場合の一例について説明する。
上述した通り、生成または更新された環境マップを利用することで、作用点（例えば、内視鏡等）の周囲に位置する物体の位置、姿勢、及び形状等を認識することが可能である。即ち、当該物体の表面形状を認識することが可能となる。このような特性を利用することで、例えば、物体の表面に沿って作用点（例えば、医療用器具の先端等）が移動するようにアーム部の動作を制御することも可能である。
また、物体の表面（換言すると、当該表面の法線ベクトル）に対する作用点の姿勢の変化が所定の範囲内に収まるように、アーム部の動作が制御されてもよい。具体的な一例として、内視鏡の光軸と、当該光軸の経路上に位置する物体表面上の点における当該表面の法線ベクトルと、のなす角度の変化が所定の範囲内に収まるように、当該内視鏡の姿勢が制御されてもよい。このような制御により、観察対象物を観察する角度の変化を抑制することが可能となる。
また、他の一例として、観察対象となる物体の表面（換言すると、当該表面の法線ベクトル）に対する術具の姿勢に応じて、内視鏡装置の姿勢（例えば、内視鏡の光軸が向けらえる方向）が制御されてもよい。このような制御により、術具の状態に応じて、観察対象に対するカメラアングルがより好適な状態となるように内視鏡の姿勢を制御することも可能となる。
以上、実施例６として、環境マップを利用することで観察対象物の表面形状を認識し、当該観察対象物の表面と作用点との間の位置及び生成の関係に応じて当該作用点の位置及び姿勢の制御を行う場合の一例について説明した。
（実施例７：取得される情報の信頼度に応じた制御の一例）
続いて、実施例７として、撮像部（内視鏡）等により取得される周囲の空間の情報の信頼度（確からしさ）を評価し、当該評価結果に応じて環境マップの生成または更新を制御する場合の一例について説明する。
例えば、撮像部（内視鏡等）により撮像された画像を環境マップの生成や更新に利用するような状況下では、撮像条件に応じて当該画像中に撮像された物体を認識することが困難な場合がある。具体的な一例として、画像の明るさがより明るく撮像される（例えば、輝度が閾値を超える）白とびと称される現象や、逆に画像の明るさがより暗く撮像される（例えば、輝度が閾値以下となる）黒つぶれと称される現象が発生した場合には、コントラストが低下したり、シグナルノイズ比（ＳＮ比）がより低くなる場合がある。このような場合には、画像中の物体の認識や識別が困難となる場合が想定され、例えば、当該画像から抽出される特徴点の信頼度（確からしさ）が適正露出の場合よりも低下する傾向にある。このような状況を鑑み、環境マップの生成または更新に利用される情報に対して、当該情報の信頼度が関連付けられてもよい。
例えば、図２４は、実施例７に係る環境マップの生成または更新に係る制御の一例について説明するための説明図である。図２４に示す例では、撮像部（内視鏡等）により撮像された画像を環境マップの生成や更新に利用する場合における、当該画像の信頼度を示す信頼度マップの一例が示されている。図２４において、参照符号Ｖ１５１は、白とびが発生した状態で撮像された画像を示している。これに対して、参照符号Ｖ１５５は、適正露出で撮像された画像を示している。また、参照符号Ｖ１５３及びＶ１５７は、画像Ｖ１５１及びＶ１５５それぞれの各画素に対応する情報の信頼度（例えば、抽出される特徴点の信頼度）を２次元上にマッピングした情報（以降では、「信頼度マップ」とも称する）を示している。なお、信頼度マップＶ１５３及びＶ１５７は、信頼度が高い画素ほど、より明るくなるように各画素の情報が設定されている。即ち、白とびが発生している画像Ｖ１５１に対応する信頼度マップＶ１５５は、適正露出で撮像された画像Ｖ１５３に対応する信頼度マップＶ１５７に比べて、各画素の明るさがより暗くなっており、信頼度より低いことがわかる。
以上のような信頼度に基づき、取得された周囲の空間に関する情報を、環境マップの生成または更新に利用するか否かを制御することで、より精度の高い環境マップを構築することが可能となる。具体的な一例として、既に環境マップに適用されている情報（例えば、特徴点）よりも、新たに取得された情報の信頼度が高い場合には、当該取得された情報に基づき環境マップが更新されてもよい。これに対して、既に環境マップに適用されている情報よりも、新たに取得された情報の信頼度が低い場合には、当該取得された情報に基づく環境マップの更新を抑制してもよい。以上のような制御により環境マップが更新されることで、より信頼度の高い環境マップ（例えば、実空間との間の誤差がより小さい環境マップ）を構築することが可能となる。
なお、周囲の環境が時々刻々と変化するような状況も想定され得る。このような状況下では、情報が取得されたタイミングから時間がより経過するほど、当該情報の信頼度がより低下するような状況も想定され得る。そのため、例えば、取得された周囲の空間に関する情報を環境マップの生成や更新に利用した場合においても、当該情報の信頼度を時間の経過とともに減ずることで、周囲の空間の計時変化を考慮した環境マップの生成または更新を実現することも可能となる。例えば、図２５は、実施例７に係る環境マップの生成または更新に係る制御の一例について説明するための説明図であり、時間の経過とともに信頼度を低下させる制御を適用した場合における信頼度マップの一例を示している。
なお、上述した経時変化を考慮した信頼度の制御については、例えば、環境マップ全体で一律で所定値を減ずるように制御が行われてもよいし、各種条件に応じて減ずる位に偏りを持たせてもよい。具体的な一例として、患者の体腔内の環境マップについて生成された環境マップの信頼度を制御する場合には、例えば、組織や部位の種別に応じて減ずる信頼度の値が制御されてもよい。より具体的には、骨は臓器等に比べて経時変化が少ないため、環境マップ中の骨に相当する部分については、臓器に相当する部分に比べて減ずる信頼度の値がより小さく設定されてもよい。また、手術で処置が施される部位の周辺については、他の部分に比べて経時変化が比較的大きい傾向にあるため、当該部位の周辺については、他の部分に比べて減ずる信頼度の値がより大きく設定されてもよい。
また、ＣＴ画像、ＭＲＩ画像、人体モデル等を利用することで、環境マップをあらかじめ構築しておくことも可能である。このような場合には、当該環境マップに関連付けられる信頼度を、内視鏡等で直接観測することで情報が取得される場合の信頼度に対して十分に低く設定しておいてもよい。また、人体の環境マップを事前に構築する場合において、当該人体に関する各種情報が当該環境マップの構築に利用されてもよい。具体的な一例として、身長、体重、胸囲、及び腹囲等の情報を利用することで各種臓器のおおよその位置を推定することが可能であるため、当該推定結果が環境マップに反映されてもよい。
ここで、本実施例に係る環境マップの利用方法の一例について、アーム部に支持された内視鏡装置の操作が行われる場合に着目して説明する。例えば、前立腺がんの手術では処置する部位が広範囲にわたる傾向にあるため、処置の対象となる場所に応じて内視鏡をその都度移動させるような状況が想定され得る。このような状況下で、内視鏡の先端の移動先となる位置に対応する環境マップ中の情報の信頼度が低い場合には、当該環境マップの生成または更新時に情報が取得されていない部位が存在している可能性が高くなる場合がある。このような状況下で、内視鏡を高速に移動させると、情報が取得されていない部位に当該内視鏡が接触する可能性がある。そのため、このような場合には、内視鏡の移動速度を低くしておき、新たに情報が取得されることで、環境マップ中の当該部位に対応する部分の信頼度が高くなった場合に、当該内視鏡の移動速度を改めて制御してもよい（例えば、より高速に移動可能となるように制御してもよい）。これにより、内視鏡と体内の部位との接触を避け、より安全に観察を行うことが可能となる。
また、信頼度に関する情報は、力制御のパラメータ調整に利用することも可能である。具体的な一例として、信頼度が高い位置では、内視鏡の仮想的な質量及び慣性モーメント、並びに摩擦パラメータがより小さい値となるように制御されてもよい。これにより、医師が手で内視鏡装置を直接持って操作する際の負担を軽減することが可能となる。これに対して、信頼度が低い位置においては、上述した各種パラメータがより大きい値となるように制御されてもよい。これにより、不意な動き出しを抑えるような制御が可能となる。
また、信頼度に関する情報は、作用点（例えば、内視鏡等）の移動に係る速度制御に利用することも可能である。具体的な一例として、内視鏡の挿入操作を行うような状況下では、信頼度が低い領域（区間）においては当該挿入係る速度をより低くし、信頼度が高い領域（区間）においては当該挿入係る速度をより高くなるように制御が行われてもよい。このような制御により、例えば、構築済みの環境マップでは空間となっている位置に臓器が移動しているような状況下においても、内視鏡の挿入動作を停止させることで、内視鏡と臓器との接触を避けることが可能となる。これに対して、信頼度が高い場合には、内視鏡を目的の位置までより速やかに移動させることが可能となる。
以上、実施例７として、図２４及び図２５を参照して、撮像部等により取得される周囲の空間の情報の信頼度を評価し、当該評価結果に応じて環境マップの生成または更新を制御する場合の一例について説明した。
（実施例８：予測モデルを利用した制御の一例）
続いて、実施例８として、機械学習に基づき構築した予測モデルを利用して、取得される周囲の空間に関する情報の信頼を評価する場合の一例について説明する。本実施例では、主に、教師あり学習に基づき予測モデルを構築し、構築された当該予測モデルを信頼度の判定に利用する場合の一例について説明する。
まず、図２６を参照して、予測モデル（ＡＩ）の構築方法の一例について説明する。図２６は、実施例８に医療用アームシステムにおける予測モデルを利用した制御の一例について説明するための説明図であり、予測モデルの構築方法の一例を示している。図２６において、参照符号ｐ（ｔ）は、タイミングｔにおけるアーム部１２０の状態に応じたアーム情報を示している。即ち、ｐ（ｔ−ｋ１）、…、ｐ（ｔ−ｋｎ）は、過去に取得されたアーム情報を示している。また、参照符号ｓ（ｔ）は、タイミングｔにおいて取得された、撮像画像等のような周囲の空間に関する情報（以降では、便宜上「センサ情報」とも称する）を示している。即ち、ｓ（ｔ−ｋ１）、…、ｓ（ｔ−ｋｎ）は、過去に取得されたセンサ情報を示している。
図２６に示すように、本実施例では、過去に取得されたアーム情報及びセンサ情報をタイミング（例えば、ｔ−ｋ１、…、ｔ−ｋｎ）ごとに関連付けて教師データとして、教師あり学習に基づき予測モデル（ＡＩ）が構築される。例えば、多層ニューラルネットワークによる機械学習の場合には、過去に取得されたアーム情報及びセンサ情報を学習データとして学習することにより、ニューラルネットワークの入力層、出力層、隠れ層の各層間の重み係数（パラメータ）が調整され、予測モデル（学習済みモデル）が構築される。そのうえで、タイミングｔで取得されたアーム情報ｐ（ｔ）を入力データとして予測モデルに入力することで、当該予測モデルに当該タイミングｔにおけるセンサ情報を予測させる。なお、このときの予測結果として出力される予測データを予測センサ情報ｓ’（ｔ）とする。そのうえで、予測モデルから出力された予測センサ情報ｓ’（ｔ）（即ち、予測データ）と、タイミングｔにおいて実際に取得部に取得されたセンサ情報（ｔ）（即ち、教師データ）と、の比較に基づき誤差が算出され、当該誤差が予測モデルにフィードバックされる。即ち、予測センサ情報ｓ’（ｔ）とセンサ情報（ｔ）との誤差が解消されるように学習が行われることで、予測モデルが更新される。
次いで、図２７を参照して、構築された予測モデルを利用したセンサ情報の信頼度の判定に係る処理の一例について説明する。図２７は、実施例８に医療用アームシステムにおける予測モデルを利用した制御の一例について説明するための説明図であり、予測モデルを利用してセンサ情報の信頼度を判定する方法の一例について示している。
図２７に示すように、本実施例では、過去に取得されたアーム情報及びセンサ情報に基づき構築された予測モデルに対して、タイミングｔで取得されたアーム情報ｐ（ｔ）が入力されることで、予測データとして当該タイミングｔにおける予測センサ情報ｓ’（ｔ）が出力される。そのうえで、タイミングｔにおいて実データとして取得されたセンサ情報ｓ（ｔ）と、当該予測センサ情報ｓ’（ｔ）との間の誤差に応じて信頼度が算出される。即ち、予測モデルの予測が正しいという前提に基づくのであれば、センサ情報ｓ（ｔ）の信頼度は、当該誤差がより大きいほど信頼度が低く、当該誤差がより小さいほど信頼度が高いものと判定することが可能となる。
以上のようにして得られる信頼度の判定結果を利用することで、例えば、白とびや黒つぶれにより、物体の位置や姿勢の認識が困難な領域に関する情報を、環境マップの生成または更新の対象から除外することが可能となる。具体的な一例として、医療用器具等で反射した光により白とびが生じている場合に、当該反射が生じている領域（即ち、白とびが生じている領域）を、環境マップの生成または更新の対象から除外することも可能となる。また、この場合には、他の信頼度が高い部分の情報を利用して、環境マップの生成または更新が部分的に行われてもよい。
また、他の一例として、信頼度が閾値以下の状態（即ち、予測データと実データとの誤差が閾値以上の状態）が所定の期間を超えて継続した場合に、環境マップの更新が行われてもよい。このような制御を適用することで、ノイズにより環境マップの生成または更新が頻繁に行われるような事態の発生を防止することも可能となる。
なお、センサ情報として使用される情報については、環境マップの生成または更新に利用可能であれば特に限定されない。即ち、前述したように、センサ情報として、撮像部による撮像結果、測距センサによる測定結果、パターン光の撮像結果、特殊光の撮像結果、及び偏光イメージセンサによる撮像結果等を利用することが可能である。また、センサ情報として複数種類の情報が利用されてもよい。この場合には、例えば、センサ情報の種類ごとに信頼度判定を行い、それぞれの信頼度の判定結果を加味して、最終的な信頼度が算出されてもよい。
また、学習データとして他の情報を利用することで、予測モデルによる予測の精度を向上させることも可能である。例えば、ＣＴやＭＲＩ等により術前に取得されたデータを、術中に取得されたデータ（例えば、アーム情報、センサ情報、及び予測センサ情報等）と比較することで、予測の精度を向上させることも可能となる。また、手技が行われている環境の情報を利用することも可能である。具体的な一例として、手術ベッドの傾斜情報を利用することで、患者の身体の姿勢の変化を認識することが可能となり、これにより当該姿勢の変化に応じた臓器の形状の変化等を予測することも可能である。これらの情報を利用することで、そのときの状況に応じた予測モデルによる予測結果のずれを補正することも可能となる。
以上、実施例８として、図２６及び図２７を参照して、機械学習に基づき構築した予測モデルを利用して、取得される周囲の空間に関する情報の信頼を評価する場合の一例について説明した。
（実施例９：環境マップの提示）
続いて、実施例９として、環境マップの提示について説明する。環境マップの生成または更新の結果については、例えば、ディスプレイ等の出力部を介して術者（操作者）に提示されてもよい。このとき、例えば、生成または更新された環境マップを人体モデルに重畳表示することで、環境マップが構築されている領域を術者に提示することが可能となる。また、人体モデルに限らず、例えば、術前に取得されたＣＴ画像やＭＲＩ画像等の所謂術前計画情報に対して、生成または更新された環境マップを重畳表示させてもよい。
＜＜６．ハードウェア構成＞＞
続いて、図２８に示す、本開示の一実施形態に係るアーム装置１０及び制御装置２０のように、本実施形態に係る医療用アームシステムを構成する情報処理装置９００のハードウェア構成の一例について説明する。図２８は、本開示の一実施形態に係る情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。また、情報処理装置９００は、入力装置９１５と、出力装置９１７と、のうちの少なくともいずれかを備えてもよい。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図６に示す例における、アーム装置１０のアーム制御部１１０や、制御装置２０の制御部２３０については、ＣＰＵ９０１による実現され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。なお、図６に示す例における記憶部２２０については、例えば、ＲＯＭ９０２、ＲＡＭ９０３、及びストレージ装置９１９のうちの少なくともいずれか、または２以上の組合せにより実現され得る。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。また、図２８では図示しないが、情報処理装置９００は、実行し得る機能に応じて、当該機能を実現するための各種の構成を備えてもよい。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
＜＜７．応用例＞＞
続いて、本開示の一実施形態に係る医療用観察システムの応用例として、図２９を参照して、当該医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明する。
図２９は、本開示の一実施形態に係る医療用観察システムの応用例について説明するための説明図であり、顕微鏡撮像システムの概略的な構成の一例について示している。具体的には、図２９には、本開示の一実施形態に係る顕微鏡撮像システムが用いられる場合の一適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。
例えば、図２９は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図２９を参照すると、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図２９に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
施術台５３０の脇には手術用ビデオ顕微鏡装置５１０が設けられる。手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１と、ベース部５１１から延伸するアーム部５１２と、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５とを備える。アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃと、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂと、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。図２９に示す例では、簡単のため、アーム部５１２は３つの関節部５１３ａ〜５１３ｃ及び２つのリンク５１４ａ、５１４ｂを有しているが、実際には、アーム部５１２及び撮像ユニット５１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ〜５１３ｃ及びリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ〜５１３ｃの駆動軸の方向等が適宜設定されてもよい。
関節部５１３ａ〜５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ〜５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置５１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部５１２の駆動（又は駆動制御）とは、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）、及び、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）を行うことによりアーム部５１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。撮像ユニット５１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図２９に示すように、アーム部５１２の先端に設けられた撮像ユニット５１５が施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２及び撮像ユニット５１５の姿勢や位置が制御される。なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット５１５は、当該アーム部５１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット５１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。即ち、本応用例においては、撮像ユニット５１５または当該撮像ユニット５１５を含む手術用ビデオ顕微鏡装置５１０が、「医療用観察装置」の一例に相当し得る。また本説明では、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明したが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されない。
また、ユーザ５２０と対向する位置には、モニタやディスプレイ等の表示装置５５０が設置される。撮像ユニット５１５によって撮像された施術部位の画像は、表示装置５５０の表示画面に電子画像として表示される。ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
以上のような構成により、手術用ビデオ顕微鏡装置５１０によって施術部位の撮像を行いながら手術を行うことが可能となる。
なお、上記に限らず、本開示の一実施形態に係る医療用観察システムの基本思想を逸脱しない範囲であれば、上述した本開示に係る技術を応用することが可能である。具体的な一例として、上述した内視鏡や施術用顕微鏡を適用したシステムに限らず、所望の形態の撮像装置により患部の画像を撮像することで、当該患部を観察可能とするシステムに対して、上述した本開示に係る技術を適宜応用することが可能である。
以上、本開示の一実施形態に係る医療用観察システムの応用例として、図２９を参照して、当該医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明した。
＜＜８．むすび＞＞
以上説明したように、本開示の一実施形態に係る医療用アームシステムは、アーム部と、制御部とを備える。上記アーム部は、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されている。上記制御部は、上記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように上記アーム部の動作を制御する。上記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持される。上記制御部は、上記取得部により取得された第１の情報と、上記アーム部の状態に応じた上記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも上記作用点の周囲の空間に関する第３の情報を生成または更新する。
以上のような構成により、本開示の一実施形態に係る医療用アームシステムは、アーム部の外部環境（特に、アーム部に支持される医療用器具等の周囲の環境）に関する環境マップを生成または更新し、当該環境マップを利用して観察対象物の位置や姿勢をより正確に認識することが可能となる。特に、本実施形態に係る医療用アームシステムによれば、内視鏡装置の撮像範囲外に位置する物体（例えば、臓器等）の位置や姿勢等を、上記環境マップを利用することで認識することが可能となる。これにより、本実施形態に係る医療用アームシステムは、アーム部の周囲の環境（例えば、観察対象物や周囲の物体の位置や姿勢等）に応じて、より好適な態様でアーム部の動作をより正確に制御することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
具体的な一例として、環境マップの生成や更新の役割を担う装置と、当該環境マップを利用したアーム部の動作の制御の役割を担う装置と、が個別に設けられていてもよい。即ち、ある制御装置が、他の制御装置により生成または更新された環境マップを利用して、自身に関連付けられたアーム部の動作を制御することも可能である。なお、この場合は、例えば、制御装置間において、当該制御装置に関連付けられたアーム部の状態に関する情報（例えば、アーム情報）を交換することで、それぞれが制御対象とするアーム部の状態を互いに認識してもよい。これにより、環境マップを利用する側の制御装置は、自身に関連付けられたアーム部に支持される医療用機器（換言すると、作用点）の環境マップ中における位置及び姿勢を、環境マップの生成や更新を行う側の制御装置に関連付けられたアーム部に支持される医療用器具と間の相対的な関係に応じて認識することが可能となる。
また、環境マップの生成または更新に係る情報を取得する取得部（例えば、内視鏡装置）を支持するアーム部と、当該環境マップを利用して動作が制御されるアーム部と、が異なっていてもよい。これにより、例えば、あるアーム部に支持された内視鏡装置により取得された情報に基づき環境マップの生成または更新を行い、当該環境マップを利用して当該内視鏡装置とは異なる医療用器具を支持する他のアーム部の動作を制御することも可能となる。この場合には、各アーム部に支持された医療用器具（内視鏡装置等）の自己位置については、当該アーム部の状態（例えば、位置及び姿勢）に応じてそれぞれ認識することが可能である。即ち、各医療用器具の自己位置と、環境マップと、を照合することで、当該医療用器具と、当該医療用器具の周囲の空間に位置する他の物体（例えば、臓器等）と、の間の位置や姿勢の関係を認識することが可能となる。もちろん、この場合においても、当該環境マップを利用して取得部を支持するアーム部の動作をあわせて制御することも可能である。
また、上記では、本実施形態に係るアーム制御を、主に医療用アーム装置のアーム部の制御に適用する場合に着目して説明したが、必ずしも本実施形態に係るアーム制御の適用先（換言すると、適用分野）を限定するものではない。具体的な一例として、工業用のアーム装置に対して、本開示の一実施形態に係るアーム制御を適用することも可能である。より具体的な一例として、人が進入することが困難な領域にアーム部を備えた作業用ロボットを侵入させ、当該作業用ロボットを遠隔操作することも可能である。このような場合に、作業用ロボットのアーム部の遠隔操作に対して、本開示の一実施形態に係るアーム制御（即ち、環境マップを利用した制御）を応用することが可能である。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部と、
前記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部と、
を備え、
前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、
前記制御部は、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報を生成または更新する、
医療用アームシステム。
（２）
前記制御部は、前記第２の情報に基づく前記作用点の位置及び姿勢を基準として、当該作用点の位置及び姿勢のうち少なくともいずれかの変化に応じて前記取得部により取得される前記第１の情報に基づき、前記第３の情報を生成または更新する、前記（１）に記載の医療用アームシステム。
（３）
少なくとも一部の前記取得部は、周囲の空間の画像を撮像する撮像部であり、
前記制御部は、前記撮像部による撮像結果に応じた前記第１の情報と、前記第２の情報と、に基づき、前記第３の情報を生成または更新する、
前記（１）または（２）に記載の医療用アームシステム。
（４）
少なくとも一部の前記取得部は、撮像部と、測距センサと、偏光イメージセンサと、ＩＲイメージセンサと、のうちのいずれかである、前記（１）〜（３）のいずれか一項に記載の医療用アームシステム。
（５）
互いに種別の異なる情報を取得する複数の取得部を備え、
前記制御部は、前記複数の取得部それぞれにより取得される前記第１の情報に基づき、前記第３の情報を生成または更新する、
前記（４）に記載の医療用アームシステム。
（６）
前記複数の取得部のうち、
一部の取得部は、前記撮像部であり、
他の取得部は、前記測距センサと、前記偏光イメージセンサと、前記ＩＲイメージセンサと、のうちの少なくともいずれかである、
前記（５）に記載の医療用アームシステム。
（７）
前記複数の取得部のそれぞれは、所定の分岐光学系により分岐された複数の光のうちの一部を個別に検出することで、当該検出結果に応じた前記第１の情報を取得する、前記（６）に記載の医療用アームシステム。
（８）
前記複数の取得部のうちの少なくとも一部は、前記分岐光学系が支持される筐体に対して着脱可能に構成されている、前記（７）に記載の医療用アームシステム。
（９）
少なくとも一部の前記取得部は、複数種類の前記第１の情報を時分割で取得する、前記（４）〜（８）のいずれか一項に記載の医療用アームシステム。
（１０）
少なくとも一部の前記取得部は、前記アーム部に支持された前記医療用器具である、前記（１）〜（９）のいずれか一項に記載の医療用アームシステム。
（１１）
前記医療用器具は、患者の体腔内に挿入される鏡筒を含む内視鏡部を備える、前記（１０）に記載の医療用アームシステム。
（１２）
前記第３の情報の少なくとも一部として、患者の体腔内の空間に関する情報が生成または更新される、前記（１）〜（１１）のいずれか一項に記載の医療用アームシステム。
（１３）
前記制御部は、前記第１の情報のうち、前記患者の体腔内の部位とは異なる物体に関する情報を、前記第３の情報の生成または更新への適用対象から除外する、前記（１２）に記載の医療用アームシステム。
（１４）
前記制御部は、前記第１の情報の確からしさに応じて、当該第１の情報に基づき前記第３の情報の生成または更新を行うか否かを決定する、前記（１）〜（１３）のいずれか一項に記載の医療用アームシステム。
（１５）
少なくとも一部の前記取得部により取得される前記第１の情報は、周囲の空間の撮像結果に応じた情報であり、
当該第１の情報の確からしさは、前記撮像結果に応じた画像の少なくとも一部の輝度に応じて決定される、
前記（１４）に記載の医療用アームシステム。
（１６）
少なくとも一部の前記取得部により取得される前記第１の情報の確からしさは、過去に取得された前記第１の情報と前記第２の情報との組み合わせを学習データとして生成された学習済モデルに基づき判定される、前記（１４）に記載の医療用アームシステム。
（１７）
前記アーム部は、複数のリンクが関節部によって互いに回転可能に構成され、
前記取得部は、前記複数のリンクのうち少なくとも一部のリンクに支持される、
前記（１）〜（１６）のいずれか一項に記載の医療用アームシステム。
（１８）
少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部と、
前記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部と、
を備え、
前記アーム部の少なくとも一部には、前記作用点の周囲の空間に関する第１の情報を取得する取得部が支持され、
前記制御部は、前記第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、前記作用点の周囲の空間に関する第３の情報と、に基づき、前記アーム部の動作を制御する、
医療用アームシステム。
（１９）
前記第３の情報は、前記第１の情報と、前記第２の情報と、に基づき、生成または更新される、前記（１８）に記載の医療用アームシステム。
（２０）
前記制御部は、前記第３の情報に基づき特定される物体と、前記作用点と、の間の相対的な位置関係に応じて、前記アーム部の動作を制御する、前記（１８）または（１９）に記載の医療用アームシステム。
（２１）
前記制御部は、前記物体と前記作用点との間の距離に応じて、前記アーム部に加わる外力に対する反力が発生するように、前記アーム部の動作を制御する、前記（２０）に記載の医療用アームシステム。
（２２）
前記制御部は、前記物体と前記作用点との間の距離に応じて、前記アーム部の移動速度を制御する、前記（２０）に記載の医療用アームシステム。
（２３）
前記制御部は、前記物体と前記作用点との間の距離に応じて、所定の操作に応じた前記アーム部の位置及び姿勢の制御に係る制御量を調整する、前記（２０）に記載の医療用アームシステム。
（２４）
前記制御部は、前記物体の表面に沿って前記作用点が移動するように、前記アーム部の動作を制御する、前記（２０）に記載の医療用アームシステム。
（２５）
前記制御部は、前記物体の表面に対する前記作用点の姿勢の変化が所定の範囲内となるように、前記アーム部の動作を制御する、前記（２４）に記載の医療用アームシステム。
（２６）
前記制御部は、前記第３の情報の生成が行われていない領域と、前記作用点と、の間の相対的な位置関係に応じて、前記アーム部の動作を制御する、前記（１８）〜（２５）のいずれか一項に記載の医療用アームシステム。
（２７）
前記制御部は、前記第３の情報の生成が行われていない領域への前記作用点の進入が抑制されるように、前記アーム部の動作を制御する、前記（２６）に記載の医療用アームシステム。
（２８）
少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部を備え、
前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、
前記制御部は、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報を生成または更新する、
制御装置。
（２９）
少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部を備え、
前記制御部は、前記作用点の周囲の空間に関する第３の情報に基づき、前記アーム部の動作を制御する、
制御装置。
（３０）
コンピュータが、
少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御することを含み、
前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、
前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報が生成または更新される、
制御方法。
（３１）
コンピュータが、
少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御することを含み、
前記作用点の周囲の空間に関する第３の情報に基づき、前記アーム部の動作を制御される、
制御方法。
１ 医療用アームシステム
１０ 支持アーム装置
２０ 制御装置
３０ 表示装置
１１０ アーム制御部
１１１ 駆動制御部
１２０ アーム部
１３０ 関節部
１３１ 関節駆動部
１３２ 関節状態検出部
１３３ 回転角度検出部
１３４ トルク検出部
１４０ 撮像部
２００ 受動関節部
２１０ 入力部
２２０ 記憶部
２３０ 制御部
２４０ 全身協調制御部
２４１ アーム状態取得部
２４２ 演算条件設定部
２４３ 仮想力算出部
２４４ 実在力算出部
２５０ 理想関節制御部
２５１ 外乱推定部
２５２ 指令値算出部
１０００ 内視鏡装置
１００１ 内視鏡部
１００３ カメラヘッド
１００５ 分岐光学系
１００７ 撮像部
１００９ 取得部

Claims (31)

  1. 少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部と、
    前記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部と、
    を備え、
    前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、
    前記制御部は、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報を生成または更新する、
    医療用アームシステム。
  2. 前記制御部は、前記第２の情報に基づく前記作用点の位置及び姿勢を基準として、当該作用点の位置及び姿勢のうち少なくともいずれかの変化に応じて前記取得部により取得される前記第１の情報に基づき、前記第３の情報を生成または更新する、請求項１に記載の医療用アームシステム。
  3. 少なくとも一部の前記取得部は、周囲の空間の画像を撮像する撮像部であり、
    前記制御部は、前記撮像部による撮像結果に応じた前記第１の情報と、前記第２の情報と、に基づき、前記第３の情報を生成または更新する、
    請求項１に記載の医療用アームシステム。
  4. 少なくとも一部の前記取得部は、撮像部と、測距センサと、偏光イメージセンサと、ＩＲイメージセンサと、のうちのいずれかである、請求項１に記載の医療用アームシステム。
  5. 互いに種別の異なる情報を取得する複数の取得部を備え、
    前記制御部は、前記複数の取得部それぞれにより取得される前記第１の情報に基づき、前記第３の情報を生成または更新する、
    請求項４に記載の医療用アームシステム。
  6. 前記複数の取得部のうち、
    一部の取得部は、前記撮像部であり、
    他の取得部は、前記測距センサと、前記偏光イメージセンサと、前記ＩＲイメージセンサと、のうちの少なくともいずれかである、
    請求項５に記載の医療用アームシステム。
  7. 前記複数の取得部のそれぞれは、所定の分岐光学系により分岐された複数の光のうちの一部を個別に検出することで、当該検出結果に応じた前記第１の情報を取得する、請求項６に記載の医療用アームシステム。
  8. 前記複数の取得部のうちの少なくとも一部は、前記分岐光学系が支持される筐体に対して着脱可能に構成されている、請求項７に記載の医療用アームシステム。
  9. 少なくとも一部の前記取得部は、複数種類の前記第１の情報を時分割で取得する、請求項４に記載の医療用アームシステム。
  10. 少なくとも一部の前記取得部は、前記アーム部に支持された前記医療用器具である、請求項１に記載の医療用アームシステム。
  11. 前記医療用器具は、患者の体腔内に挿入される鏡筒を含む内視鏡部を備える、請求項１０に記載の医療用アームシステム。
  12. 前記第３の情報の少なくとも一部として、患者の体腔内の空間に関する情報が生成または更新される、請求項１に記載の医療用アームシステム。
  13. 前記制御部は、前記第１の情報のうち、前記患者の体腔内の部位とは異なる物体に関する情報を、前記第３の情報の生成または更新への適用対象から除外する、請求項１２に記載の医療用アームシステム。
  14. 前記制御部は、前記第１の情報の確からしさに応じて、当該第１の情報に基づき前記第３の情報の生成または更新を行うか否かを決定する、請求項１に記載の医療用アームシステム。
  15. 少なくとも一部の前記取得部により取得される前記第１の情報は、周囲の空間の撮像結果に応じた情報であり、
    当該第１の情報の確からしさは、前記撮像結果に応じた画像の少なくとも一部の輝度に応じて決定される、
    請求項１４に記載の医療用アームシステム。
  16. 少なくとも一部の前記取得部により取得される前記第１の情報の確からしさは、過去に取得された前記第１の情報と前記第２の情報との組み合わせを学習データとして生成された学習済モデルに基づき判定される、請求項１４に記載の医療用アームシステム。
  17. 前記アーム部は、複数のリンクが関節部によって互いに回転可能に構成され、
    前記取得部は、前記複数のリンクのうち少なくとも一部のリンクに支持される、
    請求項１に記載の医療用アームシステム。
  18. 少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部と、
    前記アーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部と、
    を備え、
    前記アーム部の少なくとも一部には、前記作用点の周囲の空間に関する第１の情報を取得する取得部が支持され、
    前記制御部は、前記第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、前記作用点の周囲の空間に関する第３の情報と、に基づき、前記アーム部の動作を制御する、
    医療用アームシステム。
  19. 前記第３の情報は、前記第１の情報と、前記第２の情報と、に基づき、生成または更新される、請求項１８に記載の医療用アームシステム。
  20. 前記制御部は、前記第３の情報に基づき特定される物体と、前記作用点と、の間の相対的な位置関係に応じて、前記アーム部の動作を制御する、請求項１８に記載の医療用アームシステム。
  21. 前記制御部は、前記物体と前記作用点との間の距離に応じて、前記アーム部に加わる外力に対する反力が発生するように、前記アーム部の動作を制御する、請求項２０に記載の医療用アームシステム。
  22. 前記制御部は、前記物体と前記作用点との間の距離に応じて、前記アーム部の移動速度を制御する、請求項２０に記載の医療用アームシステム。
  23. 前記制御部は、前記物体と前記作用点との間の距離に応じて、所定の操作に応じた前記アーム部の位置及び姿勢の制御に係る制御量を調整する、請求項２０に記載の医療用アームシステム。
  24. 前記制御部は、前記物体の表面に沿って前記作用点が移動するように、前記アーム部の動作を制御する、請求項２０に記載の医療用アームシステム。
  25. 前記制御部は、前記物体の表面に対する前記作用点の姿勢の変化が所定の範囲内となるように、前記アーム部の動作を制御する、請求項２４に記載の医療用アームシステム。
  26. 前記制御部は、前記第３の情報の生成が行われていない領域と、前記作用点と、の間の相対的な位置関係に応じて、前記アーム部の動作を制御する、請求項１８に記載の医療用アームシステム。
  27. 前記制御部は、前記第３の情報の生成が行われていない領域への前記作用点の進入が抑制されるように、前記アーム部の動作を制御する、請求項２６に記載の医療用アームシステム。
  28. 少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部を備え、
    前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、
    前記制御部は、前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報を生成または更新する、
    制御装置。
  29. 少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御する制御部を備え、
    前記制御部は、前記作用点の周囲の空間に関する第３の情報に基づき、前記アーム部の動作を制御する、
    制御装置。
  30. コンピュータが、
    少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御することを含み、
    前記アーム部の少なくとも一部には、周囲の空間の情報を取得する取得部が支持され、
    前記取得部により取得された第１の情報と、前記アーム部の状態に応じた前記作用点の位置及び姿勢に関する第２の情報と、に基づき、少なくとも前記作用点の周囲の空間に関する第３の情報が生成または更新される、
    制御方法。
  31. コンピュータが、
    少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部の少なくとも一部を基準として設定された作用点の位置及び姿勢が制御されるように前記アーム部の動作を制御することを含み、
    前記作用点の周囲の空間に関する第３の情報に基づき、前記アーム部の動作を制御される、
    制御方法。

JP2019059940A 2019-03-27 2019-03-27 医療用アームシステム、制御装置、及び制御方法 Pending JP2020156800A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019059940A JP2020156800A (ja) 2019-03-27 2019-03-27 医療用アームシステム、制御装置、及び制御方法
CN202080022981.3A CN113645919A (zh) 2019-03-27 2020-03-19 医疗臂系统、控制装置和控制方法
US17/440,800 US20220168047A1 (en) 2019-03-27 2020-03-19 Medical arm system, control device, and control method
PCT/JP2020/012495 WO2020196338A1 (en) 2019-03-27 2020-03-19 Medical arm system, control device, and control method
EP20716971.5A EP3946129A1 (en) 2019-03-27 2020-03-19 Medical arm system, control device, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059940A JP2020156800A (ja) 2019-03-27 2019-03-27 医療用アームシステム、制御装置、及び制御方法

Publications (1)

Publication Number Publication Date
JP2020156800A true JP2020156800A (ja) 2020-10-01

Family

ID=70166106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059940A Pending JP2020156800A (ja) 2019-03-27 2019-03-27 医療用アームシステム、制御装置、及び制御方法

Country Status (5)

Country Link
US (1) US20220168047A1 (ja)
EP (1) EP3946129A1 (ja)
JP (1) JP2020156800A (ja)
CN (1) CN113645919A (ja)
WO (1) WO2020196338A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7109699B1 (ja) * 2021-07-07 2022-07-29 三菱電機株式会社 遠隔操作システム
WO2022209924A1 (ja) * 2021-03-31 2022-10-06 本田技研工業株式会社 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
WO2022220217A1 (ja) * 2021-04-15 2022-10-20 川崎重工業株式会社 ロボットシステム、その制御方法及び制御プログラム
WO2023047653A1 (ja) * 2021-09-27 2023-03-30 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612306B2 (en) * 2017-11-01 2023-03-28 Sony Corporation Surgical arm system and surgical arm control system
JP2021049597A (ja) * 2019-09-24 2021-04-01 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
GB2588829B (en) * 2019-11-11 2023-11-29 Cmr Surgical Ltd Method of controlling a surgical robot
CN113313106A (zh) * 2021-04-14 2021-08-27 深圳市睿达科技有限公司 一种送料纠偏方法、装置、计算机设备及存储介质
CN115153842B (zh) * 2022-06-30 2023-12-19 常州朗合医疗器械有限公司 双臂机器人导航控制方法、装置、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159328A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用アームシステム、制御装置及び制御方法
JP2018179876A (ja) * 2017-04-19 2018-11-15 株式会社日立製作所 姿勢推定システム、距離画像カメラ、及び姿勢推定装置
US20190000585A1 (en) * 2016-01-25 2019-01-03 Sony Corporation Medical safety control apparatus, medical safety control method, and medical support system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8679125B2 (en) * 2010-09-22 2014-03-25 Biomet Manufacturing, Llc Robotic guided femoral head reshaping
DE102011119608B4 (de) * 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
KR102087595B1 (ko) * 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
KR20150033473A (ko) * 2013-09-24 2015-04-01 삼성전자주식회사 로봇 및 그 제어방법
KR20150128049A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법
US20170251159A1 (en) * 2014-09-17 2017-08-31 Taris Biomedical Llc Method and systems for diagnostic mapping of bladder
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
US10043088B2 (en) * 2016-06-23 2018-08-07 Siemens Healthcare Gmbh Image quality score using a deep generative machine-learning model
DE112018001058B4 (de) 2017-02-28 2020-12-03 Sony Corporation Medizinisches tragarmsystem und steuervorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190000585A1 (en) * 2016-01-25 2019-01-03 Sony Corporation Medical safety control apparatus, medical safety control method, and medical support system
WO2018159328A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用アームシステム、制御装置及び制御方法
JP2018179876A (ja) * 2017-04-19 2018-11-15 株式会社日立製作所 姿勢推定システム、距離画像カメラ、及び姿勢推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
篠原 里代子 RIYOKO SHINOHARA: "固有空間画像照合法を用いた気管支鏡ナビゲーションのための観察部位識別法に関する検討 A study on branc", 情報処理学会研究報告 ＶＯＬ．２００６ ＮＯ．２５ IPSJ SIG TECHNICAL REPORTS, vol. 第2006巻, JPN6022050383, JP, ISSN: 0005016352 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209924A1 (ja) * 2021-03-31 2022-10-06 本田技研工業株式会社 ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
WO2022220217A1 (ja) * 2021-04-15 2022-10-20 川崎重工業株式会社 ロボットシステム、その制御方法及び制御プログラム
JP7109699B1 (ja) * 2021-07-07 2022-07-29 三菱電機株式会社 遠隔操作システム
WO2023047653A1 (ja) * 2021-09-27 2023-03-30 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法

Also Published As

Publication number Publication date
US20220168047A1 (en) 2022-06-02
CN113645919A (zh) 2021-11-12
WO2020196338A1 (en) 2020-10-01
EP3946129A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
JP7003985B2 (ja) 医療用支持アームシステムおよび制御装置
WO2020196338A1 (en) Medical arm system, control device, and control method
WO2018159328A1 (ja) 医療用アームシステム、制御装置及び制御方法
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
JP2018198750A (ja) 医療用システム、医療用支持アームの制御装置、および医療用支持アームの制御方法
US20220192777A1 (en) Medical observation system, control device, and control method
WO2018159336A1 (ja) 医療用支持アームシステムおよび制御装置
WO2021124716A1 (en) Method, apparatus and system for controlling an image capture device during surgery
US20220218427A1 (en) Medical tool control system, controller, and non-transitory computer readable storage
US20230172438A1 (en) Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
JP2018075218A (ja) 医療用支持アーム及び医療用システム
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
US20230142404A1 (en) Medical imaging apparatus, learning model generation method, and learning model generation program
WO2021049220A1 (ja) 医療用支持アーム、及び医療用システム
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
WO2021125056A1 (en) Method, apparatus and system for controlling an image capture device during surgery
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230322