JP2014148037A - マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム - Google Patents

マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム Download PDF

Info

Publication number
JP2014148037A
JP2014148037A JP2013157629A JP2013157629A JP2014148037A JP 2014148037 A JP2014148037 A JP 2014148037A JP 2013157629 A JP2013157629 A JP 2013157629A JP 2013157629 A JP2013157629 A JP 2013157629A JP 2014148037 A JP2014148037 A JP 2014148037A
Authority
JP
Japan
Prior art keywords
force
correction
unit
information
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013157629A
Other languages
English (en)
Other versions
JP6112300B2 (ja
Inventor
Yuko Tsusaka
優子 津坂
Yudai Fudaba
勇大 札場
Jun Ozawa
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013157629A priority Critical patent/JP6112300B2/ja
Publication of JP2014148037A publication Critical patent/JP2014148037A/ja
Application granted granted Critical
Publication of JP6112300B2 publication Critical patent/JP6112300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B25J3/04Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/77Manipulators with motion or force scaling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40138Scaled feedback of forces from slave to master and master to slave

Abstract

【課題】スレーブ機構とマスター機構との間で慣性が異なる場合でもマスター機構に大きな力を加えて大きく移動してしまうことを防ぎ、大きく移動しないように補正しても人がフィードバックされた力を感じることができるマスタースレーブロボットを提供する。
【解決手段】対象物を把持し接触しながら作業を行うマスタースレーブ装置100において、スレーブ機構40に加えられた力情報を計測する力検出部13と、マスター機構33に伝達する力情報の補正開始〜終了時刻までの力補正箇所と、力補正箇所の力情報の絶対値の減少を一定時間維持するようにゲインを決定して補正する第1の方法、又は、力補正箇所の力情報の絶対値を減少させた値以下の範囲内で増減を繰返すようにゲインを決定して補正する第2の方法の補正方法を決定する力補正決定部36と、力補正決定部からの力補正箇所とゲインに基づいて種別の力情報を補正方法で補正する力補正部41とを備える。
【選択図】図2

Description

本発明は、例えばロボットアームマスタースレーブロボットの動作を生成又は教示する
ためのマスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボットの
制御装置を有するマスタースレーブロボット、並びに、マスタースレーブロボットの制御プログラムに関する。本発明は、人の操作時における力計測装置、人の操作をアシストするマスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラムに関する。
近年、人がマスターロボットを遠隔で操作をしてスレーブロボットにより作業を行うマスタースレーブロボットがある。
例えば、人体の腹部に空けた穴に、トロッカーと呼ばれる筒をはめ込み、そのトロッカーからスレーブに固定された専用の内視鏡又は鉗子などの手術器具の先端を体内に挿入し、術者は遠隔でモニタ画面上に映し出された内視鏡の映像を見ながら、マスターを操作してスレーブに固定した鉗子を動かして手術を行う内視鏡手術がある。現場に専門の医師がいなくても遠隔で手術ができる。
また、製造現場では、海外工場にあるスレーブを国内工場から遠隔で教示するマスタースレーブロボットが提案されており、特にフレキシブル基板挿入作業などの熟練を要する作業を、国内工場の熟練者が海外工場のスレーブ機を遠隔で教示することで、場所に問わず教示をすることができる。
いずれのマスタースレーブ方式においても、マスターを操作してスムーズにスレーブを操作する機能に加えて、スレーブにかかる力をマスターにフィードバックする機能が求められる。
しかしながら、スレーブにかかる力をマスターにフィードバックする際に、スレーブが重く、マスターが軽い場合など、両者で慣性力が異なる場合に、スレーブにかかる力をマスターにフィードバックすると、マスターには、スレーブにかかる力に加えて、慣性力が加わるため、マスターに大きな力が加わり、マスターが大きく移動してしまうという課題がある。マスターが大きく移動すると、スレーブも大きく動き、スレーブで把持しているフレキシブル基板などのワークにより作業者又はスレーブに把持した鉗子により生体を傷つけてしまう。
スレーブにかかる力をマスターにフィードバックする方式として、手術ロボットのアーム部及び手術器具に力センサを配置して、鉗子先端にかかる力又はロボットアームに加わる力を検出して、術者にフィードバックしている(特許文献1を参照)。
また、スレーブにかかる力をマスターにフィードバックする提案として、スレーブの先端に加わる力を検出して、検出した力から求めた力積が、所定の閾値以上となった場合に、マスター側にフィードバックされる力の大きさを小さく補正する提案がある(特許文献2を参照)。
さらに、スレーブにかかる力又は速度の情報に基づいて、スレーブにかかる力を拡大してマスターへフィードバックする提案がある(特許文献3を参照)。
特表2011−517419号公報 特開平8−164807号公報 WO 2012/029227号公報
しかしながら、特許文献1では、スレーブにかかる力をマスターへフィードバックすることが可能だが、スレーブとマスターとの間で慣性力が異なる場合に、スレーブにかかる力をマスターにフィードバックすると、マスターにはスレーブにかかる力に加えて、慣性力が加わるため、マスターに大きな力が加わり、マスターが大きく移動してしまう。
特許文献2及び特許文献3では、スレーブにかかる力を補正してマスター機にフィードバックできるため、スレーブとマスターとの間で慣性力が異なる場合でもマスターに大きな力を加えてマスターが大きく移動してしまうことは防ぐことが可能だが、逆に、マスター機にかかる力を小さく補正してフィードバックしてしまうため、人がフィードバックされた力を感じにくいという課題がある。
本発明の目的は、このような課題に鑑みてなされたものであり、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、マスター機構が大きく移動しないように補正しても、人がフィードバックされた力を感じることが可能な、マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラムを提供することにある。
前記目的を達成するために、本発明は以下のように構成する。
本発明の1つの態様によれば、対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とで構成されるマスタースレーブ装置において、
前記スレーブ機構に外部から加えられた力の力情報を取得する力情報取得部と、
前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを決定する力補正決定部と、
前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で補正する力補正部と、
前記力補正部で補正した補正後からの力情報を前記マスター機構に伝達する力伝達部と、
前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報を制御するマスター制御部と、
前記スレーブ機構と前記マスター制御部とに接続され、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するスレーブ制御部とを備えるマスタースレーブロボットの制御装置を提供する。
これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
本発明の前記態様のマスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラムによれば、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、マスター機構が大きく移動しないように補正しても、人がフィードバックされた力を感じることが可能となる。
本発明の第1実施形態におけるマスタースレーブ装置の構成の概要を示す図 本発明の第1実施形態におけるマスタースレーブ装置の詳細構成を示すブロック図 本発明の第1実施形態における力計測装置の詳細構成を示すブロック図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における器具位置検出部の一例を説明する図 本発明の第1実施形態におけるリファレンス情報データベースに関する図 本発明の第1実施形態における計測情報データベースに関する図 本発明の第1実施形態における判定結果通知部の一例を説明する図 本発明の第1実施形態における判定結果通知部の一例を説明する図 本発明の第1実施形態における力の時系列変化を示すグラフ 本発明の第1実施形態における力の時系列変化を示すグラフ 本発明の第1実施形態における力の時系列変化を示すグラフ 本発明の第2実施形態における力の時系列変化を示すグラフ 本発明の第2実施形態における力の時系列変化を示すグラフ 本発明の第2実施形態における力の時系列変化を示すグラフ 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における力計測装置の力計測処理のフローチャート 本発明の第1実施形態における挿入時の力と器具の位置の関係を示すグラフ 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における内視鏡手術の操作を説明する図 本発明の第1実施形態における挿入時の力と器具の位置の関係を示すグラフ 本発明の第1実施形態における挿入時の力と器具の位置の関係を示すグラフ 本発明の第1実施形態における挿入時の力及び器具の位置と時間との関係を示すグラフ 本発明の第1実施形態におけるマスタースレーブ装置のフローチャート 本発明の第2実施形態におけるマスタースレーブ装置の構成の概要を示す図 本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明する図 本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明する図 本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明する図 本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明する図 図16Aに対応した、本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明するフレキシブル基板挿入口付近の平面図 図16Bに対応した、本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明するフレキシブル基板挿入口付近の平面図 図16Cに対応した、本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明するフレキシブル基板挿入口付近の平面図 図16Dに対応した、本発明の第2実施形態におけるフレキシブル基板挿入の操作を説明するフレキシブル基板挿入口付近の平面図 本発明の第2実施形態におけるフレキシブル基板挿入作業の座標系を説明する図 本発明の第2実施形態におけるマスタースレーブ装置のフローチャート 本発明の第2実施形態におけるマスタースレーブ装置の詳細構成を示すブロック図 本発明の第3実施形態におけるマスタースレーブ装置の詳細構成を示すブロック図
以下、本発明の実施の形態について、図面を参照しながら説明する。
図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
本発明の第1態様によれば、対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とで構成されるマスタースレーブ装置において、
前記スレーブ機構に外部から加えられた力の力情報を取得する力情報取得部と、
前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを決定する力補正決定部と、
前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で補正する力補正部と、
前記力補正部で補正した補正後からの力情報を前記マスター機構に伝達する力伝達部と、
前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報を制御するマスター制御部と、
前記スレーブ機構と前記マスター制御部とに接続され、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するスレーブ制御部とを備えるマスタースレーブロボットの制御装置を提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、マスター機構が大きく移動しないように補正しても、人がフィードバックされた力を感じることができる。
本発明の第2態様によれば、前記力補正決定部は、前記第1〜第2の方法に加えて、所定時間経過後に、前記力補正箇所の力情報の絶対値を減少させるようにゲインを決定して補正する第3の方法を加えた3つの方法からいずれか1つの補正方法を決定する、第1の態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、力をフィードバックする前に、フィードバックしていない時間を長くすることで、より作業時に力を感じやすくすることができる。
本発明の第3態様によれば、前記力情報取得部は、
前記対象物が前記被対象物に接触したときの前記力の情報を検出する力検出部と、
前記対象物が前記被対象物に非接触な状態での前記力に関する情報であるリファレンス情報を生成するリファレンス情報生成部と、
前記被対象物に前記対象物を接触させる際に、前記力検出部で取得した力の情報と前記リファレンス情報とから前記対象物が前記被対象物に作用する力を個別に算出する個別力算出部とを備え、
前記力補正決定部は、前記力補正箇所を決定し、前記力補正部で補正する力について、前記力情報取得部で取得した力の情報か、前記対象物が前記被対象物に個別にかかる力かのどちらかの種別の力を決定する第1又は2の態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、計測した力から被対象物に個々にかかる力を算出(推定)することができる。
本発明の第4態様によれば、前記力補正決定部は、前記力情報取得部で取得した力の情報か又は前記対象物が前記被対象物に個別にかかる力かのどちらかの力の種別と、前記対象物もしくは前記被対象物の柔軟性の度合とのいずれか1つ以上の情報に基づいて、前記力補正箇所の力情報の絶対値を減少させるときの補正量を決定する第1〜3のいずれか1つの態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、力の種別又は柔軟性の度合いを考慮して、マスター機構が大きく移動しないように補正する方法を適切に決定できる。
本発明の第5態様によれば、前記力補正決定部は、前記対象物もしくは前記被対象物の作業方向と前記作業方向と交差する方向とを含む複数の方向において柔軟なほど補正量が少なくなるよう決定する第4の態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、作業方向などを考慮して、マスター機構が大きく移動しないように補正する方法を適切に決定できる。
本発明の第6態様によれば、前記力補正決定部は、前記力補正決定部で決定した前記力の種別が、前記対象物が前記被対象物に個別にかかる力として決定したときの補正量を、前記力情報取得部で取得した力の情報として決定したときの補正量より、大きく補正するよう決定する第4の態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、力の種別による補正量の違いを考慮して、マスター機構が大きく移動しないように補正する方法を適切に決定できる。
本発明の第7態様によれば、前記力補正決定部は、前記補正量が所定の補正方法決定用閾値未満の場合は、前記力補正箇所の力情報の絶対値を所定の補正量分だけ減少させるようにゲインを決定して補正する方法を選択し、前記補正量が所定の補正方法決定用閾値以上の場合は、前記第1の方法もしくは前記第2の方法を決定する第1又は4の態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、補正量を考慮して、マスター機構が大きく移動しないように補正する方法を適切に決定できる。
本発明の第8態様によれば、前記リファレンス情報生成部で検出した力若しくは前記個別力算出部で算出した個々の力情報が所定の負荷判定用閾値以上の場合は前記対象物若しくは前記被対象物に負荷が作用していると判定する力判定部を備える第3の態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、対象物又は被対象物に負荷がかかっているかどうかを力判定部で自動的に判定することができる。
本発明の第9態様によれば、前記リファレンス情報生成部で算出した力又は前記個別力算出部で算出した個々の力又は前記力判定部で判定した判定結果を、前記対象物もしくは前記被対象物を撮像した画像に付加して表示する判定結果通知部をさらに備える第2〜8のいずれか1つの態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、対象物又は被対象物に負荷がかかる場合は、判定結果通知部で、撮像した画像と一緒に負荷の状況を人が確認することができる。
本発明の第10態様によれば、前記リファレンス情報生成部で算出した力又は前記個別力算出部で算出した個々の力又は前記力判定部で判定した判定結果を音声で前記人に知らせる判定結果通知部をさらに備える第2〜8のいずれか1つの態様に記載のマスタースレーブロボットの制御装置を提供する。
本構成によって、人は、対象物又は被対象物に負荷がかかる場合は、判定結果通知部により、音声で通知することができる。
本発明の第11態様によれば、第1〜9のいずれか1つの態様に記載の前記マスタースレーブロボットの制御装置と、
前記マスタースレーブ装置と
を備える、マスタースレーブロボットを提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、マスター機構が大きく移動しないように補正しても、人がフィードバックされた力を感じることができる。
本発明の第12態様によれば、対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とを備えるマスタースレーブ装置を制御するマスタースレーブロボットの制御方法であって、
前記スレーブ機構に外部から加えられた力の力情報を力情報取得部で取得し、
前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを力補正決定部で決定し、
前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で力補正部で補正し、
前記力補正部で補正した補正後からの力情報を前記マスター機構に力伝達部で伝達し、
前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報をマスター制御部で制御し、
前記スレーブ機構と前記マスター制御部とに接続されたスレーブ制御部により、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するマスタースレーブロボットの制御方法を提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、マスター機構が大きく移動しないように補正しても、人がフィードバックされた力を感じることができる。
本発明の第13態様によれば、対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とで構成されるマスタースレーブ装置を制御するマスタースレーブロボットの制御プログラムであって、
コンピュータに、
前記スレーブ機構に外部から加えられた力の力情報を力情報取得部で取得するステップと、
前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを力補正決定部で決定するステップと、
前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で力補正部で補正するステップと、
前記力補正部で補正した補正後からの力情報を前記マスター機構に力伝達部で伝達するステップと、
前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報をマスター制御部で制御するステップと、
前記スレーブ機構と前記マスター制御部とに接続されたスレーブ制御部により、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するステップとを実行させるためのマスタースレーブロボットの制御プログラムを提供する。
本構成によって、スレーブ機構とマスター機構との間で慣性が異なる場合でも、マスター機構に大きな力を加えてマスター機構が大きく移動してしまうことを防ぐことに加えて、マスター機構が大きく移動しないように補正しても、人がフィードバックされた力を感じることができる。
(第1実施形態)
まず、本発明の第1実施形態におけるマスタースレーブ装置(マスタースレーブロボット)100の概要について説明する。なお、マスタースレーブ装置100からスレーブ機構40とマスター機構33とを除いた部分を、マスタースレーブロボットの制御装置とも称する。
図1は、マスタースレーブ装置100を使って、術者6aの操作によりスレーブロボット26が生体4の体内に器具を挿入して行なう内視鏡手術の様子を示す。マスタースレーブ装置100は、対象物の一例としての器具、例えば、鉗子2,2a,2bを把持し、被対象物の一例としての患者である人体4に対して接触しながら作業を行うスレーブロボット26を有するスレーブ機構40と、スレーブ機構40を人(術者)6が遠隔により操作するマスターロボット25を有するマスター機構33とで構成されている。
術者6が、内視鏡7で撮影された映像(画像)をモニタ17aで確認しながら、術者6がマスターロボット25を操作すると、鉗子2a,2bを把持しているスレーブロボット26が動作する。なお、以下の説明では、場合によっては、鉗子2a及び鉗子2bに関して、鉗子2aを代表例として説明を行う。
鉗子2aと鉗子2bと内視鏡7とは、人体4の腹部に空けた複数個例えば3個の穴からトロッカー18a、18b、18cをそれぞれはめ込んだ後、それぞれのトロッカー18a、18b、18cの穴に挿入する。
また、力計測装置1、すなわち、力計測装置1a及び力計測装置1bは、一例として、鉗子2aと鉗子2bを、一体型として直接把持するか、又は、ハンドなどで把持しているスレーブロボット26の手先に固定し、鉗子2aと鉗子2bとを体内に挿入する前後において、体内に入らない位置に配置される。別の例としては、力計測装置1a及び力計測装置1bは、スレーブロボット26の手先と生体4の腹壁3との間に固定されていてもよい。言い換えれば、力計測装置1a及び力計測装置1bは、常に、体外に配置されている。力計測装置1(1a,1b)により、体外から、鉗子2aと鉗子2bとをトロッカー18aとトロッカー18bとにそれぞれ挿入するときに作用する力又は腹壁3にかかる力又は鉗子2a,2bの先端が臓器5にかかる力をそれぞれ測定する。それぞれの力計測装置1a,1bで計測した力は、スレーブロボット26からマスターロボット25へフィードバックすることで、術者6は、鉗子2a,2bを直接操作している感覚でスレーブロボット26を操作することができる。さらに、力計測装置1a,1bにより検出した力はモニタ17aに映像とともに表示され、また、各力計測装置1a,1bで腹壁3又は臓器5に負荷がかかっていると判定された場合は、スピーカー17bで術者6へ通知する。
この例では、力計測装置1は、鉗子2a用として力計測装置1aを使用し、鉗子2b用として力計測装置1bを使用する。力計測装置1a及び力計測装置1bは、それぞれ、力計測装置1と全く同一構成である。
また、力計測装置1a,1bの力計測の開始及び終了の指示は、手術台70の側面などに配置された入力IF8により行い、マスターロボット25を操作してスレーブロボット26の挿入作業が開始及び終了と連動して行われる。すなわち、入力IF8は、例えば手術台70の下部に配置され、力計測装置1a,1bの計測の開始及び終了を術者6が指示するための操作インターフェースで、例えばボタンなどで構成される。
次に、第1実施形態のマスターロボット25、スレーブロボット26、及び力計測装置1a,1bの詳細を説明する。図2はマスターロボット25と、スレーブロボット26と、力計測装置1a,1bとの構成図である。図3は、力測定装置1a,1bの詳細な構成図を示す。
《力測定装置1》
力測定装置1(1a,1b)は、体外に配置され、腹壁3にかかる力又は鉗子2a,2bの先端にかかる力を個別に測定する。力測定装置1(1a,1b)は、力情報取得部の一例として機能する。力測定装置1a,1bからは、力検出部13からの出力値と、個別力検出部11で検出した個別力と、力判定部12での判定結果とが、スレーブロボット26の後述する力補正決定部36へ出力される。
第1実施形態の力計測装置1a,1bは、力検出部13と、データベース入出力部14と、計測情報データベース9と、リファレンス情報データベース22と、タイマー10と、器具位置検出部19と、リファレンス情報生成部15と、個別力算出部11と、力判定部12と、判定結果通知部17とを備える。
《力検出部13》
力検出部13は、力情報取得部の別の一例であり、鉗子2a若しくは鉗子2bが、トロッカー18a若しくは18b又は人体4に接触したときの力の情報を、人体4の外部から検出する。例えば、力検出部13の一例として、1軸の方向すなわち挿入方向の力を計測する1軸力センサを採用し、図1に示すように、鉗子2a,2bの体外部分でかつスレーブロボット26の先端にそれぞれ配置する。術者6がマスターロボット25を操作して、鉗子2a若しくは鉗子2bを操作し、鉗子2a,2bがトロッカー18a、18bを通過する際の腹壁3に対する負荷として作用する力T1、又は、鉗子2a,2bの先端が臓器5に作用する力T2を合算して計測する。
例えば、図4に示すように人体4の各部にT1、T2の力が発生した場合、力検出部13では、各力T1,T2を個別に検出できず、それぞれの力の合算値T(この例では、T=T1+T2)を計測する。力検出部13で検出した力の値は、後述するタイマー10を利用して、ある一定時間毎(例えば、4msec毎)に力検出部13で検出され、時刻と共に、後述するデータベース入出力部14に力検出部13から出力され、計測情報データベース9若しくはリファレンス情報データベース22に記憶する。
なお、第1実施形態の力検出部13は、一例として、1軸の方向の力のみを検出する1軸力センサとしている。が、代わりに、力検出部13の別の例として、x、y、z軸の3軸の方向の力を計測可能な力センサ、又は、3軸の方向の力に加えて3軸の方向回りのトルクを計測可能な6軸力センサとしても良い。
《タイマー10》
タイマー10は、データベース入出力部14と接続されて、ある一定時間(例えば、4msec毎)の経過後にデータベース入出力部14を実行させるための指令を出す。
《データベース入出力部14》
データベース入出力部14は、計測情報データベース9と、リファレンス情報データベース22と、力検出部13と、器具位置検出部19と、リファレンス情報生成部15と、個別力算出部11と、力判定部12とのデータの入出力を行う。
《器具位置検出部19》
器具位置検出部19は、体内に挿入する鉗子2a及び鉗子2bの位置若しくは姿勢を取得する位置姿勢取得部の一例として機能する。具体的には、器具位置検出部19は、鉗子2a及び鉗子2bのそれぞれの、臓器5とは反対側の先端位置(図5のP1とP2の位置)を検出して、データベース入出力部14とリファレンス情報生成部15とに出力する。例えば、器具位置検出部19は、図5に示す3軸の磁気式位置計測センサで構成され、それぞれの鉗子2a及び鉗子2bの、臓器5とは反対側の先端位置(図5のP1とP2の位置)に、磁力計測部20を装着し、磁界発生源21により磁界を発生させて、鉗子2a及び鉗子2bの位置P1及びP2を器具位置検出部19で検出する。器具位置検出部19で検出した位置の情報は、タイマー10を利用して、ある一定時間毎(例えば、4msec毎)に検出され、器具位置検出部19から、時刻と共に、後述するデータベース入出力部14に出力され、計測情報データベース9又はリファレンス情報データベース22に記憶する。
なお、一例として、第1実施形態の器具位置検出部19は磁気式としている。が、器具位置検出部19の別の例としては、鉗子2a及び鉗子2bをそれぞれ把持しているスレーブロボット26の手先位置としても良い。また、器具位置検出部19のさらに別の例としては、鉗子2a及び鉗子2bの臓器5とは反対側の先端位置(図5のP1とP2の位置)にマーカを配置し、カメラを用いて鉗子先端のマーカの位置を検出する方式、又は、鉗子先端を赤外線センサで検知する方式でも良い。また、鉗子2a,2bの先端位置を3軸の方向の座標で検出するとしているが、腹壁3部分にてトロッカー18aに対して鉗子2a及び鉗子2bが挿入方向とは直交する方向に移動する場合には、鉗子2a,2bの位置を特定するために、鉗子2a,2bの位置と姿勢とが計測可能な6軸方向の座標(3軸方向の座標と各軸回りの回転角度の座標)を検出するようにしても良い。
《リファレンス情報生成部15》
リファレンス情報生成部15は、器具位置検出部19と力検出部13とデータベース入出力部14とからの情報を基に、鉗子2a,2bが手術部位5に非接触な状態で、力に関する情報であるリファレンス情報を生成して、データベース入出力部14と力判定部12とに出力する。リファレンス情報とは、鉗子2a,2bの先端が腹壁3を通過して生体4の体内に挿入されかつ手術部位5に非接触な状態で、術者6の操作によりスレーブロボット26が鉗子2a,2bを所定の方向に移動させて取得する力に関する情報である。このリファレンス情報は、鉗子2a,2bが体内にかかる力を体外から個別に算出する(個別力を算出する)ときに使用する。具体的には、リファレンス情報は、鉗子2a,2bが腹壁3を通過して体内に挿入されかつ臓器5に接触する前に、器具位置検出部19で検出した鉗子2a,2bの位置(鉗子2aの移動方向)又は姿勢と、さらに力検出部13で検出した力の値と、後述する方法で算出したリファレンス情報用基準点と、時間とを対にした情報である。このリファレンス情報の力の情報は、時系列の力の変位の情報とも言える。
リファレンス情報用基準点は、力検出部13で検出した力の変位が所定の第1閾値(基準点設定用閾値又は第1時点設定用閾値)(例えば、0.1N)以上変化した時点に設定する。ここで述べた「リファレンス情報用基準点」とは、力検出部13で検出した合算の力から、個々にかかる力を個別に計測(算出)するための基準となる時点である。なお、リファレンス情報生成部15は、リファレンス情報生成の開始時点を、最初の基準点として設定する。
リファレンス情報生成部15によるリファレンス情報の生成は、データベース入出力部14を介して入力IF8からのリファレンス情報の生成開始指令により、スレーブロボット26を駆動して鉗子2a,2bの移動を開始し、タイマー10を利用して、ある一定時間毎(例えば、4msec毎)にリファレンス情報生成部15で生成される。リファレンス情報生成部15で生成されたリファレンス情報は、時刻と共に、データベース入出力部14に出力され、リファレンス情報データベース22に記憶する。
具体的には、図10A〜図10Eのうち、図10B〜図10Eのように、体外から鉗子2aをトロッカー18aを介して腹壁3に通過させて、且つ、体内側の先端が臓器5に接触していない状態における鉗子2aの位置と力の情報とをリファレンス情報生成部15で取得し、力の情報から基準点をリファレンス情報生成部15で算出し、鉗子2aの位置と力と基準点とを対としたリファレンス情報をリファレンス情報生成部15で生成する。図10Aの時点では、まだ鉗子2aがトロッカー18aを介して腹壁3を通過していない時点なので、リファレンス情報としてリファレンス情報生成部15で生成しないために、図10Bに到達した時点で、術者6が入力IF8を使用して、リファレンス情報の生成を開始するよう力計測装置1aに指示する。
ここでは、図10A〜図10Eに示すように、鉗子2aを、腹壁3に空けた穴からトロッカー18aを介して、人体4の上方から下方に向かって人体内部に挿入する作業を例に説明する。なお、図10B〜図10Eの状態は、臓器5に鉗子2aが接触していない状態であって、リファレンス情報を生成する状態である。よって、以下のリファレンス情報生成動作は、図10A〜図10Eの状態で行う。
最初に、入力IF8により力計測の開始指令を受けて、力計測装置1aでの力の計測を開始する。
まず、図10IのステップS1では、入力IF8により力計測の終了指令があった場合は、力計測装置1aでの力計測を終了する。力計測の終了指令が無い場合は、力計測処理は次のステップS2へ進む。
次いで、ステップS2では、入力IF8によりリファレンス情報の生成開始指令があった場合は、力計測処理はステップS3へ進む。リファレンス情報の生成開始指令が無い場合は、力計測処理はステップS6へ進む。例えば、1つの手術で、ステップS3及びS4へ進んでステップS5でリファレンス情報を一回生成すれば、次回からは、ステップS2でリファレンス情報の生成開始指令が無しとなり、リファレンス情報を生成することなく、既に生成されたリファレンス情報を使用することができる。
次いで、ステップS3では、図10Aから図10B又は図10Cまで鉗子2aを体内に挿入しかつ臓器5に接触していない状態で、力検出部13により、器具の一例としての鉗子2aにかかる力を体外から検出する(図9B及び図9C参照)。
次いで、ステップS4では、鉗子2aが臓器5に接触していない状態で、器具位置検出部19により、鉗子2aの位置を体外から検出する(図10B及び図10C参照)。
次いで、ステップS5では、リファレンス情報生成部15により、ステップS3で検出した力とステップS4で検出した鉗子2aの位置とから基準点を算出し、リファレンス情報を生成する。具体的には、図10A〜図10Eのうち、図10B〜図10Eのように、体外から鉗子2aを腹壁3に通過させて、且つ、体内側の先端が臓器5に接触していない状態における鉗子2aの位置と力の情報とをリファレンス情報生成部15で取得する。具体的には、鉗子2aを中心位置(図10B参照)から1つの方向に傾斜させて、リファレンス情報を取得する(図10B〜図10C参照)。その後、再び、鉗子2aを中心位置(図10D参照)に戻したのち、次の別の方向に傾斜させるように鉗子2aを動かして、別のリファレンス情報を取得する(図10D〜図10E参照)。以下、このようにして、所定の方向について、それぞれ、リファレンス情報を取得する。次いで、力の情報から基準点をリファレンス情報生成部15で算出する。次いで、鉗子2aの位置と力と基準点とを対としたリファレンス情報をリファレンス情報生成部15で生成する。図10Fは、図10A〜図10Eを上部から見た図である。図10Fに示すように、鉗子2aの先端が腹壁3を通過して生体4の体内に挿入されかつ手術部位5に非接触な状態で、術者6の操作によりスレーブロボット26が、中心から所定方向に対して、鉗子2aを動かすことで、リファレンス情報生成部15によりリファレンス情報を生成する。ここで、所定方向とは、例えば、互いに直交する4方向を含む8方向(上下、左右、斜め右上、斜め左上、斜め右下、斜め左下の方向)であり、鉗子2aを中心位置から1つの方向に傾斜させたのち、再び、中心位置に戻したのち、次の別の方向に傾斜させるように鉗子2aを動かす。リファレンス情報を生成するとき、鉗子2aを中心位置から動かす方向としては、8方向に限定されるものではなく、少なくとも、鉗子2aを体内に挿入する方向に対して交差する少なくとも2方向(例えば、筋肉の筋方向とその筋方向と直交する方向、又は、トロッカー8aの長手方向と長手方向が平行となるように位置した鉗子2aの中心位置に対して、手術部位に近づく方向とその方向と直交する方向)に動かす必要がある。このとき、鉗子2aが臓器に全く接触しないようにする。図10Aの時点では、まだ、鉗子2aが腹壁3を通過していない時点なので、リファレンス情報生成部15によりリファレンス情報として生成しないために、図10Bに到達した時点で、術者6は、入力IF8によりリファレンス情報の生成を開始するよう指示する。
また、第1実施形態では、図10Fに示すように鉗子2aを動作させるとしたが、これに限られるものではない。例えば、図10Gのように鉗子2aを動作させる方向を4方向にしたり、又は、図10Hに示す実線の方向のみ鉗子2aを動作させ、対角の方向(図10Hに示す点線の方向)については、符号を反転してリファレンス情報をリファレンス情報生成部15で自動的に生成しても良い。
以上のステップS2からステップS5がリファレンス情報生成動作である。
なお、以後の動作は、生成されたリファレンス情報を使用しての、力計測処理となるが、簡単に説明しておく。
次いで、ステップS6では、図12Cに示すように、鉗子2aの先端が臓器5に接触している時点で、力検出部13により、体外から鉗子2aにかかる力を検出する。
次いで、ステップS7では、器具位置検出部19より、鉗子2aの位置を体外から検出する。
次いで、ステップS8にて、リファレンス情報選択部16により、個別力を求めるためのリファレンス情報を選択する。
次いで、ステップS9において、リファレンス情報選択部16で選択したリファレンス情報に基づいて、個別力算出部11の演算部11aで個別力を算出する。
以上で、力計測処理を終了する。
図11は、図10B〜図10Eのように、入力IF8によりリファレンス情報の生成を開始した時点からの鉗子2aの位置及び力と時間との関係を示したグラフである。鉗子2aの挿入方向をz軸とし、直交する方向をx軸、y軸とする。
リファレンス生成を開始した時点(図11のt時点)を、最初の基準点としてリファレンス情報生成部15で設定する。次いで、術者6の操作によりスレーブロボット26が、鉗子2aの先端が腹壁3を通過して生体4の体内に挿入されかつ手術部位5に非接触な状態で、鉗子2aを所定方向に移動させつつ、所定の時間が経過する毎に力検出部13で検出した力の変位の絶対値をリファレンス情報生成部15で比較して、その差が所定の第1閾値(例えば、0.1N)以上変化して時点を基準点としてリファレンス情報生成部15で設定する。具体的には、図11の基準点t時点の力をfとし、t01時点での力をf01とし、t02時点の力をf02とすると、Δf01=|f01−f|とΔf02=|f02−f01|とをリファレンス情報生成部15で比較する。次いで、その差が所定の第1閾値以上であるかどうかをリファレンス情報生成部15で算出する。この例では、所定の第1閾値以下であるので、t01時点を基準点としてリファレンス情報生成部15で設定しない。次いで、順次、一定時間毎の力の変位をリファレンス情報生成部15で比較する。次いで、t03時点の力をf03とし、t時点の力をfとし、t11時点の力をf11とする。次いで、Δf=|f−f03|とΔf11=|f11―f|とをリファレンス情報生成部15で比較する。次いで、その差が所定の第1閾値以上であるかどうかをリファレンス情報生成部15で判定する。この例では、所定の第1閾値以上であるので、t時点を基準点としてリファレンス情報生成部15で設定する。次いで、同様の方法で、順次、基準点をリファレンス情報生成部15で設定する。設定した基準点を図11の黒丸「●」で示す。次いで、設定した基準点は、力と位置とを対にしてリファレンス情報として、タイマー10を利用して、ある一定時間毎(例えば、4msec毎)にリファレンス情報生成部15で生成され、時刻と共に、リファレンス情報生成部15からデータベース入出力部14に出力され、リファレンス情報データベース22に記憶し、入力IF8によりリファレンス情報生成の終了を指示する。すなわち、術者6の操作によりスレーブロボット26により、鉗子2aの先端が腹壁3を通過して生体4の体内に挿入されかつ手術部位5に非接触な状態で、鉗子2aを所定方向に移動し終わった時点で、術者6が、入力IF8によりリファレンス情報生成の終了を指示する。
−リファレンス情報データベース22−
リファレンス情報データベース22は、リファレンス情報生成部15で生成されたリファレンス情報を、データベース入出力部14を介して、タイマー10を利用して時刻と共に格納する。また、必要に応じて、リファレンス情報データベース22からリファレンス情報を、データベース入出力部14により読み出す。リファレンス情報は、先に述べたように、力検出部13により検出した力に関する情報と、器具位置検出部19により検出した臓器5に接触する前の鉗子2a,2bの位置と、リファレンス情報生成部15で算出した基準点と、時間とを対にした情報である。
詳しくは、リファレンス情報のうちの力検出部13により検出した力に関する情報と、器具位置検出部19により検出した臓器5に接触する前の鉗子2a,2bの位置と、リファレンス情報生成部15で算出した基準点とが、タイマー10を利用して、ある一定時間毎(例えば、4msec毎)にリファレンス情報生成部15で生成され、時刻と共に、リファレンス情報生成部15からデータベース入出力部14に出力され、リファレンス情報データベース22に記憶する。
図6は、リファレンス情報データベース22のリファレンス情報の内容の一例を示す。
(1)「時刻」の欄は、鉗子2a,2bをそれぞれ挿入している際の時刻に関する情報を示す。第1実施形態では、ミリ秒(msec)単位系で示す。
(2)「力」の欄は、力検出部13により検出した力の情報を示す。なお、第1実施形態では、挿入方向の力はニュートン(N)単位系で示し、回転方向の力はニュートンメートル(Nm)単位系で示す。
(3)「位置」の欄は、器具位置検出部19により検出した鉗子2a,2bの位置それぞれを示す。なお、第1実施形態では、位置についてはメートル(m)単位系で示す。
(4)「基準点」の欄は、リファレンス情報生成部15で設定した基準点を示す。基準点を設定する場合は、該当する時刻欄に「1」を設定し、基準点を設定しない場合には、該当する時刻欄に「0」を設定し、デフォルト値は「0」とする。
(5)「ID」の欄は、リファレンス情報を識別するために用いられる符号である。具体的には、リファレンス情報生成部15で設定した基準点から次の基準点までの間を同じIDを設定する。
《計測情報生成部44》
計測情報生成部44は、器具位置検出部19と力検出部13とデータベース入出力部14とからの情報を基に、計測情報を生成して、データベース入出力部14に出力する。計測情報とは、力検出部13により検出した力に関する情報と、器具位置検出部19により検出した臓器5に接触する前後の鉗子2a及び2bの位置と、後述する個別力算出部11の演算部11aにより算出した力の情報とである。
−計測情報データベース9−
計測情報データベース9は、力検出部13により検出した力に関する情報と、器具位置検出部19により検出した臓器5に接触する前後の鉗子2a,2bの位置とを、データベース入出力部14を介して、タイマー10を利用して、ある一定時間毎(例えば、4msec毎)に計測情報生成部15で生成され、時刻と共に、計測情報生成部15からデータベース入出力部14に出力されて、計測情報として、計測情報データベース9に記憶される。
更に、計測情報データベース9には、これらの情報と、個別力算出部11のリファレンス情報選択部16で選択したリファレンス情報のIDと、個別力算出部11の演算部11aで算出した個別力と、時間とを対にして、格納する。また、必要に応じて、計測情報データベース9から計測情報を、データベース入出力部14により読み出す。
図7は、計測情報データベース9の計測情報の内容の一例を示す。
(1)「時刻」の欄は、鉗子2a,2bをそれぞれ挿入している際の時刻に関する情報を示す。第1実施形態では、ミリ秒(msec)単位系で示す。
(2)「力」の欄は、力検出部13により検出した力の情報を示す。なお、第1実施形態では、挿入方向の力はニュートン(N)単位系で示し、回転方向の力はニュートンメートル(Nm)単位系で示す。
(3)「位置」の欄は、器具位置検出部19により検出した鉗子2a,2bの位置と姿勢とを示す。なお、第1実施形態では、位置についてはメートル(m)単位系で示す。
(4)「リファレンス情報のID」の欄は、個別力算出部11のリファレンス情報選択部16で選択したリファレンス情報のIDを示す。
(5)「個別力」の欄は、個別力算出部11の演算部11aにより算出した力の情報を示す。なお、第1実施形態では、挿入方向の力はニュートン(N)で示し、回転方向の力はニュートンメートル(Nm)で示す。
《個別力算出部11》
個別力算出部11は、臓器5に鉗子2a,2bを接触させる際に、力検出部13で検出した力の情報とリファレンス情報とから臓器5が鉗子2a,2bから作用する力を個別に算出する。具体的には、個別力算出部11は、生体の体内に鉗子2a,2bを挿入する際に、力検出部13で検出した力の変位が第3閾値(個別力算出基準点設定用閾値)以上である個別力算出用基準点を設定し、個別力算出用基準点における鉗子2a,2bの位置と近い位置をリファレンス情報の基準点から順次検索し、検索して合致した位置を含むリファレンス情報をリファレンス情報選択部16で選択し、選択したリファレンス情報から求めた力を、力検出部13で検出した力から減じた値を個別力としての演算部11aで算出する。具体的には、個別力算出部11の演算部11aでは、鉗子2a,2bを臓器5に接触させたときの個別の力を、データベース入出力部14を介して、リファレンス情報データベース22に記憶されたリファレンス情報と力検出部13で検出した力とに基づいて、算出する。個別力算出部11のリファレンス情報選択部16で使用するリファレンス情報は、リファレンス情報データベース22からデータベース入出力部14で読み出されたリファレンス情報の中から、現在(力計測時)の鉗子2a,2bのそれぞれの位置に基づいて、リファレンス情報選択部16により選択される。
リファレンス情報選択部16は、鉗子2a,2bが腹壁3を通過し、臓器5に鉗子先端が接触する前の鉗子2a,2bの位置の中から、現在(力計測時)の鉗子2a,2bの位置(ただし、挿入方向の位置を除く、挿入方向と直交する軸の位置)に最も近いリファレンス情報を選択する。リファレンス情報選択部16で選択したリファレンス情報のIDは、リファレンス情報選択部16から、計測情報データベース9の「リファレンス情報のID」に、データベース入出力部14を介して格納される。
個別力算出部11は、鉗子2a,2bを臓器5に接触させたときの個別の力を、リファレンス情報選択部16で選択したリファレンス情報に基づいて検出する。具体的には、リファレンス情報データベース22からデータベース入出力部14で読み出されたリファレンス情報に基づき、計測したい時点のリファレンス情報をリファレンス情報選択部16により選択する(図10IのステップS8参照)。次いで、その時点の力検出部13の値から、リファレンス情報選択部16で選択したリファレンス情報の力の値を減じた値を、個別力として個別力算出部11の演算部11aで算出する(図10IのステップS9参照)。個別力算出部11の演算部11aで算出した個別力は、データベース入出力部14を介して、個別力算出部11の演算部11aから計測情報データベース9に格納される。
具体例として、図13Aは、リファレンス情報生成部15で生成したリファレンス情報の鉗子2aの位置及び力と時間とのグラフを示す。図13Bは、図12Bを経て図12Cのように臓器5に鉗子2aの先端を接触させたときの鉗子2aの位置及び力と時間とのグラフである。
リファレンス情報選択部16は、図12Cの鉗子2aの位置(ただし、挿入方向の位置を除く、挿入方向と直交する軸の位置)に最も近いリファレンス情報を選択する。
具体的には、まず、図12Cの鉗子2aの力について個別力算出用基準点を個別力算出部11の演算部11aで算出する。算出方法は、リファレンス情報生成部15と同様、力検出部13で検出した力の変位が所定の第3閾値(個別力算出基準点設定用閾値又は第2時点設定用閾値)(例えば、0.1N)以上変化した時点を、個別力算出部11の演算部11aで個別力算出用基準点として設定する。ここで述べた個別力算出用基準点とは、力検出部13で検出した合算の力から、個々にかかる力を個別に算出(計測)するための基準となる時点である。なお、図13Bの開始時点を最初の基準点として個別力算出部11の演算部11aで設定する。個別力算出部11の演算部11aで設定した基準点を、図13Bの白丸「○」で示す。次に、図13Bの基準点間の鉗子2aの位置毎に、挿入方向の位置(図12C、図13Bではz軸方向)を除く、挿入方向と直交する軸の位置(図12C及び図13Bではx軸方向、y軸方向)について、基準点毎に、図13Aのリファレンス情報と個別力算出部11のリファレンス情報選択部16で比較する。この例では、図13Bでx方向とy方向の鉗子2aの位置の時系列情報と最も近い箇所を、図13Aから個別力算出部11の演算部11aで算出する。最も近い箇所の算出方法の一例として、基準点Aと基準点Bとの間の鉗子2aの位置xについて、最小二乗法で直線を個別力算出部11の演算部11aで求め、その直線の傾きと切片とを個別力算出部11の演算部11aで比較する。以上の方法により、この例では、リファレンス情報である図13Aのt時点からt時点までの区間が、計測情報である図13BのtB0〜tB1時点の区間と最も近い区間である、と個別力算出部11のリファレンス情報選択部16で判定する。
従って、図13BのtB0〜tB1時点での個別力を個別力算出部11の演算部11aで算出するためのリファレンス情報は図13Aのt〜t時点として、リファレンス情報選択部16で選択する。同様に、図13BのtB1〜tB2時点でのリファレンス情報をリファレンス情報選択部16で選択する。図13BのtB1時点からtB2時点までの区間は、図13Aのt時点からt時点までの区間と同じであるので、図13BのtB1〜tB2時点での個別力を個別力算出部11の演算部11aで算出するためのリファレンス情報は、図13Aのt〜t時点として、リファレンス情報選択部16で選択する。リファレンス情報選択部16で選択したリファレンス情報のIDは、リファレンス情報選択部16から、計測情報データベース9の「リファレンス情報のID」にデータベース入出力部14を介して格納される。
次いで、リファレンス情報選択部16で選択したリファレンス情報に基づいて、個別力算出部11の演算部11aで個別力を算出する(図10IのステップS9参照)。個別力算出部11の演算部11aで個別力を算出した時点の力検出部13の力から、リファレンス情報選択部16で選択したリファレンス情報の力を基に算出した力を減じた値を、個別力として個別力算出部11の演算部11aで算出する。減じる力を算出する方法の一例として、選択した区間のリファレンス情報の力から、最小二乗法により直線を個別力算出部11の演算部11aで算出する。個別力算出部11の演算部11aで算出した力fを f=at×bとする(aは傾き、bは切片、tは時刻、fは力)。この直線を用いて、減じる力fを個別力算出部11の演算部11aで求め、求めた力を力検出部13で検出した力から減じることで、個別力を個別力算出部11の演算部11aで算出する。
一例として図13A及び図13Bを使って詳細に説明する。選択したリファレンス情報(図13Aのt〜t時点)の区間の力は、図13Aにて、f、f01、f02・・・、fとなっている。力f、f01、f02・・・、fを使って、最小二乗法により直線を個別力算出部11の演算部11aで算出する。図13Aのt〜t時点は傾きがゼロとなるため、図13Cに示すようにf=aFの直線となる。この図13Cのt〜t時点は、時系列での力の変位を示す図である。次に、図13BのtB0時点からtB1時点の個別力は、個別力算出部11の演算部11aで、aFを減じた値とする。具体的には、図13BのtB0時点の力をfB0とすると、tB0時点の個別力=fB0−aFとなる。同様に、tB1時点の力をfB1とすると、tB1時点での個別力=fB1−aFとなる。次に、tB1時点からtB2時点の個別力を個別力算出部11の演算部11aで算出する。tB1時点からtB2時点は、図12Cに示すように、術者6の操作によりスレーブロボット26が臓器5に鉗子2aを除々に強く押し当てている状態である。tB1時点〜tB2時点の個別力を個別力算出部11の演算部11aで算出するためのリファレンス情報は、図13Aのt時点〜t時点として、リファレンス情報選択部16で選択する(図10IのステップS8参照)。同様に、力f、f01、f02・・・、fから最小二乗法により直線を個別力算出部11の演算部11aで求める。この例では、図13Cのようにf=aFとなるため、図13BのtB1時点からtB2時点の個別力は、個別力算出部11の演算部11aにおいて、計測した力から力aFを減じた値とする。この例では、図13BのtB1時点の力をfB1とすると、tB1時点の個別力=fB1−aFとなる。同様に、tB2時点の力をfB2とすると、tB2時点での個別力=fB2−aFとなる。個別力算出部11の演算部11aで算出した個別力は、時刻と共にデータベース入出力部14に出力され、計測情報データベース9に記憶する。
《力判定部12》
力判定部12は、データベース入出力部14と個別力算出部11とリファレンス情報生成部15とからの情報に基づき、リファレンス情報生成部15で生成した力により腹壁3に負荷がかかっているか否かを判定する。具体的には、リファレンス情報生成部15で生成した力が所定の第2閾値(腹壁負荷判定用閾値)(例えば、2N)以上であると力判定部12で判定する場合、リファレンス情報生成部15で生成した力により腹壁3に負荷がかかっていると力判定部12で判定する。さらに、個別力算出部11の演算部11aにより算出した力が所定の第4閾値(臓器負荷判定用閾値)(例えば、2N)以上であると力判定部12で判定する場合は、個別力算出部11の演算部11aにより算出した力により臓器5に負荷がかかっていると力判定部12で判定する。判定結果は、力判定部12から判定に使用した力と共に、判定結果通知部17に出力される。
《判定結果通知部17》
判定結果通知部17は、力判定部12からの情報を基に、力判定部12により判定された結果を術者6に判定結果通知装置などで通知する。判定結果通知部17で術者6に通知する判定結果通知装置としては、例えば、モニタ17a又はスピーカー17bなどが採用できる。具体的には、図8Aのモニタ17aに示すように、鉗子2aがトロッカー18aに接触する力をリファレンス情報生成部15で算出しかつ力判定部12で判定したとき、鉗子2aとトロッカー18aとが表示されている付近に、リファレンス情報生成部15で算出した力又は個別力算出部11の演算部11aで算出した個々の力P[N]を、内視鏡の映像(画像)と共に表示する。その際に、鉗子2aからトロッカー18aを介して腹壁3に負荷がかかっていると力判定部12で判定された場合は、「ALERT」などのように警告力判定部12で判定した判定結果の一例)を判定結果通知部17により表示する。すなわち、この図8Aは、鉗子2aが臓器5に接触せず、リファレンス情報を生成しているときの図を示している。一方、図8Bに示すように、鉗子2aがさらに臓器5に向かって進み、鉗子2aが臓器5に接触したときの力を個別力算出部11の演算部11aで算出したとき、個別力算出部11の演算部11aで算出した個々の力P[N]を内視鏡の映像(画像)と共に表示する。その際、鉗子2aから臓器5に負荷がかかっていると力判定部12で判定された場合には、「ALERT」などのように警告(力判定部12で判定した判定結果の一例)を判定結果通知部17により表示し、そのときの個別力を判定結果通知部17により表示する。また、鉗子2aから負荷がかかっていると力判定部12で判定された場合、前記画像表示に代えて、又は、画像表示に加えて、スピーカー17bにより警告音を鳴らして、術者6に警告を判定結果通知部17により行ってもよい。また、力の大きさを音声で術者6に知らせるようにしてもよい。
《マスタースレーブ装置100、マスターロボット25、スレーブロボット26》
マスタースレーブ装置100は、本発明の第1実施形態における装置全体であり、作業を行うにあたり、術者6が遠隔により操作することができる装置である。マスターロボット25は、術者6が直接触って操作するためのロボットシステムである。スレーブロボット26は、マスターロボット25と離れたところにあり、実際に作業を行うためのロボットシステムである。
《マスター機構33、スレーブ機構40》
マスター機構33は、術者6が直接触って操作するロボットであり、術者6が動かす際のサンプル時間毎の位置情報(例えば、各関節部駆動用のモータの回転角度を検出するエンコーダからの位置情報)を取得し、マスター入出力IF31に出力する。
スレーブ機構40は、鉗子2a,2bを体内へ挿入する作業を行うロボットであり、マスター機構33で取得した位置情報に追従するように動作する。
《タイマー43》
タイマー43は、マスター制御部28及びスレーブ制御部35とそれぞれ接続されて、ある一定時間(例えば、1msec毎)の経過後に、マスター制御部28若しくはスレーブ制御部35を実行させる。なお、図2では、タイマー43が2個配置されているが、これに限られるものではなく、1つのタイマー43がマスター制御部28及びスレーブ制御部35の両方に接続されるようにしてもよい。
《マスター周辺装置30、スレーブ周辺装置39》
マスター周辺装置30は、マスター機構33とマスター制御装置29との間の情報を伝達する。スレーブ周辺装置39も同様に、スレーブ機構40とスレーブ制御装置34との間の情報を伝達する。ここで、マスター周辺装置30は、マスター入出力IF31とマスターモータドライバ32とを備えている。スレーブ周辺装置39は、スレーブ入出力IF37とスレーブモータドライバ38とを備えている。
マスター入出力IF31は、マスター機構33からの位置情報が入力され、その位置情報をマスター制御装置29のマスター制御部28に出力する。また、マスター制御部28からの位置情報を、タイマー43を利用して、ある一定時間毎(例えば、1msec毎)に、マスター入出力IF31を介してマスターモータドライバ32に出力する。マスターモータドライバ32は、マスター入出力IF31からの位置情報が入力されて、その位置情報に追従するようにマスター機構33の複数のリンクを接続する関節部に配置されたモータ(図示せず)を動かして、マスター機構33を動作させる。関節部は、ロボットアームの場合と同様に、従来公知のように、モータの回転角度をエンコーダ(図示せず)で検出しつつモータをマスターモータドライバ32で制御している。
スレーブ入出力IF37は、スレーブ制御部35からの位置情報が入力され、その位置情報をスレーブ周辺装置39のスレーブモータドライバ38に出力する。また、スレーブ機構40からの位置情報(例えば、各関節部駆動用のモータの回転角度を検出するエンコーダからの位置情報)を、タイマー43を利用して、ある一定時間毎(例えば、1msec毎)に、スレーブ入出力IF37を介してスレーブ制御部35に出力する。スレーブモータドライバ38は、スレーブ周辺装置39のスレーブ入出力IF37からの位置情報が入力され、その位置情報に追従するようにスレーブ機構40の複数のリンクを接続する関節部に配置されたモータ(図示せず)を動かして、スレーブ機構40を動作させる。関節部は、ロボットアームの場合と同様に、従来公知のように、モータの回転角度をエンコーダ(図示せず)で検出しつつモータをスレーブモータドライバ38で制御している。
《マスター制御装置29、スレーブ制御装置34》
マスター制御装置29は、マスター制御部28と力伝達部27とタイマー43とを備えている。マスター制御装置29は、マスター機構33が動いた位置情報を、タイマー43を利用して、ある一定時間毎(例えば、1msec毎)に、スレーブ制御装置34に出力することと、スレーブ制御装置34から入力される力情報を術者6に伝達することとの二つの役割を持つ。
マスター制御部28は、術者6が力伝達部27の補正後の力の情報に基づいてマスターマニピュレータすなわちマスター機構33を操作するとき、マスター機構33の操作情報を制御するように、電気信号に変換する。具体的には、マスター制御部28は、マスター入出力IF31からのマスター機構33の位置情報を、タイマー43を利用して、ある一定時間毎(例えば、1msec毎)に、スレーブ制御部35に出力する。また、スレーブ制御部35からの力情報をマスター制御部28を介して力伝達部27に出力する。
スレーブ制御装置34は、スレーブ制御部35と力補正決定部36とタイマー43と力補正部41とを備えている。スレーブ制御装置34は、マスター制御装置29からの位置情報にスレーブ機構40を追従させることと、力測定装置1で取得した力情報を基に力補正決定部36にてマスター制御装置29に伝達する力を決定し、決定した力を力補正部41で補正し、補正した力をマスター制御装置29に力情報として出力することとの二つの役割を持つ。それぞれの力計測装置1a,1bは、図18に示すように、鉗子2a,2bの先端側でかつ体外でスレーブロボット26が配置されている付近に配置する。
スレーブ制御部35は、スレーブ周辺装置39を介してスレーブ機構40と、マスター制御部28とに接続され、マスター制御部28から送られるマスター機構33の操作情報を、スレーブ機構40に伝達する制御信号を出力する。スレーブ制御部35から伝達された制御信号に基づき、スレーブ機構40が操作されてスレーブ動作を行う。
《力伝達部27》
力伝達部27は、後述する補正部41で補正した補正後からの力の情報をマスター機構33に伝達することにより、術者6に伝達する。具体的には、力伝達部27は、スレーブ制御部35からの力情報を目標値として、スレーブ制御部35によりスレーブ機構40を力制御することで、術者6の手に伝達する。力を発生させる方向については、マスター機構33の挿入方向の1軸としたが、挿入方向とその垂直方向の3軸でも良い。
《力補正決定部36》
力補正決定部36は、力計測装置1a,1bから力補正決定部36に入力された力情報から、力補正方法に関する情報を決定し、決定した力補正方法に関する情報を、力情報と共に、力補正決定部36からスレーブ制御部35に出力する。具体的には、力補正決定部36は、力計測装置1a,1bから検出された力情報のうち、どの力検出箇所を補正するかの情報である補正箇所に関する情報と、力補正部41で補正対象とする力の種別と、後述する力補正部41における補正方法とについて、力補正方法に関する情報として決定する。
力補正部41で補正対象とする力の種別とは、力測定装置1a又は1bで測定した個々の個別力と、力検出部13の力とのどちらの力を使用するか、ということを意味する。
力検出箇所の検出方法については、図9A及び図9Bを用いて説明する。図9Aは、スレーブ機構40に配置された力計測装置1a又は1bで検出された力と時間との関係を示すグラフである。この例では、力計測装置1a又は1bの力検出部13で検出された力の情報を示す。
図9Bは、マスター機構33に伝達する力と時間との関係を示すグラフであって、後述する力補正部41により補正された後にマスター機構33に伝達する力情報である。ここで、実線及び白丸は補正前の値であり、破線及び黒丸は補正後の値である。
力測定装置1a又は1bで一定時間毎に取得された力情報(例えば、図9Aの力情報(f11)と力情報(f12)と)を基に、力情報の変位(力情報の差、すなわち、図9Aの(f12)−(f11))が力情報の変位の閾値(変位判定用閾値)(例えば、1.0N)を上回るか否かが力補正決定部36で判定される。
もし、図9Aの(f12)−(f11)が力情報の変位の閾値(変位判定用閾値)(例えば、1.0N)を上回ると力補正決定部36で判定されると、「補正あり」として、スレーブ機構40で把持した鉗子2a又は2bが腹壁3又は臓器5に衝突したり、又は、鉗子2a又は2bから腹壁3又は臓器5に力が強く加わったことを力補正決定部36で検出することになる。ただし、「閾値を上回る」とは、閾値と符号とが同じであり、かつ絶対値が閾値より大きいことを意味する。ここで、「補正あり」とは、力補正部41により補正を行うことを意味する。
一方、力情報の変位((f12)−(f11))が力情報の変位の閾値(変位判定用閾値)を上回らないと力補正決定部36で判定される場合は、「補正なし」として力補正決定部36で検出される。ここで、「補正なし」とは、力補正部41により補正をしないことを意味する。
力補正決定部36により、力計測装置1a又は1bで取得された力情報の変位((f12)−(f11))が閾値(変位判定用閾値)を上回っている時点を「力補正開始時刻」(補正開始時刻)とする(図9AのA1時点)。また、力補正決定部36により、力情報取得部26で取得された力情報の変位((f14)−(f13))が閾値(変位判定用閾値)以下となる時点を「力補正終了時刻」(補正終了時刻)とする(図9AのC1時点)。よって、補正開始時刻から補正終了時刻までの区間が、力補正を行う力補正箇所(補正箇所)となる。
なお、この例では、力の変位を使って補正すべき区間を力補正決定部36により検出しているが、速度の変位又は力と速度との変位の両方を使って区間(力補正箇所又は補正箇所)を力補正決定部36により検出しても良い。
次に、後述する力補正部41で行う補正方法について、力補正決定部36で決定する。
第1に、力補正部41で補正対象とする力の種別を力補正決定部36で決定する。具体的には、力測定装置1a又は1bで測定した個々の個別力及び力検出部13の力のどちらかを力補正決定部36で決定する。力補正箇所決定部36は、内部で保有している決定フラグに基づいて、力補正決定部36で決定した個々の個別力又は力検出部13の力から、マスター制御装置29へ伝達すべき力を決定する。力補正箇所決定部36で設定する決定フラグは、力検出部13の力を伝達する場合は「0」を設定し、力測定装置1a又は1bの個々の力を伝達する場合は「1」を設定する。
第2に、力補正部41で力を補正するための定数kを、力補正決定部36で決定する。定数kは、鉗子2a又は2b又は内視鏡などの対象物、トロッカー18又は臓器5などの被対象物の柔軟度合sと、力計測装置1a又は1bで計測した力の種別fとにより、力補正決定部36で決定する。
柔軟度合sは、一例として、対象物又は被対象物の弾性係数で表し、値が小さくなると柔らかく、値が大きくなると硬くなることを示す。柔軟度合sは、例えば、肝臓の正常部位又は患部又は骨などで柔軟性が異なるとともに、それぞれの部位毎に異なるため、臓器の3次元位置情報と共に、柔軟度合(柔軟性の度合い)を力補正決定部36で決めておいても良い。
力計測装置1a又は1bで計測した力の種別fは、力測定装置1a又は1bで測定した個々の個別力及び力検出部13の力のうち、どちらの力を伝達するかの種別を表す。力検出部13の力を提示する場合は、力の種別fを「2」に設定し、個別の力を提示する場合には、力の種別fを「1」に設定する。
よって、定数kは、定数k=1/(a×s+b×f)の式で、力補正決定部36により算出する。なお、a、b定数であり、(a×s+b×f)の値が1以上となるように力補正決定部36で設定する。
第3に、力補正部41で補正する補正方法について、説明する。補正方法としては、一例として、前記で求めた、補正区間全体をfnew=f12−k×((f12)−(f11))の式で補正する第1の「方法A」(図9Cにて実線が補正前の力情報、破線が補正後の力情報)と、力が増加するまではfnew=f12−k×((f12)−(f11))式を使って力補正決定部36で求め、減少するタイミング以降、補正終了区間まで、先ほど求めた値を引き伸ばして算出する第2の「方法B」(図9B)との2つがある。すなわち、「方法A」は、力補正箇所の力情報の絶対値を所定の補正量分だけ減少させるよう補正する方法である。「方法B」は、力補正箇所の力情報の絶対値を所定の補正量分だけ減少させることを一定時間維持するよう補正する方法である。これらの「方法A」と「方法B」とのうちのどちらかの手法で、力補正部41により補正する。ここで、「力情報の絶対値」という表現を使っているのは、力の正負に関わらず、力が弱くなる方向に補正するためである。力が正の場合は、所定の補正量分だけ減少させると力が弱くなるが、力が負の場合は、所定の補正量分だけ増加させないと力が弱くならない。fnew=f12−k×((f12)−(f11))の式を使うと、fnewの絶対値が減少する計算となる。ちなみに、kは、定数k=1/(a×s+b×f)の式で、(a×s+b×f)の値が1以上と定義しているので、必ず正の値となる。どちらの手法を使うかは、力補正決定部36で、予め決定しておくか、もしくは、先程、決定した定数kの値により、力補正決定部36で決定する。例えば、定数kが所定の閾値(補正方法決定用閾値)(例えば、0.2未満)未満である(言い換えれば、補正量が所定の閾値未満である)と力補正決定部36で判定した場合は、図9Cに示すように「方法A」とする。定数kが前記所定の閾値(補正方法決定用閾値)以上である(言い換えれば、補正量が所定の閾値以上である)と力補正決定部36で判定した場合は、「方法B」と力補正決定部36で決定する。定数kが前記所定の閾値より小さいと力補正決定部36で判定した場合には、fnewとf12の差が小さいため、f12の時点を延長して伝達しなくても十分力を感じることができるため、「方法A」と力補正決定部36で決定する。また、fnewを算出する際に、k×((f12)−(f11))の絶対値がf12の絶対値を超えない範囲で定数kを力補正決定部36で設定する必要がある。
補正すべき区間に関する情報と、前記第1、第2、第3で決定した補正方法と、力計測装置1a又は1bで計測した力に関する情報とは、力補正決定部36から力補正部41へ出力する。
《力補正部41》
力補正部41は、力補正決定部36で決定した補正箇所と補正方法とに従って、補正箇所における力情報を補正方法で補正することにより、力伝達部27でマスター機構33に伝達すべき力を補正する。
具体的には、力補正部41は、力補正決定部36で力補正箇所が「補正なし」と決定した場合は、力測定装置1a又は1bで検出した力を補正せずに、力補正決定部36を介してスレーブ制御部35へ出力する。
力補正部41は、力補正決定部36により力補正箇所が「補正あり」と決定しかつ「力補正開始時刻」を決定した場合には、力測定装置1a又は1bで検出した力を補正し、補正した情報を、力補正決定部36を介してスレーブ制御部35へ出力する。ここで、補正する力の種別は、力補正決定部36により、力測定装置1a又は1bで測定した個々の個別力及び力検出部13の力のどちらか1つに決定する。
次に、力補正決定部36で決定した力と補正方法(「方法A」か、「方法B」か)と定数kとに基づいて、補正を力補正部41で行う。
具体的には、力補正決定部36で「方法A」と決定した場合には、図9Cに示すように、補正区間全体をfnew=f12−k×((f12)−(f11))の式で力補正部41により補正する。
また、力補正決定部36で「方法B」と決定した場合には、図9Bに示すように、力補正開始時点(図9AのA1時点)の力情報の変位(図9Aの(f12)−(f11))において、定数k(例えば、0.5)として、fnew=f12−k×((f12)−(f11))として、力補正部41により補正する。
以降、B1時点までは、順次、同様の方法で力補正部41により補正する。なお、B1時点は、力が増加から減少に転じる時点である。
次に、B1時点から力補正終了時点(図9AのC1時点)まで、B1時点で算出した力を力補正部41により使う。力補正終了時点(図9AのC1時点)で力補正部41による補正を終了する。B1時点から力補正終了時点(図9AのC1時点)まで、B1時点で算出した力を時間的に長めに力補正部41からマスター機構33へ伝達することで、力を小さめに力補正部41で補正しても、感じにくくなることを防ぐ。
第1実施形態におけるマスタースレーブ装置100の操作手順を図14のフローチャートを用いて説明する。図14において、術者6がマスター機構33を直接操作し、スレーブ機構40を動作させて、鉗子2a,2bを臓器5へ接触させたときの力の伝達手順を説明する。
まず、ステップS101では、鉗子2a又は2bを腹壁3又は臓器5に接触させたとき、力測定装置1a又は1bと力検出部13とより力情報を検出し(ステップS2、及び、ステップS6〜ステップS9参照)、力測定装置1a又は1bと力検出部13とから力補正決定部36に出力する。
次いで、ステップS102では、力補正決定部36において、具体的には、力計測装置1a又は1bから検出された力情報のうち、どの箇所を補正するかの情報である補正箇所に関する情報と、力補正部41で補正対象とする力の種別と、力補正部41で力を補正するための定数kと、力補正部41で補正する補正方法と、を決定する。力補正決定部36で決定した補正方法は、力の情報と共に、力補正決定部36から力補正部41へ出力する。
次いで、ステップS103では、力補正決定部36にて決定した補正方法に基づいて、力補正部41により、力を補正する。そして、力補正部41は、補正した情報を、力補正決定部36を介してスレーブ制御部35へ出力する。ただし、力補正決定部36で力補正箇所が「補正なし」と決定した場合は、力補正部41により力測定装置1a又は1bで検出した力を補正せずに、力測定装置1a又は1bで検出した力を、そのまま、力補正部41から力補正決定部36を介してスレーブ制御部35へ出力する。
次いで、ステップS104では、力補正部41からスレーブ制御部35に出力された力情報が、スレーブ制御部35からマスター制御部28に送られ、さらに力伝達部27へと伝達される。力伝達部27に入力された力情報は、術者6の手に伝達される。
《第1実施形態の効果》
以上のように、第1実施形態では、スレーブロボット26のスレーブ機構40とマスターロボット25のマスター機構33との間で慣性が異なる場合でも、力補正決定部36で力情報に対する補正方法を決定して力補正部41で力情報の補正を行い、補正後の力情報に基づいてマスター制御部28及びスレーブ制御部35でマスタースレーブロボットを制御するようにしている。この結果、マスター機構33に大きな力を加えてマスター機構33が大きく移動してしまうことを防ぐことに加えて、マスター機構33が大きく移動しないように補正した際に、術者6がフィードバックされた力を感じることができる。
(第2実施形態)
第2実施形態は、図15に示すように、マスタースレーブ装置(マスタースレーブロボット)100Bを使ってフレキシブル基板45の挿入作業を行う場合を例に説明する。なお、マスタースレーブ装置100Bからスレーブ機構40とマスター機構33とを除いた部分を、マスタースレーブロボットの制御装置とも称する。
まず、本発明の第2実施形態におけるマスタースレーブ装置100Bの概要について説明する。
図15に示すように、一例として、工場内のセル生産で、テレビ又はDVDレコーダ又は携帯電話のなどの機器用のプリント基板47の挿入口46に、フレキシブル基板45を取り付ける作業の教示を例にとって説明する。
よって、マスタースレーブ装置100Bは、ハンド48で対象物の一例としてのフレキシブル基板74を把持し、被対象物の一例としての機器のプリント基板47の挿入口75に対して接触しながら作業を行うスレーブロボット26Bを有するスレーブ機構40と、スレーブ機構40を作業者49が遠隔により操作するマスターロボット25を有するマスター機構33とで構成されている。
マスタースレーブ装置100Bのスレーブロボット26Bは、機器47が設置された作業台50の上部若しくは壁面に設置され、機器の基板47の挿入口46にフレキシブル基板45を挿入する作業を行うロボットである。
作業台50の側面には、ボタンなどが配置された操作盤などの入力IF8を備える。
スレーブロボット26Bの先端には、フレキシブル基板45を把持するハンド48が取り付けられている。
作業台50の側面には、カメラなどの撮像装置44が配置され、フレキシブル基板45又は挿入口46を撮像する。
また、力計測装置1は、ハンド48の手首部に設置され、フレキシブル基板45が基板47又は挿入口46にかかる力を測定する。
作業者49は、撮像装置44で撮像された映像をモニタ17aで確認しながらマスターロボット25を操作すると、スレーブロボット26Bが動作する。力計測装置1で計測した力は、スレーブロボット26Bからマスターロボット25へフィードバックすることで、作業者49は、フレキシブル基板45を直接操作している感覚で、スレーブロボット26Bを教示することができる。教示により生成された動作情報に基づいて、スレーブロボット26Bを自動で動作させる。
マスタースレーブ装置100Bの操作手順の概要を説明する。
作業台50の側面に配置されている入力IF8を使用して作業者49が電源を入れる。
作業者49がマスターロボット25を操作すると、作業者49が加えた力に基づいてスレーブロボット26Bが移動することで、スレーブロボット26Bが動作する。具体的には、図16A〜図16Hに示すように、マスターロボット26Bを操作すると、スレーブロボット26Bによりフレキシブル基板45を挿入口46に挿入する。
図19は、第2実施形態において、マスターロボット25とスレーブロボット26Bと、力計測装置1との構成を示す。第1実施形態との共通部分の説明は省略し、異なる部分のみ以下で説明する。
《力測定装置1》
力計測装置1は、第1実施形態と同様の機能を有し、ハンド48の手首部に設置され、フレキシブル基板45から基板47又は挿入口46にかかる力又はフレキシブル基板45の先端にかかる力を個別に測定する。力測定装置1は、力情報取得部の一例として機能し、少なくとも、力検出部13とリファレンス情報生成部15と個別力算出部11とを備えている。
力測定装置1からは、力検出部13からの出力値と、個別力検出部11で検出した個別力と、力判定部12での判定結果とが、第1実施形態と同様、力補正決定部36へ出力される。力測定装置1は、第1実施形態の力測定装置1と同様な構造を備えている。
《力検出部13》
力検出部13は、第1実施形態と同様の機能を有し、フレキシブル基板45が挿入口46又は機器47などに接触したときの力を検出する。力検出部13は、第1実施形態の力検出部13と同様な構成でもよい。
《器具位置検出部19》
器具位置検出部19は、第1実施形態と同様の機能を有し、器具の一例としてのフレキシブル基板45の、挿入口46側とは反対側の先端位置を検出する。器具位置検出部19は、第1実施形態と同様に、磁気式位置計測センサで先端位置を算出して検出しても良いし、又は、フレキシブル基板45を把持しているスレーブロボット26Bの手先位置を先端位置として検出しても良い。なお、スレーブロボット26Bの手先位置は、スレーブ入出力IFより出力される。
《リファレンス情報生成部15》
リファレンス情報生成部15は、第1実施形態と同様の機能を有し、フレキシブル基板45の挿入口46を通過し、挿入口46の奥に接触する前に器具位置検出部19で検出したフレキシブル基板45の位置と、さらに力検出部13で検出した値と、後述する方法で算出した基準点とを対にした情報であるリファレンス情報を生成する。リファレンス情報の生成動作は、第1実施形態と同様であり、ここでは、挿入口に基板を挿入して、基板の先端が挿入口の奥に接触しない状態で、基板を挿入口に対して傾斜させて、リファレンス情報を生成する。
−リファレンス情報データベース22−
リファレンス情報データベース22は、第1実施形態と同様、力検出部13により検出した力に関する情報と、器具位置検出部19により検出したフレキシブル基板45の位置と、リファレンス情報生成部15で算出した基準点とを対にした情報であるリファレンス情報を、データベース入出力部14を介して、タイマー10を利用して時刻と共に格納する。詳しくは、リファレンス情報のうちの力検出部13により検出した力に関する情報と、器具位置検出部19により検出しかつフレキシブル基板45の挿入口46を通過して挿入口46の奥に接触する前のフレキシブル基板45の位置と、リファレンス情報生成部15で算出した基準点とが、タイマー10を利用して、ある一定時間毎(例えば、4msec毎)にリファレンス情報生成部15で生成され、時刻と共に、リファレンス情報生成部15からデータベース入出力部14に出力され、リファレンス情報データベース22に記憶する。
−計測情報データベース9−
計測情報データベース9は、力検出部13により検出した力に関する情報と、器具位置検出部19により検出した挿入口46の奥に接触する前後のフレキシブル基板45の位置とを、データベース入出力部14を介して、タイマー10を利用して、ある一定時間毎(例えば、4msec毎)に計測情報生成部15で生成され、時刻と共に、計測情報生成部15からデータベース入出力部14に出力されて、計測情報として、計測情報データベース9に記憶される。
《個別力算出部11》
個別力算出部11の演算部11aでは、第1実施形態と同様の機能を有し、フレキシブル基板45を挿入口46の奥に接触させたときの個別の力を、データベース入出力部14を介して、リファレンス情報データベース22に記憶されたリファレンス情報と力検出部13で検出した力とに基づいて、算出する。個別力算出部11のリファレンス情報選択部16で使用するリファレンス情報は、リファレンス情報データベース22からデータベース入出力部14で読み出されたリファレンス情報の中から、現在(力計測時)のフレキシブル基板45の位置に基づいて、リファレンス情報選択部16により選択される。
リファレンス情報選択部16は、フレキシブル基板45が挿入口46を通過し、挿入口46の奥46aにフレキシブル基板45が接触する前のフレキシブル基板45の位置の中から、現在(力計測時)のフレキシブル基板45の位置(ただし、挿入方向の位置を除く、挿入方向と直交する軸の位置)に最も近いリファレンス情報を選択する。リファレンス情報選択部16で選択したリファレンス情報のIDは、リファレンス情報選択部16から計測情報データベース9の「リファレンス情報のID」に、データベース入出力部14を介して格納される。
個別力算出部11は、フレキシブル基板45を挿入口の奥46aに接触させたときの個別の力を、リファレンス情報選択部16で選択したリファレンス情報に基づいて検出する。具体的には、リファレンス情報データベース22からデータベース入出力部14で読み出されたリファレンス情報に基づき、計測したい時点のリファレンス情報をリファレンス情報選択部16により選択する。次いで、その時点の力計測部13の値から、リファレンス情報選択部16で選択したリファレンス情報の力の値を減じた値を、個別力として個別力算出部11の演算部11aで算出する。個別力算出部11の演算部11aで算出した個別力は、データベース入出力部14を介して、個別力算出部11の演算部11aから計測情報データベース9に格納される。
《力判定部12》
力判定部12は、データベース入出力部14と個別力算出部11とリファレンス情報生成部15とからの情報に基づき、リファレンス情報生成部15で生成した力によりフレキシブル基板45又は挿入口46に負荷がかかっているか否かを判定する。具体的には、リファレンス情報生成部15で生成した力が所定の第2閾値(フレキシブル基板又は挿入口負荷判定用閾値)(例えば、2N)以上であると力判定部12で判定する場合、リファレンス情報生成部15で生成した力によりフレキシブル基板45又は挿入口46に負荷がかかっていると力判定部12で判定する。
《判定結果通知部17》
判定結果通知部17は、力判定部12からの情報を基に、力判定部12により判定された結果を作業者49に判定結果通知装置などで通知する。判定結果通知部17で作業者49に通知する判定結果通知装置としては、例えば、モニタ17a又はスピーカー17bなどが採用できる。
《マスター機構33、スレーブ機構40》
マスター機構33は、作業者49が直接触って操作するロボットであり、作業者49が動かす際のサンプル時間毎の位置情報を取得し、マスター入出力IF31に出力する。
スレーブ機構40は、フレキシブル基板45を挿入口46へ挿入する作業を行うロボットであり、マスター機構33で取得した位置情報に追従するように動作する。
《力補正決定部36》
力補正決定部36は、力計測装置1から力補正決定部36に入力された力情報から、力補正方法に関する情報を決定し、決定した力補正方法に関する情報を、力情報と共に、力補正決定部36からスレーブ制御部35に出力する。具体的には、力補正決定部36は、力計測装置1から検出された力情報のうち、どの力検出箇所を補正するかの情報である補正箇所に関する情報と、力補正部41で補正対象とする力の種別と、後述する力補正部41における補正方法とについて、力補正方法に関する情報として決定する。
第1に、力補正部41で補正対象とする力の種別を力補正決定部36で決定する。種別は、第1実施形態と同様の方法で、力補正決定部36で決定する。
第2に、力補正部41で力を補正するための定数kを、力補正決定部36で決定する。定数kは、フレキシブル基板45などの対象物又は挿入口46又は機器47などの被対象物の柔軟度合sと、力計測装置1で計測した力の種別fとにより、力補正決定部36で決定する。これは、力補正決定部36は、力測定装置1で測定した個々の個別力と、力検出部13の力とのどちらかの力の種別と、柔軟度合sとのいずれか1つ以上の情報に基づいて、力補正箇所の力情報の絶対値を減少させるときの補正量を決定することを意味する。
フレキシブル基板45は、構造上、曲がりやすい方向と曲がりにくい方向とがある。図17に示すz方向又はy方向は、プラスマイナスいずれの方向も力を加えると曲がりやすい。一方、x方向は、力を加えると曲がりにくい。そこで、力補正決定部36により、柔軟度合sは、フレキシブル基板45が曲がりやすい方向には柔軟度合sを小さく、フレキシブル基板45が曲がりにくい方向には柔軟度合sを大きく設定する。よって、力補正決定部36により、対象物もしくは被対象物の作業方向と作業方向と交差する方向とを含む複数の方向において、柔軟なほど(曲がりやすく、柔軟度合sを小さくするほど)補正量が少なくなるよう決定することを意味している。例えば、6軸検出可能な力検出部13を備えている場合は、6軸それぞれで柔軟度合sを変更しても良い。
さらに第1実施形態と同様、力検出部13の力を提示する場合は、力の種別fを「2」に設定し、個別の力を提示する場合には、力の種別fを「1」に設定する。
また、定数kは、定数k=1/(a×s+b×f)の式で、力補正決定部36により算出する。なお、a、b定数である。このように定数kを算出することにより、結果として、補正決定部36は、力補正決定部36で決定した力の種別fが、対象物が被対象物に個別にかかる力として決定したときの補正量を、力検出部13で取得した力の情報として決定したときの補正量より、大きく補正するよう決定することを意味している。
第3に、力補正部41で補正する補正方法は、第1実施形態と同様の方法で決定する。
《力補正部41》
力補正部41は、第1実施形態と同様に、力補正決定部36で決定した補正箇所と補正方法とに従って、力伝達部27でマスター機構33に伝達すべき力を補正する。
例えば、力補正部41は、力補正決定部36で力補正箇所が「補正なし」と決定した場合は、力測定装置1で検出した力を補正せずに、力補正決定部36を介してスレーブ制御部35へ出力する。
また、力補正部41は、力補正決定部36で力補正箇所が「補正あり」と決定した場合には、力測定装置1で測定した力情報を補正した値を、マスターロボット25にフィードバックする力として算出する。
《スレーブ動作生成部51》
スレーブ動作生成部51は、マスターロボット26Bを教示中に、力測定装置1で取得した力情報と負荷の判定結果とを基に、例えば、対象物又は被対象物(フレキシブル基板45又は挿入口46)に所定以上の負荷が作用したときにスレーブ動作を停止したり、マスターロボット26Bの教示後に記録した計測情報データベース9の位置情報を基に、スレーブロボット25を自動で動作するための動作を生成する。計測情報データベース9の位置情報を一定時間毎にスレーブ動作生成部51からスレーブ制御部35へ出力することで、スレーブ制御部35でスレーブロボット25を自動で動作させることができる。さらに、マスターロボット26Bで提示する力の補正を力補正部41で行った場合には、補正の前後で位置が振動する箇所がある場合は、スレーブ動作生成部51において、スレーブ動作生成部51に備えられたローパスフィルタなどを使って平滑化することで動作に修正する。ここで、補正の前後で位置が振動する箇所があるか否かは、一例として、以下のようにして判定する。一定時間毎(例えばt)に取得された位置情報の変位の符号(正か負)が前の変位の符号と変化した場合を1とし、変化しない場合を0とする。そして、一定時間毎(例えば、時間t、時間tより長い。具体的には時間tを6つ含む長さ)に、符号が変化した数が所定の閾値以上(例えば3)の場合を、「振動する箇所」と判定する。
次に、第2実施形態におけるマスタースレーブ装置100Bの操作手順を図18のフローチャートを用いて説明する。図18において、作業者49がマスター機構33を直接操作し、スレーブ機構40を動作させて、フレキシブル基板45を挿入口46へ接触させたときの力の伝達手順を説明する。
まず、ステップS201では、フレキシブル基板45を挿入口46に接触させたとき、力測定装置1と力検出部13とより力情報を検出し、力測定装置1と力検出部13とから力補正決定部36に出力する。
次いで、ステップS202では、力判定部12で、フレキシブル基板45又は挿入口46に負荷がかかっているか否かを判定する。負荷があると力判定部12で判断された場合は、ステップS203で、スレーブ動作生成部51により、動作を停止するよう動作を生成し、ステップ204により、スレーブ動作生成部51からの指令により、スレーブ機構40を制御する。ステップS202にて、負荷がないと力判定部12で判断された場合には、ステップS205に進む。
次いで、ステップS205では、力補正決定部36において、具体的には、力計測装置1から検出された力情報のうち、どの箇所を補正するかの情報である補正箇所に関する情報と、力補正部41で補正対象とする力の種別と、力補正部41で力を補正するための定数kと、力補正部41で補正する補正方法と、を決定する。力補正決定部36において、定数kは、フレキシブル基板45の曲がりやすさの違いを方向別に算出して決定する。力補正決定部36で決定した補正方法は、力の情報と共に、力補正決定部36から力補正部41へ出力する。
次いで、ステップS206では、力補正決定部36にて決定した補正方法に基づいて、力補正部41により、力を補正する。そして、力補正部41は、補正した情報を、力補正決定部36を介してスレーブ制御部35へ出力する。ただし、力補正決定部36で力補正箇所が「補正なし」と決定した場合は、力補正部41により力測定装置1で検出した力を補正せずに、力測定装置1で検出した力を、そのまま、力補正部41から力補正決定部36を介してスレーブ制御部35へ出力する。
次いで、ステップS207では、力補正部41からスレーブ制御部35に出力された力情報が、スレーブ制御部35からマスター制御部28に送られ、さらに力伝達部27へと伝達される。力伝達部27に入力された力情報は、作業者49の手に伝達される。
《第2実施形態の効果》
以上のように、第2実施形態では、マスタースレーブ装置100Bを使ってフレキシブル基板挿入作業を行う場合に、スレーブロボット26Bのスレーブ機構40とマスターロボット25のマスター機構33と間で慣性が異なる場合でも、力補正決定部36で力情報に対する補正方法を決定して力補正部41で力情報の補正を行い、補正後の力情報に基づいてマスター制御部28及びスレーブ制御部35でマスタースレーブロボットを制御するようにしている。さらに、このようにマスタースレーブロボットを制御するとき、スレーブ動作生成部51により、マスターロボット26Bを教示中にフレキシブル基板45又は挿入口46に過負荷が作用したときにはスレーブ動作を停止したり、マスターロボット26Bの教示後にスレーブロボット25を自動で動作するための動作を生成して、スレーブ制御部35でスレーブロボット25を自動で動作させることができる。また、スレーブ動作生成部51により、力補正時には、位置の振動を平滑化して動作修正することもできる。この結果、マスター機構33に大きな力を加えてマスター機構33が大きく移動してしまうことを防ぐことに加えて、マスター機構33が大きく移動しないように補正しても、作業者49がフィードバックされた力を感じることができる。
(第3実施形態)
第3実施形態は、第2実施形態と同様に、図15に示すように、マスタースレーブ装置(マスタースレーブロボット)100Cを使ってフレキシブル基板45の挿入作業を行う場合を例に説明する。なお、マスタースレーブ装置100Cからスレーブ機構40とマスター機構33とを除いた部分を、マスタースレーブロボットの制御装置とも称する。
図20は、第3実施形態の力計測装置1と、マスターロボット25と、スレーブロボット26Cとの構成を示す。第2実施形態との共通部分の説明は省略し、異なる部分のみ以下で説明する。
《力補正決定部36》
力補正決定部36は、力計測装置1から力補正決定部36に入力された力情報から、力補正方法に関する情報を決定し、決定した力補正方法に関する情報を、力情報と共に、力補正決定部36からスレーブ制御部35に出力する。具体的には、力補正決定部36は、力計測装置1から検出された力情報のうち、どの力検出箇所を補正するかの情報である補正箇所に関する情報と、力補正部41で補正対象とする力の種別と、後述する力補正部41における補正方法とについて、力補正方法に関する情報として決定する。
第1に、力補正部41で補正対象とする力の種別を力補正決定部36で決定する。種別は、第1実施形態と同様の方法で、力補正決定部36で決定する。
第2に、力補正部41で力を補正するためのスレーブロボット26Cのスレーブ機構40の慣性力を、力補正決定部36内のスレーブ慣性力算出部52で算出する。
力補正決定部36は、第1実施形態と同様に力種別などを決定する力補正決定本体部と、後述するようにスレーブ機構40の慣性力を算出するスレーブ慣性力算出部52とを備えている。
ここで、スレーブ慣性力算出部52は、力補正決定部36内に備えられて、スレーブロボット26Cのスレーブ機構40の加速度aと重量mとにより、スレーブ機構40の慣性力(m×a)を算出する。スレーブ慣性力算出部52で算出したスレーブ機構40の慣性力を、力測定装置1で測定した力情報から減じた値を、マスターロボット25にフィードバックする力としてスレーブ慣性力算出部52で算出する。実際の力の補正は、スレーブ慣性力算出部52からの情報を基に、後述する力補正部41で行なう。なお、重量mとして、スレーブ機構40の重量を予め決定しておく。スレーブロボット26Cのスレーブ機構40の加速度aは、スレーブロボット26Cのスレーブ機構40の速度をスレーブ慣性力算出部52で微分することで、算出する。スレーブ機構40の速度と加速度は、器具位置検出部19で検出した位置(スレーブロボット26Bの手先位置)を微分すると速度が算出され、速度を微分すると加速度が算出される。
《力補正部41》
力補正部41は、第1実施形態と同様に、力補正決定部36で決定した補正箇所と補正方法とに従って、力伝達部27でマスター機構33に伝達すべき力を補正する。
具体的には、力補正部41は、力補正決定部36で力補正箇所が「補正なし」と決定した場合は、力測定装置1で検出した力を補正せずに、力補正決定部36を介してスレーブ制御部35へ出力する。
また、力補正部41は、力補正決定部36で力補正箇所が「補正あり」と決定した場合には、スレーブ慣性力算出部52で算出したスレーブ機構40の慣性力を、力測定装置1で測定した力情報から減じた値を、マスターロボット25にフィードバックする力として算出する。
《力伝達部27》
力伝達部27は、補正部41で補正した力の情報をマスター機構33従って作業者49に伝達する。具体的には、力伝達部27は、スレーブ制御部35からの力情報にマスター慣性力算出部53で算出したマスターの慣性力を加えた力を基に、スレーブ制御部35によりスレーブ機構40を力制御することで、作業者49の手に伝達する。
力伝達部27は、第1実施形態と同様に力伝達を行う力伝達本体部と、下記するようにマスター機構33の慣性力を算出するマスター慣性力算出部53を備えている。
マスター慣性力算出部53は、マスターロボット25Cのマスター機構33の加速度aと重量mとにより、マスター機構33の慣性力(m×a)を算出する。マスター慣性力算出部53で算出したマスター機構33の慣性力を、スレーブ制御部35からの力情報に加えた値をマスター慣性力算出部53で算出し、算出した情報を基に、マスター制御部28によりマスター機構33を力制御することで、作業者49の手に伝達する。なお、重量mとして、マスター機構33の重量を予め決定しておく。マスターロボット25のマスター機構33の加速度aは、マスターロボット25のマスター機構33の速度をマスター慣性力算出部53で微分することで、算出する。マスター機構33の速度は、マスター入出力IF31から出力される位置情報を微分して得られる。
《第3実施形態の効果》
以上のように、スレーブロボット26Cのスレーブ機構40とマスターロボット25の機構40との間で慣性が異なる場合でも、力補正決定部36で力情報に対する補正方法を決定して力補正部41で力情報の補正を行い、補正後の力情報に基づいてマスター制御部28及びスレーブ制御部35でマスタースレーブロボットを制御するようにしている。この力補正部41での力情報の補正のとき、力補正決定部36内のスレーブ慣性力算出部52で算出したスレーブ機構40の慣性力を基に、マスターロボット25にフィードバックする力を力補正部41で算出する。また、このフィードバックする力と、マスター慣性力算出部53で算出したマスター機構33の慣性力とを基に、マスター制御部28によりマスター機構33を力制御して作業者49の手に力情報を伝達する。この結果、マスター機構33に大きな力を加えてマスター機構33が大きく移動してしまうことを防ぐことに加えて、マスター機構33が大きく移動しないように補正した際に、作業者49がフィードバックされた力を感じることができる。さらに、マスター機構33又はスレーブ機構40の重量を予め決定しておくだけで、自動的に慣性力を算出することで、より正確な力を作業者49にフィードバックすることが可能となる。
《変形例》
なお、第1実施形態の図9BのtB1時点からtC1時点までtB1時点の力を引き伸ばして補正するようにしたが、図9Dに示すようにtB1時点からtC1時点までの区間でtB1時点の力とtC1時点の力を交互に一定時間毎に切り替えて提示する(言い換えれば、力補正箇所の力情報の絶対値を所定の補正量分だけ減少させた値以下の範囲内で減少と増加とを繰り返させるよう補正する)第3の方法で補正しても良い。これにより、力の強弱が加わることでより提示した力を感じやすくなる効果がある(「方法C」)。
また、第1実施形態の図9BのtB1時点からtC1時点までtB1時点の力を引き伸ばして補正するようにしたが、tC1時点で急激に力が減少させて伝えてしまうことを防ぐために、図9Eに示すように、次の基準点であるtD1時点までの間を滑らかに補間して急激に力が減少することを防ぐように力補正部41で補正しても良い(方法D)。
また、図9Fに示すように、図9FのA2時点からC2時点までの時間が所定の時間以内で力情報f21に示すピークを検出した場合には、力補正部41により、意図的に、フィードバックのタイミングを遅らせる方法でも良い(方法E)。ここで、所定の時間とは、例えば、ピークの開始から終了するまでの時間(図9FのA2からC2まで)である。すなわち、力補正決定部36は、第1〜第3の方法に加えて、所定時間経過後に、力補正箇所の力情報の絶対値を所定の補正量分だけ減少させるよう補正する第4の方法を力補正部41で使用するようにしてもよい。これにより、フィードバック前にフィードバックしていない時間若しくはフィードバックする力を弱くする時間を長くとることで、より作業者49に感じやすくフィードバックすることが可能となる。
なお、第2実施形態の補正方法と上記変形例の補正方法とのうちのどの補正方法を選択するかは、力補正決定部36で、予め決定しておくか、もしくは、定数kの値により、力補正決定部36で決定する。例えば、定数kが所定の第1補正方法決定用閾値未満(例えば、0.2未満)の場合は「方法A」として選択する。また、定数kが第1補正方法決定用閾値以上でかつ第2補正方法決定用閾値未満(例えば0.2以上0.4未満)の場合は、「方法B」もしくは「方法D」として選択する。さらに、定数kが第2補正方法決定用閾値以上の場合は、「方法E」として選択しても良い。
さらに、前記実施形態では、挿入方向のみを説明したが、挿入方向と垂直の方向についても同様の方法で計測することができる。
また、第2実施形態ではプリント基板47の挿入口46に、フレキシブル基板45を取り付ける作業の教示を例に説明をしたが、故障した微細部品の取り外し作業又は組み付け作業など教示以外の作業でも有効である。
なお、各閾値は、対象物又は被対象物の種類又は状態により異なる値とし、例えば、事前に作成された複数の閾値から術者6又は作業者49が選択するか、キーボード又はボタンなどの入力装置により、術者6又は作業者49が、データベース入出力部14を介して、リファレンス情報生成部15、力判定部12、個別力算出部11、又は、力補正決定部36などに適宜入力することも可能である。
なお、本発明を第1〜第3実施形態及び変形例に基づいて説明してきたが、本発明は、前記の第1〜第3実施形態及び変形例に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
前記各制御装置の一部又は全部は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
例えば、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、前記実施形態又は変形例における制御装置を構成する要素の一部又は全部を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とで構成されるマスタースレーブ装置を制御するマスタースレーブロボットの制御プログラムであって、
コンピュータに、
前記スレーブ機構に外部から加えられた力の力情報を力情報取得部で取得するステップと、
前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを力補正決定部で決定するステップと、
前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で力補正部で補正するステップと、
前記力補正部で補正した補正後からの力情報を前記マスター機構に力伝達部で伝達するステップと、
前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報をマスター制御部で制御するステップと、
前記スレーブ機構と前記マスター制御部とに接続されたスレーブ制御部により、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するステップとを実行させるためのマスタースレーブロボットの制御プログラムである。
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROMなどの光ディスク、磁気ディスク、又は、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
本発明は、対象物を把持し、被対象物に対して接触しながら作業を行うマスタースレーブロボットにおける制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラムとして有用である。
1 力計測装置
1a 第1の力計測装置
1b 第2の力計測装置
2 鉗子
2a 第1の鉗子
2b 第2の鉗子
3 腹壁
4 人体
5 臓器
6 術者
7 内視鏡
8 入力IF
9 計測情報データベース
10 タイマー
11 個別力算出部
12 力判定部
13 力検出部
14 データベース入出力部
15 リファレンス情報生成部
16 リファレンス情報選択部
17 判定結果通知部
17a モニタ
17b スピーカー
18 トロッカー
18a トロッカー
18b トロッカー
18c トロッカー
19 器具位置検出部
20 磁力計測部
21 磁界発生源
22 リファレンス情報データベース
25 マスターロボット
26,26B,26C スレーブロボット
27 力伝達部
28 マスター制御部
29 マスター制御装置
30 マスター周辺装置
31 マスター入出力IF
32 マスターモータドライバ
33 マスター機構
34 スレーブ装置
35 スレーブ制御部
36 力補正決定部
37 スレーブ入出力IF
38 スレーブモータドライバ
39 スレーブ周辺装置
40 スレーブ機構
41 力補正部
42 スレーブ動作生成部
43 タイマー
44 撮像装置
45 部品(フレキシブル基板)
46 挿入口(コネクタ)
47 機器
48 ハンド
49 作業者
50 作業台
51 スレーブ動作生成部
52 スレーブ慣性力算出部
53 マスター慣性力算出部
70 手術台
100,100B,100C マスタースレーブ装置

Claims (13)

  1. 対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とで構成されるマスタースレーブ装置において、
    前記スレーブ機構に外部から加えられた力の力情報を取得する力情報取得部と、
    前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを決定する力補正決定部と、
    前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で補正する力補正部と、
    前記力補正部で補正した補正後からの力情報を前記マスター機構に伝達する力伝達部と、
    前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報を制御するマスター制御部と、
    前記スレーブ機構と前記マスター制御部とに接続され、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するスレーブ制御部とを備えるマスタースレーブロボットの制御装置。
  2. 前記力補正決定部は、前記第1〜第2の方法に加えて、所定時間経過後に、前記力補正箇所の力情報の絶対値を減少させるようにゲインを決定して補正する第3の方法を加えた3つの方法からいずれか1つの補正方法を決定する、請求項1に記載のマスタースレーブロボットの制御装置。
  3. 前記力情報取得部は、
    前記対象物が前記被対象物に接触したときの前記力の情報を検出する力検出部と、
    前記対象物が前記被対象物に非接触な状態での前記力に関する情報であるリファレンス情報を生成するリファレンス情報生成部と、
    前記被対象物に前記対象物を接触させる際に、前記力検出部で取得した力の情報と前記リファレンス情報とから前記対象物が前記被対象物に作用する力を個別に算出する個別力算出部とを備え、
    前記力補正決定部は、前記力補正箇所を決定し、前記力補正部で補正する力について、前記力情報取得部で取得した力の情報か、前記対象物が前記被対象物に個別にかかる力かのどちらかの種別の力を決定する請求項1又は2に記載のマスタースレーブロボットの制御装置。
  4. 前記力補正決定部は、前記力情報取得部で取得した力の情報か又は前記対象物が前記被対象物に個別にかかる力かのどちらかの力の種別と、前記対象物もしくは前記被対象物の柔軟性の度合とのいずれか1つ以上の情報に基づいて、前記力補正箇所の力情報の絶対値を減少させるときの補正量を決定する請求項1〜3のいずれか1つに記載のマスタースレーブロボットの制御装置。
  5. 前記力補正決定部は、前記対象物もしくは前記被対象物の作業方向と前記作業方向と交差する方向とを含む複数の方向において柔軟なほど補正量が少なくなるよう決定する請求項4に記載のマスタースレーブロボットの制御装置。
  6. 前記力補正決定部は、前記力補正決定部で決定した前記力の種別が、前記対象物が前記被対象物に個別にかかる力として決定したときの補正量を、前記力情報取得部で取得した力の情報として決定したときの補正量より、大きく補正するよう決定する請求項4に記載のマスタースレーブロボットの制御装置。
  7. 前記力補正決定部は、前記補正量が所定の補正方法決定用閾値未満の場合は、前記力補正箇所の力情報の絶対値を所定の補正量分だけ減少させるようにゲインを決定して補正する方法を選択し、前記補正量が所定の補正方法決定用閾値以上の場合は、前記第1の方法もしくは前記第2の方法を決定する請求項1又は4に記載のマスタースレーブロボットの制御装置。
  8. 前記リファレンス情報生成部で検出した力若しくは前記個別力算出部で算出した個々の力情報が所定の負荷判定用閾値以上の場合は前記対象物若しくは前記被対象物に負荷が作用していると判定する力判定部を備える請求項3に記載のマスタースレーブロボットの制御装置。
  9. 前記リファレンス情報生成部で算出した力又は前記個別力算出部で算出した個々の力又は前記力判定部で判定した判定結果を、前記対象物もしくは前記被対象物を撮像した画像に付加して表示する判定結果通知部をさらに備える請求項2〜8のいずれか1つに記載のマスタースレーブロボットの制御装置。
  10. 前記リファレンス情報生成部で算出した力又は前記個別力算出部で算出した個々の力又は前記力判定部で判定した判定結果を音声で前記人に知らせる判定結果通知部をさらに備える請求項2〜8のいずれか1つに記載のマスタースレーブロボットの制御装置。
  11. 請求項1〜9のいずれか1つに記載の前記マスタースレーブロボットの制御装置と、
    前記マスタースレーブ装置と
    を備える、マスタースレーブロボット。
  12. 対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とを備えるマスタースレーブ装置を制御するマスタースレーブロボットの制御方法であって、
    前記スレーブ機構に外部から加えられた力の力情報を力情報取得部で取得し、
    前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを力補正決定部で決定し、
    前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で力補正部で補正し、
    前記力補正部で補正した補正後からの力情報を前記マスター機構に力伝達部で伝達し、
    前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報をマスター制御部で制御し、
    前記スレーブ機構と前記マスター制御部とに接続されたスレーブ制御部により、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するマスタースレーブロボットの制御方法。
  13. 対象物を把持し、被対象物に対して接触しながら作業を行うスレーブ機構と、前記スレーブ機構を人が遠隔により操作するマスター機構とで構成されるマスタースレーブ装置を制御するマスタースレーブロボットの制御プログラムであって、
    コンピュータに、
    前記スレーブ機構に外部から加えられた力の力情報を力情報取得部で取得するステップと、
    前記力情報と前記スレーブ機構の速度情報とのいずれか1つ以上の情報に基づいて、前記力情報の補正の開始時刻である補正開始時刻から補正の終了時刻である補正終了時刻までの区間の情報である力補正箇所と、前記力補正箇所において、前記力補正箇所の力情報の絶対値を減少させることを一定時間維持するようにゲインを決定して補正する第1の方法と、前記力補正箇所の力情報の絶対値を減少させた値以下の範囲内で減少と増加とを繰り返させるようにゲインを決定して補正する第2の方法との2つの方法からいずれか1つの補正方法とを力補正決定部で決定するステップと、
    前記力補正決定部で決定された前記力補正箇所と前記ゲインに基づいて、前記力情報取得部で取得した前記力情報を、前記力補正決定部で決定した補正方法で力補正部で補正するステップと、
    前記力補正部で補正した補正後からの力情報を前記マスター機構に力伝達部で伝達するステップと、
    前記人が、前記力伝達部からの前記補正後の力情報に基づいて前記マスターマニピュレータを操作するとき、前記マスター機構の操作情報をマスター制御部で制御するステップと、
    前記スレーブ機構と前記マスター制御部とに接続されたスレーブ制御部により、前記マスター制御部から送られる前記マスター機構の操作情報を前記スレーブ機構に伝達する制御信号を出力するステップとを実行させるためのマスタースレーブロボットの制御プログラム。
JP2013157629A 2013-01-10 2013-07-30 マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム Active JP6112300B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013157629A JP6112300B2 (ja) 2013-01-10 2013-07-30 マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013002687 2013-01-10
JP2013002687 2013-01-10
JP2013157629A JP6112300B2 (ja) 2013-01-10 2013-07-30 マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム

Publications (2)

Publication Number Publication Date
JP2014148037A true JP2014148037A (ja) 2014-08-21
JP6112300B2 JP6112300B2 (ja) 2017-04-12

Family

ID=51061598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013157629A Active JP6112300B2 (ja) 2013-01-10 2013-07-30 マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム

Country Status (2)

Country Link
US (1) US9233467B2 (ja)
JP (1) JP6112300B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017033378A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム
JPWO2016056339A1 (ja) * 2014-10-09 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2018074081A1 (ja) * 2016-10-18 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
US10959787B2 (en) 2016-01-14 2021-03-30 Olympus Corporation Medical manipulator system
WO2021161718A1 (ja) * 2020-02-12 2021-08-19 リバーフィールド株式会社 手術ロボット、及び手術ロボットの制御ユニット
WO2021161702A1 (ja) * 2020-02-12 2021-08-19 リバーフィールド株式会社 手術用ロボット

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942846B2 (en) * 2011-04-29 2015-01-27 Raytheon Company System and method for controlling a teleoperated robotic agile lift system
US9789603B2 (en) 2011-04-29 2017-10-17 Sarcos Lc Teleoperated robotic system
JP5855423B2 (ja) * 2011-11-01 2016-02-09 オリンパス株式会社 手術支援装置
KR101800189B1 (ko) * 2012-04-30 2017-11-23 삼성전자주식회사 수술 로봇의 힘 제어 장치 및 방법
US9616580B2 (en) 2012-05-14 2017-04-11 Sarcos Lc End effector for a robotic arm
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
WO2014146107A1 (en) 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. System and methods for positioning a manipulator arm by clutching within a null-perpendicular space concurrent with null-space movement
US10220512B2 (en) * 2013-09-19 2019-03-05 Keio University Position/force controller, and position/force control method and program
US10766133B2 (en) 2014-05-06 2020-09-08 Sarcos Lc Legged robotic device utilizing modifiable linkage mechanism
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
GB201419645D0 (en) 2014-11-04 2014-12-17 Cambridge Medical Robotics Ltd Characterising motion constraints
GB2534558B (en) * 2015-01-21 2020-12-30 Cmr Surgical Ltd Robot tool retraction
JP6697480B2 (ja) * 2015-04-10 2020-05-20 マコ サージカル コーポレーション 外科用工具の自律移動の際に同外科用工具を制御するためのシステム及び方法
GB2542566A (en) * 2015-09-22 2017-03-29 Rolls Royce Plc Apparatus, methods, computer programs, and non-transitory computer readable storage mediums for controlling movement of robotic machinery
US10562191B2 (en) * 2015-12-29 2020-02-18 Robomotive Laboratories LLC Method of controlling devices with sensation of applied force
JP6741538B2 (ja) * 2016-09-28 2020-08-19 川崎重工業株式会社 ロボット、ロボットの制御装置、及び、ロボットの位置教示方法
US10828767B2 (en) 2016-11-11 2020-11-10 Sarcos Corp. Tunable actuator joint modules having energy recovering quasi-passive elastic actuators with internal valve arrangements
US10919161B2 (en) 2016-11-11 2021-02-16 Sarcos Corp. Clutched joint modules for a robotic system
US10765537B2 (en) 2016-11-11 2020-09-08 Sarcos Corp. Tunable actuator joint modules having energy recovering quasi-passive elastic actuators for use within a robotic system
US10821614B2 (en) 2016-11-11 2020-11-03 Sarcos Corp. Clutched joint modules having a quasi-passive elastic actuator for a robotic assembly
WO2018109851A1 (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 医療用マニピュレータシステム
GB2552855B (en) * 2017-01-31 2019-02-13 Cmr Surgical Ltd Surgical instrument engagement detection
JP6959762B2 (ja) * 2017-05-19 2021-11-05 川崎重工業株式会社 遠隔操作ロボットシステム
JP2018202504A (ja) 2017-05-31 2018-12-27 ソニー株式会社 医療用支持アームシステム、医療用支持アームの制御方法、および医療用支持アームの制御装置
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US20190125320A1 (en) 2017-10-30 2019-05-02 Ethicon Llc Control system arrangements for a modular surgical instrument
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10843330B2 (en) 2017-12-07 2020-11-24 Sarcos Corp. Resistance-based joint constraint for a master robotic system
US11331809B2 (en) 2017-12-18 2022-05-17 Sarcos Corp. Dynamically controlled robotic stiffening element
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11596291B2 (en) 2017-12-28 2023-03-07 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying of the location of the tissue within the jaws
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US20190201113A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11534196B2 (en) 2018-03-08 2022-12-27 Cilag Gmbh International Using spectroscopy to determine device use state in combo instrument
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
JP7246751B2 (ja) * 2018-04-15 2023-03-28 国立大学法人 筑波大学 行動推定装置、行動推定方法、および行動推定プログラム
JP7000253B2 (ja) * 2018-05-31 2022-01-19 国立大学法人東海国立大学機構 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
US10906191B2 (en) 2018-12-31 2021-02-02 Sarcos Corp. Hybrid robotic end effector
US11241801B2 (en) 2018-12-31 2022-02-08 Sarcos Corp. Robotic end effector with dorsally supported actuation mechanism
US11351675B2 (en) 2018-12-31 2022-06-07 Sarcos Corp. Robotic end-effector having dynamic stiffening elements for conforming object interaction
US11272931B2 (en) 2019-02-19 2022-03-15 Cilag Gmbh International Dual cam cartridge based feature for unlocking a surgical stapler lockout
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
TWI747079B (zh) * 2019-11-19 2021-11-21 財團法人資訊工業策進會 機械手臂的定位精度量測系統與方法
US11833676B2 (en) 2020-12-07 2023-12-05 Sarcos Corp. Combining sensor output data to prevent unsafe operation of an exoskeleton
US20220192767A1 (en) * 2020-12-21 2022-06-23 Ethicon Llc Dynamic trocar positioning for robotic surgical system
US11794345B2 (en) 2020-12-31 2023-10-24 Sarcos Corp. Unified robotic vehicle systems and methods of control
US20230103005A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US11826907B1 (en) 2022-08-17 2023-11-28 Sarcos Corp. Robotic joint system with length adapter
US11717956B1 (en) 2022-08-29 2023-08-08 Sarcos Corp. Robotic joint system with integrated safety
US11897132B1 (en) 2022-11-17 2024-02-13 Sarcos Corp. Systems and methods for redundant network communication in a robot
US11924023B1 (en) 2022-11-17 2024-03-05 Sarcos Corp. Systems and methods for redundant network communication in a robot

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04299714A (ja) * 1991-03-28 1992-10-22 Yanmar Diesel Engine Co Ltd バイラテラル操縦装置
JP2002187078A (ja) * 2000-12-19 2002-07-02 Sony Corp マニピュレータシステムおよびマニピュレータ制御方法、マスタマニピュレータおよびマスタマニピュレータ制御方法、スレーブマニピュレータおよびスレーブマニピュレータ制御方法、並びに記録媒体
JP5032716B2 (ja) * 2010-08-31 2012-09-26 パナソニック株式会社 マスタースレーブロボットの制御装置及び制御方法、並びに、制御プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266875A (en) * 1991-05-23 1993-11-30 Massachusetts Institute Of Technology Telerobotic system
US6801008B1 (en) * 1992-12-02 2004-10-05 Immersion Corporation Force feedback system and actuator power management
US5389865A (en) * 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
JPH08164807A (ja) 1994-12-13 1996-06-25 Hitachi Ltd 衝突回避装置
US6459926B1 (en) * 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6799065B1 (en) * 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US20050202384A1 (en) * 2001-04-20 2005-09-15 Medtronic, Inc. Interactive computer model of the heart
JP4696307B2 (ja) * 2003-07-24 2011-06-08 学校法人慶應義塾 位置・力制御装置
US7819859B2 (en) * 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
JP5327687B2 (ja) * 2007-03-01 2013-10-30 国立大学法人東京工業大学 力覚提示機能を有する操縦システム
US8224484B2 (en) * 2007-09-30 2012-07-17 Intuitive Surgical Operations, Inc. Methods of user interface with alternate tool mode for robotic surgical tools
US8321075B2 (en) * 2008-02-25 2012-11-27 Sri International Mitigating effects of biodynamic feedthrough on an electronic control device
US9895813B2 (en) 2008-03-31 2018-02-20 Intuitive Surgical Operations, Inc. Force and torque sensing in a surgical robot setup arm
US20120191107A1 (en) * 2010-09-17 2012-07-26 Tanner Neal A Systems and methods for positioning an elongate member inside a body
KR101901580B1 (ko) * 2011-12-23 2018-09-28 삼성전자주식회사 수술 로봇 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04299714A (ja) * 1991-03-28 1992-10-22 Yanmar Diesel Engine Co Ltd バイラテラル操縦装置
JP2002187078A (ja) * 2000-12-19 2002-07-02 Sony Corp マニピュレータシステムおよびマニピュレータ制御方法、マスタマニピュレータおよびマスタマニピュレータ制御方法、スレーブマニピュレータおよびスレーブマニピュレータ制御方法、並びに記録媒体
JP5032716B2 (ja) * 2010-08-31 2012-09-26 パナソニック株式会社 マスタースレーブロボットの制御装置及び制御方法、並びに、制御プログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016056339A1 (ja) * 2014-10-09 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10716638B2 (en) 2015-08-25 2020-07-21 Kawasaki Jukogyo Kabushiki Kaisha Robot system
KR102031232B1 (ko) * 2015-08-25 2019-10-11 카와사키 주코교 카부시키 카이샤 로봇시스템
WO2017033378A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム
KR20180043328A (ko) * 2015-08-25 2018-04-27 카와사키 주코교 카부시키 카이샤 로봇시스템
JPWO2017033379A1 (ja) * 2015-08-25 2018-06-14 川崎重工業株式会社 ロボットシステム
JPWO2017033378A1 (ja) * 2015-08-25 2018-06-14 川崎重工業株式会社 ロボットシステム
TWI631447B (zh) * 2015-08-25 2018-08-01 日商川崎重工業股份有限公司 Robot system
WO2017033379A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム
US10959787B2 (en) 2016-01-14 2021-03-30 Olympus Corporation Medical manipulator system
WO2018074081A1 (ja) * 2016-10-18 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
WO2021161718A1 (ja) * 2020-02-12 2021-08-19 リバーフィールド株式会社 手術ロボット、及び手術ロボットの制御ユニット
WO2021161702A1 (ja) * 2020-02-12 2021-08-19 リバーフィールド株式会社 手術用ロボット
JP2021126232A (ja) * 2020-02-12 2021-09-02 リバーフィールド株式会社 手術用ロボット
JP2021126229A (ja) * 2020-02-12 2021-09-02 リバーフィールド株式会社 手術ロボット、及び手術ロボットの制御ユニット

Also Published As

Publication number Publication date
US9233467B2 (en) 2016-01-12
US20140195052A1 (en) 2014-07-10
JP6112300B2 (ja) 2017-04-12

Similar Documents

Publication Publication Date Title
JP6112300B2 (ja) マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム
US10098701B2 (en) Force measurement apparatus, force measurement method, force measurement program, force measurement integrated electronic circuit, and master-slave device
US8740882B2 (en) Medical robotic system and method of controlling the same
US11622822B2 (en) Surgery supporting apparatus for controlling motion of robot arm, control method of the same, and non-transitory computer-readable storage medium
CN107921623B (zh) 机器人系统
JP6410022B2 (ja) マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
JP6504541B2 (ja) マスタスレーブロボットの制御装置及び制御方法、マスタスレーブロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
JP6555248B2 (ja) 医療用アーム装置、キャリブレーション方法及びプログラム
KR101635339B1 (ko) 입력장치로 다축 매니퓰레이터를 정렬시키기 위한 방법
US9439556B2 (en) Intelligent autonomous camera control for robotics with medical, military, and space applications
JP5028219B2 (ja) マニピュレータ装置および医療機器システム
US8473031B2 (en) Medical robotic system with functionality to determine and display a distance indicated by movement of a tool robotically manipulated by an operator
US11850014B2 (en) Control system, control method, and surgical arm system
US11850741B2 (en) Control device, control method, and master-slave system
US20140379132A1 (en) Control apparatus and control method for master slave robot, robot, control program for master slave robot, and integrated electronic circuit for control of master slave robot
JP2014517747A (ja) 低侵襲手術のための医療用マスタ/スレーブ型装置
JP2018192601A (ja) ロボットシステム及びロボットシステムの制御方法
JP2013043250A (ja) ロボットアームの制御装置及び制御方法、ロボット、制御プログラム、並びに、集積電子回路
Mago et al. Fall detection for robotic endoscope holders in Minimally Invasive Surgery
JP2015160292A (ja) ロボット制御装置、ロボットおよびロボット制御方法
JP7185749B2 (ja) ロボットシステム及びロボットシステムの制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170228

R151 Written notification of patent or utility model registration

Ref document number: 6112300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151