JP2014095953A - 操作対象装置の操作システム、操作入力装置 - Google Patents

操作対象装置の操作システム、操作入力装置 Download PDF

Info

Publication number
JP2014095953A
JP2014095953A JP2012245704A JP2012245704A JP2014095953A JP 2014095953 A JP2014095953 A JP 2014095953A JP 2012245704 A JP2012245704 A JP 2012245704A JP 2012245704 A JP2012245704 A JP 2012245704A JP 2014095953 A JP2014095953 A JP 2014095953A
Authority
JP
Japan
Prior art keywords
operator
command signal
head
operation command
upper body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012245704A
Other languages
English (en)
Inventor
Kotaro Tadano
耕太郎 只野
Kenji Kawashima
健嗣 川嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2012245704A priority Critical patent/JP2014095953A/ja
Priority to PCT/JP2013/000735 priority patent/WO2014073121A1/ja
Publication of JP2014095953A publication Critical patent/JP2014095953A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)

Abstract

【課題】簡易かつ直感的に操作対象装置の操作を可能とする。
【解決手段】操作システムは、操作対象装置、第1および第2の姿勢検出部、操作対象装置、および制御ユニットを備える。制御ユニットは、第2の姿勢検出部により検出した操作者の上体の傾斜変位に基づく角速度のうちの上体の前後方向への傾斜角速度成分に基づいて操作者の首位置の前後方向の並進速度を算出し、当該算出した操作者の首位置の前後方向の並進速度に応じた前後方向操作指令信号を算出し、第1の姿勢検出部により検出した操作者の頭部の姿勢の動き情報に応じた上下左右方向操作指令信号を算出し、当該算出した前後方向操作指令信号および上下左右方向操作指令信号に追従するように前記操作対象装置を制御する。
【選択図】図4

Description

本発明は操作対象装置の操作システム、操作入力装置に関する。
外科手術において、術後の回復が速く、手術の際の傷口が小さい等の利点から開腹手術に代えて内視鏡手術が広く行われている。このような内視鏡手術においては、遠隔操作が可能なマスタスレーブ型の内視鏡操作システムが提案されている。
このような内視鏡操作システムは、例えば、特許文献1にも示されるように、内視鏡のズームレンズの拡大率が、ヘッドマウントディスプレイ(以下、HMDともいう)内に設けられ手術者の頭の移動を検出する姿勢センサからの検出出力に基づいて制御されるものとされる。また、手術者の頭の移動は、磁界を発生する磁気ソースに対する姿勢センサの変位として取り出される。これにより、例えば、手術者が患者に対し左を向けば、内視鏡の固体撮像素子を通じて得られた撮像データに基づく左の画像がHMD内の一対の液晶モニタに映され、手術者が患者に近づいた場合、ズームレンズにより拡大された視野が得られることとなる。従って、手術者は、内視鏡が挿入された体腔内を立体的に観察できることとなる。
また、非特許文献2に開示される内視鏡把持装置においては、5節リンク機構と、腹壁を貫通するトロッカーを腹壁部で保持するボールジョイント部と、リンク機構を駆動させる駆動部および操作部とにより内視鏡把持装置が構成されているものが提案されている。かかる構成においては、内視鏡の一種である腹腔鏡は、ズーム式で、画面の遠近を素早く切り替えることができ、また、コントローラスイッチにより、ズーム式の腹腔鏡が手術者の欲する位置に迅速に移動可能とされる。
特開平10−309258号公報
医療用内視鏡把持装置「Naviot」、カタログ、日立ハイブリッドネットワーク(株)発行
非特許文献2などに開示される内視鏡操作システムでは、ズーム操作は、例えば、音声指令や手元または足元のスイッチにより行われている。このため、術者はこれらのズーム操作方法を予め覚える必要があり、術中ズーム操作を行う際には、手術手技からズーム操作に意識を切り替えなければならない。このため、作業の効率に改善の余地があるだけでなく、誤操作のリスクもある。
そこで、ズーム操作を日常動作と同様に顔を前後に移動させることで行うことができれば、非常に直感的であると考えられる。このためには、何らかの方法で頭部の並進運動を検出する必要がある。頭部の並進運動を検出する手段として、光学式または磁気式の3次元検出装置を用いる方法があるが、操作者の頭部にマーカー等を取り付ける他、外部にセンサを固定する必要がある。このため、外部センサと操作者の位置関係に制限があるだけでなく、信号の遮蔽や他の機器との干渉の問題がある。一方、操作者の頭部に加速度センサを取り付け、この出力を積分することによって速度を求めることも理論上は可能であるが、重力加速度補償の誤差やゼロ点のずれ、ノイズなどによって、正確に速度を求めることは困難である。
なお、特許文献1に開示される内視鏡操作システムは、HMDに磁気センサを取り付け、磁気の変化により術者の頭の移動を検出する方法を採用しており、磁場の影響を受けることから、MRI環境下ではその使用が困難である。また、湾曲内視鏡の上下、左右、ズームをHMDにより操作することを想定している。
また、内視鏡の操作に限定されず、例えば、両手あるいは片手が不自由な身障者がタブレット端末などの表示装置を操作するような場合には、簡易かつ直感的に操作対象画像を操作可能な操作システムが強く求められている。
本出願は、このような問題点を解決するためになされたものであり、簡易かつ直感的に操作対象装置の操作が可能な操作対象装置の操作システム、操作入力装置を提供することを目的とする。
一実施の形態において、操作対象装置の操作システムは、操作者の頭部および上体の動きに応じて操作対象を操作する操作対象装置と、操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第1の姿勢検出部と、前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第2の姿勢検出部と、前記第2の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度に応じた前後方向操作指令信号を算出し、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報に応じた上下左右方向操作指令信号を算出し、当該算出した前記前後方向操作指令信号および前記上下左右方向操作指令信号に追従するように前記操作対象装置を制御する制御ユニットと、を備えるものである。
他の一実施の形態において、操作入力装置は、操作者の頭部および上体の動きに応じて操作対象を操作する操作対象装置を操作するための操作指令を算出する操作入力装置であって、操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第1の姿勢検出部と、前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第2の姿勢検出部と、前記第2の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度に応じた前後方向操作指令信号を算出し、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報に応じた上下左右方向操作指令信号を算出し、当該算出した前記前後方向操作指令信号および前記上下左右方向操作指令信号に追従するように前記操作対象装置を制御する制御ユニットと、を備えるものである。
本発明により、簡易かつ直感的に操作対象装置の操作が可能な操作対象装置の操作システム、操作入力装置を提供することができる。
本発明の特徴構成および着目点を説明するための概略図である。 実施の形態1に係る内視鏡操作システムの全体構成を手術者とともに概略的に示す図である。 実施の形態1に係る内視鏡操作システムの一例の全体構成を示すブロック図である。 実施の形態1に係る内視鏡操作システムの一例に用いられる保持アームユニットを示す図である。 実施の形態1に係る上体の前後方向の傾斜角速度の検出を説明するための概略図である。 実施の形態3に係る頭部全体の上下方向の動きの検出を説明するための概略図である。
実施の形態1.
以下、図面を参照して本発明の実施の形態について説明する。
図1を参照して、本発明の特徴となる構成およびその着目点について簡単に説明する。本実施の形態に係る内視鏡操作システムの一例においては、日常動作と同様に頭を前後方向に並進移動させることによって、ズームなどの視野の並進操作を手や足を用いずに直感的に実現するものである。多くの場合、頭部を前後移動させる際には上体ごと傾けることから、頭部の並進運動を直接検出するのではなく、操作者(手術者OP)の例えば胸部にジャイロセンサなどの姿勢検出部を取り付けることによって上体の傾斜角速度を検出し、この検出出力値を用いて視野の並進操作を実現する。
例えば図1に示すように、ジャイロセンサ3などの姿勢検出手段を手術者OPの胸部に取り付け、これによって上体の傾斜角速度を検出する。そして、この検出した上体傾角速度から頭部の前後方向の並進速度を計算し、ズーム操作などの指令値として用いる。例えば、上体を前方に傾斜させた場合には視野をズームイン(zoom in)させ、上体を後方に傾斜させた場合には視野をズームアウト(zoom out)させる。
簡易かつ直感的に内視鏡の視野のズーム操作を可能とする内視鏡操作システムを実現するために、本出願の発明者は、人間が頭部を前後左右に自然に並進運動させる際には、首から上だけの動きではなく上体から傾斜させる点に着目した。この上体の運動そのものは並進運動ではなく腰付近を中心とする回転運動であることから、その回転運動の速度はジャイロセンサ3などを上体部分に取り付けることによって容易に検出することができる。この上体傾斜角速度から頭部の前後方向における並進速度を算出することができ、ズーム操作などの指令値として用いることができる。さらに、後述するように、これと頭部に取り付けられたジャイロセンサの出力を組み合わせることによって、少なくとも頭部の5自由度の運動を検出することができる。
図2は、本実施の形態に係る内視鏡操作システムの一例の構成を、手術者OPとともに示す。
図2において、内視鏡操作システムは、内視鏡24と、内視鏡24を保持するとともに内視鏡24の姿勢を制御する保持アームユニット10と、手術者OPの頭部に着脱可能に装着されるヘッドマウントディスプレイ30(以下、HMD30ともいう)と、を主な要素として含んで構成されている。
内視鏡24は、例えば、体内に挿入される先端部に撮像部を有する柔軟な挿入部と、光学系の制御を行う操作部(不図示)と、操作部に接続され光源等を操作部に接続する接続部(不図示)とを含んで構成されている。
撮像部は、対物レンズ等からなる光学部と、固体撮像素子と、撮像部により得られる画像を拡大または縮小すべく光学部のレンズを制御するアクチュエータを含むズーム機構部とを含んで構成される。その撮像部のズーム機構部は、後述する内視鏡コントローラ60により制御される。挿入部の先端部における対物レンズに隣接してライトガイドが設けられている。ライトガイドは、上述の光源から導かれた光により体内を照らすものとされる。なお、内視鏡24としては、硬性内視鏡及び軟性内視鏡を採用することができる。
HMD30は、図2に示されるように、手術者OPの頭部に装着されている。HMD30は、手術者OPの顔の正面に向き合って手術者OPの両眼に対応した位置にそれぞれ左右一対の表示部(不図示)を備えている。表示部は、例えば、3D形式のカラー画像を表示するものとされる。なお、表示部は、かかる例に限られることなく、例えば、2D形式の白黒画像を表示するものでもよい。
HMD30全体が、手術者OPの頭部の動きに追従することとなる。即ち、HMD30においては、図2において矢印で示されるように、手術者OP側から見た場合、首を中心軸線とした右向き(時計回り方向)の回転(右回旋)、首を中心軸線とした左向き(反時計回り方向)の回転(左回旋)、首に対し縦方向の回転(屈曲、伸展)、首に対し右方向への傾動(右側屈)、首に対し左方向への傾動(左側屈)の移動が可能である。
保持アームユニット10は、内視鏡24の先端部を、上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持する。保持アームユニット10は、手術者OPから離隔した手術台に隣接した架台(不図示)に後述するベーンモータユニット16のブラケット(不図示)を介して支持されている。保持アームユニット10は、図2および図3に示されるように、内視鏡24を回動可能に支持するベーンモータ20を移動可能に支持するシャーシと、そのシャーシに固定され内視鏡24およびベーンモータ20を患者に対し近接または離隔させる空気圧シリンダー18と、上述のシャーシに一端部が支持される平行リンク機構14を介して支持されるベーンモータユニット16と、ベーンモータユニット16の出力軸に連結されるタイミングベルトプーリ、および、タイミングベルト22を介して回動されることにより、上述のシャーシ全体を回動させる回転軸部と、平行リンク機構14を駆動させる空気圧シリンダー12を主な要素として含んで構成されている。
平行リンク機構14は、一部を構成するリンク部材の一端が回転軸部に連結され他端部がシャーシに連結されている。これにより、例えば、平行リンク機構14に連結される空気圧シリンダー12のロッドが伸長状態のとき、図3においてシャーシが回転軸部の下端を中心として時計回り方向に回動され、一方、空気圧シリンダー12のロッドが縮小状態のとき、図3においてシャーシが回転軸部の下端の回転中心に対し反時計回り方向に回動される。即ち、後述するように、内視鏡24の撮像部がHMD30における手術者OPの首に対し頭部の縦方向の回転(屈曲、伸展)に対応した方向に回転中心点GPを中心として移動可能である。回転中心点GPは、後述する回転軸部の回転軸線Gと共通の直線上にあって患者の体壁近傍に位置する。回転軸線Gは、保持アームユニット10においてとられる図3における直交座標系のLx座標軸に対し平行となるように設定されている。Lx座標軸は、患者の体壁に直交する方向に設定され、座標軸Lzは、Lx座標軸に対し直角となるように設定されている。
空気圧シリンダー18は、そのロッドが内視鏡24の中心軸線と略平行となるようにシャーシに支持されている。空気圧シリンダー18のロッドが伸長状態のとき、図3において内視鏡24の撮像部およびベーンモータ20が患者に対し離隔する方向にシャーシに対し移動せしめられ、一方、空気圧シリンダー18のロッドが縮小状態のとき、図3において内視鏡24の撮像部およびベーンモータ20が患者に対し近接する方向にシャーシに対し移動せしめられる。即ち、後述するように、内視鏡24の撮像部が手術者OPの上体の前後方向の傾斜に対応した方向に移動可能である。
ベーンモータユニット16に並設される回転軸部におけるその中心軸線に沿った所定の間隔、離隔した位置には、平行リンク機構14を構成するリンク部材の一端がそれぞれ連結されている。その回転軸部は、回転軸線Gの回りにベーンモータユニット16に回動可能に支持されている。これにより、ベーンモータユニット16が作動状態とされる場合、内視鏡24の撮像部およびベーンモータ20が回転軸線Gの回りに回動可能とされる。即ち、後述するように、内視鏡24の撮像部がHMD30における手術者OPの頭部の首回りの回旋に対応した方向に移動可能である。
また、内視鏡24における操作部近傍は、ベーンモータ20により回動可能に支持されている。これにより、内視鏡24の撮像部がベーンモータ20の回転中心軸線回りに所定の角度だけ自転(ロール)可能とされる。即ち、後述するように、内視鏡24の撮像部がHMD30における手術者OPの頭部の側屈に対応した方向に移動可能である。
このように、内視鏡24の撮像部は、HMD30における手術者OPの首に対し頭部の縦方向の回転(屈曲、伸展)に対応した方向に回転中心点GPを中心として移動可能である。また、内視鏡24の撮像部は、HMD30における手術者OPの頭部の首回りの回旋に対応した方向に移動可能である。また、内視鏡24の撮像部は、HMD30における手術者OPの頭部の側屈に対応した方向に移動可能である。また、内視鏡24の撮像部は、手術者OPの上体の前後方向の傾斜に対応した方向に移動可能である。即ち、保持アームユニット10は、内視鏡24の撮像部の移動に関して、手術者OPの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動の少なくとも4自由度を実現することができる。
さらに、本実施の形態に係る内視鏡操作システムの一例においては、図4に示されるように、ジャイロセンサ2と、ジャイロセンサ3と、保持アームユニット10の動作制御を行う制御ユニット40およびバルブユニット58と、内視鏡コントローラ60と、オンオフ切替用フットスイッチ50と、を備えている。
本実施の形態に係る内視鏡操作システムの一例においては、保持アームユニット10には内視鏡24が取り付けられており、内視鏡24により撮像された画像がHMD30に映し出される。そして、本実施の形態に係る内視鏡操作システムの一例においては、HMD30に取り付けられたジャイロセンサ2と手術者OPの胸部に取り付けられたジャイロセンサ3を用いることにより手術者OPの頭部に関する動きを検出し、検出した動きに追従するように保持アームユニット10を同期して動作させる。
第1の姿勢検出部の一例としてのジャイロセンサ2は、上述したHMD30に取り付けられている。ジャイロセンサ2は、上述したHMD30の回旋、側屈、屈曲、および、伸展を検出することにより、手術者OPの頭部の姿勢変位に基づく角速度を検出する。ジャイロセンサ2からの検出出力は、後述する制御ユニット40に供給される。なお、第1の姿勢検出部として用いるセンサはこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第1の姿勢検出部として磁気センサを利用するものとしてもよい。また、ジャイロセンサのゼロ点補正を行うために、ジャイロセンサに磁気センサあるいは加速度センサを組み合わせて構成してもよい。また、ジャイロセンサ2を取り付ける位置はHMD30に限定されず、手術者OPの頭部の他の位置に取り付けてもよい。
第2の姿勢検出部の一例としてのジャイロセンサ3は、手術者OPの胸部に取り付けられている。ジャイロセンサ3は、手術者OPの上体の前後および左右方向における傾斜角速度を検出することにより、手術者OPの上体の傾斜変位に基づく角速度を検出する。なお、第1の姿勢検出部として用いるセンサはこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第1の姿勢検出部として磁気センサを利用するものとしてもよい。また、ジャイロセンサのゼロ点補正を行うために、ジャイロセンサに磁気センサあるいは加速度センサを組み合わせて構成してもよい。また、ジャイロセンサ3を取り付ける位置は手術者OPの胸部に限定されず、例えば手術者OPの腹部に取り付けてもよいし、手術者OPの胴部の傾斜角速度を検出可能な位置であれば、手術者OPの胴部の任意の位置に取り付けてよい。ジャイロセンサ3からの検出出力は、後述する制御ユニット40に供給される。また、ジャイロセンサ2およびジャイロセンサ3のそれぞれから制御ユニット40に供給される検出出力は、例えばCAN通信を介して制御ユニット40に供給される。
内視鏡コントローラ60は、操作部からの指令信号群に基づいて内視鏡24のズーム機構部、光源の動作制御を行うと共に、内視鏡24の固体撮像素子から得られた撮像データDDに基づいて所定の画像処理を行う。また、内視鏡コントローラ60は、撮像データに基づいて所定の画像処理を行い、画像データを形成してそれを制御ユニット40およびHMD30に供給する。これにより、内視鏡コントローラ60からの画像データに基づく画像が、HMD30の表示部に3D形式で表示される。
制御ユニット40には、HMD30におけるジャイロセンサ2からの手術者OPの頭部の上述した各方向の角速度ベクトルをあらわす信号群GS1、ジャイロセンサ3からの手術者OPの上体の上述した各方向の角速度ベクトルをあらわす信号群GS2、およびオンオフ切替用フットスイッチ50からの保持アームユニット10の動作停止命令をあらわす指令信号Cfが供給される。
制御ユニット40は、ベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18の空気圧制御についてのプログラムデータ、内視鏡コントローラ60からの画像データ、制御ユニット40による演算結果をあらわすデータ等を格納する記憶部(不図示)を備えている。
制御ユニット40は、上述の保持アームユニット10におけるベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18を制御するための制御信号を形成し、それをバルブユニット58に供給する。これにより、バルブユニット58は、制御ユニット40からの制御信号に基づいて各バルブを制御し、空気供給源からの作動空気を保持アームユニット10におけるベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18に供給する。
制御ユニット40は、内視鏡24の挿入部における患者の体内への挿入量および速度制御を行うとともに、内視鏡24の撮像部の姿勢制御を行うように、保持アームユニット10に動作を行わせる。
制御ユニット40は、HMD30におけるジャイロセンサ2からの手術者OPの頭部の上述した各方向の角速度ベクトルをあらわす信号群GS1と、ジャイロセンサ3からの手術者OPの上体の上述した各方向の角速度ベクトルをあらわす信号群GS2と、に基づいて内視鏡24の撮像部の目標速度値を算出する。制御ユニット40は、目標速度値に基づいて内視鏡24の撮像部がその目標速度値に追従するように、保持アームユニット10の空気圧シリンダー12、18、および、ベーンモータ16に動作を行わせるべく、制御データを形成しそれをバルブユニット58に供給する。
以下、制御ユニット40による、内視鏡24の撮像部の目標速度値の設定方法をより具体的に説明する。
制御ユニット40は、先ず、ジャイロセンサ2からの角速度ベクトルをあらわす信号群GS1に基づいて、角速度指令ベクトルωcmdを次式により算出する。即ち、制御ユニット40は、ジャイロセンサ2から得られた頭部の角速度ベクトルωs1に、所定の係数行列Krを乗算することによって、角速度指令ベクトルωcmdを算出する。
Figure 2014095953
ωs1は、HMD30のジャイロセンサ2により検出される頭部の角速度ベクトルである。ここで、座標系は、頭部に固定された座標系を用いる。図2に示す手術者OPの首の中心軸をy軸とし、手術者OPの左右方向をx軸とし、手術者OPの前後方向をz軸とする。
角速度ベクトルωs1は、頭部に固定された座標系における、z軸およびy軸平面内での手術者OPの頭部の前後方向への傾斜角速度(手術者OPの首に対し頭部の縦方向の回転に対応した方向における角速度)、z軸およびx軸平面内でのy軸を中心軸とした手術者OPの頭部の回転角速度(手術者OPの頭部の首回りの回旋に対応した方向における角速度)、x軸およびy軸平面内での手術者OPの頭部の左右方向への傾斜角速度(手術者OPの頭部の側屈に対応した方向における角速度)を含む3次元ベクトルである。
Figure 2014095953
係数行列Krは、3行3列の対角行列であり、速度ゲインを表す所定の係数が対角成分に予めそれぞれ設定される。角速度に定数Krをかけることで動きの感度をユーザの好みに合わせて設定することができる。この定数Krは、方向ごとに異なる値を設定することができる。Krは、関数でもよい。
Figure 2014095953
次に、制御ユニット40は、角速度指令ベクトルωcmdをリミッタにより所定の制限値ωlimに設定する。即ち、角速度指令ベクトルωcmdが制限値ωlimよりも超える場合、角速度指令ベクトルω'cmdを制限値ωlimに設定され、角速度指令ベクトルωcmdが制限値ωlim以下の場合、角速度指令ベクトルω'cmdが、その角速度指令ベクトルωcmdに設定される。これは、保持アームユニット10の動作が過剰な速度で動作し、撮像部により内臓を傷めないようにするためである。なお、角速度指令ベクトルω'cmdの値のデータは、記憶部に格納される。
続いて、制御ユニット40は、次式に従い角速度指令ベクトルω'cmdを変換行列Tにより保持アームユニット10のローカル座標(Lx,Ly,Lz)(図3参照)に変換し、さらに行列Rを乗算して、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)(図3参照)の角速度指令ベクトルω''cmdを求める。直交座標系において座標軸Czは、内視鏡24の挿入部の中心軸線に沿って、即ち、内視鏡24の撮像部の進行方向または後退方向に沿ってとられている。
Figure 2014095953
Figure 2014095953
行列Rは、内視鏡24の姿勢を表し、保持アームユニット10の関節変位q(図3におけるq、q、q参照)から順運動学演算によって逐次得られる。ここで、Eは回転行列を表す。
これにより、HMD30における表示部の画面内の上下左右方向と手術者OPの頭部の上下左右が常に一致することとなる。即ち、HMD30における頭部に固定された座標系と内視鏡24の先端に固定された座標系が一致することとなる。従って、HMD30における表示部に表示される画像が、手術者OPの頭部の動きに追従することとなる。
なお、上述の例においては、角速度指令ベクトルω'cmdを変換行列Tにより保持アームユニット10のローカル座標(Lx,Ly,Lz)に変換し、さらに行列Rを乗算して、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)の角速度指令ベクトルω''cmdを求めていたが、かかる例に限られることはない。保持アームユニット10のローカル座標(Lx,Ly,Lz)から、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)への変換を省略することもできる。例えば、HMD30における表示部に表示される画像を外部のCRT画像として見る場合などで、このCRT画像とCT画像との重ね合わせができるようにするために、保持アームユニット10のローカル座標(Lx,Ly,Lz)から、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)への変換を省略することもできる。
続いて、制御ユニット40は、次式に従い、内視鏡24の先端部における直交座標系の角速度指令ベクトルω''cmdを、内視鏡24の先端部(撮像部)の目標速度ベクトルvxyに変換する。即ち、角速度指令ベクトルω''cmdは、保持アームユニット10の回転中心GPから内視鏡24の先端までのベクトルlと外積をとることで、直交座標系(Cx,Cy,Cz)における内視鏡24の先端部の目標速度の上下、左右方向の成分vxyに変換される。
Figure 2014095953
続いて、制御ユニット40は、内視鏡24の撮像部における体内への挿入量に応じて撮像部の速度を変更可能とするように調節するために目標速度ベクトルvxyに対し演算を次式により行う。これにより、内視鏡24の撮像部における体内への進行方向の挿入量が増大するとき、内視鏡24の撮像部の目標速度ベクトルv'xyが大となり、一方、内視鏡24の撮像部における挿入量が減少するとき、即ち、内視鏡24の撮像部が体内から引き抜かれるとき、内視鏡24の撮像部の目標速度ベクトルv'xyが小となる。
Figure 2014095953
内視鏡24の先端の挿入量をあらわすq(図3参照)に依存した係数rxyを上式のようにそれぞれのvxyの値に乗算することで、画面の移動量の挿入度に対する依存度が調節される。これにより、頭の回転による視界の移動量を調節できる。例えば、頭を回転させたときの注視対象物の画面上での移動量を、ズーム位置によらずほぼ一定にすることなどができる。そのため操作の直感性が向上する。
ここで、rxyは、定数であり、vxyの値の正負が反転しない範囲で設定される。但し、qは、中間位置から内視鏡を挿入する方向を正、引き抜く方向を負とする。図3におけるqの可動範囲の中央を中間位置とし、中間位置を0にとっている。なお、rxyは、関数でもよい。
また、制御ユニット40は、ジャイロセンサ3からの角速度ベクトルをあらわす信号群GS2に基づいて、内視鏡24の撮像部におけるCz座標軸(図3参照)に沿った目標速度ベクトルを算出する。このため、制御ユニット40は、先ず、ジャイロセンサ3からの角速度ベクトルをあらわす信号群GS2に基づいて、絶対座標系における首位置の速度ベクトルvを次式により算出する。即ち、上体の角速度ベクトルωs2は、手術者OPの腰から首位置までのベクトルl'の外積をとることで、絶対座標系における首位置の速度指令ベクトルvに変換される。
Figure 2014095953
本実施の形態に係る内視鏡操作システムの一例においては、頭部の前後方向の移動速度を首位置の前後方向の並進速度として見なし、頭部の前後方向の移動速度は、実際には首部分の前後方向の移動速度として求める。
図5に示すように、ωs2は、腰回りの上体の回転運動によって生じる回転速度をあらわし、胸部のジャイロセンサ3により検出される上体の角速度ベクトルである。ここで、座標系は、図5において鉛直上方向をy軸とし、y軸と直交する手術者OPの右方向をx軸とし、y軸およびx軸と直交する手術者OPの前方向をz軸とする。この絶対座標系は、図5において、手術者OPの上体が傾斜した場合においても、そのy軸は、常に鉛直上向きである。
角速度ベクトルωs2は、上記絶対座標系における、z軸およびy軸平面内での手術者OPの上体の前後方向への傾斜角速度(手術者OPの上体の前後方向の傾斜に対応した方向における角速度)、z軸およびx軸平面内でのy軸を中心軸とした手術者OPの上体の回転角速度、x軸およびy軸平面内での手術者OPの上体の左右方向への傾斜角速度を含む3次元ベクトルである。なお、後述するように、内視鏡24の先端部を前後方向に移動させるズーム操作に関しては、角速度ベクトルωs2の成分のうち、手術者OPの上体の前後方向への傾斜角速度成分を用いる。
続いて、制御ユニット40は、次式に従い、首位置の速度指令ベクトルvを変換行列R'により手術者OPの頭部に固定された座標系に変換し、首位置の目標速度ベクトルv'を求める。ここで、座標系は、頭部に固定された座標系を用いる。図5に示す手術者OPの頭の中心軸をy軸とし、手術者OPの左右方向をx軸とし、手術者OPの前後方向をz軸とする。
Figure 2014095953
なお、頭部の傾斜角が小さく、変換行列R'が単位行列に近い場合には、式(9)の変換演算を省略するものとしてもよい。また、厳密な計算を必要とする場合にのみ、式(9)の変換演算を実行するものとしてもよい。
首位置の目標速度ベクトルv'は、頭部に固定された座標系における、y軸方向における手術者OPの上下方向への頭部の移動速度、z軸方向における手術者OPの前後方向への頭部の移動速度、x軸方向における手術者OPの左右方向への頭部の移動速度を含む3次元ベクトルである。
後述するように、本実施の形態に係る内視鏡操作システムの一例においては、内視鏡24の先端部を前後方向に移動させるズーム操作に関して、首位置の目標速度ベクトルv'の成分のうちで、手術者OPの前後方向への頭部の移動速度を用いて、内視鏡24の先端部を前後方向に移動させるズーム操作の指令値を算出する。
なお、ベクトルl'や変換行列R'は、上体および頭部の傾斜角度から求めることができる。上体および頭部の傾斜角度は、例えばジャイロセンサ2、3から得られる角速度を積分することや、地磁気センサの出力などから求めることができる。また、実際の操作においては、これらの傾斜角を十分に小さいものとして0°に近似して設定してもよく、このように設定した場合にあっても、操作に違和感を与えることはない。
続いて、制御ユニット40は、得られた首位置の目標速度ベクトルv'を、次式に従い内視鏡24の先端部(撮像部)の目標速度ベクトルv''に変換する。これにより、頭の前後の動きと内視鏡24の先端部(撮像部)の前後の動きを一致させることができる。但し、行列Rおよび変換行列Tは、上述の式と同様である。
Figure 2014095953
制御ユニット40は、得られた内視鏡24の先端部(撮像部)の目標速度ベクトルv''の成分のうちで、手術者OPの前後方向への頭部の移動速度に対応する成分を用いて、最終的な内視鏡の先端部(撮像部)の目標速度値を求める。
なお、目標速度ベクトルv''の成分のうちで、手術者OPの前後方向への頭部の移動速度に対応する成分について、所定の係数などをさらに掛けるなどの処理を行ってもよい。
そして、制御ユニット40は、「ジャイロセンサ2に基づいて得られる内視鏡24の先端部(撮像部)の目標速度ベクトルvxy」と、「ジャイロセンサ3に基づいて得られる内視鏡24の先端部(撮像部)の目標速度ベクトルv''」とを加算する。ただし、目標速度ベクトルv''については、「手術者OPの前後方向への頭部の移動速度に対応する成分」のみを加算する。これにより、制御ユニット40は、上下左右方向と前後方向の速度成分を加算して、最終的な内視鏡24の先端(撮像部)の目標速度値を算出する。
なお、上述の例においては、手術者の頭部の回転速度のうちロール成分(首を傾げる動作)は、上述の角速度指令ベクトルω'cmdのロール成分を、直接、内視鏡のロールqの目標速度として与えられているが、かかる例に限られることない。また、この動作は無効にしてもよい。
オンオフ切替用フットスイッチ50を使用することにより発生する効果は、つぎのようなものがある。内視鏡24を動作させたくないときにはスイッチをオフにしておけば、頭および上体を自由に動かすことができる。また、例えば、スイッチをオンにして内視鏡24を右に動かす際、自分の頭が右の可動限界に達した場合でも、スイッチをオフにして頭を左に戻してからスイッチをオンにすることで、さらに内視鏡24を右に動かすことができる。また、スイッチをオンにしない限り内視鏡24が頭の動きに連動することはないので、予期せぬ動作を避けることができる。
以上に説明したように、本実施の形態に係る内視鏡操作システムの一例によれば、頭部のジャイロセンサ2に加えてジャイロセンサ3を胸部にも取り付け、ジャイロセンサ2により頭部の動きを検出すると共に、ジャイロセンサ3により検出される上体の前後方向の傾斜から頭部の前後方向の速度を求め、これら動き情報に基づいて、内視鏡24の上下左右方向の移動および内視鏡24の軸周りの回転移動、並びに内視鏡24の前後方向の移動を実現するための内視鏡24の先端部の目標速度値を算出し、保持アームユニット10に指示する。これによって、簡易かつ直感性に優れた内視鏡24の視野の操作を実現することができる。
また、本実施の形態に係る内視鏡操作システムの一例によれば、視野の操作において、手術者OPの手自体を使用せずに操作可能な自由度が増えるために、例えばズーム操作用フットスイッチなどの従来必要であった入力機器を省略することができる。また、頭部の動きに追従する視野の並進操作を実現できるため、操作の直感性が飛躍的に増加すると共に、誤操作のリスクを低減することができる。
従って、本実施の形態に係る内視鏡操作システムの一例によれば、以下の効果を奏することができる。
1.信号遮断やノイズ、セッティングの観点から、外部へのセンサ設置が不要であること。
2.手を使わずに全ての操作を行えること。
3.操作手順を意識することなく直感的に操作できること。
4.フットスイッチの使用を最小限に留めること。
即ち、本実施の形態に係る内視鏡操作システムの一例によれば、これらを全て満たすような、簡易かつ直感性に優れた、ズームなどの視野の並進操作方法を実現することができる。
実施の形態2.
上述した実施の形態1に係る内視鏡操作システムの一例によれば、図3に示した内視鏡24はその先端部は常に伸長状態にあり、曲げるようには構成されていない。これに対して本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡24はその先端部の少なくとも一部を屈曲させ曲げることが可能となるように構成されている。即ち、内視鏡24の先端部の少なくとも一部は、回転軸線Gに対して左右方向に屈曲が可能である。
保持アームユニット10は、内視鏡24の撮像部の移動に関する4自由度(手術者OPの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動)に加えて、内視鏡24の撮像部の屈曲による移動に関する1自由度(手術者OPの上体の左右の動きに追従する左右方向への移動)についても実現することができる。即ち、保持アームユニット10は、内視鏡24の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、内視鏡24の先端部の少なくとも一部を左右方向に屈曲可能に支持するように構成されている。
制御ユニット40は、実施の形態1において上述したのと同様の原理によって、上体のジャイロセンサ3によって、手術者OPの上体の左右方向への傾斜角速度を検出することができる。そして、制御ユニット40は、この検出した手術者OPの上体の左右方向への傾斜角速度から、手術者OPの首位置の左右方向の移動速度を算出することができる。さらに、制御ユニット40は、この算出した首位置の左右方向の移動速度から、手術者OPの左右方向の頭部の移動速度を算出することができる。制御ユニット40は、内視鏡24の先端部の少なくとも一部を屈曲させる操作の指令に関して、この算出した手術者OPの左右方向の頭部の移動速度を用いる。例えば、制御ユニット40は、手術者OPが右方向に傾斜した場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を右方向に屈曲させ、手術者OPが左方向に傾斜した場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を左方向に屈曲させる。
このようにして、本実施の形態に係る内視鏡操作システムの一例によれば、先端部の少なくとも一部が屈曲可能な内視鏡24に対して、その先端部の少なくとも一部の方向を左右方向に曲げることができると共に、実施の形態1で説明したようにして先端部自体をも平行移動させることが可能である。このような屈曲可能な内視鏡24においては、その先端部を左右に移動させるために内視鏡24の先端部全体を移動させることに代えて、先端部の少なくとも一部のみを屈曲させることで左右に向ける、ということが可能になる。
実施の形態3.
上述した実施の形態2に係る内視鏡操作システムの一例によれば、内視鏡24の先端部の少なくとも一部は、回転軸線Gに対して左右方向に屈曲が可能である。本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡24の先端部の少なくとも一部は、左右方向に加えて、上下方向にも屈曲が可能である。
保持アームユニット10は、内視鏡24の撮像部の移動に関する4自由度(手術者OPの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動)に加えて、内視鏡24の撮像部の屈曲による移動に関する2自由度(手術者OPの上体の左右の動きに追従する左右方向への移動、および手術者OPの頭部全体の鉛直上下方向の動きに追従する上下方向への移動)についても実現することができる。即ち、保持アームユニット10は、内視鏡24の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、内視鏡24の先端部の少なくとも一部を左右および上下方向に屈曲可能に支持するように構成されている。
本実施の形態に係る内視鏡操作システムの一例においては、頭部全体の鉛直上下方向の移動速度を首位置の上下方向の並進速度として見なし、実際には、頭部全体の鉛直上下方向の移動速度は首部分の上下方向の移動速度として求める。例えば、腰位置の上下方向の並進速度から求めることができる。そしてさらに、腰位置の上下方向の並進速度は、例えば、手術者OPの膝の屈伸運動による腰の回転角速度から求める。
第3の姿勢検出部の一例としてのジャイロセンサ4が、例えば図6に示すように、手術者OPの膝部に取り付けられている。ジャイロセンサ4は、手術者OPの膝の屈伸運動に基づく腰の回転角速度を検出する。なお、ジャイロセンサ4を取り付ける位置は手術者OPの膝部に限定されず、手術者OPの腰の回転角速度を検出可能な位置であれば、手術者OPの大腿部あるいは下腿部の任意の位置に取り付けてよい。ジャイロセンサ4からの検出出力は、上述した制御ユニット40に供給される。
制御ユニット40は、ジャイロセンサ4から検出した膝屈伸動作における腰の回転角速度
θドット(式において、上部にドットを付して示す変数。)から、例えば次式に従って腰位置の並進速度vkの鉛直成分vkyを近似的に算出する。なお、腰位置の並進速度ベクトルvkの他の成分については0とすればよい。
Figure 2014095953
なお、膝の回転角度θは鉛直方向上方に対する膝屈伸運動による腰の回転角速度であり、手術者OPが直立姿勢の場合には0度になる。また、lk1は足首から膝までの長さであり、lk2は膝から腰までの長さである。
なお、(11)式において腰の回転角速度θドットに掛かる係数は、次式のように一定値Kを掛けて算出してもよい。
Figure 2014095953
これを上述した(8)式における首位置の速度vに加えることで、上述した(9)式を、次式に示すように置き換える。
Figure 2014095953
このように、制御ユニット40は、内視鏡24の先端部の少なくとも一部を屈曲させる操作の指令に関して、この算出した手術者OPの頭部全体の鉛直上下方向の移動速度を用いる。制御ユニット40は、例えば、制御ユニット40は、手術者OPが屈伸運動により膝を屈曲させた場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を下方向に屈曲させ、手術者OPが屈伸運動により膝を伸長させた場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を上方向に屈曲させる。
このようにして、本実施の形態に係る内視鏡操作システムの一例によれば、上体の傾斜と独立した頭部全体の鉛直上下運動を検出することができ、この動きの検出値に従って、内視鏡24の先端部の少なくとも一部を上下方向に屈曲させる。これにより、内視鏡24の先端部の移動に関して、合計で6自由度を実現することができる。
その他の実施の形態1.
上述した実施の形態1では、第2の姿勢検出部としてジャイロセンサを用いる場合を例に説明したが、本発明はこれに限定されず、第2の姿勢検出部として胴部の前面に取り付ける小型のカメラを利用してもよい。小型カメラを用いる場合には、当該カメラにより撮像した手術者OPの前方方向における画像のオプティカルフローに基づいて、上体の前後方向の傾斜角速度を推定することができる。
HMD30を装着している手術者OPは前方を視認することはできないが、例えば、小型カメラにより撮像した前方画像の一部をHMD30のサブモニターに表示させる、または、HMD30の表示部の表示を前方画像に切り替えることで、手術者OPは前方の状況を確認することが可能になる、という利点がある。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態では、第2の姿勢検出部としてジャイロセンサあるいは小型カメラを用いる場合を例に説明したが、本発明はこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第2の姿勢検出部として磁気センサを利用するものとしてもよい。
また、保持アームユニット10および内視鏡24の具体的構成は上記実施の形態に限られたものではなく、他の具体的構成を備える保持アームユニット10および内視鏡24を利用するものとしてもよい。
また、内視鏡24の撮像部からの画像信号に基づく画像を表示する表示部は、HMD30によって表示されるものとして説明したが、本発明はこれに限定されない。例えば、表示部は、一般的な液晶モニタなど、周知の表示手段を用いて表示するようにしてもよい。
その他の実施の形態2.
上述した実施の形態では、操作対象装置が、内視鏡24および保持アームユニット10を含む装置である場合を例に説明したが、本発明はこれに限定されない。操作対象装置を、例えば、レスキューロボットや遠隔操作ロボットに搭載されるカメラとして、操作者の頭部および上体の動きに応じて、カメラを少なくとも上下、左右、および前後方向に移動可能に操作するものとしてもよい。
操作対象装置を制御する制御ユニットは、操作者の胴部に取り付けられたジャイロセンサ4から、操作者の上体の傾斜変位に基づく角速度のうちの上体の前後方向への傾斜角速度成分を検出し、その検出値に基づいて操作者の首位置の前後方向の並進速度を算出し、さらに、算出した操作者の首位置の前後方向の並進速度に応じた操作指令信号であって、カメラの前後方向への移動操作を操作するための第2の操作指令信号を算出する。また、制御ユニットは、操作者の頭部に取り付けられたジャイロセンサ3から操作者の頭部の姿勢の動き情報を検出し、この頭部の動き情報に応じた操作指令信号である、カメラの上下および左右方向への移動操作を操作するための第1の操作指令信号を算出する。そして、制御ユニットは、算出した第1の操作指令信号および第2の操作指令信号に追従するように操作対象装置を制御する。これにより、簡易かつ直感的に操作対象装置の操作が可能となり、例えば、ロボットなどの操作においても、操作者は手を使用せずに他自由度のカメラ操作が可能となる。
なお、制御ユニットは、例えば、演算処理等を行うCPU(Central Processing Unit)と、CPUによって実行される演算プログラム等が記憶されたROM(Read Only Memory)と、処理データ等を一時的に記憶するRAM(Random Access Memory)と、を有するマイクロコンピュータを中心にして、ハードウェア構成されている。また、これらCPU、ROM、及びRAMは、データバス等によって相互に接続されている。
その他の実施の形態3.
また、上述した実施の形態に限定されず、操作対象装置を、例えば、表示画面に表示される操作対象画像を操作するタブレット端末等として、操作者の頭部および上体の動きに応じて、操作対象画像を上下および左右方向に視覚的に移動操作すると共に、所定の操作を実行して表示するものとしてもよい。なお、タブレット端末は、ジャイロセンサ3およびジャイロセンサ4と、有線または無線により接続される。CPUなどを含む制御ユニットは、タブレット端末自体に内蔵されるものとしてもよいし、タブレット端末の外部に設けられるものとしてもよい。
操作対象装置を制御する制御ユニットは、操作者の胴部に取り付けられたジャイロセンサ4から、操作者の上体の傾斜変位に基づく角速度のうちの上体の前後方向への傾斜角速度成分を検出し、その検出値に基づいて操作者の首位置の前後方向の並進速度を算出し、さらに、算出した操作者の首位置の前後方向の並進速度に応じた操作指令信号である、操作者の上体の前後方向の動きに対応付けられた所定の操作を実行するための第2の操作指令信号を算出する。また、制御ユニットは、操作者の頭部に取り付けられたジャイロセンサ3から操作者の頭部の姿勢の動き情報を検出し、この頭部の動き情報に応じた操作指令信号である、操作対象画像の上下および左右方向への視覚的な移動操作を操作するための第1の操作指令信号を算出する。そして、制御ユニットは、算出した第1の操作指令信号および第2の操作指令信号に追従するように操作対象装置を制御する。
これにより、簡易かつ直感的に操作対象装置の操作が可能となり、例えば、両手または片手が不自由な身障者がタブレット端末などを自由に操作することができる。また、例えば、料理中や食器洗い中などの場合においても、タブレット端末によるレシピ確認やスマートテレビなどの操作を行うことができる。また、例えば、電車乗車中に吊り革を片手で握っているときにスマートフォンを操作する場合には親指しか使用できないが、本発明に係る操作対象装置の操作システムの一例によれば、頭部や上体の動きを利用することで、より他自由度な入力が可能となる。
操作対象装置による操作対象画像の上下および左右方向への視覚的な移動操作は、例えば、操作対象画像を上下および左右方向にスクロール操作することである。また、操作対象装置による操作対象画像の所定の操作を実行して表示するとは、例えば、操作対象画像を拡大または縮小操作して表示することである。この場合、第2の操作指令信号は、算出した操作者の首位置の前後方向の並進速度に応じた操作対象画像の拡大または縮小操作を操作するための操作指令信号である。また、第1の操作指令信号は、ジャイロセンサ3により検出した操作者の頭部の姿勢の動き情報に応じた操作対象画像の上下および左右方向へのスクロール操作を操作するための操作指令信号である。
また、操作対象装置による操作対象画像を例えばカーソルとし、操作対象画像の上下および左右方向への視覚的な移動操作は、例えば、カーソルを上下および左右方向に移動操作することである。また、操作対象装置による操作対象画像の所定の操作を実行して表示するとは、例えば、カーソルのクリック操作を実行して表示することである。この場合、第2の操作指令信号は、算出した操作者の首位置の前後方向の並進速度に関して所定の条件が成立した場合に、カーソルのクリック操作の実行を指令する操作指令信号である。なお、所定の条件とは、例えば、並進速度が所定の閾値を超えた場合、並進速度を時間により積分した値が所定の閾値を越えた場合、並進速度を時間により微分した値が所定の閾値を超えた場合など、実際の用途に応じて適宜最適な条件を予め定めて設定することが可能である。また、カーソルのクリック操作を実行して表示することに限定されず、他の操作を行うものとしてもよい。これにより、簡易かつ直感的に操作対象装置の操作が可能となり、例えばパーソナルコンピュータのキーボード入力を行っている場合において、カーソル移動などの空間的な入力を、キーボードから指を離さずに行うことが可能となる。
その他の実施の形態4.
また、上述した実施の形態に限定されず、操作対象装置を、例えば、操作者の頭部および上体にそれぞれ対応する頭部画像および上体画像を表示する表示部を含む装置として、操作者の頭部および上体の動きに応じて、頭部画像および上体画像を少なくとも上下、左右、および前後方向に移動操作して表示するものとしてもよい。なお、操作対象装置(例えば、表示部を含むパーソナルコンピュータ)は、ジャイロセンサ3およびジャイロセンサ4と、有線または無線により接続される。CPUなどを含む制御ユニットは、操作対象装置自体に内蔵されるものとしてもよいし、操作対象装置の外部に設けられるものとしてもよい。
操作対象装置を制御する制御ユニットは、操作者の胴部に取り付けられたジャイロセンサ4から、操作者の上体の傾斜変位に基づく角速度のうちの上体の前後方向への傾斜角速度成分を検出し、その検出値に基づいて操作者の首位置の前後方向の並進速度を算出し、さらに、算出した操作者の首位置の前後方向の並進速度に応じた操作指令信号である、上体画像の前後方向への移動操作を操作するための第2の操作指令信号を算出する。また、制御ユニットは、操作者の頭部に取り付けられたジャイロセンサ3から操作者の頭部の姿勢の動き情報を検出し、この頭部の動き情報に応じた操作指令信号である、頭部画像の上下および左右方向への移動操作を操作するための第1の操作指令信号を算出する。そして、制御ユニットは、算出した第1の操作指令信号および第2の操作指令信号に追従するように操作対象装置を制御する。これにより、ジャイロセンサを配置した部位を画像として表示し、これら部位の動きを操作することで、簡易かつ直感的に操作対象装置の操作が可能となり、例えば、頸椎ヘルニアなどの治療におけるリハビリ運動を計測および評価することが可能になる。
以上、本発明の各実施の形態を説明したが、上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。操作対象装置は、操作者の頭部および上体の動きに応じて操作対象を操作するものであればよい。そして、制御ユニットは、ジャイロセンサ4により検出した操作者の上体の傾斜変位に基づく角速度のうちの上体の前後方向への傾斜角速度成分に基づいて操作者の首位置の前後方向の並進速度を算出し、当該算出した操作者の首位置の前後方向の並進速度に応じた前後方向操作指令信号を算出する。また、制御ユニットは、ジャイロセンサ3により検出した操作者の頭部の姿勢の動き情報に応じた上下左右方向操作指令信号を算出する。そして、制御ユニットは、これら算出した前後方向操作指令信号および上下左右方向操作指令信号に追従するように操作対象装置を制御するものであればよい。
このように、操作対象装置の操作に際して、頭部の動きを検出するためのジャイロセンサ3と、上体の動きを検出するためのジャイロセンサ4という2つのセンサを有し、これら2つのセンサからそれぞれの動きに対応した指令を求め、これら2つの指令に協調して操作対象装置の制御を行う。これによって、操作者の頭部および上体の動きに応じた、簡易かつ直感的な操作対象装置の操作が可能となる。
2、3、4 ジャイロセンサ
10 保持アームユニット、
12 空気圧シリンダー、
14 平行リンク機構、
16 ベーンモータユニット、
18 空気圧シリンダー、
20 ベーンモータ、
22 タイミングベルト、
24 内視鏡、
30 HMD、
40 制御ユニット、
50 オンオフ切換用フットスイッチ、
58 バルブユニット、
60 内視鏡コントローラ、

Claims (11)

  1. 操作者の頭部および上体の動きに応じて操作対象を操作する操作対象装置と、
    操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第1の姿勢検出部と、
    前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第2の姿勢検出部と、
    前記第2の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度に応じた前後方向操作指令信号を算出し、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報に応じた上下左右方向操作指令信号を算出し、当該算出した前記前後方向操作指令信号および前記上下左右方向操作指令信号に追従するように前記操作対象装置を制御する制御ユニットと、
    を備える、操作対象装置の操作システム。
  2. 前記操作対象装置は、撮像部および当該撮像部からの画像信号に基づく画像を表示する表示部を含み、前記操作者の頭部および上体の動きに応じて、前記撮像部を少なくとも上下、左右、および前後方向に移動可能に操作し、
    前記制御ユニットは、前記前後方向操作指令信号として、前記撮像部の前後方向への移動操作を操作するための第2の操作指令信号を算出し、前記上下左右方向操作指令信号として、前記撮像部の上下および左右方向への移動操作を操作するための第1の操作指令信号を算出し、当該算出した前記第1の操作指令信号および前記第2の操作指令信号に追従するように前記操作対象装置を制御する、
    ことを特徴とする請求項1記載の操作対象装置の操作システム。
  3. 前記操作対象装置は、操作対象画像を表示する表示部を含み、前記操作者の頭部および上体の動きに応じて、前記操作対象画像を上下および左右方向に視覚的に移動操作すると共に、所定の操作を実行して表示し、
    前記制御ユニットは、前記前後方向操作指令信号として、前記操作者の上体の前後方向の動きに対応付けられた前記所定の操作を実行するための第2の操作指令信号を算出し、前記上下左右方向操作指令信号として、前記操作対象画像の上下および左右方向への視覚的な移動操作を操作するための第1の操作指令信号を算出し、当該算出した前記第1の操作指令信号および前記第2の操作指令信号に追従するように前記操作対象装置を制御する、
    ことを特徴とする請求項1記載の操作対象装置の操作システム。
  4. 前記操作対象装置は、前記操作者の頭部および上体の動きに応じて、前記操作対象画像を上下および左右方向にスクロール操作すると共に、拡大または縮小操作して表示し、
    前記制御ユニットは、前記第2の操作指令信号として、前記算出した前記操作者の首位置の前後方向の並進速度に応じた前記操作対象画像の拡大または縮小操作を操作するための操作指令信号を算出し、前記第1の操作指令信号として、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報に応じた前記操作対象画像の上下および左右方向へのスクロール操作を操作するための操作指令信号を算出する、
    ことを特徴とする請求項3に記載の操作対象装置の操作システム。
  5. 前記操作対象装置は、前記表示部に前記操作者の注目点を示すカーソルを表示し、前記操作者の頭部および上体の動きに応じて、前記カーソルを上下および左右方向に移動操作すると共に、所定の操作を実行して表示し、
    前記制御ユニットは、前記第2の操作指令信号として、前記算出した前記操作者の首位置の前後方向の並進速度に応じた前記操作者の上体の前後方向の動きに対応付けられた前記所定の操作を実行するための操作指令信号を算出し、前記第1の操作指令信号として、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報に応じた前記カーソルの上下および左右方向への移動操作を操作するための操作指令信号を算出する、
    ことを特徴とする請求項3に記載の操作対象装置の操作システム。
  6. 前記操作対象装置は、前記所定の操作として、前記カーソルのクリック操作を実行して表示し、
    前記制御ユニットは、前記算出した前記操作者の首位置の前後方向の並進速度に関して所定の条件が成立した場合に、前記カーソルのクリック操作の実行を指令する前記第1の操作指令信号を算出する、
    ことを特徴とする請求項5記載の操作対象装置の操作システム。
  7. 前記操作対象装置は、前記操作者の頭部および上体にそれぞれ対応する頭部画像および上体画像を表示する表示部を含み、操作者の頭部および上体の動きに応じて、前記頭部画像および上体画像を少なくとも上下、左右、および前後方向に移動操作して表示し、
    前記制御ユニットは、前記前後方向操作指令信号として、前記上体画像の前後方向への移動操作を操作するための第2の操作指令信号を算出し、前記上下左右方向操作指令信号として、前記頭部画像の上下および左右方向への移動操作を操作するための第1の操作指令信号を算出し、当該算出した前記第1の操作指令信号および前記第2の操作指令信号に追従するように前記操作対象装置を制御する、
    ことを特徴とする請求項1記載の操作対象装置の操作システム。
  8. 前記第2の姿勢検出部は、前記操作者の前記上体の傾斜変位に基づく角速度を検出するジャイロセンサである、
    ことを特徴とする請求項1ないし7いずれか1項に記載の操作対象装置の操作システム。
  9. 操作者の頭部および上体の動きに応じて操作対象を操作する操作対象装置を操作するための操作指令を算出する操作入力装置であって、
    操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第1の姿勢検出部と、
    前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第2の姿勢検出部と、
    前記第2の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度に応じた前後方向操作指令信号を算出し、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報に応じた上下左右方向操作指令信号を算出し、当該算出した前記前後方向操作指令信号および前記上下左右方向操作指令信号に追従するように前記操作対象装置を制御する制御ユニットと、
    を備える、操作入力装置。
  10. 前記操作入力装置は、操作対象装置の操作対象部位を物理的に操作するか、または、当該操作対象装置に含まれる表示部に表示される操作対象画像を視覚的に操作するための操作指令を算出し、
    前記制御ユニットは、前記前後方向操作指令信号として、前記操作者の上体の前後方向の動きに対応付けられた所定の物理的または視覚的な操作を実行するための第2の操作指令信号を算出し、前記上下左右方向操作指令信号として、前記操作対象部位の上下および左右方向への物理的な移動操作または前記操作対象画像の上下および左右方向への視覚的な移動操作を操作するための第1の操作指令信号を算出し、当該算出した前記第1の操作指令信号および前記第2の操作指令信号に追従するように前記操作対象装置の前記操作対象部位または前記操作対象画像を制御する、
    ことを特徴とする請求項9に記載の操作入力装置。
  11. 前記第2の姿勢検出部は、前記操作者の前記上体の傾斜変位に基づく角速度を検出するジャイロセンサである、
    ことを特徴とする請求項9または10に記載の操作入力装置。
JP2012245704A 2012-11-07 2012-11-07 操作対象装置の操作システム、操作入力装置 Pending JP2014095953A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012245704A JP2014095953A (ja) 2012-11-07 2012-11-07 操作対象装置の操作システム、操作入力装置
PCT/JP2013/000735 WO2014073121A1 (ja) 2012-11-07 2013-02-12 操作対象装置の操作システム、操作入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012245704A JP2014095953A (ja) 2012-11-07 2012-11-07 操作対象装置の操作システム、操作入力装置

Publications (1)

Publication Number Publication Date
JP2014095953A true JP2014095953A (ja) 2014-05-22

Family

ID=50684252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012245704A Pending JP2014095953A (ja) 2012-11-07 2012-11-07 操作対象装置の操作システム、操作入力装置

Country Status (2)

Country Link
JP (1) JP2014095953A (ja)
WO (1) WO2014073121A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015226611A (ja) * 2014-05-30 2015-12-17 Hoya株式会社 電子内視鏡システム及びこれに用いる頭部ジェスチャ検出型遠隔操作装置
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
CN106974682A (zh) * 2016-01-15 2017-07-25 上银科技股份有限公司 具可伸缩性的医疗器械控制机构
JP2017131406A (ja) * 2016-01-28 2017-08-03 上銀科技股▲分▼有限公司 伸縮性を有する医療機器の制御機構
JP2018534975A (ja) * 2015-10-09 2018-11-29 コヴィディエン リミテッド パートナーシップ ロボット外科用システムを用いて体腔を可視化するための角度付き内視鏡の使用方法
JP2019516159A (ja) * 2016-03-18 2019-06-13 株式会社ソニー・インタラクティブエンタテインメント Vr環境における観客ビュー視点
WO2019176164A1 (en) * 2018-11-12 2019-09-19 Ootaki Architect&Craftsmen Ltd. Auxiliary pedal system
US10841501B2 (en) 2016-05-23 2020-11-17 Fujitsu Limited Photographing control apparatus and photographing control method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3139843B1 (en) 2014-05-05 2023-08-30 Vicarious Surgical Inc. Virtual reality surgical device
CA3051258A1 (en) 2017-02-09 2018-08-16 Vicarious Surgical Inc. Virtual reality surgical tools system
JP7387588B2 (ja) 2017-09-14 2023-11-28 ヴィカリアス・サージカル・インコーポレイテッド バーチャルリアリティ手術カメラシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506809B2 (ja) * 1995-06-08 2004-03-15 オリンパス株式会社 体腔内観察装置
JP2001145634A (ja) * 1999-11-19 2001-05-29 Olympus Optical Co Ltd 内視鏡保持装置
JP5452813B2 (ja) * 2008-05-28 2014-03-26 国立大学法人東京工業大学 力覚提示機能を有する操縦システム
JP5537204B2 (ja) * 2010-03-23 2014-07-02 オリンパス株式会社 医療用マニピュレータシステム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015226611A (ja) * 2014-05-30 2015-12-17 Hoya株式会社 電子内視鏡システム及びこれに用いる頭部ジェスチャ検出型遠隔操作装置
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
JP2018534975A (ja) * 2015-10-09 2018-11-29 コヴィディエン リミテッド パートナーシップ ロボット外科用システムを用いて体腔を可視化するための角度付き内視鏡の使用方法
US11123149B2 (en) 2015-10-09 2021-09-21 Covidien Lp Methods of using an angled endoscope for visualizing a body cavity with robotic surgical systems
CN106974682A (zh) * 2016-01-15 2017-07-25 上银科技股份有限公司 具可伸缩性的医疗器械控制机构
JP2017131406A (ja) * 2016-01-28 2017-08-03 上銀科技股▲分▼有限公司 伸縮性を有する医療機器の制御機構
US10610323B2 (en) 2016-01-28 2020-04-07 Hiwin Technologies Corp. Telescoping control mechanism for controlling a medical instrument
JP2019516159A (ja) * 2016-03-18 2019-06-13 株式会社ソニー・インタラクティブエンタテインメント Vr環境における観客ビュー視点
US10841501B2 (en) 2016-05-23 2020-11-17 Fujitsu Limited Photographing control apparatus and photographing control method
WO2019176164A1 (en) * 2018-11-12 2019-09-19 Ootaki Architect&Craftsmen Ltd. Auxiliary pedal system
JP2020519974A (ja) * 2018-11-12 2020-07-02 知行 宍戸 補助ペダルシステム

Also Published As

Publication number Publication date
WO2014073121A1 (ja) 2014-05-15

Similar Documents

Publication Publication Date Title
JP5846385B2 (ja) 内視鏡操作システム
WO2014073121A1 (ja) 操作対象装置の操作システム、操作入力装置
US11963666B2 (en) Overall endoscopic control system
JP7112471B2 (ja) ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット
JP5737796B2 (ja) 内視鏡操作システムおよび内視鏡操作プログラム
JP7216768B2 (ja) 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
JP7135128B2 (ja) 可視および近赤外線スペクトルにおけるエクステンデッドリアリティの外科手術ナビゲーションのための姿勢測定連鎖
JP7478106B2 (ja) 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化
US11007023B2 (en) System and method of registration between devices with movable arms
WO2018159338A1 (ja) 医療用支持アームシステムおよび制御装置
JP2020018877A (ja) イメージング器具の向きの制御のためのシステム及び方法
JP5766150B2 (ja) 内視鏡操作システム
US20210169605A1 (en) Augmented reality headset for navigated robotic surgery
JP2008173724A (ja) マスタ・スレーブ式マニピュレータシステム
CN109171977A (zh) 超灵巧型手术系统
JP7216764B2 (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
CN113645919A (zh) 医疗臂系统、控制装置和控制方法
JP2021194539A (ja) 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
EP2862497B1 (en) Manipulator system
JP7282816B2 (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
US20210251717A1 (en) Extended reality headset opacity filter for navigated surgery
TWI544891B (zh) 用於腹腔鏡手術之俱有直覺式操控的輔助性機器人內視鏡系統及其方法
WO2024021855A1 (zh) 手术机器人及其控制方法、控制装置
CN116546931A (zh) 用于基于操作员的头部运动来调整成像设备的视场的技术

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140710