JP2007260298A - 手術支援ロボットの動作制御システム及び位置検出装置 - Google Patents

Abstract

【課題】 マニピュレータの体内側に存在する部分にセンサや光検出器を設置しなくても、当該部分の実際位置を正確に把握すること。
【解決手段】 マーカＡ〜Ｃが設けられたマニピュレータ２３と、当該マニピュレータ２３を保持するロボットアーム２４と、このロボットアーム２４を動作させる駆動装置２５と、マーカＡ〜Ｃを撮像可能な内視鏡１１と、ロボットアーム２４に対する動作を指令する操作装置１３と、当該操作装置１３からの指令に基づいて駆動装置２５の駆動を制御する制御装置１４とを備えて動作制御システム１０が構成されている。制御装置１４は、内視鏡１１で撮像されたマーカＡ〜Ｃの画像に基づいて、当該マーカ部分の実際位置を求め、操作装置１３からの指令による前記マーカ部分の目標位置が前記実際位置と相違している場合、前記マーカ部分を前記目標位置に近づけるように補正制御を行う。
【選択図】 図１

Description

本発明は、手術支援ロボットの動作制御システム及び位置検出装置に係り、更に詳しくは、手術支援ロボットの動作によって移動するマニピュレータの体内側部位の実際位置を把握することのできる手術支援ロボットの動作制御システム及び位置検出装置に関する。

近年、大きな切開を要さずに患者への負担を少なくする低侵襲手術が注目されており、この低侵襲手術を行うためのマスタースレーブ方式の手術支援ロボットが種々研究開発されている。この手術支援ロボットは、内視鏡や処置具等の術具が保持されるマニピュレータと、このマニピュレータを動作させるロボットアームと、このロボットアームに対して医師が動作指令を与える操作装置とを備えており、当該操作装置を医師が遠隔操作することで、マニピュレータが所望の位置に移動するようにロボットアームの動作が制御される。

ところが、何等かの外的要因により、マニピュレータの先端側の実際位置が、操作装置からの動作指令に基づく目標位置に対してずれる場合があり、この場合には、当該先端側の実際位置を目標位置に合わせるように、ロボットアームの動作を補正制御する必要がある。

ところで、特許文献１には、ロボットアームの動作を補正制御する装置が開示されている。この装置は、器具を動作させるロボットアームと、このロボットアーム上に取り付けられた発光ダイオードからなるセンサと、このセンサからの光を検出する光検出器と、当該光検出器の検出結果に基づいて幾何学的に前記センサの位置及び向きを演算し、この演算結果から器具の先端の実際位置が目標位置に近づくようにロボットアームを制御するコンピュータとを備えている。
特表２００４−５００９５８号公報

しかしながら、前記特許文献１の装置にあっては、センサがロボットアーム上すなわち体外側に存在するため、器具のうち体内側に存在する部位の実際位置を正確に把握することができない場合がある。つまり、例えば、器具として可撓性のある針状のマニピュレータを用いたときに、当該マニピュレータの一部分が組織に当たることにより撓み等の変形を生じた場合、当該変形によって、体内に存在するマニピュレータの先端の位置がずれる。ところが、この場合、当該マニピュレータを保持するロボットアームの状態は変わらないため、当該ロボットアーム上に設けられたセンサによる位置検出では、このようなマニピュレータの変形に伴うその先端の位置変化を正確に把握できないという問題がある。そこで、この問題を解決するために、器具の先端側に前述のセンサ及び光検出器を設けることも考えられる。ところが、器具にセンサ等を設けることで、その配線関係も含めた器具の大型化を招来し、当該器具を組織間の狭い隙間に侵入させ難くなくなるばかりか、光検出器を体内に配置しなければならず、そのために皮膚組織に対して大きな切開等が更に必要になりかねず、本来の目的である低侵襲手術が行えなくなる。また、体内に電気的なセンサを入れるのは人体にとって好ましくない。

本発明は、このような課題に着目して案出されたものであり、その目的は、マニピュレータの体内側に存在する部分にセンサや光検出器を設置しなくても、当該部分の実際位置を正確に把握することができ、当該実際位置に応じたロボットアームの正確な動作制御に寄与する手術支援ロボットの動作制御システム及び位置検出装置を提供することにある。

（１）前記目的を達成するため、本発明に係る手術支援ロボットの動作制御システムは、少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、当該操作装置からの指令に基づいて前記駆動装置の駆動を制御する制御装置とを備え、
前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、前記マニピュレータのマーカ部分の実際位置を求め、前記操作装置からの指令によって定められる前記マーカ部分の目標位置が前記実際位置と相違している場合、前記マーカ部分を前記目標位置に近づけるように補正制御を行う、という構成を採っている。

（２）また、本発明に係る手術支援ロボットの動作制御システムは、先端側の少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、前記駆動装置の駆動を制御する制御装置とを備え、
前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、前記マニピュレータの先端の実際位置を求める位置演算部と、前記操作装置からの指令に基づいて前記駆動装置の駆動を制御するロボット制御部と、当該ロボット制御部に対して補正制御を指令するロボット補正指令部とを備え、
前記ロボット補正指令部は、前記操作装置からの指令によって定められる前記マニピュレータの先端の目標位置が前記実際位置と相違している場合、前記マニピュレータの先端を前記目標位置に近づけるように前記ロボット制御部に指令する、という構成を採っている。

（３）ここで、前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置されることが好ましい。

（４）また、前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置され、
前記位置演算部は、前記各マーカの実際の相対位置関係と、前記撮像装置に撮像された画像に映る前記各マーカの相対位置関係とから、幾何学的に前記マニピュレータの最先端側のマーカの実際位置を求める、という構成を採ることが好ましい。

（５）更に、本発明に係る手術支援ロボットの位置検出装置は、手術支援ロボットにより移動制御されるマニピュレータに設けられたマーカの画像に基づいて、前記マニピュレータの移動時におけるマーカ部分の実際位置を求める位置演算部を備え、
前記マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上となる少なくとも三箇所に設けられ、
前記位置演算部は、前記各マーカの実際の相対位置関係と、前記画像に映る前記各マーカの相対位置関係とから、幾何学的に前記マーカ部分の実際位置を求める、という構成を採っている。

なお、本特許請求の範囲及び明細書における「マニピュレータ」とは、体内に挿入される術具その他の器具を含む部材を意味する。

本発明によれば、マニピュレータの体内側に存在する部分に撓み等の変形が生じた場合であっても、当該部分に、周囲に対して色彩や模様を変えたに過ぎない簡単なマーカを設けることで、センサ及びその検出装置を体内側に配置しなくても、マーカ部分の実際位置を正確に把握することができる。従って、センサ類を設けた特別なマニピュレータを用いなくても、マニピュレータの変形等により、体内側のマーカ部分の実際位置が目標位置からずれた場合に、当該実際位置を目標位置に合わせるように、制御装置を補正制御することができる。換言すれば、細径で可撓性のある針状のマニピュレータを適用しても、その先端部分等の位置制御を確実に行うことができる。

特に、前記（３）、（４）のように構成することで、より簡単な計算で、マーカ部分の位置を求めることが可能となる。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る手術支援ロボットの動作制御システムの概略構成図が示されている。この図において、動作制御システム１０は、マスタースレーブ方式の手術支援ロボットに対する動作制御を行うためのシステムであって、患部Ｓを撮像する撮像装置としての内視鏡１１と、患部Ｓに対して所定の処置を施すためのロボット本体１２と、このロボット本体１２を遠隔操作する操作装置１３と、操作装置１３からの指令に基づいてロボット本体１２の動作を制御する制御装置１４と、内視鏡１１で撮像された画像が表示されるモニタ等の表示装置１５とを備えて構成されている。

前記内視鏡１１は、患者の皮膚組織Ｐに開けられた穴に装着された筒状のトロカールＴ内に挿通され、体外間を貫通して、その先端側の撮像部が患部Ｓ付近に位置するように、配置されている。

前記ロボット本体１２は、患部Ｓの処置を行う鉗子等の術具を保持するマニピュレータ２３と、このマニピュレータ２３の基部側を保持して、当該マニピュレータ２３を移動可能に動作するロボットアーム２４と、このロボットアーム２４を駆動させる図示しないモータを含む駆動装置２５とを備えている。

前記マニピュレータ２３は、内視鏡１１の挿通部位とは別のトロカールＴ内に挿通され、体外間を貫通するように配置されている。このマニピュレータ２３の患部Ｓ側となる先端側には、三箇所に円形のマーカＡ，Ｂ，Ｃが設けられている。これらマーカＡ〜Ｃは、その中心がマニピュレータ２３の軸線方向ほぼ一直線上に位置するように設けられ、内視鏡１１により患部Ｓの撮像に併せて撮像される。ここでは、マニピュレータ２３の先端側から基部側に向って、マーカＡ，Ｂ，Ｃの順で配置されている。また、マーカＡ〜Ｃは、特に限定されるものではないが、その周囲と異なる色彩や模様とすることで形成され、若しくは、その周囲と異なる色彩や模様の薄板が貼付されることによって形成される。

前記ロボットアーム２４及び駆動装置２５は、公知の手術支援ロボットに適用される構造が採用されており、本発明の要旨ではないため、ここでは詳細な説明を省略する。

前記操作装置１３は、いわゆるマスターマニピュレータと称される装置であって、医師が表示装置１５に表示される患部Ｓの画像を見ながら、図示しない操作部を医師が把持して所望の方向に動かすことで、ロボットアーム２４を所望の方向に操作可能となる公知の構造のものが採用されている。本構造についても、本発明の要旨ではないため、ここでは詳細な説明を省略する。

前記制御装置１４は、ソフトウェア及び／又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び／又は処理回路より成り立っている。この制御装置１４は、内視鏡１１で撮像された画像が記憶される画像データ記憶部３０と、この画像データ記憶部３０に記憶されたマーカＡ〜Ｃの画像から、所定のタイミング毎に、マニピュレータ２３の先端側の実際位置を演算により求める位置演算部３１と、操作装置１３の指令に応じてロボットアーム２４が動作するように駆動装置２５の駆動を制御するロボット制御部３２と、位置演算部３１で求めた実際位置に基づいてロボット制御部３２に対する補正指令を行うロボット補正指令部３３とを備えて構成されている。従って、制御装置１４は、マニピュレータ２３の先端側の実際位置を求める位置検出装置としても機能する。

前記位置演算部３１では、以下の手順により、マニピュレータ２３における最先端のマーカＡの実際位置が求められる。なお、ここでは、便宜上、図２及び図３の模式図を用いながら説明する。

図２に示されるように、内視鏡１１の撮像面Ｆに映るマニピュレータ２３の画像上でマーカＡに相当する部位をａとし、同マーカＢに相当する部位をｂとし、同マーカＣに相当する部位をｃとする。先ず、撮像面Ｆ上に映る画像の中から、どこがマーカＡ〜Ｃに相当する部位ａ〜ｃかが判断される。これは、マーカＡ〜Ｃの形状や色彩等の形態を予め記憶しておき、画像のマッチング等により、撮像面Ｆに映されたマーカＡ〜Ｃの存在を特定する。ここで、各マーカＡ〜Ｃの形態を同一にした場合には、内視鏡１１の撮像方向に応じて、撮像面Ｆのどの方向がマニピュレータ２３の先端方向かを特定し、これによってマーカＡ〜Ｃの存在を特定する。具体的には、図１に示される内視鏡１１の撮像方向であれば、撮像面Ｆの図２中左側がマニピュレータ２３の先端方向になると判断され、これによって、図２中一番左側に映ったマーカがマーカＡであると判断され、その同図中右隣に映ったマーカがマーカＢと判断され、更にその同図中右隣に映ったマーカがマーカＣと判断される。

以上のように、撮像面Ｆに映されたマーカＡ〜Ｂの特定が終了したら、図３に示されるように、撮像面Ｆに対するマニピュレータ２３の軸線Ｌの傾き（傾き角σ）と同一の傾きの直線を内視鏡１１のカメラ中心Ｏから引いたときに、当該直線と撮像面Ｆとの交点すなわち消失点ｒの位置が求められる。具体的に、この消失点ｒは、複比関係を示す次式を用いて求められる。

ここで、ＡＣは、マーカＡからマーカＣまでの実際の距離を表し、ＡＢは、マーカＡからマーカＢまでの実際の距離を表している。また、ｒａは、撮像面Ｆ上における点ｒから点ａまでの距離を表し、ｒｂは、撮像面Ｆ上における点ｒから点ｂまでの距離を表し、ａｂは、撮像面Ｆ上における点ａから点ｂまでの距離を表し、ａｃは、撮像面Ｆ上における点ａから点ｃまでの距離を表す。
すなわち、この式の中で、点ａ，ｂ，ｃの撮像面Ｆ上における二次元座標が分かっているため、ａｃ、ａｂは分かっており、また、ＡＣ、ＡＢも初期値として分かっている。更に、点ｒ、ａ，ｂ，ｃは一直線上にあるので、上式に既知の値を代入することにより、撮像面Ｆにおける点ｒの二次元座標が求められる。

次いで、撮像面Ｆに対するマニピュレータ２３の軸線Ｌの傾き角σが、次式にて求められる。

ここで、カメラ中心Ｏから撮像面Ｆに延びる垂線と当該撮像面Ｆとの交点をＨとすると、ｒＨは、消失点ｒから交点Ｈまでの距離を表し、ｆは焦点距離を表す。

そして、次式により、三角形ＯａＨにおける点Ｏ側の角度をαと、三角形ＯｂＨにおける点Ｏの角度をβとが求められる。

ここで、ａＨは、撮像面Ｆ上における点ａから点Ｈまでの距離を表し、ｂＨは、撮像面Ｆ上における点ｂから点Ｈまでの距離を表す。

そして、カメラ中心Ｏからマニピュレータ２３の軸線Ｌに延びる垂線の長さをｄとすると、余弦定理により、次式の関係が成り立つ。

ここで、マーカＡとマーカＢとの間の実際距離であるＡＢは前述したように既知であり、角度σ、α及びβは前述のように求められたので、これらを上式に代入して、長さｄが求められる。

そして、カメラ中心ＯからマーカＡまでの距離ＯＡが次式にて求められる。

このように距離ＯＡが求められると、撮像面Ｆに対するマニピュレータ２３の軸線Ｌの傾き角σから、マニピュレータ２３の先端側となるマーカＡの座標すなわち実際位置が求められる。

前記ロボット補正指令部３３は、操作装置１３の指令に対応したマニピュレータ２３の先端側の目標位置と、位置演算部３１で求めた実際位置と対比して、それら位置が相違していると判断した場合に、マニピュレータ２３の先端側を目標位置に近けるように、ロボットアーム２４の動作に対する補正指令をロボット制御部３２に行うようになっている。

従って、このような実施形態によれば、手術時に患部Ｓとともに撮像されるマニピュレータ２３の先端側にマーカＡ〜Ｃが設けられ、これらマーカＡ〜Ｃの内視鏡画像からマニピュレータ２３の先端側の位置が求められる。つまり、ロボットアーム２４の動作制御を行う際に、マニピュレータ２３の先端側に、発光ダイオード、光検出器、センサ等の機器を設けなくても、マニピュレータ２３の先端側の実際位置を求めることができる。従って、センサ等の機器を術中の患者の体内に入れなくても良く、マニピュレータ２３の小型化や構造の単純化を促進することができ、スペースの少ない部位に対するロボットによる手術支援に好適となる。また、体外側に設けたセンサ等の機器によりマニピュレータ２３の先端側の実際位置を求めるものでもないため、細くて可撓性のある針状のマニピュレータ２３を用いたような場合、不可抗力によってマニピュレータ２３の途中部分に撓み等の変形が発生した場合でも、マニピュレータ２３の先端側の実際位置を正確に把握でき、当該先端側の実際位置を考慮したロボットアーム２４の動作に対する補正制御を正確に行うことができる。

また、実際の手術に用いる内視鏡１１を用いるため、患者の皮膚組織Ｐに対し、低侵襲手術に必要となる最小限の穴数で、マニピュレータ２３の先端側の移動制御を確実に行うことができる。但し、撮像装置としては、内視鏡１１の他の装置を用いることも可能である。

なお、マーカＡ〜Ｃは、少なくとも三箇所に設けられている限り、その形状や配置態様等は特に問わず、また、マーカＡ〜Ｃ毎に形状や色彩を異ならせることもできる。ここで、前記実施形態のように、マニピュレータ２３の軸線方向にほぼ一直線上に配置することが好ましく、これにより、マーカ部分の位置を前述した簡単な計算により求めることができる。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

本実施形態に係る手術支援ロボットの動作制御システムの概略構成図。 マニピュレータの先端側の実際位置を求める手順を説明するための概念図。 図２を平面的に表した概念図。

符号の説明

１０ 動作制御システム
１１ 内視鏡（撮像装置）
１２ ロボット本体
１３ 操作装置
１４ 制御装置
２３ マニピュレータ
２４ ロボットアーム
２５ 駆動装置
３１ 位置演算部
３２ ロボット制御部
３３ ロボット補正指令部
Ａ マーカ
Ｂ マーカ
Ｃ マーカ

Claims (5)

1. 少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、当該操作装置からの指令に基づいて前記駆動装置の駆動を制御する制御装置とを備え、
   前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、前記マニピュレータのマーカ部分の実際位置を求め、前記操作装置からの指令によって定められる前記マーカ部分の目標位置が前記実際位置と相違している場合、前記マーカ部分を前記目標位置に近づけるように補正制御を行うことを特徴とする手術支援ロボットの動作制御システム。
2. 先端側の少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、前記駆動装置の駆動を制御する制御装置とを備え、
   前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、前記マニピュレータの先端の実際位置を求める位置演算部と、前記操作装置からの指令に基づいて前記駆動装置の駆動を制御するロボット制御部と、当該ロボット制御部に対して補正制御を指令するロボット補正指令部とを備え、
   前記ロボット補正指令部は、前記操作装置からの指令によって定められる前記マニピュレータの先端の目標位置が前記実際位置と相違している場合、前記マニピュレータの先端を前記目標位置に近づけるように前記ロボット制御部に指令することを特徴とする手術支援ロボットの動作制御システム。
3. 前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置されていることを特徴とする請求項１又は２記載の手術支援ロボットの動作制御システム。
4. 前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置され、
   前記位置演算部は、前記各マーカの実際の相対位置関係と、前記撮像装置に撮像された画像に映る前記各マーカの相対位置関係とから、幾何学的に前記マニピュレータの最先端側のマーカの実際位置を求めることを特徴とする請求項２記載の手術支援ロボットの動作制御システム。
5. 手術支援ロボットにより移動制御されるマニピュレータに設けられたマーカの画像に基づいて、前記マニピュレータの移動時におけるマーカ部分の実際位置を求める位置演算部を備え、
   前記マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上となる少なくとも三箇所に設けられ、
   前記位置演算部は、前記各マーカの実際の相対位置関係と、前記画像に映る前記各マーカの相対位置関係とから、幾何学的に前記マーカ部分の実際位置を求めることを特徴とする手術支援ロボットの位置検出装置。

Images