JP2009297435A - 受動的多自由度システムおよび内視鏡装置 - Google Patents

Abstract

【課題】広角レンズのように光学歪みを有する撮像部により広い視野範囲を確保しながら、取得される画像中のいずれの位置に検出される注目点に対しても迅速に位置制御を行う。
【解決手段】複数の受動関節により連結された多数のリンク３を備える多関節体４と、該多関節体４のリンク３に取り付けられた広角レンズ１１を含み被写体の画像を取得する撮像部８と、各受動関節の角度和を検出する角度和検出手段５と、撮像部８の姿勢および位置を制御する制御装置９とを備え、該制御装置９が、角度和検出手段５により検出された各受動関節の角度の和に基づいて撮像部８の姿勢を制御する姿勢制御部１３と、撮像部８により取得された画像中における注目点の移動量に基づいて該撮像部８の位置を制御する位置制御部１４とを備え、該位置制御部１４が、取得された画像上における注目点の位置に応じてフィードバックゲインを変更する受動的多自由度システム１を提供する。
【選択図】図１

Description

本発明は、受動的多自由度システムおよび内視鏡装置に関するものである。

従来、受動的多自由度システムとして、複数の受動関節により連結された多関節体と、該多関節体に取り付けられた撮像部と、前記各受動関節の角度を検出する角度センサと、撮像部の姿勢および位置を制御する制御装置とを備えるものが知られている（例えば、非特許文献１参照。）。

この受動的多自由度システムは、角度センサにより検出された各受動関節の角度の和に基づいて撮像部の姿勢を制御するとともに、撮像部により取得された画像に基づいて該撮像部の位置を制御するようになっている。
そして、画像に基づく撮像部の位置制御においては、画像内の注目点の動きに着目し、時間間隔をあけて取得された２枚の画像間における注目点の移動量を抽出してそれを戻すように、先端のリンクに接続された一組のワイヤの張力を調節することが行われる。

後藤和之他、「受動的冗長自由度を持つシステムのビジュアルフィードバック制御」、電気学会研究会試料IIＣ（産業計測制御研究会），２００７，Ｎｏ．１９，ｐ６５−６９

しかしながら、このような受動的多自由度システムを、例えば、内視鏡装置に適用する場合に、先端のリンクに取り付ける撮像部としては、極めて細径であることと、広い視野範囲を有することとが要求されるため、超広角の広角レンズを備えたものが採用される。このような撮像部により取得される画像は、周辺部に行くほど大きな歪みを有する画像となるので、２つの画像間の差分により抽出される移動量は現実の移動量より小さくなって、その移動量を補正するための整定時間が長くなるという不都合がある。画像処理等により歪みを補正した画像を得る技術も知られているが、画像全体の歪みを補正すると計算量が多くなったり演算時間が長くなったりする等の不都合がある。特に、画像情報をフィードバックに使用する場合には、サンプリング時間を短縮することが望まれる。

本発明は上述した事情に鑑みてなされたものであって、広角レンズのように光学歪みを有する撮像部により広い視野範囲を確保しながら、取得される画像中のいずれの位置に検出される注目点に対しても迅速に位置制御を行うことができる受動的多自由度システムおよび内視鏡装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、複数の受動関節により連結された多数のリンクを備える多関節体と、該多関節体のリンクに取り付けられた広角レンズを含み被写体の画像を取得する撮像部と、前記各受動関節の角度和を検出する角度和検出手段と、前記撮像部の姿勢および位置を制御する制御装置とを備え、該制御装置が、前記角度和検出手段により検出された各受動関節の角度の和に基づいて前記撮像部の姿勢を制御する姿勢制御部と、前記撮像部により取得された画像中における注目点の移動量に基づいて該撮像部の位置を制御する位置制御部とを備え、該位置制御部が、取得された画像上における注目点の位置に応じてフィードバックゲインを変更する受動的多自由度システムを提供する。

本発明によれば、角度和検出手段により検出された受動関節の角度の和に基づいて姿勢制御部の作動により撮像部の姿勢が制御され、撮像部により取得された画像に基づいて位置制御部の作動により撮像部の位置が制御される。この場合に、位置制御部は、取得された画像上における注目点の移動量に基づいて撮像部の位置を制御することとなるが、その際のフィードバックゲインを注目点の位置に応じて変更するので、広角レンズを含む撮像部のように光学歪みを有する撮像部により取得された画像を用いても、注目点の位置に依存することなく、撮像部を精度よく迅速に位置制御することが可能となる。

上記発明においては、前記位置制御部が、画像上の位置とゲインとを対応づけて記憶するゲイン記憶部と、取得された画像上の注目点の位置に基づいてゲイン記憶部内に記憶されているゲインを検索しフィードバックゲインとして適用する補正手段とを備えることとしてもよい。
このようにすることで、位置制御部は、ゲイン記憶部に記憶されているゲインを検索し、補正手段によりフィードバックゲインとして適用するので、撮像部に含まれている広角レンズに適したゲインを記憶しておくだけで、注目点が視野範囲のいずれの位置に配置されていても、簡易かつ迅速に撮像部を精度よく位置制御することができる。

また、本発明は、上記いずれかの受動的多自由度システムを備える内視鏡装置を提供する。
本発明によれば、撮像部を体腔内に挿入して、体腔内の観察を行いながら外科的な処置を行っている場合に、患者の体動その他の外乱によって撮像部の位置が変動しても、迅速に視野を回復して、処置の継続を図ることができる。

本発明によれば、広角レンズのように光学歪みを有する撮像部により広い視野範囲を確保しながら、取得される画像中のいずれの位置に検出される注目点に対しても迅速に位置制御を行うことができるという効果を奏する。

以下、本発明の一実施形態に係る受動的多自由度システム１および内視鏡装置２について、図１〜図４を参照して以下に説明する。
本実施形態に係る内視鏡装置２は、体腔内に挿入される細長い挿入部２ａを備え、該挿入部２ａ内に受動的多自由度システム１を備えている。

本実施形態に係る受動的多自由度システム１は、図１に示されるように、相互に直交する２方向に自由度を有するように連結された多数のリンク３を備える多関節体４と、該多関節体４を構成しているリンク３間の角度を検出するように関節毎に設けられた角度センサ５と、先端のリンク３に一端が接続され、各リンク３の先端側部分を通過して、基端のリンク３よりも基端側に配置されたプーリ６に接続された２組のワイヤ７（１組のみ図示。）と、先端のリンク３に固定された撮像部８と、前記角度センサ５により検出されたリンク３の角度および撮像部８により取得された画像Ｐに基づいてワイヤ７の張力を制御する制御装置９とを備えている。

ワイヤ７は、リンク３の各自由度毎に１組ずつ設けられている。ここでは、一方の自由度についてのみ説明する。図中、符号１０は、プーリ６を回転させるモータである。
撮像部８は、リンク３の先端に設けられた超広角レンズ１１と、該超広角レンズ１１により集光された光を撮影するＣＣＤカメラ１２とを備えている。

制御装置９は、角度センサ５により検出されたリンク３間の角度に基づいて、撮像部８の姿勢を制御する姿勢制御部１３（図３参照。）と、撮像部８により取得された画像Ｐに基づいて撮像部８の位置を制御する位置制御部１４（図３参照。）とを備えている。
姿勢制御部１３は、全ての角度センサ５により検出されたリンク３間の角度の総和である関節角度和θ_ｓｕｍを演算し、該関節角度和θ_ｓｕｍが一定となるようにワイヤ７の張力を制御するようになっている。

すなわち、各角度センサ５により検出されるリンク３間の角度の総和である関節角度和θｓｕｍは、ベース座標系に対する先端のリンク３の姿勢、すなわち、先端のリンク３に取り付けられた撮像部８の姿勢を表すようになっている。
これを図２に示す。図２（ａ）と図２（ｂ）とは関節角度和θ_ｓｕｍが等しく、従って撮像部８の姿勢は同一である。

しかしながら、関節角度和θ_ｓｕｍが同一で姿勢が等しくても、図２（ａ）と図２（ｂ）とでは撮像部８の位置が異なり、したがって、撮像部８により取得される被写体の画像Ｐの位置も相違する。また、関節角度和θ_ｓｕｍが微小変化すると撮像部８の姿勢も微小に変化する。

そこで、位置制御部１４は、撮像部８により時間間隔をあけて取得された２枚の画像Ｐの差分から画像Ｐ上における注目点の移動量を算出し、該移動量に基づいて、関節角度和θ_ｓｕｍを微小変化させる指令を発生させることにより、ワイヤ７の張力を変化させ、撮像部８の位置を制御するようになっている。

さらに具体的には、関節角度和θ_ｓｕｍの微小変化Δθ_ｓｕｍに対する注目点の微小変化Δｕ_Ｔとの関係を示す画像ヤコビ行列Ｊ_{ｉｍａｇｅ}を用いると、図３の制御ブロック図を得ることができる。
図３において、
画像ヤコビ行列 ： Ｊ_{ｉｍａｇｅ}＝Δｕ_Ｔ／Δθ_ｓｕｍ
注目点の目標位置指令 ： ｕ_ｒ
位置指令偏差 ： ｅ_ｕ
位置制御伝達関数 ： Ｃ_Ｉ
注目点の微小変化指令 ： Δｕ_ｒ
関節角度和の微小変化指令： Δθ_{ｓｕｍ_ｒ}
角度偏差 ： ｅ_θ
姿勢制御伝達関数 ： Ｃ_Ｒ
機構部伝達関数 ： Ｓｙｓｔｅｍ
注目点の位置 ： ｕ_Ｔ
注目点位置の微小変化 ： Δｕ_Ｔ
フィードバックゲイン ： Ｇ
である。

位置制御伝達関数Ｃ_Ｉおよび姿勢制御伝達関数Ｃ_Ｒは、それぞれ、以下のように設定されている。
Ｃ_Ｉ： Ｋ_ＰＩｅ_ｕ−Ｋ_ＶＩΔｕ_Ｔ
Ｃ_Ｒ： Ｋ_ＰＲｅ_θ−Ｋ_ＶＲΔθ_ｓｕｍ
ここで、Ｋ_ＰＩ，Ｋ_ＶＩ，Ｋ_ＰＲ，Ｋ_ＶＲは制御パラメータである。

また、本実施形態に係る受動的多自由度システム１は、撮像部８により取得された画像Ｐにおける注目点の位置ｕ_Ｔに応じてフィードバックゲインＧを調節するようになっている。
フィードバックゲインＧは、例えば、図４に示されるように、注目点の位置が画像Ｐの中心から離れるに従って、大きくなるように調節されるようになっている。

画像Ｐにおける注目点の検出は、画像Ｐ上における高輝度領域を２値化等の画像処理により抽出し、その重心位置を演算することにより行われる。フィードバックゲインＧは、注目点の位置ｕ_Ｔの関数Ｇ（ｕ_Ｔ）として記憶されていてもよいし、図１に示されるゲイン記憶部１５にマップとして記憶されていてもよい。

すなわち、撮像部８に備えられた超広角レンズ１１により集光された光を撮影して取得された画像Ｐは、超広角レンズ１１の光学歪みにより歪んでいるため、画像Ｐから検出された注目点の移動量は現実の移動量が同じ場合であっても画像Ｐ上の位置に応じて異なる値となる。このため、超広角レンズ１１を備えた撮像部８により取得された画像Ｐにおいては、画像Ｐ上の周辺位置における移動量は、中央位置における移動量より縮小されて検出される。

そこで、本実施形態におけるフィードバックゲインＧは、注目点の位置が画像Ｐの中央位置にある場合には小さく、画像Ｐの周辺位置にある場合には大きくなるように調節されることにより、注目点の位置にかかわらず、現実の移動量が等しい場合には、同一の検出結果をフィードバックすることができる。

このように構成された本実施形態に係る受動的多自由度システム１および内視鏡装置２によれば、体腔内に挿入部２ａを挿入して、撮像部８を被写体の観察対象部位に対向させた状態で、角度センサ５によりリンク３間の角度を検出し、撮像部８の作動により画像Ｐを取得する。
姿勢制御部１３は、関節角度和θ_ｓｕｍを算出し、位置制御部１４は、画像Ｐから注目点を抽出し、その変化を監視する。

撮像部８により取得された画像Ｐから抽出された注目点の位置が変動した場合には、位置制御部１４はその位置情報をフィードバックすることにより、目標位置との間の偏差ｅ_ｕを算出し、その偏差ｅ_ｕに基づいて関節角度和θ_ｓｕｍを微小変化させるよう指令信号Δｕ_ｒが出力される。姿勢制御部１３では、この指令信号Δｕ_ｒに基づいてワイヤ７の張力が算出され、関節角度和θ_ｓｕｍが指令信号θ_{ｓｕｍ_ｒ}に一致するよう制御される。

その結果、撮像部８の姿勢が保たれるとともに、注目点の位置ズレを解消するように撮像部８が移動させられるので、観察対象部位を同じ方向から同じ位置で観察することができる。
この場合において、本実施形態によれば、検出された注目点の位置が画像Ｐ上のどの位置に配置されるかによってフィードバックゲインＧを変化させる。すなわち、画像Ｐ上の周辺部位に存在する場合には、フィードバックゲインＧを大きくして、検出された注目点の移動量を大きく補正し、画像Ｐ上の中央部位に存在する場合にはフィードバックゲインＧを小さくして、検出された注目点の移動量を小さく補正する。

したがって、超広角レンズ１１を用いて広い視野範囲にわたる観察対象部位の観察を行いながら、患者の体動等の外乱によって注目点の位置が変動した場合であっても、画像Ｐ上の注目点の位置に依存することなく、注目点の位置を迅速に修正することができる。その結果、内視鏡観察下で外科的な処置を行っている場合においても、迅速に視野範囲を回復して処置が中断される不都合の発生を防止することができるという利点がある。

なお、本実施形態においては、検出された注目点の位置をフィードバックする際に乗算するフィードバックゲインＧを注目点の位置に応じて調節することとしたが、これに代えて、これと等価な効果を有するように任意の状態量、例えば、制御量にかけるゲインを調節することにしてもよい。

また、内視鏡装置２においては、制御装置９に対して挿入部２ａを交換することが行われるため、フィードバックゲインＧのデータを挿入部２ａ側に備えられた記憶部（図示略）に記憶しておき、挿入部２ａを交換する際に制御装置９内に読み込むことにしてもよい。このようにすることで、共通の制御装置９によって種々のタイプの挿入部２ａに対応できるという利点がある。なお、本発明は以上の説明に限定されるものではなく、例えば角度和検出手段として角度センサの和の代わり、モータ角度を用いる等してもよく、また、ワイヤの代わりにリングを用いて駆動する等してもよい。また駆動手段としてのモータ１０も、同動作を可能にするものであれば、他の駆動手段であってもよい。

本発明の一実施形態に係る受動的多自由度システムを備えた内視鏡装置を示す全体構成図である。 図１の受動的多自由度システムの姿勢制御を説明する図である。 図１の受動的多自由度システムの制御ブロック図である。 図３の制御ブロック図におけるフィードバックゲインと画像上の注目点の位置との関係を示す図である。

符号の説明

Ｐ 画像
１ 受動的多自由度システム
２ 内視鏡装置
３ リンク
４ 多関節体
５ 角度センサ
８ 撮像部
９ 制御装置
１１ 広角レンズ
１３ 姿勢制御部
１４ 位置制御部（補正手段）
１５ ゲイン記憶部

Claims (3)

1. 複数の受動関節により連結された多数のリンクを備える多関節体と、
   該多関節体のリンクに取り付けられた広角レンズを含み被写体の画像を取得する撮像部と、
   前記各受動関節の角度和を検出する角度和検出手段と、
   前記撮像部の姿勢および位置を制御する制御装置とを備え、
   該制御装置が、前記角度和検出手段により検出された各受動関節の角度の和に基づいて前記撮像部の姿勢を制御する姿勢制御部と、前記撮像部により取得された画像中における注目点の移動量に基づいて該撮像部の位置を制御する位置制御部とを備え、
   該位置制御部が、取得された画像上における注目点の位置に応じてフィードバックゲインを変更する受動的多自由度システム。
2. 前記位置制御部が、画像上の位置とゲインとを対応づけて記憶するゲイン記憶部と、取得された画像上の注目点の位置に基づいてゲイン記憶部内に記憶されているゲインを検索しフィードバックゲインとして適用する補正手段とを備える請求項１に記載の受動的多自由度システム。
3. 請求項１または請求項２に記載の受動的多自由度システムを備える内視鏡装置。

Images