JP2013009813A - 医療用マニピュレータシステム - Google Patents

Abstract

【課題】違和感なく操作できる医療用マニピュレータシステムを提供すること。
【解決手段】操作指令を発するマスタマニピュレータ２と、処置対象に対して処置を行う術具１１０が取り付けられたスレーブマニピュレータ７と、スレーブマニピュレータ７の一部および処置対象を含む第一画像を取得する内視鏡装置１００と、スレーブマニピュレータ７の一部に相当する画像を含む第二画像を構成する検査画像検索システム３０と、第一画像及び第二画像を表示する表示装置１０と、第一画像と第二画像とからいずれか一方の画像が選択されるスイッチ６と、表示装置１０上における座標系とマスタマニピュレータ２の操作上の座標系とが一致するようにマスタマニピュレータ２が発する操作指令の座標系を変換して新たな指令とする変換手段２６と、新たな指令に従ってスレーブマニピュレータ７を動作させるアクチュエータ９とを備える。
【選択図】図２

Description

本発明は、医療用マニピュレータシステムに関する。

従来、手術支援システムとして、操作者が操作を行うマスタマニピュレータと、マスタマニピュレータの動作に基づいて処置を行うスレーブマニピュレータとを備える医療用マニピュレータシステムが知られている。

たとえば特許文献１には、マスタマニピュレータ及びスレーブマニピュレータと、処置対象物の画像等を表示する表示画面とを備えた医療用ロボットシステムが開示されている。
特許文献１に記載の医療用ロボットシステムは、操作者の手によって操作される２つのマスタ入力デバイスと、各マスタ入力デバイスに２つずつ接続されたスレーブアームとを有し、マスタ入力デバイスの動作に対応して動作するスレーブアームを、スイッチを用いて切り替えることができる。
また、特許文献１に記載の医療用ロボットシステムは、マスタマニピュレータの動作モードとして、表示画面で入力位置や座標を指定するカーソルを移動させるポインティングデバイスとして動作するモードを備えている。

特表２００９−５１２５１４号公報

しかしながら、特許文献１に記載の医療用ロボットシステムでは、スレーブアームの操作感とカーソルの操作感とが極端に異なるので、マスタ入力デバイスによってスレーブアームを動作させるモードとポインティングデバイスとしてマスタ入力デバイスを使用するモードとを切り替えたときに、切り替えた先のモードにおける操作感に操作者が慣れるまでは操作者が違和感を覚える可能性がある。

本発明は、上述した事情に鑑みてなされたものであって、その目的は、違和感なく操作できる医療用マニピュレータシステムを提供することである。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の医療用マニピュレータシステムは、操作指令を発するマスタマニピュレータと、処置対象に対して処置を行う術具が取り付けられたスレーブマニピュレータと、前記スレーブマニピュレータの一部および前記処置対象を含む第一画像を取得する第一画像構成装置と、前記第一画像とは異なる画像であって前記スレーブマニピュレータの一部に相当する画像を含む第二画像を構成する第二画像構成装置と、前記第一画像及び前記第二画像を表示する表示装置と、前記第一画像と前記第二画像とからいずれか一方の画像が選択される選択手段と、前記選択手段により選択された画像の前記表示装置上における座標系と前記マスタマニピュレータの操作上の座標系とが一致するように前記マスタマニピュレータが発する前記操作指令を変換して新たな指令とする変換手段と、前記新たな指令に従って前記スレーブマニピュレータを動作させる駆動手段と、を備えることを特徴とする医療用マニピュレータシステム。である。

また、前記第一画像構成装置は内視鏡装置であり、前記第二画像構成装置は、前記新たな指令に従って前記スレーブマニピュレータが動作しているかのように表示される仮想マニピュレータ画像を生成し、前記処置対象が画像化されたベース画像に前記仮想マニピュレータ画像を合成することにより前記第二画像を生成することが好ましい。

また、前記第二画像構成装置は、前記マスタマニピュレータからの前記操作指令に基づいて前記ベース画像を更新して視点を変更してもよい。

また、本発明の医療用マニピュレータシステムは、前記処置対象に対する処置作業中に前記処置対象を画像化する検査装置とともに使用され、前記第二画像構成装置は、前記ベース画像として、前記処置作業中に前記検査装置によって画像化された画像を用いてもよい。
また、前記検査装置は、前記スレーブマニピュレータに設けられていてもよい。

本発明によれば、違和感なく操作できる医療用マニピュレータシステムを提供することができる。

本発明の第１実施形態の医療用マニピュレータシステムを示す全体図である。 同医療用マニピュレータシステムのブロック図である。 同医療用マニピュレータシステムの使用時の動作を説明するための図である。 本発明の第２実施形態の医療用マニピュレータシステムの一部の構成を示すブロック図である。

（第１実施形態）
本発明の第１実施形態の医療用マニピュレータシステム１について説明する。図１は、本実施形態の医療用マニピュレータシステムを示す全体図である。図２は、医療用マニピュレータシステムのブロック図である。
図１および図２に示すように、医療用マニピュレータシステム１は、マスタマニピュレータ２、スレーブマニピュレータ７、表示装置１０、及び制御装置２０を備えて構成されている。

マスタマニピュレータ２は、操作者Ｏｐの動きをスレーブマニピュレータ７に伝達するために設けられており、操作者Ｏｐによって動かされるマスタアーム３と、表示装置１０に表示される画像を切り替えるスイッチ６（選択手段）とを備える。

マスタアーム３は、スレーブマニピュレータ７及び術具１１０の可動範囲に合わせて移動可能な多軸構造を有している。さらに、マスタアーム３には、マスタアーム３の位置及び姿勢の変化量を電気信号として発する変位センサ４と、後述するマスタ制御部２２からの駆動信号に従ってマスタアーム３を動作させるアーム駆動部５とが取り付けられている。

変位センサ４が発した電気信号は、制御装置２０へ出力され、スレーブマニピュレータ７を動作させるための操作指令となっている。このように、マスタマニピュレータ２は、操作者Ｏｐによる操作を受け付け、操作者Ｏｐによる操作に基づいた操作指令を発する。

スイッチ６は、押されることで所定の切り替え信号を制御装置２０へ出力するようになっている。図１ではスイッチ６はマニピュレータ近傍の床面に配置されているが、入力機構は特に制限はなく、各種スイッチを適宜選択してよい。

スレーブマニピュレータ７は、内視鏡装置１００（第一画像構成装置）及び術具１１０がそれぞれ取り付けられたスレーブアーム８と、内視鏡装置１００、術具１１０、及びスレーブアーム８をそれぞれ動作させるアクチュエータ９（駆動手段）とを備える。内視鏡装置１００、術具１１０、及びスレーブアーム８を動作させるアクチュエータ９は、何れも制御装置２０から出力される駆動信号に従って動作する。

スレーブマニピュレータ７に設けられた内視鏡装置１００は、スレーブマニピュレータ７の一部および処置対象を含む画像（第一画像）を取得する画像取得部１０１を有している。本実施形態では、第一画像に含まれるスレーブマニピュレータ７の一部とは、術具１１０の一部やスレーブアーム８の一部を指す。すなわち、画像取得部１０１によって、スレーブマニピュレータ７を用いて処置対象物に対して処置を行っている状態の画像を取得することができる。本実施形態では、内視鏡装置１００は、立体視可能な２画像を取得して表示装置１０に電気信号として出力する。

スレーブマニピュレータ７に設けられた術具１１０は、画像取得部１０１の視野内で処置対象物に対して処置を行う目的で設けられている。術具１１０の種類は特に限定されず、処置の内容に応じて公知の術具を適宜採用することができる。また、術具１１０は、スレーブマニピュレータ７に取付可能な術具には限られず、スレーブマニピュレータ７と協動する術具であってもよい。

表示装置１０は、マスタマニピュレータ２と同じ土台に取り付けられており、操作者Ｏｐの前方に設置されている。表示装置１０は、画像取得部１０１によって取得された２画像に基づいて立体視可能な画像を生成する画像処理部１１と、たとえば液晶パネルや有機ＥＬパネルなどからなる表示パネル１２とを備え、立体画像を構成可能な２画像を表示することができる。本実施形態では、表示装置１０には、画像取得部１０１によって取得された２画像を両眼のそれぞれに振り分ける３Ｄメガネ１３が付属している。医療用マニピュレータシステム１の操作者Ｏｐは、３Ｄメガネ１３を装着し、表示パネル１２に表示された画像を３Ｄメガネ１３を介して立体画像として見ることができる。なお、表示パネル１２は、裸眼立体視に対応したパネルでもよく、この場合には３Ｄメガネ１３が表示装置１０に付属している必要はない。

図１および図２に示すように、制御装置２０は、主制御部２１と、切替部２４と、検査画像検索システム３０（第二画像構成装置）とを備える。

主制御部２１は、マスタマニピュレータ２、切替部２４、及び検査画像検索システム３０に信号線を介して電気的に接続されており、マスタ制御部２２及びスレーブ制御部２３を備える。

マスタ制御部２２には、マスタマニピュレータ２から発せられた操作指令が入力される。また、マスタ制御部２２は、入力された操作指令をスレーブ制御部２３へ出力する。さらに、マスタ制御部２２は、表示装置１０に表示されたスレーブマニピュレータ７および後述する仮想マニピュレータ４０先端部の姿勢に対応して、アーム駆動部５に駆動信号を出力することによりマスタアーム３先端部（把持部）の姿勢を変換する。

スレーブ制御部２３には、マスタ制御部２２から発せられた操作指令が入力される。また、スレーブ制御部２３は、操作指令に従ってスレーブマニピュレータ７を動作させる駆動信号を切替部２４へ出力する。詳細は後述するが、スレーブ制御部２３から出力される駆動信号は、切替部２４において内容（座標系）が変換されてスレーブマニピュレータ７へ出力される場合がある。

切替部２４は、スレーブマニピュレータ７に設けられた内視鏡装置１００と後述する仮想マニピュレータ４０に設けられた仮想内視鏡４１との何れか一方を操作対象として選択する選択部２５と、選択部２５によって選択された操作対象に対する駆動信号の座標系を変換する変換手段２６と、変換手段２６によって座標系が変換された駆動信号を操作対象へ出力する信号出力部２７とを備える。なお、仮想マニピュレータ４０は、検査画像検索システム３０によって生成され、表示装置１０に画像として表示される仮想的なマニピュレータである。

選択部２５は、スイッチ６と電気的に接続されており、スイッチ６が押されるたびに内視鏡装置１００と仮想内視鏡４１とを切り替えて操作対象に設定する。選択部２５において操作対象として内視鏡装置１００が選択されているときには、内視鏡装置１００の画像取得部１０１によって取得された画像が表示装置１０に出力される。選択部２５において操作対象として仮想内視鏡４１が選択されているときには、検査画像検索システム３０によって構成された画像が表示装置１０に出力される。

変換手段２６は、選択された操作対象が表示装置１０の表示パネル１２に表示された状態における表示画面上の座標系と、マスタマニピュレータ２の操作上の座標系とが一致するように、駆動信号の座標系を変換する。表示画面上における座標系とは、表示パネル１２に表示された画像を３Ｄメガネ１３を用いて見たときに構成される立体画像における３次元の座標系である。
変換手段２６によって座標系が変換された駆動信号は、マスタマニピュレータ２から発せられた操作指令とは座標系が異なる新たな指令となる。

操作対象が内視鏡装置１００である場合には、内視鏡装置１００及び術具１１０に対して信号出力部２７から駆動信号が出力される。また、操作対象が仮想内視鏡４１である場合には、信号出力部２７から検査画像検索システム３０へ駆動信号が出力される。

検査画像検索システム３０は、処置対象となる患者などを検査したときに得られた情報を画像化し、仮想マニピュレータ４０の画像とともに表示装置１０へ出力するシステムである。
図２に示すように、検査画像検索システム３０は、患者などを検査したときに得られた情報が記憶されたデータサーバ３１と、データサーバ３１に記憶された情報に基づいたベース画像を構成する画像構成部３２と、画像構成部３２によって構成された画像を加工する画像加工部３３と、画像加工部３３により加工された画像を表示装置１０へ出力する画像出力部３４とを備える。

データサーバ３１には、処置対象となる患者に対して術前に行なわれた超音波画像診断によって得られた画像（超音波画像）が蓄積されている。

画像構成部３２は、データサーバ３１に蓄積された超音波画像に基づいて、三次元画像からなるベース画像を構成する。また、画像構成部３２には、切替部２４から出力された駆動信号が入力される。
画像構成部３２は、切替部２４から出力される駆動信号に対応してベース画像を更新する。たとえば、操作者Ｏｐがマスタマニピュレータ２を用いて仮想内視鏡４１を移動させたり仮想内視鏡４１の姿勢を変えたりしたときに、画像構成部３２は、仮想内視鏡４１による視点を別の位置や角度に変更したかのように見える画像を新たなベース画像とする。

画像加工部３３は、変換手段２６からの駆動信号に規定された姿勢及び動作に対応する立体視可能な仮想的なマニピュレータの画像（仮想マニピュレータ画像）を所定のデータベースから選択する。仮想マニピュレータ画像は、スレーブアーム８の一部や術具１１０の一部の画像若しくはこれらを模した画像を含んだ画像であり、マスタマニピュレータ２による操作に対応した姿勢及び動作が反映された画像である。
画像加工部３３は、仮想マニピュレータ画像をベース画像に重ね合わせることにより、ベース画像上で仮想マニピュレータ４０がマスタマニピュレータ２の操作に基づいて動作しているかのように見える画像（第二画像）を生成する。
さらに、画像加工部３３は、生成された第二画像を画像出力部３４へ出力する。

画像出力部３４は、画像加工部３３から出力された第二画像を一時記憶し、一時記憶された第二画像を所定のフレームレートで表示装置１０へ順次出力する。これにより、表示装置１０では、変換手段２６によって変換された駆動信号（新たな指令）に従って仮想マニピュレータ４０が動作しているように見える立体動画が表示される。

本実施形態の医療用マニピュレータシステム１の作用について説明する。図３は、医療用マニピュレータシステム１の使用時の動作を説明するための図である。
図１に示すように、医療用マニピュレータシステム１の使用時には、操作者Ｏｐは、３Ｄメガネ１３を装着し、表示装置１０の表示パネル１２に表示される画像を見ながら処置対象物に対する処置を行う。スイッチ６を押下することにより、スレーブマニピュレータ７に設けられた内視鏡装置１００の画像取得部１０１（図２参照）によって取得された術中の患者の画像（第一画像、図１参照）と、術前の検査によって得られた超音波画像に基づいた画像（第二画像、図３参照）とを切り替えて表示パネル１２に表示することができる。

第一画像には、スレーブマニピュレータ７の実物の画像が含まれており、第二画像には、画像加工部３３によって選択された仮想マニピュレータ４０の画像が含まれている。
第一画像が表示されているときには、表示装置１０上におけるスレーブマニピュレータ７の座標系とマスタマニピュレータ２の操作上の座標系は一致している。さらに、第二画像が表示されているときは、表示装置１０上における仮想マニピュレータ４０の座標系とマスタマニピュレータ２の操作上の座標系は一致している。このため、操作者Ｏｐは、スレーブマニピュレータ７及び仮想マニピュレータ４０を違和感なく切り替えて動作させることができる。

また、画像構成部３２において、マスタマニピュレータ２の動作に対応してベース画像を更新することにより、立体視可能な画像である第二画像において所望の位置に仮想内視鏡４１を移動させているかのように操作者Ｏｐに認識させることができ、実物の内視鏡装置１００を使用している場合におけるマスタマニピュレータ２の操作と同様の操作で術前の検査画像を見ることができる。その結果、第一画像に表示されている情報と第二画像に表示されている画像を直感的に対比することができ、効率よく作業をすることができる。

（変形例１）
次に、上述の第１実施形態の変形例について図１及び図２を参照して説明する。
本変形例では、検査画像検索システム３０の構成が異なっている。
データサーバ３１には、処置対象となる患者に対して術前に行なわれたＸ線によるコンピュータ断層撮影（ＣＴ）によって得られた画像（ＣＴ画像）が蓄積されている。
画像構成部３２は、データサーバ３１に蓄積されたＣＴ画像に基づいて、三次元画像からなるベース画像を構成する。
本変形例では、ベース画像がＣＴ画像に基づいている点以外は上述の実施形態と同様である。
このような構成であっても、上述の実施形態と同様の効果を奏する。

（変形例２）
次に、上述の第１実施形態の他の変形例について図１及び図２を参照して説明する。
本変形例では、検査画像検索システム３０の構成が異なっている。
データサーバ３１には、処置対象となる患者に対して術前に行なわれた核磁気共鳴画像法（ＭＲＩ）によって得られた画像（ＭＲＩ画像）が蓄積されている。
画像構成部３２は、データサーバ３１に蓄積されたＭＲＩ画像から、操作者Ｏｐによって選択された一枚のスライス画像を検索してベース画像を構成する。ベース画像の選択方法としては、たとえば、ベース画像の候補となるスライス画像を表示装置１０に複数表示させ、マスタアーム３を動かすことによって１つのスライス画像を選択させる方法が挙げられる。
本変形例では、ベース画像がＭＲＩ画像のスライス画像である点以外は上述の実施形態及び変形例１と同様である。
このような構成であっても、上述の実施形態と同様の効果を奏する。

また、ＭＲＩ画像はスライス画像（２次元）に限らず、上述の変形例１と同様の方法で三次元画像を構成してもよい。このような構成であっても、上述の実施形態と同様の効果を奏する。

また、検査画像検索システム３０内のデータサーバ３１には患者の検査情報でなく、一般的な人体の解剖モデル等の３次元（もしくは２次元）のＣＧデータを取り込んでもよい。このような構成であっても、上述の実施形態と同様の効果を奏する。

（第２実施形態）
次に、本発明の第２実施形態の医療用マニピュレータシステム１について説明する。図４は、本実施形態の医療用マニピュレータシステムの一部の構成を示すブロック図である。
図４に示すように、本実施形態の医療用マニピュレータシステム１Ａは、検査画像検索システム３０に術中検査装置３５が接続されている点が異なっている。

術中検査装置３５は、たとえば超音波内視鏡、蛍光内視鏡、リアルタイム断層撮影装置、リアルタイムＭＲＩ装置などの装置であり、スレーブマニピュレータ７に取り付けられたり、スレーブマニピュレータ７ともに処置対象となる患者の近傍に配置されたりする。術中検査装置３５は、術中に患者に対して観察や検査などを行い、観察や検査の結果得られた情報をデータサーバ３１に記憶させる。これにより、検査画像検索システム３０は、術中検査装置３５によって取得された情報に基づいて画像構成部３２においてベース画像を構成し、第１実施形態と同様に画像加工部３３においてベース画像に仮想マニピュレータ画像を重ね合わせて第二画像を構成する。

本実施形態の医療用マニピュレータシステム１Ａによれば、患者に対して処置を行っている最中に、内視鏡装置１００とは異なる装置である術中検査装置３５によって患者の情報を取得し、当該情報に基づいて構成された第二画像を直ちに表示装置１０に表示することができる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
たとえば、第１、第２実施形態で用いる術前、術中の検査装置または医用画像は、Ｘ線やＭＲＩに限らず、シンチグラフィやポジトロ断層法（ＰＥＴ）、蛍光透視、赤外イメージング、血液撮影システム等、公知の検査装置であればその方法は限らない。これらの場合も、上述の実施形態と同様の効果を奏する。

また、表示装置１０には、医療用マニピュレータシステム１、１Ａの動作モードを設定したりするためのボタンやアイコンなどを含む操作画面、文書や図などの画像、または心電図などの医療情報などを第二画像として表示させることができる。この場合にも、マスタアーム３の操作により第二画像を操作することができる。

また、表示装置としてヘッドマウントディスプレイが採用されてもよい。

また、検査画像検索システム３０は、マスタアーム３が特定の動作をしたときに特定の操作入力があったと判定するジェスチャー入力機能を備えていてもよい。

また、上述の各実施形態では、表示パネル１２上に表示される画像をスイッチ６を用いて切り替える例を示したが、表示パネル１２を複数備える表示装置を採用し、第一画像と第二画像を別の表示パネル１２に表示させるようになっていてもよい。この場合には、上記第１実施形態と同様のスイッチ６を備えていてもよいが、切替部２４には、スイッチ６に代えて、操作者Ｏｐがどちらの表示パネル１２を見ているかを判定する判定手段が設けられていることが好ましい。判定手段は、操作者Ｏｐの顔の向きや視線の向きを検出するためのセンサを有することが好ましい。

また、上述の第１実施形態ではマスタアーム３先端部（把持部）の姿勢を調整するためのアーム駆動部５が設けられている例を示したが、アーム駆動部を有しておらず操作者が手動でマスタアーム３の姿勢を調整できる構成であってもよい。
また、光学式トラッキングセンサなどのモーションセンサで、マスタアームを有することなくマスタ把持部の位置・姿勢を検出する入力装置であってもよい。この場合も、操作者が手動でマスタ把持部の姿勢を調整する。

また、上述の各実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

１、１Ａ 医療用マニピュレータシステム
２ マスタマニピュレータ
３ マスタアーム
４ 変位センサ
５ アーム駆動部
６ スイッチ（選択手段）
７ スレーブマニピュレータ
８ スレーブアーム
９ アクチュエータ（駆動手段）
１０ 表示装置
１１ 画像処理部
１２ 表示パネル
２０ 制御装置
２１ 主制御部
２２ マスタ制御部
２３ スレーブ制御部
２４ 切替部
２５ 選択部
２６ 変換手段
２７ 信号出力部
３０ 検査画像検索システム（第二画像構成装置）
３１ データサーバ
３２ 画像構成部
３３ 画像加工部
３４ 画像出力部
３５ 術中検査装置
４０ 仮想マニピュレータ
４１ 仮想内視鏡
１００ 内視鏡装置（第一画像構成装置）
１０１ 画像取得部
１１０ 術具
Ｏｐ 操作者

Claims (5)

1. 操作指令を発するマスタマニピュレータと、
   処置対象に対して処置を行う術具が取り付けられたスレーブマニピュレータと、
   前記スレーブマニピュレータの一部および前記処置対象を含む第一画像を取得する第一画像構成装置と、
   前記第一画像とは異なる画像であって前記スレーブマニピュレータの一部に相当する画像を含む第二画像を構成する第二画像構成装置と、
   前記第一画像及び前記第二画像を表示する表示装置と、
   前記第一画像と前記第二画像とからいずれか一方の画像が選択される選択手段と、
   前記選択手段により選択された画像の前記表示装置上における座標系と前記マスタマニピュレータの操作上の座標系とが一致するように前記マスタマニピュレータが発する前記操作指令を変換して新たな指令とする変換手段と、
   前記新たな指令に従って前記スレーブマニピュレータを動作させる駆動手段と、
   を備えることを特徴とする医療用マニピュレータシステム。
2. 請求項１に記載の医療用マニピュレータシステムであって、
   前記第一画像構成装置は内視鏡装置であり、
   前記第二画像構成装置は、前記新たな指令に従って前記スレーブマニピュレータが動作しているかのように表示される仮想マニピュレータ画像を生成し、前記処置対象が画像化されたベース画像に前記仮想マニピュレータ画像を合成することにより前記第二画像を生成する
   ことを特徴とする医療用マニピュレータシステム。
3. 請求項２に記載の医療用マニピュレータシステムであって、
   前記第二画像構成装置は、前記マスタマニピュレータからの前記操作指令に基づいて前記ベース画像を更新して視点を変更することを特徴とする医療用マニピュレータシステム。
4. 請求項２に記載の医療用マニピュレータシステムであって、
   前記処置対象に対する処置作業中に前記処置対象を画像化する検査装置とともに使用され、
   前記第二画像構成装置は、前記ベース画像として、前記処置作業中に前記検査装置によって画像化された画像を用いる
   ことを特徴とする医療用マニピュレータシステム。
5. 請求項４に記載の医療用マニピュレータシステムであって、
   前記検査装置は、前記スレーブマニピュレータに設けられていることを特徴とする医療用マニピュレータシステム。

Images