JP2011528252A - ユーザによる３次元環境の検査のためのシステム、方法およびコンピュータプログラム - Google Patents

Abstract

本発明は、３次元環境（１）の近傍に案内されるように構成されるツール（３）であって、前記ツールは、ツールの遠位端にまたは遠位端の近傍に配置される１台以上のカメラ（４）を含み、前記１台以上のカメラは、３次元環境のそれぞれのイメージを生成するように構成される、ツールと；前記それぞれのイメージを受信するように構成されるディスプレイユニット（８）と；前記カメラによって生成されるイメージ選択し、または１台以上のカメラにイメージを要求に応じて生成させ、さらにイメージ（９）をディスプレイ（８）上に表示するためにユーザの少なくとも一部分の位置を判定するように構成される運動追跡システム（１１）と；を含む、ユーザによる３次元環境の検査のためのシステムに関する。本発明は、ユーザによるオブジェクトの検査を可能とするための方法、ツール、ディスプレイユニットと、上述のシステム内に少なくとも１台のカメラを含むツールの利用とにさらに関する。
【選択図】図１

Description

本発明はユーザによる３次元環境の検査のためのシステムに関する。特に、本発明は、内視鏡手術中に目標領域を検査するためのシステムに関する。

本発明は、ユーザによる３次元環境の検査を可能とする方法にさらに関する。

本発明は、上述のシステムに用いるツールおよびディスプレイユニットにさらに関する。

本発明は、上述のシステムにおけるツールの利用にさらに関する。

３次元環境の検査のためのシステムの実施形態が、内視鏡手術の技術分野において、特に、立体内視鏡が用いられる低侵襲内視鏡手術の分野において周知である。この場合、外科医は、検査される目標領域を３次元で知覚できるようにするために、特別な眼鏡をかけるかまたは頭部装着装置をつける必要がある。

手術的介入の実施中に、外科医が、障害になる可能性のある追加の装具を身に付けなければならないことは、周知のシステムの不利な点である。

本発明の目的は、ユーザの快適性の悪化を生じさせずに、オブジェクト、フィーチャまたは両者の組み合わせを含む適当な３次元環境の３次元知覚を可能とする、３次元環境の検査のためのシステムを提供することである。

この目的を達成するために、本発明によるシステムは：
−３次元環境の近傍に案内されるように構成されるツールであって、前記ツールは、３次元環境内に存在するオブジェクトの、それぞれの視点を有する複数のイメージを生成するように構成される少なくとも１つのカメラチップを含む、ツールと；
−前記複数のイメージからの少なくとも１つのイメージを受信するように構成されるディスプレイユニットと；
−ディスプレイ上にイメージを表示するべく前記少なくとも１つのカメラチップから前記イメージを選択または生成するためにユーザの観察位置を判定するように構成される運動追跡システムであって、前記イメージは前記観察位置に対応する視点を有する、運動追跡システムと；
を含む。

特に、本発明によるシステムは、ツールとして内視鏡が用いられる、例えば低侵襲手術中の、３次元視を可能とするシステムに関する。この場合、１つ以上のカメラチップは内視鏡の遠位部分上に配置されればよい。本発明によるシステムは、観察者の眼または頭の位置によって制御される異なる角度からの視像を提供することによって、視覚入力と体性知覚との間の自然な結合を高める。このように視像を提供することは、少なくとも１つのカメラチップの空間位置および／または配向を制御し、続いて必要な視点を有するイメージを生成すること、あるいは生成された複数のイメージから適当なイメージを選択することのいずれかによって可能とされればよいことを理解されたい。特に、選択のステップは、必要な視点に正確に一致するイメージを得るために、生成されたイメージの間を補間するステップを含んでよい。

『少なくとも１つのカメラチップ』の用語は、単独のカメラチップあるいはカメラチップのアレイまたはマトリクスに関連するものであってよいことを理解されたい。『オブジェクト』の用語は、３次元環境内に存在する適当な物体、あるいは適当な２次元または３次元構造のいずれかに関連するものであってよいことをさらに理解されたい。本発明によるシステムの動作は複数の座標系に関して定義されてよいことをさらに理解されたい。例えば、３次元環境に関連する座標系が開始点として選択されればよく、ディスプレイおよび／または３次元環境のイメージにそれぞれの座標が割り当てられればよい。この場合、運動追跡システムは、３次元環境の座標系における観察者の観察位置を判定するように構成されればよい。代替的に、３次元環境は第１の座標系に割り当てられてもよく、ディスプレイユニットは、適当な変換によって第１の座標系に関連付けられる第２の座標系に割り当てられてもよい。このとき、運動追跡システムは、後で適当なイメージが選択されるかまたは生成されるディスプレイユニットに対するユーザの観察位置を判定するように構成されることができる。さらに代替的に、本発明によるシステムはワールド座標系において動作可能であってもよく、３次元環境、ディスプレイユニット、運動追跡システムおよびユーザはワールド座標系において特徴付けられる。１つ以上の座標系の選択およびその座標系における運動追跡システムの動作に関しては、本発明から逸脱することなく複数の適当な変更が可能であることは当業者には明らかであろう。

本発明の技術的方策は、例えばユーザの眼または顔の位置の適当な追跡を提供し、さらにユーザに自分の位置、従って自分の視点に対応するイメージを提供すれば、動きの視差をディスプレイ上でシミュレートできるという見識に基づいている。その結果、検査される３次元環境に関する空間的相互関係の、ユーザの３次元知覚の強化を向上させることになる。特に、３次元環境における、遮蔽されたオブジェクトの部分および／または別のオブジェクトの間の空間的関係が明確に知覚できるようになる。特に、奥行知覚が強化される。

外科医は、一方では、単一のカメラによって提供されるような２次元イメージに限定されることがなくなり、他方では、追加の眼鏡をかけたりまたは頭部装着装置をつけたりする必要のせいで阻害されることがなくなるので、特に、低侵襲外科手術のために、本発明によるシステムは外科医の空間的定位を大幅に向上させる。加えて、システムは、体性知覚の入力（すなわち頭および眼の動き）と、結果として生じる視覚入力との間の一致を強化することによって奥行知覚を向上させる。

本発明によるシステムにおいては、本質的に、周知の内視鏡が用いられてよいことを理解されたい。当技術分野において周知の第１の種類の内視鏡は、人体内部の３次元環境のイメージを１つまたは２つ得るために、１つまたは２つのカメラチップと協働する複数レンズシステムを含むというものであればよい。次に、１つまたは２つのカメラチップ上の２つのイメージを得るために立体内視鏡が用いられればよい。

代替的に、カメラチップを単一のレンズとともに構成し、前記カメラチップおよび前記レンズをユニットとして一緒に平行移動可能且つ回転可能とするということも可能である。加えて、異なる刺入点（トロカール）を介して、例えば２つ、３つ、またはそれを超える、複数の内視鏡を案内し、これらの内視鏡上に配置される１つ以上のカメラチップによって作成されるそれぞれの異なるイメージの間を、ユーザが頭の運動を用いて切り替えできるようにするということが可能である。

本発明によるシステムの実施形態では、それぞれの視点を有する複数のイメージを生成するために、上記の少なくとも１つのカメラチップが変位可能となっている。

上記の少なくとも１つのカメラチップをツールに対して変位可能に構成すると有利であることが見いだされている。単独のカメラチップを変位可能としてもよいし、または複数のカメラチップを変位可能としてもよいことを理解されたい。前者の場合、カメラチップはその長さにわたり単独のイメージを生成するように構成されてもよいし、あるいは生成その長さにわたる対応する複数のイメージのための複数のサブ領域を有するように構成されてもよい。カメラチップの領域が、個々に動作するサブ領域に分割される場合は、前記サブ領域と協働するためにカメラチップに複数レンズ構造を設けてよい。このようにして複数のイメージの生成を可能としてよい。個々のイメージを累積的に追加することによって継ぎ目のない組み合わせイメージを作り出すように、こうした個々のイメージをさらに組み合わせればよいことを理解されたい。好ましくは、前記サブ領域を光学的に隔てるための光バリアが設けられる。こうすれば、サブ領域の間の光学的クロストークが低減される。『変位可能』という用語は、横変位だけでなく、回転変位にも関連することを理解されたい。好ましくは、上記の少なくとも１つのカメラチップの角度を制御可能とする。この特徴は複数のカメラチップの場合に特に有用となる。なぜなら、検査される３次元環境内に存在する近位または遠位のいずれかのオブジェクトにカメラチップの焦点を合わせることを可能とするために、カメラチップの同心度の程度が制御可能になってよいからである。

好ましくは、ツールに対する変位を可能とするために、上記の少なくとも１つのカメラチップにモータが取り付けられる。加えて、または代替的に、上記の少なくとも１つのカメラチップを、ツールに対して変位可能な支持体上に配置してもよい。

本発明によるシステムの別の実施形態では、前記視点を有する前記イメージを生成するために、運動追跡システムが上記の少なくとも１つのカメラチップの変位を制御するようにさらに構成される。

本発明によるシステムでは、運動追跡システムを、カメラチップ（単数）またはカメラチップ（複数）を変位させるためのトリガ信号を生成するように構成することが可能である。例えば、トリガ信号は、カメラチップ（単数）またはカメラチップ（複数）と協働してそれらの対応する変位を生じさせるサーボモータに送られればよい。代替的に、カメラチップ（単数）またはカメラチップ（複数）が所望の視点（単数）または視点（複数）からイメージを撮影できるようにするために、トリガ信号を変位可能な支持体に送信してその動きを生じさせるようにしてもよい。以前に生成されたイメージから１つ以上のイメージが選択される場合は、アレイまたはマトリクスを利用すると有利である場合がある。本実施形態では、個々のカメラチップによって３次元環境のイメージを生成し、その後、それらを記憶するということが可能である。ユーザは、記憶されたイメージからの適当なイメージの選択を、自分の頭の運動によって制御してもよい。この場合は、システム応答が、変位可能な単一のカメラチップから得られるシステム応答よりも高くなる可能性がある。本実施形態は実質的に静的な３次元環境の検査に有用となる可能性があることを理解されたい。実用的には、特に医学的介入の最中は、ユーザの観察位置の変化によって制御可能な要求に応じて適当なイメージを生成することが望ましい。

変位可能なカメラチップ（単数）または変位可能なカメラチップ（複数）をツールに搭載する場合、本発明によるシステムは、まず、ユーザの一部分、例えばその眼または顔、の停留位置を検出し、次に、カメラチップ（単数）またはカメラチップ（複数）を変位させて、これらのカメラチップ（単数）またはカメラチップ（複数）が、ユーザの停留位置に対応する仮想視点と同じ視点を有する、３次元環境のイメージ（単数）またはイメージ（複数）を生成するように構成されてもよい。生成された複数のイメージからイメージを選択する代わりにこのようにすれば、システム応答時間の点で有利となる可能性があるオンデマンドイメージの生成が遂行される。

個々のイメージを各々生成できるサブ領域に分割される単独のカメラチップをトールに設けることが可能であることを理解されたい。こうすれば、複数のカメラチップが提供されることになる。こうした複数のサブ領域をイメージの個々のソースとして用いること、または、必要であれば、チップの実質的に全領域を用いた単一のイメージの生成のためにそれらを電子的に組み合わせることが可能であればよい。好ましくは、個々のイメージの生成を可能とするために、前記サブ領域と協働する複数レンズ構造が設けられる。サブ領域の間の光学的クロストークを低減するために、前記サブ領域を光学的に隔てる光バリアがツールに設けられてもよい。

本発明によるシステムの一実施形態では、カメラのアレイが同心状に配置される。

３次元環境に対して実質的に等距離のカメラのアレイを設けることが非常に有利であることが見いだされている。特に、低侵襲外科手術の分野では、カメラチップの、前記オブジェクトまでのそれぞれの距離の差によるイメージ内歪みを回避することが望ましいことが見いだされている。これは、前記カメラチップを同心状に、例えば同心状の線上に、配置することによって達成されればよい。これは、例えばカメラチップの光軸を３次元環境内の１つの共通点に向けて配置することによって達成されればよい。カメラチップのマトリクスが用いられる場合、前記カメラチップは、内視鏡の遠位部分、好ましくはその先端、に設けられる例えば同心状または放物線状の領域上に配置されればよい。加えて、または代替的に、カメラチップは、それらの個々の軸の周りの回転度が内視鏡の中心線に対するカメラチップの変位の関数として増加するように配置されてもよい。この場合は、カメラチップが配置される支持体が直線状のままにされてもよい。カメラチップの他の空間配置、例えば偏心、平行、外向きパノラマ等、が可能であることを理解されたい。

カメラチップのそれぞれの角度を調節可能とし、それによりカメラチップのアレイまたはマトリクスの同心度の程度を調節可能としてもよいことをさらに理解されたい。これは、共通焦点の位置が調節可能となる、特に共通焦点の深さ位置が調節可能となる、という利点がある。

本発明によるシステムの別の実施形態では、前記少なくともユーザの一部分が顔または眼を含む。

本発明によるシステムにおいては実質的に任意の周知の運動追跡システムが用いられてよいことを理解されたい。しかし、特に低侵襲外科手術の分野では、運動追跡システムを、ユーザの頭、または顔、または眼の変位を検出し、前記変位に従って前記複数のカメラからイメージを選択するように構成することが望ましい場合がある。変位はカメラベースのシステムによって適当に判定されればよく、運動追跡システムのカメラは、検査される３次元環境からの適当なオブジェクトのイメージが映し出されるディスプレイ上またはその近傍に設置されればよい。ユーザにとっての面倒を最小限に抑えるために、適当な頭部追跡システムが、ユーザが特別な眼鏡、センサまたはマーカを身につける必要なく機能するように構成されればよい。本実施形態は、図１および図２を参照しながらさらに詳細に説明される。運動追跡システムは、カメラベースのシステム、磁気／ＲＦ運動追跡システム等を含む、ただしそれらに限定されるものではない、適当な複数の利用可能な技術に基づくものであればよいことを理解されたい。

本発明によるシステムのさらに別の実施形態では、システムは、前記ユーザの位置のために、前記位置に対応する、視差付き立体イメージをディスプレイ上に表示するべく前記複数のイメージのうちの２つのイメージを選択するように構成された制御ユニットをさらに含む。

観察時に１度に１つを超えるイメージを提供することによりユーザによる立体視モードを可能とすることが有利であることが見いだされている。立体視モードは、ユーザに立体眼鏡をかけさせることによって、または、代替的に、３次元視を可能とするように構成された専用ディスプレイ上に、選択されたイメージを映し出すことによって支援されればよい。

本発明によるシステムのさらに別の実施形態では、システムは、前記複数のイメージの間を補間する中間イメージ群を再構築するための処理ユニットをさらに含む。

アレイ状またはマトリクス状に配置されてよい複数のカメラチップを含むシステムでは、個々のカメラチップによって撮影された個々のイメージの間を補間することが有利であることが見いだされている。異なる観察位置で撮影される離散的イメージの間の不規則性を滑らかにするために、別個の位置から補間イメージが算出されることもできることは当業者には明らかであろう。イメージの間を補間する方法が当技術分野から周知であり、例えば、本質的に、周知の３Ｄ補間が、例えば視差推定アルゴリズムに基づいて用いられてよい。イメージの間を補間するための他の周知のアルゴリズムが適用されてもよいことを理解されたい。この機能性は、３次元環境を撮影した個々のイメージの間の滑らかな接合を可能とし、ユーザによるその理解を容易にする。

ユーザによる３次元環境の検査を可能とする本発明による方法は：
−複数の異なる視点から３次元環境の複数のイメージを生成することと；
−前記複数のイメージからイメージを選択するために、またはイメージを生成するために、ユーザの観察位置を追跡することであって、前記イメージは、前記観察位置に対応する視点を有する、追跡することと；
−視点に対応するイメージをディスプレイ上に表示することと；
を含むというものである。

特に、前記複数の異なる視像は、その遠位部分にまたは遠位部分の近傍にカメラチップあるいはカメラのアレイまたはマトリクスが設けられたツールによって生成されればよい。より具体的な実施形態では、ツールは内視鏡機器に関連する。本発明による方法のさらに有利な実施形態が請求項１８ないし２２に明記されている。

ユーザによる３次元環境の検査を可能とするための本発明によるコンピュータプログラム製品は、上述の方法のステップをプロセッサに実行させるための命令を含むというものである。

本発明によるシステムに用いるツールは、ツールの遠位端にまたはその近傍に配置される少なくとも１つのカメラチップを含むというものである。特に、本発明によるツールは、内視鏡の遠位部分にまたはその近傍に配置される１つ以上のカメラチップが設けられる内視鏡に関連する。

本発明によるディスプレイユニットは：
−ディスプレイと；
−検査されることが意図される３次元環境に対するユーザの観察位置を判定する運動追跡システムと；
−ユーザの部分の前記観察位置に関する情報を受信し、前記観察位置に対応する視点を有するイメージをイメージソースに選択または生成させるトリガ信号を生成するように構成される制御システムと；
を含むというものである。

本発明は、上述のシステムにおいて複数のイメージを提供するための、ツールの遠位端にまたは遠位端の近傍に配置されたカメラのアレイを含むツールの利用にさらに関連する。

本発明は、上述のシステムにおいて異なる視点を有する複数のイメージを提供するための、ツールの遠位端にまたは遠位端の近傍に配置された少なくとも１台のカメラを含むツールの利用にさらになお関連する。好ましくは、ツールとして内視鏡が選択される。

本発明のこれらおよび他の態様が、図面を参照しながらさらに詳細に説明される。図面において、同様の参照符号は同様の要素に関連する。図面は例示の目的のためにのみ示されるものであり、添付の請求項の範囲を限定するために用いられてはならないことを理解されたい。

本発明によるシステムの実施形態の概略図を示す図である。 図１のシステムに用いるディスプレイの実施形態の概略図を示す図である。 図１のシステムにおけるツールの実施形態の概略図を示す図である。 図１のシステムで得られる、動きの視差の視覚化の例を概略的に示す図である。 本発明によるツールの別の実施形態の概略図を示す図である。 光学的バリアを含むツールの別の実施形態の概略図を示す図である。 単一の変位可能なカメラチップを含むツールのさらに別の実施形態の概略図を示す図である。 １対の変位可能なカメラチップを含むツールのさらに別の実施形態の概略図を示す図である。 本発明によるシステムにおける観視制御の実施形態の概略図を提供する図である。

図１は本発明によるシステムの実施形態の概略図を示す。システム１０は、カメラ４のアレイが設けられたツール３を含む。カメラ４は、患者２内の目標領域に関連してよいオブジェクト１、例えば隠れたオブジェクト、を検査するためにツール３の遠位部分４上に配置される。検査を容易にするために、患者２は支持台５の上に載せられればよい。システム１０は、ツール３上に配置された前記複数のカメラからのカメラのうちの１台からのイメージ９を表示するように意図されるディスプレイ８をさらに含む。ディスプレイ８上にイメージが映し出されるカメラを適切に選択することを可能とするために、システム１０は、例えばオブジェクト１または運動追跡システム１１に対する、ユーザの観察位置を判定するように適合される運動追跡システム１１をさらに含む。好ましくは、運動追跡システム１１は、カメラをベースとしたものとされ、追跡されるユーザの一部分（不図示）を検出するために、さらにユーザのその部分の任意の変位を遅れずに検出するために適したイメージプロセッサが設けられる。運動追跡システム１１については、任意の最新の運動追跡システムが用いられてよい。特に、運動追跡システムは、撮像装置を用いてユーザの顔を検出し、顔の上の適当な注目点を追跡するように構成されればよい。注目点には鼻、頤または同様のものが用いられればよい。加えてまたは代替的に、運動追跡システム１１は、ユーザの眼を検出し、顔の変位にかかわりなく眼の任意の変位を運動追跡するように構成されてもよい。本実施形態は、ユーザが単に自分の眼を動かすだけで異なる視角度が可能となるときに非常に有用である。

本発明によるシステム１０は、検出されたユーザの変位に従って前記複数のカメラからカメラを選択するためにツール３と接続するように構成されればよい制御ユニット７をさらに含む。このとき、制御ユニット７は、選択されたカメラからのイメージをディスプレイ９に供給するように構成されればよい。制御ユニット７は、ユーザの検出された運動に従ってカメラの適当な変位を生じさせるようにさらに構成されてよい。その結果、ユーザは、観察者の視角度の変化に対する結果としてツール３から２次元イメージのシーケンスがディスプレイ８上に提供される運動視差シミュレーションシステムを提供されることになる。このようにして、オブジェクトおよび／またはその外界の準３次元視覚化の向上が可能となる。図４を参照しながら運動視差についてのさらなる詳細が説明される。

図２は、図１のシステムに用いるディスプレイの実施形態の概略図２０を示す。ディスプレイ８には、図１を参照しながら説明された制御ユニット７に接続した固定カメラ１１が設けられればよい。Ｕによって概略的に示されるユーザの頭が、最初は、中心位置Ｍと概略的に標識される位置を取ればよい。制御ユニット７は、ツールの中央カメラ（不図示）からのイメージをディスプレイ８に供給するように構成されればよい。こうした最初の正面のイメージングは、例えばカメラアレイを搭載した内視鏡を患者の内部へ挿入する間に、３次元環境の近傍においてツールを位置決めするために有利となる場合がある。ユーザＵがツールを適切に位置決めすると、ユーザは、ディスプレイ８上の動きの視差をシミュレートするために、自分の頭を、Ｌ２、Ｌｌ、Ｒｌ、Ｒ２によって概略的に示される左右の方向に動かせばよい。動きの視差はカメラアレイの個々のカメラからのイメージのシーケンスとして現れることになる。ここで、個々のイメージはそれぞれ、中央カメラに対して左または右に配置される各々のカメラに対応するものである。代替的に、運動視差は１台以上のカメラを適当に変位させることによって可能とされてもよいことを理解されたい。ツールの遠位部分にまたは遠位部分の近傍に配置される複数のカメラを参照しながら本発明によるシステムの動作が説明されているが、こうした効果を達成するには少なくとも２台のカメラを用いれば十分であることをさらに理解されたい。代替的にまたは追加的に、ツールに対してカメラを変位させるために、カメラおよび／またはカメラ支持体にモータが取り付けられてもよい。本実施形態は、図３を参照しながらより詳細に説明される。

図３は、図１のシステムに用いるツールの実施形態の概略図を示す。ツール３０は任意のオブジェクトに関連するものであればよく、特に、ツール３０は、複数カメラ３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅが設けられた支持体３２を配置してよい遠位部分を有する本体３４が設けられた内視鏡装置に関連するものであればよい。各カメラ３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅには、３次元環境３１のイメージの焦点を各々のカメラに合わせるために個々のレンズ３３ａ、．．．、３３ｅが設けられてよい。図面３０ａ内の矢印Ａによって概略的に示されるように、本体に対する支持体２１の適当な回転を可能とするために、支持体はピボット３５を用いて本体３４に対して枢転可能に配置されればよい。このような回転は、中心から外れた視像が生成されて、本発明によるシステムが提供する模擬３次元視モードをよりいっそう向上させる可能性があるので、有利である。回転モードのさらなる利点は、手術の状況において、トロカールを介して右手を用いる器具を提供することが可能となることである。追加的に、または代替的に、個々のカメラの横変位（Ｌ）および／または回転変位（Ｒ）を可能とするために、カメラ３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅにモータが取り付けられてもよい。その結果、これらのカメラのための視線方向Ａａ、．．．、Ａｅのセットが利用可能になる。カメラチップ３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅの横変位を、好ましくは視線方向Ａａ、．．．、Ａｅに垂直な回転軸の周りのそれらの回転と組み合わせれば、次の有利な効果が得られよう。第１に、カメラアレイの同心度が調節されて近位のフィーチャまたは遠位のフィーチャに焦点を合わせることができよう。第２に、視差の程度を調節することができよう。第３に、カメラ群が共通焦点を垂直方向に変位させることができよう。ツール内における光の内部散乱を最小限に抑えるために、カメラチップは、付加的にコリメータの役割を果たせばよい適当な光学的バリアによって隔てられてよいことを理解されたい。

図４は、図１のシステムで得られる、動きの視差の視覚化の例を概略的に示す。同図では、適当な複数の図面４０ａ、４０ｂ、４０ｃ、４０ｄが概略的に描かれている。これらの図面では、オブジェクト４２と４１との間の動きの視差が実例で説明されており、各図面４０ａ、４０ｂ、４０ｃ、４０ｄは、図３を参照しながら説明されたカメラアレイのカメラに対応するものである。オブジェクト４１、４２の複数の２次元イメージが、視線方向に依存性のあるシーケンスとして示されると、オブジェクト４１と４２との間の空間的相互関係が明確になることがわかる。本図では、線に沿って動きながら観察する結果が示されている。ユーザの視点を左、右、上および下に動かすことができるようにするためには、カメラチップのマトリクスを用いればよいことは明らかである。

図５は、本発明によるツールの別の実施形態の概略図を示す。ツール５０は、カメラ３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅが設けられた支持体３２を含む。各カメラ３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅには、３次元環境３１のイメージの焦点をカメラに合わせるための個々のレンズ３３ａ、．．．、３３ｅが設けられてよい。各レンズは、好ましくは、それが協働するカメラチップとユニットを形成し、そのため、カメラチップがどのように変位してもその専用レンズによって追従される。特に、複数レンズシステム３２ａ、３２ｂ、．．．、３２ｅの焦点深度を変更するための角変位が考えられ、検査中の３次元環境内に存在する近位または遠位のオブジェクトを検査することを可能とする。図面５０ａ内の矢印Ａによって概略的に示されるように、本体に対する支持体２１の適当な回転を可能とするために、支持体は本体３４に対して枢転可能に配置されればよい。ピボット点３５は支持体３２の適当な縁部に配置されればよい。支持体３２は少なくとも９０度、回転できるようにすることが望ましい。このように回転すると、中心を外した視像が生成されてよいようになり、本発明によるシステムが提供する模擬３次元視モードをよりいっそう向上させるので、有利である。手術の状況では、ツールはトロカールを用いて右手側から案内されればよく、都合がよい場合がある。追加的に、または代替的に、個々のカメラのそれらの軸Ａａ、．．．、Ａｅに関する横変位（Ｌ）および／または回転変位（Ｒ）を可能とするために、カメラ３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅにモータが取り付けられてもよい。

図６は、光学的バリアを含むツールの別の実施形態の概略図を示す。ツール６０は、専用のレンズ５１、５２、５３、５４、５５とそれぞれ協働するサブ領域に電子的に分割されればよい単一のカメラチップ６１を含んでよい。代替的に、カメラチップ６１の領域と適当に位置合わせされる複数レンズアレイが設けられてもよい。カメラチップのサブ領域間の光学的クロストークを回避するために、ツール６０は、サブ領域を光学的に隔てる光学的バリア６２、６４、６４、６５を含む。ツール６０の他の要素は、図３または図５を参照しながら説明されたものと同じままとしてよい。

図７は、単一の変位可能なカメラチップを含むツールのさらに別の実施形態の概略図を示す。この特定の実施形態では、レンズ７３が設けられた単一のカメラチップ７２を含むユニットがツール７０に設けられており、前記ユニットは支持体３２に沿って平行移動可能となっている。ユニットには、カメラチップの視野の視準を、検査される３次元環境に合わせるための光学的バリア７４ａ、７４ｂが設けられてよい。加えてまたは代替的に、光学的バリアは、内部散乱を受けた光の光子がそれぞれのカメラチップに入るのを防ぐものである。従って、位置検出システム（不図示）が、観察位置に対応するユーザの現在の停留位置を判定すると、制御ユニット（不図示）が、ユニットに、ユーザによって経験されるとおりの３次元環境の観察位置をシミュレートする所望の位置までユニットを横平行移動させるトリガ信号を提供する。この目的のために、トリガ信号を、ユニットを方向Ｄｌに沿って平行移動させる適当なサーボモータ（不図示）に印加すればよい。本図に示される他の要素は、図３を参照しながら説明されたものと同じであればよい。代替的に、ユニットを連続的に平行移動させながらまたは要求に応じて平行移動させながら複数のイメージを生成し、ユーザによって経験されるとおりの視線方向に合うように、イメージのうちの１つ以上を本発明によるシステムの制御ユニット（不図示）によって、例えばメモリから、選択できるようにするということが可能である。必要ならば、ユーザによって経験されるとおりの観察位置に正確に合うように、生成されたイメージの間を補間することが可能である。

図８は、１対の変位可能なカメラチップを含むツールのさらに別の実施形態の概略図を示す。ツール８０は、上記のものを参照しながら説明されたのと同様に、支持体３２を含み、支持体３２には、各々専用のレンズ８４ａ、８４ｂをそれぞれ備えた１対のカメラチップ８１ａ、８１ｂが設けられる。その対は方向Ｄ２に沿って平行移動可能である。同様に、本実施形態においても、カメラチップの視準を、検査される３次元環境へ向けるために、各カメラチップに光学的バリア８３ａ、８３ｂ、８３ｃ、８３ｄが設けられてよい。追加的にまたは代替的に、光学的バリアは、内部散乱を受けた光の光子がそれぞれのカメラチップに入るのを防ぐものである。同様に、本実施形態では２つの択一的な動作モードが可能である。第１に、最初にユーザの観察位置を検出し、次にイメージを生成するためにカメラチップの対を適当に平行移動させ、次にカメラチップの対を平行移動させてそのような位置に合わせるということが可能である。好ましくは、本発明によるシステムは、カメラチップの対からのイメージを立体イメージとして表示する３次元ディスプレイを含む。代替的に、左右のカメラチップからのイメージは従来のディスプレイ上に表示されてもよく、立体視を可能とするためにユーザは立体眼鏡をかければよい。

第２に、支持体３２内の実質的に全範囲に沿ってカメラチップの対を連続的にまたは要求に応じて平行移動させ、次に、ユーザの停留観察位置が検出されると、既に生成されているイメージから適当な１対のイメージを選択するということが可能である。１対のイメージは適当に記憶されればよい。ユーザの観察位置とツールによって提供される視線方向との間の正確な位置的一致を可能とするために、記憶されたイメージの対を、それを取得する前または取得した後に補間することも可能である。図８に示される他の要素は、上記の図面を参照しながら説明されたものと同じであればよいことを理解されたい。

図９は、本発明によるシステムにおける観視制御の実施形態の概略図を提供する。本図において、図面９０では、分かりやすくするために、ツールのうち、カメラチップ９３ａ、９３ｂ、９３ｃ、９３ｄ、９３ｅのセットが設けられた部分３２のみが示されている。少なくとも部分３２内における内部光散乱によるイメージの劣化を回避するために、カメラチップ９３ａ、９３ｂ、９３ｃ、９３ｄ、９３ｅは、図６を参照しながら説明された光バリアと同様の適当な光バリアによって隔てられてもよい。本実施形態では、個々のカメラチップ９３ａ、９３ｂ、９３ｃ、９３ｄ、９３ｅに、カメラチップとともに少なくとも回転させることができる対応するレンズＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５が設けられる。個々の回転も集団的な回転も考えられることを理解されたい。個々の回転は、焦点Ｆまでの距離を調節するという目的のために有利である場合がある。焦点Ｆはオブジェクト９２の前、オブジェクト９２の上またはオブジェクト９２の先のいずれかに配置されていればよいことを理解されたい。このワズにおいて、カメラアレイの同心度の程度が調節されればよい。

このような調節を可能とするには、個々の視線方向Ａａ、．．．、Ａｅに垂直であればよい適当な回転軸（不図示）に関してカメラチップを回転させればよい。この場合は、イメージを得るためにカメラチップＣｌ、Ｃ２、Ｃ３、Ｃ４、Ｃ５それぞれの中央部が用いられればよい。

追加的に、または代替的に、焦点Ｆを、例えば垂直にまたは水平に、変位させるために、カメラチップ９３ａ、９３ｂ、９３ｃ、９３ｄ、９３ｅを回転させてもよい。この場合は、それぞれの駆動手段を同時に作動させればよい。

図面９０ａは、本発明によるシステムの別の実施形態を概略的に示す。本実施形態では、カメラアレイの同心度の程度を調節するために、イメージの取得に用いられるように意図されるカメラチップの部分が調節可能であってよい。本実施形態では、他の要素が、図面９０を参照しながら説明されたものと同じであれば、イメージを得るべくおよび／または提供するべくカメラチップの適当な有効領域を選択するように各カメラチップ９３ａ、９３ｂ、９３ｃ、９３ｄ、９３ｅを適当なソフトウェアプログラム（不図示）によって制御することができる。例えば、カメラアレイの同心度は、カメラチップ９３ａはチップ領域の部分Ｃ１′を使ってイメージを提供できるように、カメラチップ９３ｂはイメージを得るために異なる部分Ｃ２′を使えるように、カメラチップ９３ｃはイメージを得るためにさらに異なる部分Ｃ３′を使えるように、カメラチップ９３ｄはイメージを得るためにさらに異なる部分Ｃ４′を使えるように、カメラチップ９３ｄはイメージを得るためにさらに異なる部分Ｃ５′を使えるようにすることによって調節されてよい。それぞれの部分の位置を制御することによってカメラアレイの同心度の程度が調節されればよい。図９は、中央のカメラチップがオブジェクト９２の実質的に中央の視像を提供する実施形態を示しているものの、軸を外した観察が意図されていることを理解されたい。

以上では特定の実施形態が記載されているが、本発明は記載されている以外の方法で実施されてよいことを理解されたい。３次元環境は、別のオブジェクトによって遮蔽されたオブジェクトを含んでよいことを理解されたい。上述の記載は、限定ではなく、例示として意図されたものである。従って、以下に述べられる請求項の範囲から逸脱することなく上述の本発明に変更がなされてよいことは当業者には明らかであろう。

Claims (27)

1. ユーザによる３次元環境の検査のためのシステムであって、該システムは：
   −前記３次元環境の近傍に案内されるように構成されるツールであって、前記ツールは、前記３次元環境内に存在するオブジェクトの、それぞれの視点を有する複数のイメージを生成するように構成される少なくとも１つのカメラチップを含む、ツールと；
   −前記複数のイメージからの少なくとも１つのイメージを受信するように構成されるディスプレイユニットと；
   −前記ディスプレイ上にイメージを表示するべく前記少なくとも１つのカメラチップから前記イメージを選択または生成するために前記ユーザの観察位置を判定するように構成される運動追跡システムであって、前記イメージは前記観察位置に対応する視点を有する、運動追跡システムと；
   を含むシステム。
2. それぞれの視点を有する前記複数のイメージを生成するために前記少なくとも１つのカメラチップが変位可能である、請求項１に記載のシステム。
3. 前記ツールに対する変位を可能とするために前記少なくとも１つのカメラチップにモータが取り付けられる、請求項２に記載のシステム。
4. 前記少なくとも１つのカメラチップが、前記ツールに対して変位可能な支持体上に配置される、請求項２に記載のシステム。
5. 前記視点を有する前記イメージを生成するために前記運動追跡システムが前記少なくとも１つのカメラチップの変位を制御するようにさらに構成される、請求項２、３または４に記載のシステム。
6. 前記少なくとも１つのカメラチップがカメラチップのアレイまたはマトリクスを含む、上記の請求項のうちいずれか１項に記載のシステム。
7. 個々のイメージをそれぞれ生成することができるサブ領域に分割される単独のカメラチップを含む、請求項６に記載のシステム。
8. 前記サブ領域と協働するための複数レンズ構造をさらに含む、請求項６または７に記載のシステム。
9. 前記カメラチップまたは前記サブ領域を光学的に隔てるための光バリアをさらに含む、請求項６または７に記載のシステム。
10. カメラチップの前記アレイまたは前記マトリクスが同心状に配置される、上記の請求項６ないし９のうちいずれか１項に記載のシステム。
11. カメラチップの前記アレイまたはマトリクスが同心状の線上または同心状の領域上に配置される、請求項１０に記載のシステム。
12. 前記ユーザの観察位置のために、前記観察位置に対応する、視差付き立体イメージを前記ディスプレイ上に表示するべく前記複数のイメージのうちの２つのイメージを選択するように構成された制御ユニットをさらに含む、上記の請求項のうちいずれか１項に記載のシステム。
13. 前記ディスプレイが、３次元視像を可能とするように構成される、請求項１２に記載のシステム。
14. 前記複数のイメージの間を補間する中間イメージ群を再構築するための処理ユニットをさらに含む、上記の請求項のうちいずれか１項に記載のシステム。
15. 前記ツールが内視鏡を含む、上記の請求項のうちいずれか１項に記載のシステム。
16. 前記カメラチップが前記内視鏡の遠位端にまたは遠位端の近傍に配置される、請求項１５に記載のシステム。
17. ユーザによる３次元環境の検査を可能とする方法であって、該方法は：
    −複数の異なる視点から前記３次元環境の複数のイメージを生成することと；
    −前記複数のイメージからイメージを選択するために、またはイメージを生成するために、前記ユーザの観察位置の運動を追跡することであって、前記イメージは、前記観察位置に対応する視点を有する、追跡することと；
    −前記視点を有する前記イメージをディスプレイ上に表示することと；
    を含む方法。
18. 前記複数の異なる視点が少なくとも１つのカメラチップによって可能とされる、請求項１７に記載の方法。
19. 前記少なくとも１つのカメラチップが変位可能であり、前記方法が、前記視点を有する前記イメージを少なくとも生成するために前記少なくとも１つのカメラチップを変位させるステップを含む、請求項１７または１８に記載の方法。
20. 前記少なくとも１つのカメラチップを変位させるために前記運動追跡に関するデータを用いるステップをさらに含む、請求項１９に記載の方法。
21. 前記方法が：
    −前記複数のイメージからの前記イメージの間を補間することによって中間イメージ群を再構築するステップと；
    −前記中間イメージ群および前記複数のイメージを表示するステップと；
    をさらに含む、上記の請求項１７ないし２０のうちいずれか１項に記載の方法。
22. 前記方法が：
    −前記複数のイメージから前記ユーザの位置に対応する２つのイメージを選択するステップと；
    −立体視を可能とするために前記２つのイメージを表示するステップと；
    をさらに含む、上記の請求項１７ないし２１のうちいずれか１項に記載の方法。
23. ユーザによる３次元環境の検査を可能とするためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、上記の請求項１７ないし２２のうちいずれか１項に記載の方法のステップをプロセッサに実行させるための命令を含む、コンピュータプログラム製品。
24. 上記の請求項１ないし１６のうちいずれか１項に記載のシステムに用いるツール。
25. 上記の請求項１ないし１６のうちいずれか１項に記載のシステムに用いるディスプレイユニットであって、
    −ディスプレイと；
    −ユーザの少なくとも一部分の観察位置を判定する運動追跡システムと；
    −前記ユーザの前記観察位置に関する情報を受信し、イメージソースに前記観察位置に対応する視点を有するイメージを選択させるまたは生成させるトリガ信号を生成するように構成される制御システム。
26. 上記の請求項１ないし１６のうちいずれか１項に記載のシステムにおいて異なる視点を有する複数のイメージを提供するための、ツールの遠位端にまたは遠位端の近傍に配置される少なくとも１つのカメラチップを含む前記ツールの利用。
27. 前記ツールとして内視鏡が選択される、請求項２６に記載の利用。