JP2014512550A6 - 画像システム及び方法 - Google Patents

Abstract

画像キャプチャ装置及び表示装置を備える画像システムが提供される。画像キャプチャ装置は、奥行き情報を含む、オペレータの作業部位の画像を取り込むためのものである。表示装置は、画像キャプチャ装置と通信し、少なくとも１つの表示画面を備える。表示装置は、画像キャプチャ装置によって取り込まれた奥行き情報を含む画像を受け取り、画像キャプチャ装置によって取り込まれた奥行き情報を含む画像を、オペレータに対して表示画面上に表示するように構成される。表示画面は、オペレータの眼と作業部位の位置の間に配置される。オペレータの作業部位の画像を取り込み、表示するための方法も提供される。

Description

本発明は、顕微鏡検査法、並びにデジタルインタラクション及び表示の分野に関する。特に本発明は、オペレータの作業部位の画像を取り込み、表示するための画像システムに関する。

小さい対象物を拡大して見ること、そうした対象物に対して働きかけることは、レンズと共に始まった。大きいレンズは、オペレータの２つの眼に対になった異なる視野（立体像）を与え、オペレータの頭が移動すると、視野の変化（視差）を与える。こうした２つの奥行きの手掛かりは、人の視覚系にとって効果的であり、オペレータがレンズの向こう側で対象物の強い３次元感覚を得ることを可能にする。オペレータがツールなどの対象物を操作する場合には、そうした奥行きの手掛かりが重要である。ツールを奥行き方向に正確に位置決めするだけではなく、ツールを画像全体で長さ方向及び幅方向に正確に移動させることも可能でなければならない。

その後、複数のレンズ及び他の要素を組み合わせた顕微鏡によって、さらに優れた拡大能力がもたらされたが、奥行きの手掛かりが乏しくなるという代償を伴った。オペレータは眼を接眼レンズに正確に置かなければならないため、視差に必要な頭の動きは不可能である。標準的な単一の接眼レンズ顕微鏡も１つの視野しか与えない。より不十分ながら、近くの対象物がより遠い対象物を覆い隠すなどの奥行きの手掛かりをオペレータに提供することができるとはいえ、ツールを奥行き方向に正確に位置決めすることができない可能性がある。２つの接眼レンズを提供するが、両方の眼に同じ視野を与える双眼顕微鏡は、もう１つの眼を覆う若しくは閉じる、又はその眼の視野を無視する必要がないため、オペレータにとってはかなり快適なものとなった。しかしながら、人の脳ではやはり奥行きを再構築することができず、微細なツールを案内することは依然として困難である。

立体顕微鏡は、オペレータの左右の眼に僅かに異なる視角を提供するために、２つの対物レンズ及び２つの接眼レンズを用いて２つの別個の光路を使用する。立体顕微鏡は両眼の奥行きの認知力を回復させたが、オペレータの頭を接眼レンズに固定したままにしなければならないため、依然として視差を利用することができない。さらに、立体的な奥行きの認知力に優れているのは、人口の約半分に過ぎず、したがって、立体顕微鏡は、約半分のユーザにしか十分な奥行きの認知力をもたらさなかった。優れた立体的な奥行きの認知力がない顕微外科医及び微細な電子部品を組み立てる者などのオペレータは、依然として立体顕微鏡を有効に使用することができなかった。

しかしながら、顕微鏡は、手／眼の共通位置（co-location）、及び手／眼の共通向き（co-orientation）という単体レンズの重要な利点を維持している。直視では、オペレータ自身の関節の位置の自己受容によって、視覚的に認識される手又はツールの位置は、それがどこにあるか、またその各部分がどの方向を向いているかについて、オペレータの神経と筋肉の感覚とほぼ厳密に一致する。そうした見掛けの（見える）位置と物理的な位置の間の一致した状態を、手／眼の共通位置と呼ぶ。また、そうした見掛けの（見える）向きと物理的な向きの一致した状態を、手／眼の共通向きと呼ぶ。これらは、ツールを案内するための重要な要件である。拡大によって、認知と視野の間の位置の一致をある程度犠牲にすることを余儀なくされるが、その場所を、依然として共通の位置の中央に置くことができる。より重要なことには、あらゆる回転は軸方向及び回転角度を有し、これらは、認識と拡大された視野の間でうまく一致することが可能である。

図１は、共通向きが厳密に維持される、従来技術による外科用顕微鏡１０１を示している。顕微鏡１０１は、対物レンズ１０３及び接眼レンズ１０５を備える。オペレータの片眼又は２以上の眼１０７（図１には輪郭として示す）は、作業部位１０９の拡大図を見るのに、垂直下方に接眼レンズ１０５を通して見ることができる。しかしながら、ほとんどの作業は、座っているオペレータが接眼レンズを容易にのぞくことができるように、傾斜した接眼レンズを用いるとより快適になる。図２は、従来技術による間接的な顕微鏡２０１を示している。顕微鏡２０１は、オペレータの片眼又は２以上の眼２０７（図２には輪郭として示す）に対して、垂直な対物レンズ組立体２０３及び斜めの（１又は２以上の）接眼レンズ２０５を備える。顕微鏡内部のレンズ及びミラーのシステム（図２には示さず）が、作業部位２０９の視野を、垂直な対物レンズ組立体２０３から傾斜した（１又は２以上の）接眼レンズ２０５へ送る。図２の顕微鏡では、向きは完全には一致せず、作業部位の視覚による位置（概略的に２１１に示すが、見掛けの距離は立体的な調節に依存する）は、作業部位の物理的な位置２０９から実質的に移される。オペレータは、学習してこうした障害を克服することができるが、障害は些細なものではない。

図３は、その開示を参照によって本明細書に援用する、National University of Singapore名義の国際公開第２００８／１００２２９号パンフレットによる画像システム３０１を示している。図３では、オペレータには作業部位及びその内容が、オペレータの運動皮質によって予想されるのと実質的に同じ位置及び向きに見える。２人の共同作業するオペレータで使用するための変形形態を提供することができ、それについて、図４及び５を参照してさらに詳しく記載する。本明細書において、以下に記載する変形形態を含むそうしたシステムを「フラットスコープ」と呼ぶ。表示が薄く平坦な表示画面３０３の上に現れ、オペレータが着用した同期させたシャッタ眼鏡３０５を用いて左右の視野を交互に入れ換え、どちらの眼がどちらの視野を見るかを制御することによって、又は異なる視野を異なる方向に向ける手段によって、立体的な視野が得られる。図３には１対の接合される動脈の端部として示す、オペレータの動作の対象又は作用対象３０７は、表示画面３０３上に拡大された作用対象の画像３０９として表示される。同様に、オペレータによって保持され操作されるいかなるツール３１１も、表示画面３０３上に拡大されたツールの画像３１３として表示される。見掛けの位置と実際の位置がほとんど一致し、見かけの向きと実際の向きが正確に一致することが、オペレータの助けとなる。光学的な接眼レンズをより大きい表示画面で置き換えることは、図３に示すシステムに特有ではない。しかしながら、画面を眼と物理的な作用対象の間の線から離れて配置し、通常はそれを９０°も回転させる最近開発された一部のシステムでは、認識された位置で手と眼がほとんど一致するということがない。本明細書において、そのような手／眼の共通位置から大きくずれるシステムは、「フラットスコープ」という用語から除外される。

図３に示すように、表示画面は、オペレータの物理的な作業部位とオペレータの眼の間に設けられる。表示画面上には、作業部位の拡大された図が、オペレータに対して、オペレータの運動皮質によって予想されるのと実質的に同じ位置及び向きに表示される。すなわち、図２に示すように、作業部位及び作用対象の物理的な位置と見掛けの位置の間に矛盾はない。通常、倍率は１５倍までであるが、それはより高い倍率に対する技術的な障害が理由ではなく、手の震えによって近い視野が役に立たなくなるためである。震えを減らす手段を用いた場合、使用可能な倍率は高くなる。遠い位置での遠隔制御のロボットアームの使用など、震えを制御する間接的な手段を用いると、手／眼の共通位置は特に、作業部位の物理的な位置にかかわらず、作業部位がオペレータによって見えるところと、作業部位がオペレータの手によって触れられるところの間になる。好ましい実装形態では、表示画面は視野の線に実質的に直交するが、視野を適切に構築することによって、画面が作業部位に関する眼の視野を完全にカバーし、画面を明確に見ることができる、いかなる角度も可能になる。

既に言及したように、２人のオペレータが共同作業し、共通の拡大された作用対象に対して作業を行うことができる。これは特に外科医の間で一般的であり、その場合、縫合などの作業が、２本より多い手によってより容易になる。図４は、従来技術による単一ユーザ用のフラットスコープの概略図であるが、複数の共同作業するオペレータが使用することもできる。図４は、物理的な作業部位４０３と複数のオペレータの眼４０５の間に配置された単一の表示画面４０１を示している。図４には、２人のオペレータが示されているが、いかなる人数のオペレータでも共同作業が可能である。図５は、従来技術による２ユーザ用のフラットスコープの概略図である。図５は、物理的な作業部位５０３と２人のオペレータの眼５０５の間に配置された、２つの表示画面５０１を示している。３人又は４人のオペレータに対する類似の配置が、当業者には明らかになるであろう。

手／眼の共通位置は、作用対象が置かれている方向の感覚だけではなく、作業部位の範囲内の各対象物の眼からの距離の感覚も必要とし、これを「奥行き」と呼ぶ。奥行きに関するいくつかの感覚上の手掛かりは、どの対象物が別の対象物を覆い隠しているか、したがって眼により近いかなど、相対的なものである。正確な操作には、全ての方向における絶対的な位置の認識が必要である。絶対的な奥行きに対する主要な視覚的な手掛かりは、立体写真術（２つの眼の視野の間の違いから距離を再構築すること）、及び視差（頭、したがってそれぞれの眼が動くときの視野の変化から距離を再構築すること）である。図３に示すシステムは、１対のカメラ（又はある分割された視野を有する１つのカメラ）及び光学系の配置に依拠し、したがって、取り込まれる視野は、眼に見える視野に、予想される位置で幾何学的に対応する。この手法は、これまでのシステムにまさる大きく改善されたものであるが、限界がある。特に、眼が動くときに光学系が動かない限り（それは不可能ではないが、かなり困難であり、各部分の機械的な動きを必要とする）、手法は２つの固定された視野を与え、視差を得ることはできない。

国際公開第２００８／１００２２９号パンフレット

本発明の目的は、前述の周知のシステムの問題を回避又は緩和する、画像システム及び方法を提供することである。

本発明の第１の態様によれば、オペレータの作業部位の画像を取り込むための画像キャプチャ装置であって、前記画像が奥行き情報を含む、画像キャプチャ装置と、画像キャプチャ装置と通信する表示装置であって、少なくとも１つの表示画面を備え、画像キャプチャ装置によって取り込まれた奥行き情報を含む画像を受け取り、画像キャプチャ装置によって取り込まれた奥行き情報を含む画像を、オペレータに対して表示画面上に表示するように構成された表示装置とを備える画像システムが提供され、表示画面は、オペレータの眼と作業部位の位置の間に配置される。

奥行き情報を含む作業部位の画像を、好ましくは表示画面より下である作業部位の位置と、好ましくは表示画面の上方にあるオペレータの眼との間の表示画面の位置と組み合わせることによって、視差の奥行きの手掛かりを返すことが可能になる。この手掛かりは、奥行き情報の計算をソフトウェアで処理することができるため、各部分の機械的な動きを必要とせずに得られる。そうした奥行きの手掛かりは、単一の大型レンズより強力で複雑ないかなる拡大システムにもなかった。そうした視差の奥行きの手掛かりを提供することによって、オペレータは、優れた立体的な奥行きの認知力がなくても、ツールを作業部位の奥行き方向に正確に位置決めすることが可能になる。これによって、最小限の教育でシステムを無理なく使用できるオペレータの範囲が広がる。オペレータがいかなる処置でも全体を通して頭及び肩を固定した位置に保つことを強いられないために緊張が低減される接眼レンズ顕微鏡にまさる利点は、視差の存在下では、作業部位の見掛けの位置が立体写真術のみの場合より安定するので、さらに強まる。

本明細書において、画像システムをフラットスコープと呼ぶことがある。作業部位の位置は、オペレータが作業部位に対して直接作業を行っている場合には、作業部位の実際の物理的な位置とすることができる。或いは、オペレータが遠隔の作業部位に対して遠隔制御のツールによって作業を行っている場合には、作業部位の位置は、オペレータがツールを制御するときにオペレータが感知する、作業部位の手によって感知される位置とすることができる。

少なくとも１つの表示画面とは、複数のオペレータのそれぞれの眼と共通の作業部位との間の単一の表示画面を包含することができる、或いは、少なくとも１つの表示画面とは、複数の表示画面を包含することができ、各表示画面は、複数のオペレータのそれぞれのオペレータの眼と共通の作業部位との間にある。好ましい実施形態において、複数の表示画面とは２つの表示画面を包含する。

一実施形態において、画像キャプチャ装置は、奥行き情報を得ることが可能なカメラを備える。そうした奥行き情報を得ることが可能なカメラは、K. Fife, A. El Gamal and H-S. P. Wong, “A 3MPixel Multi-Aperture Image Sensor with 0.7 μm Pixels in 0.11 μm CMOS”, IEEE ISSCC Digest of Technical Papers, pp. 48-49, February 2008に記載されるタイプのもの、又は他の適切なタイプのものとすることができる。

代替的実施形態において、画像キャプチャ装置は複数のカメラを備え、複数のカメラによって取り込まれた画像を比較することによって、奥行き情報が得られる。その場合、奥行きは、当業者によく知られている様々な方法によって決めることが可能であり、その方法には、それだけに限らないが、２又は３以上の標準的な画像から計算される立体写真術、立体照明の使用、又はレーザ若しくは超音波デバイスによる測距などの反射された信号のタイミングに依存する能動的デバイスが含まれる。

或いは、画像キャプチャ装置は、複数のカメラを備えることができ、奥行き情報は、複数のカメラによって得られた画像に内在することができる。その場合、複数のカメラによって集められた画像の比較は、人のオペレータの視覚系で行うことができる。

少なくとも１つのカメラ及び表示画面は、ハンドヘルドデバイス、例えば携帯情報端末（ＰＤＡ、Personal Digital Assistant）又はカメラ付き携帯電話に設けることができる。

奥行き情報は、オペレータの眼のそれぞれに送られる視野を処理することによって、オペレータに伝達することができる。画像に含まれる奥行き情報は、オペレータが立体的な奥行きの手掛かりによって奥行きを決めることを可能にする情報を含むことができる。

好ましくは、画像システムは、オペレータの眼の一方又は両方の位置に関するリアルタイムの情報を有する。オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報は、オペレータの頭の位置を特定するデータとすることができる。画像に含まれる奥行き情報は、オペレータが視差の奥行きの手掛かりによって奥行きを決めることを可能にする情報を含むことができる。好ましくは、そうした視差の奥行きの手掛かりは、オペレータの眼の位置に関するリアルタイムの情報によって決まるため、オペレータの眼が動くときに変化する視野から与えられる。

オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報は、オペレータが着用した追跡デバイスによって得ることができる。

オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報は、画像システムに取り付けられた１又は２以上のカメラによって得ることができる。カメラによって得られたデータを解析して、オペレータの眼の位置を定めることができる。

オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報を用いて、表示される画像の全て又は一部のズームを制御することができる。眼によって制御されるズームについては、以下でさらに詳しく論じる。

好ましくは、奥行き情報は、オペレータの頭が動くとき、視差によってオペレータに伝達される。したがって、オペレータの頭が動くと、新しい頭の位置に対応して変化する視野によって、視差の奥行きの手掛かりを返すことが可能になる。

特定の眼に対して表示される画像は、複数のカメラの画像から選択することができる。或いは、特定の眼に対して表示される画像は、奥行きデータの使用によって、単一のカメラからの画像を調節するように構築することができる。特定の眼に対して表示される画像は、複数の異なる配置のカメラから選択される、単一のカメラの出力であるように選択することができる。特定の眼に対して表示される画像は、複数の異なる配置のカメラから選択される、２又は３以上のカメラの出力の間での補間によって合成することができる。特定の眼に対して表示される画像は、複数の異なる配置のカメラから選択される、２又は３以上のカメラの出力から得られた３次元表面モデルから合成することができる。

一実施形態において、画像キャプチャ装置は、可視域の中、又は可視域の中及びまわりの光を検出することによって画像を得るためのセンサを備える。画像は、３又は４以上の重複する周波数帯域において検知することができる。３つの周波数帯域は、人の網膜内の赤色、緑色及び青色の受容体を刺激する周波数範囲に対応することができる。これは、（例えば、米国特許出願公開第２００６／００９７１７６号明細書又は米国特許出願公開第２００８／０２６０２２５号明細書に開示されるように）赤外範囲に拡張することによって、又は紫外範囲に拡張することによって、又は可視スペクトルをさらに細かく分割することによって得ることができる。

一実施形態において、画像キャプチャ装置は、放射された又は透過された赤外線放射を検出することによって画像を得るためのセンサを備える。

一実施形態において、画像キャプチャ装置は、超音波エミッタ及びセンサを備える。その場合、表示装置は、画像を表示画面上に、作業部位がオペレータに、作業部位の位置に実質的に対応する場所にあるように見えるように表示することが可能である。既に言及したように、作業部位の位置は、オペレータが作業部位に対して直接作業を行っている場合には、作業部位の実際の物理的な位置とすることができる。或いは、オペレータが遠隔の作業部位に対して遠隔制御のツールによって作業を行っている場合には、作業部位の位置は、オペレータがツールを制御するときにオペレータが感知する、作業部位の手によって感知される位置とすることができる。

超音波エミッタ及びセンサは、表示装置に装着することができる。別法として又は追加として、超音波エミッタ及びセンサは、作業部位に装着することができる。作業部位が、オペレータの動作の対象である作用対象、及び超音波によって走査される対象を含む場合には、超音波エミッタ及びセンサを作用対象に取り付けることができる。超音波エミッタ及びセンサを作用対象に取り付けた場合、超音波エミッタ及びセンサの位置を追跡し、表示装置が受け取るデータに追加することが可能であり、したがって、走査された作用対象の実際の位置を計算することができる。

一実施形態において、画像キャプチャ装置は、核磁気共鳴映像法（ＭＲＩ、magnetic resonance imaging）によって画像を得るように構成される。好ましくは、画像キャプチャ装置は、ＭＲＩ画像を得るためのデバイスを備え、そのデバイスは、磁気的及び空間的にシステムに適合する。

一実施形態では、少なくとも２つのモードによって得られた画像を組み合わせて、オペレータに対して表示画面上に表示される画像を形成し、その２つのモードは、それだけに限らないが、可視光、磁気共鳴、超音波及び赤外線放射を含む群からのものである。

表示画面は、補足的な画像を表示するように構成することができる。その場合、補足的な画像は、自動的な画像解析によるアノテーションを含むことができる。そうした自動的な画像解析は、それだけに限らないが、可視光、磁気共鳴、超音波及び赤外線放射を含む複数のモードからのデータをまとめることができる。

表示画面は、補足的な画像を表示するように構成することができる。補足的な画像は、オペレータが望むように、透き通るように表示すること又は表示に挿入することができる。そうした補足的な画像は、好ましくは作業部位の現在の内容以外の画像である。補足的な画像は、記録されたオペレータの動作を標準的な速度又は変更された速度で再生することを含むことができる。補足的な画像は、作用対象、すなわちオペレータの動作の対象に関する記録からのデータを含むことができる。補足的な画像は、オペレータの作業に関連する教材を含むことができる。

補足的な画像は、例えば外部の行為者からのアノテーションを含むことができる。そうしたアノテーションは、以前に計算された尺度に対する変化を通知することができる。そうしたアノテーションは、オペレータの動作の対象の特性に関する尺度を通知することができる。そうした特性は、それだけに限らないが、表面の弾力性、壊死、温度、脈管化、炎症、感染症、灌流、浮腫、腫脹及び歯肉圧排を含むことができる。

補足的な画像は、より早い時間に生成された走査又は画像からのデータを含むことができる。その場合、より早い時間に生成された走査又は画像を、オペレータの動作の対象の現在の形に一致するように修正する（例えば、歪める或いは形を変える）ことができる。好ましくは、補足的な画像は、オペレータの動作の対象と同じ見掛けの位置を保つように、表示画面の中を移動する。

補足的な画像は、自動的な画像解析によるアノテーションを含むことができる。そうした自動的な画像解析によって、オペレータの動作の対象における距離、長さ、幅又は面積を求めることができる。そうした自動的な画像解析は、オペレータの動作の対象の表面の形状を解析することができる。そうした自動的な画像解析は、オペレータの動作の対象の表面の肌理を解析することができる。そうした自動的な画像解析は、オペレータの動作の対象の複数の周波数帯域における色を解析することができる。そうした自動的な画像解析は、オペレータの動作の対象の温度を解析することができる。そうした自動的な画像解析は、オペレータの動作の対象の特性の変化を経時的に解析することができる。そうした変化は、オペレータの動作によって引き起こされる可能性がある。そうした自動的な画像解析は、オペレータの動作の対象の物質特性又は生物医学的特性を得ることができる。そうした自動的な画像解析は、複数の画像化モードからのデータをまとめることができる。そうした自動的な画像解析は、オペレータの動作の対象の他のいかなる所望の特性をも解析することができる。

画像に関するデータは、外部の通信システムが使用できるように作製することができる。これは、保管のため、又は表示のため、又は他の目的のためとすることができる。好ましくは、このやりとりは、相互運用性及びデータ交換に関する業界標準に準拠する。

好ましい実施形態では、（１人又は２人以上の）オペレータによって制御される（１又は２以上の）ツールの検出位置が、画像システムへの入力を与える。すなわち、オペレータによって制御されるツールを、入力デバイスとして用いることができる。画像システムは、ツールの位置を決定し、そのツールの位置を用いて所望の入力を確立する。好ましくは、ツールの検出位置は、オペレータの眼から表示画面の反対側、すなわち作業部位の近くにある。したがって、オペレータは、画像システムの制御、並びに作業部位での対象に対する作業のために、実質的に手を動かす必要がない。

ツールの検出位置を用いて、入力のモードを選択することができる。別法として又は追加として、ツールの検出位置を用いて、表示される対象物における点又は下部構造を選択することができる。別法として又は追加として、ツールの検出位置を用いて、表示される対象物にアノテーションを付けることができる。別法として又は追加として、ツールの検出位置を用いて、表示される対象物の空所における空間の形状を決めることができる。別法として又は追加として、ツール先端の開いた状態又は閉じた状態によって、仮想的な対象物の把持又は解放に対する入力を行うことができる。別法として又は追加として、ツール先端の動き若しくはツール先端の状態、又はツール先端の動きと状態の両方を用いて、仮想的な対象物の形状を操作することができる。

本発明の第２の態様によれば、オペレータの作業部位の画像を取り込み、表示するための方法が提供され、方法は、オペレータの作業部位の画像を取り込むステップであって、前記画像が奥行き情報を含む、ステップと、取り込まれた奥行き情報を含む画像を、表示画面を備える表示装置に伝えるステップと、取り込まれた奥行き情報を含む画像を、オペレータに対して、オペレータの眼と作業部位の位置の間に配置された表示画面上に表示するステップとを含む。

画像を取り込むステップは、好ましくは奥行き情報を、奥行き情報を得ることが可能なカメラによって得ることを含む。画像に含まれる奥行き情報は、オペレータが立体的な奥行きの手掛かりによって奥行きを決めることを可能にする情報を含むことができる。画像に含まれる奥行き情報は、オペレータが視差の奥行きの手掛かりによって奥行きを決めることを可能にする情報を含むことができる。

本発明の第１の態様に関連して記載した特徴は、本発明の第２の態様にも適用することができ、また本発明の第２の態様に関連して記載した特徴は、本発明の第１の態様にも適用することができる。

本発明の第３の態様によれば、オペレータに対して画像を表示するための表示画面と、オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報を得る手段と、オペレータの眼の位置の変化を用いて、表示される画像の全て又は一部の倍率を制御する手段とを備える画像システムが提供される。

すなわち、オペレータの頭及び眼の位置が変わると、表示画面上に表示される画像の倍率が変化する。好ましくは、オペレータの頭及び眼が表示画面の方に移動すると、画像が拡大されるように画像のズーム（倍率）が大きくなり、オペレータの頭及び眼が表示画面から遠くに移動すると、画像が縮小されるように画像のズーム（倍率）が小さくなる。

オペレータに対して画像を表示するための表示画面と、オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報を得る手段と、オペレータの眼の位置の変化を用いて、オペレータに奥行き情報を提供する手段とを備える画像システムも提供される。

オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報を得る手段は、オペレータに向けられた１又は２以上のカメラを含むことができる。オペレータの眼の位置の変化を用いて表示される画像の全て又は一部の倍率を制御する手段は、アルゴリズムを装備したコンピュータを含むことができる。

一実施形態において、表示画面は、オペレータの眼のそれぞれに異なる画像を示すことによって、画像を立体画法によって示す。他の実施形態において、表示画面は、オペレータの眼の位置に従って画像を調節することにより、視差を用いて画像を示す。これは、それぞれの眼の位置に従って別個に調節すること、又は２つの眼の中間にある単一の位置に基づいて調節することが可能である。

オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報を得る手段はさらに、表示画面上のある点におけるオペレータの凝視を認識することができる。或いは、表示画面上のある点におけるオペレータの凝視を認識するために、他の手段を設けることができる。オペレータの凝視を認識することができれば、画像の倍率によって、凝視される点を固定した状態に保つことができる。その場合、画像の倍率は画像全体を通して均一にすることができる。或いは、画像の倍率は、凝視される点の近くで凝視される点から遠い画像の領域より大きくすることができる。凝視される点から遠い画像の領域は、あまり又は全く動かないようにすることができる。

画像は２次元（平面）画像を含むことができ、倍率を２次元画像に適用することができる。或いは、画像は、奥行き情報を含む３次元画像を含むことができ、倍率を３次元画像に適用することができる。その場合、ある固定された点におけるオペレータの凝視を認識することができれば、固定された点のまわりの対象物の見掛けのサイズが変化する間、表示画面に対する固定された点の見かけの奥行きは、好ましくは一定に維持される。

本発明の第１の態様又は第２の態様に関連して記載した特徴は、本発明の第３の態様にも適用することができ、また本発明の第３の態様に関連して記載した特徴は、本発明の第１の態様及び第２の態様にも適用することができる。

本発明の第４の態様によれば、操作されるツールの動きを取り込むためのモーションキャプチャ装置と、モーションキャプチャ装置と通信する表示装置であって、少なくとも１つの表示画面を備え、モーションキャプチャ装置によって取り込まれた動きのデータを受け取り、モーションキャプチャ装置によって取り込まれた動きを、オペレータに対して表示画面上に画像の形で表示するように構成された表示装置とを備える画像システムが提供され、表示装置はさらに、表示画面上に追加の画像を表示するように構成され、表示画面は、オペレータの眼とオペレータの作業部位の位置の間に配置される。

好ましくは３次元の動きのデータを含む動きのデータを、好ましくは表示画面より下であるオペレータの作業部位の位置と好ましくは表示画面の上方にあるオペレータの眼との間の表示画面の位置と組み合わせることによって、視差の奥行きの手掛かりを返すことが可能になる。

オペレータの作業部位の位置は、オペレータが作業部位に対して直接作業を行っている場合には、オペレータの作業部位の実際の物理的な位置とすることができる。或いは、オペレータが遠隔の作業部位に対して遠隔制御のツールによって作業を行っている場合には、オペレータの作業部位の位置は、オペレータがツールを制御するときにオペレータが感知する、オペレータの作業部位の手によって感知される位置とすることができる。

表示画面上に表示される追加の画像は、オペレータが操作することが可能な仮想的な対象物の画像とすることができる。表示画面上に表示される追加の画像は、教材、文字情報又は指導者の画像とすることができる。取り込まれる動きと表示される動きとの間の縮尺の関係は、オペレータによって調節可能とすることができる。

指導者はオペレータに対して、他の表示を操作すること、及び音声又は映像によってオペレータと連絡することができる。指導者はオペレータに対して、表示画面においてアクティブで目に見える仮想的なツールに動きを加えることができる。画像システムは、好ましくは指導者からの現時の入力によって記録又は制御される指導者のツールの動きと一致した際に、オペレータの成功を視覚的及び定量的に通知する。

表示装置は、好ましくは記録された事象を表示画面上で再生するように構成される。オペレータは、事象の再生を実際の時間より速くするか遅くするかを選択することができる。一実施形態において、追加の画像は、別のオペレータによって実際の又は仮想的な対象物に対して実施された、記録された処置の画像を含む。画像システムは、好ましくは現時のオペレータの動きが記録されたオペレータの動きにどの程度うまく合っているかを通知する。

本発明の第１の態様、第２の態様又は第３の態様に関連して記載した特徴は、本発明の第４の態様にも適用することができ、また本発明の第４の態様に関連して記載した特徴は、本発明の第１の態様、第２の態様及び第３の態様にも適用することができる。

本発明の第５の態様によれば、第１の側の、オペレータの作業部位の画像を取り込むためのカメラであって、前記画像が奥行き情報を含む、カメラ、及び第１の側と反対の第２の側の、奥行き情報を含むカメラによって取り込まれた画像をオペレータに対して表示するための表示画面を備えるハンドヘルドデバイスと、ハンドヘルドデバイスを、オペレータの眼と作業部位の位置の間に位置決めするための支持手段とを備える画像システムが提供される。

奥行き情報を含む作業部位の画像を、好ましくはハンドヘルドデバイスより下である作業部位の位置と好ましくはハンドヘルドデバイスの上方にあるオペレータの眼との間のハンドヘルドデバイスの位置と組み合わせることによって、視差の奥行きの手掛かりを返すことを可能にすることができる。

ハンドヘルドデバイスは、カメラ付き携帯電話、スマートホン、携帯情報端末（ＰＤＡ、Personal Digital Assistant）、又は他の携帯用デバイスとすることができる。デバイスは、好ましくはデバイスの表示画面に対して、オペレータによって制御可能なサイズ及び焦点深度で、オペレータの手及びそれによって操作される任意の対象物の画像を伝えるソフトウェアアプリケーションを含む。支持手段は、ハンドヘルドデバイス用のスタンドとすることができる。スタンドは調節可能とすることができる。

作業部位の位置は、オペレータが作業部位に対して直接作業を行っている場合には、作業部位の実際の物理的な位置とすることができる。或いは、オペレータが遠隔の作業部位に対して遠隔制御のツールによって作業を行っている場合には、作業部位の位置は、オペレータがツールを制御するときにオペレータが感知する、作業部位の手によって感知される位置とすることができる。

好ましくは、ハンドヘルドデバイスのカメラは、奥行き情報を得ることが可能なカメラを含む。そうした奥行き情報を得ることが可能なカメラは、K. Fife, A. El Gamal and H-S. P. Wong, “A 3MPixel Multi-Aperture Image Sensor with 0.7 μm Pixels in 0.11 μm CMOS”, IEEE ISSCC Digest of Technical Papers, pp. 48-49, February 2008に記載されるタイプのもの、又は他の適切なタイプのものとすることができる。カメラはビデオカメラでもよい。カメラは、好ましくは近くの領域に焦点を合わせることができる。

好ましくは、オペレータは、ハンドヘルドデバイスのカメラの感度、ダイナミックレンジ及びスペクトル特性を、いかなる適切な手段によっても制御することができる。別法として又は追加として、オペレータが、カメラのデータを表示画面に示す方法を制御できるようにすることが可能である。

ハンドヘルドデバイスは、オペレータの方に向けられたカメラを含むこともできる。オペレータの方に向けられたカメラが、オペレータの眼の移動を追跡できるようにすることが可能である。追跡された眼の移動によって、カメラ又はハンドヘルドデバイスの制御を行うことができる。ハンドヘルドデバイスは、オペレータの方に向けられたマイクロホンとすることもできる。カメラ又はハンドヘルドデバイスの制御を、音声によって行うことができる。

ハンドヘルドデバイスは、ネットワーク接続を含むこともできる。これによって、（接続された任意の表示画面を装備した）他の人が、オペレータと同じ画像を見ることが可能になる。遠隔で見ている人が、視野を制御できるようにすることが可能である。遠隔で見ている人が、音声又は画像又は他のいかなる手段によっても、オペレータに助言できるようにすることが可能である。

画像システムによって、オペレータが、操作される対象物の特定の状態を詳細に示す、表示画面内のスペクトル表示を選択することを可能にすることができる。例えば特定の状態は、温度、脈管化、炎症、感染症、灌流、浮腫、腫脹又は歯肉圧排とすることができる。特定の状態は、アルゴリズム的解析によって検出すること、及びカラーコードによって示すことができる。

本発明の第１の態様、第２の態様、第３の態様又は第４の態様に関連して記載した特徴は、本発明の第５の態様にも適用することができ、また本発明の第５の態様に関連して記載した特徴は、本発明の第１の態様、第２の態様、第３の態様又は第４の態様にも適用することができる。

本発明の第６の態様によれば、対象の画像を取り込み、可視域の中、又は可視域の中及びまわりの光を検出し、取り込まれた光を４以上の周波数帯域に分類するための画像キャプチャ装置と、取り込まれた画像から、対象のスペクトル反射率、及び画像が取り込まれたときの照明条件を決定し、ユーザによって指定された照明条件における対象の４以上の周波数帯域でのさらなる画像を生成するための計算手段とを備える画像システムが提供される。

好ましくは、計算手段は、取り込まれた画像データを永久記憶装置に転送するための手段を備える。好ましくは、計算手段は、取り込まれた画像をデータ及び類似点によって同じ対象の時系列の画像に結びつけるための手段を備える。

計算手段は、取り込まれた画像の中に、４以上の周波数帯域の全てについて反射率が知られている標準的な対象物が含まれることを利用して、他の画像を生成することができる。４以上の周波数帯域は近赤外を含む。４以上の周波数帯域は、人の光学系の標準的な感度帯域、すなわち赤色、緑色及び青色のそれぞれの範囲内の２以上の帯域を含む。

計算手段は、画像システムによって計算される、取り込まれた画像のある領域のマルチスペクトルの反射率を、周知の反射率を有する物質の混合物に合わせることができる。その物質の混合物は、多くの照明条件の下で、画像のその領域に対応する物質を観察するときに人の光学系によって観察される色を厳密に再現する。

本発明の第１の態様、第２の態様、第３の態様、第４の態様又は第５の態様に関連して記載した特徴は、本発明の第６の態様にも適用することができ、また本発明の第６の態様に関連して記載した特徴は、本発明の第１の態様、第２の態様、第３の態様、第４の態様又は第５の態様にも適用することができる。

既存のシステムについては、添付の図１〜５を参照して既に記載してきた。
従来技術による垂直な顕微鏡の概略図である。 従来技術による間接的な顕微鏡の概略図である。 従来技術による、平坦な表示画面を含む拡大作業用の画像システムを示す図である。 従来技術による単一ユーザ用の画像システムの概略図である。 従来技術による２ユーザ用の画像システムの概略図である。次に、本発明の実施形態について、添付の図６〜８を参照して例示のためにのみ記載する。 本発明の一実施形態による画像システムを示す図である。 ２つの選び得るオペレータの位置を有する、図６ａによる画像システムを示す図である。 図６ｂの第１のオペレータの位置を用いた表示を示す図である。 図６ｂの第２のオペレータの位置を用いた表示を示す図である。 図６ａのものなど、画像システムと共に用いるための表示画面の下面図である。 図７ａの表示画面の正面図である。 本発明の一実施形態による画像システムによって実施されるステップを示すフローチャートである。

図３に示す従来技術のシステムでは、その形状がミラーによって補償されるものとして記載された長い樽型のカメラを、ここで、作業部位に面する、表示画面３０３のすぐ下に配置するのに十分に平坦なカメラで置き換えることができる。「能動的な照明又は較正を必要としない３Ｄの奥行きマップ」を可能にする、そうした薄いシステムの一例が、その詳細を参照により本明細書に援用する、K. Fife, A. El Gamal and H-S. P. Wong, “A 3MPixel Multi-Aperture Image Sensor with 0.7 μm Pixels in 0.11 μm CMOS”, IEEE ISSCC Digest of Technical Papers, pp. 48-49, February 2008に記載されている。そのデバイスでは、異なる絞りによって取り込まれる光の間の僅かな違いによって奥行きデータの計算が可能になる。これは、物理的に離れた眼又はカメラによる視野に、より大きい違いを用いることに似ている。奥行きを計算した後、処理された画像の各ピクセルは、それに関連付けられた奥行きを有するようになる。これは、奥行きデータを有する画像を、消費者製品を実際的なものにするサイズ及び製造技術を備えた単一のデバイスから取り込むことが可能であること、並びに画像感知デバイスのこうした能力を、フラットスコープなどの画像システムに組み込むことが可能であることを示している。或いは、奥行きは、それだけに限らないが、２又は３以上の標準的な画像から計算された立体写真、立体照明の使用、又はレーザ若しくは超音波デバイスによる測距などの反射された信号のタイミングに依存する能動的デバイスを含めた、当業者によく知られている様々な方法によって決めることができる。

図６ａ〜６ｄは、本発明による画像システム又はフラットスコープ６００の実施形態を示している。図６ａは表示画面６０１を示し、表示画面６０１は、その下面の中央に置かれた単一の奥行き通知用のカメラ６０３を含む。（奥行き通知用のカメラ６０３は、既に論じたK. Fife, A. El Gamal and H-S. P. Wong, “A 3MPixel Multi-Aperture Image Sensor with 0.7 μm Pixels in 0.11 μm CMOS”, IEEE ISSCC Digest of Technical Papers, pp. 48-49, February 2008に記載されるタイプのもの、又は他の適切なタイプのものとすることができる。）或いは図７を参照して記載するように、カメラ６０３を表示画面の下面の他の位置に設けること、又は複数のカメラを使用することが可能である。表示画面の下には、オペレータが拡大された視野で見ることを望む作用対象６０５が存在する。

図６ｂは、表示画面６０１、及び適切な画像化によって、表示画面６０１の上側表面の上により大きい対象物６０７として見える作用対象を示している。オペレータの片眼又は２以上の眼（図６ｂには輪郭として見られる）は、表示画面６０１の垂直上方の中心にある位置６０９に置くことができる。或いは、オペレータの片眼又は２以上の眼は、垂直方向から傾き、中心から外れた位置６１１に置くことができる。

図６ｃは、オペレータの片眼又は２以上の眼が、表示画面６０１の垂直上方の中心にある位置６０９に置かれた状態での、カメラ６０３からの視野６１５を示している。視野６１５は、仮想的な作用対象６０７の意図される見掛けのサイズ及び位置に対してほぼ正確である。

図６ｄは、オペレータの片眼又は２以上の眼が位置６１１に置かれた状態での、カメラ６０３からの視野６１７を示している。オペレータの片眼又は２以上の眼が位置６１１にあるとき、仮想的な対象物６０７上に水平方向に等しい間隔をおいて配置された３つの点は、拡大された作用対象６０７上の点と眼の位置６１１との間でまっすぐな線上の点６１３に描画されるはずである。これによって、位置６１１から見たときに、それらの画像が正確に配置されるようになる。それらの点の間の離隔距離が等しくないために、表示画面上に描画される最善の画像は視野６１７に示すようになる。この視野は、奥行き情報が利用可能であれば、当業者によく知られている計算方法によって単純に生成することができる。ディスプレイに対するピクセル座標（ｉ，ｊ）を用いると、現時のデジタル倍率によって、空間座標（ｉ，ｊ，ｄ（ｉ，ｊ））における色及び奥行きのデータが提供され、眼又は仮想的なカメラに対する特定の点から見える面の視野を示す。

或いは、眼の位置のデータを提供するために、追跡デバイスをオペレータの頭に取り付け、追跡デバイスがオペレータの頭と共に移動するようにしてもよい。ユーザがシャッタ眼鏡又は他の立体的な表示をサポートするものを着用している場合、追跡デバイスは、眼鏡の構造に取り付けること又は埋め込むことができる。画像の奥行き及び眼の位置データを正確に短時間で、好ましくは通常は２０ｍｓ程度である表示画面のリフレッシュ間隔より実質的に短い時間で送るためには、十分な計算リソースが利用可能であることが重要である。これによって、リフレッシュされる画像が、適切なデータを用いて再描画されるようになる。示される画像が、オペレータの内耳によって感知される頭の動きに伴って正確に変化する場合には、一部のオペレータにはいかなる場合も常に欠けているか又は不十分である、立体的な奥行きの手掛かりがなくても、視差によって、明確に定められた位置に安定的に位置する作用対象６０７の強い感覚が与えられる。不正確な又は最新ではない眼の位置によって、対象物が空間内で小刻みに動くように見え、このために、位置６０３におけるカメラからの変形されていない視野の単純な表示よりも有用性が低い結果がもたらされる可能性がある。

追跡データは、以下に記載するプロセスに約２０ｍｓ未満の待ち時間で利用可能であるべきである。待ち時間は、ある位置に物理的に存在するデバイスとその位置がシステムの残りの部分に送られる時間との間の時間として定義される。待ち時間は、追跡デバイスの製造業者によってしばしば定義されるように、不特定の物理的時間において計算される直近の位置に関するクエリーに応答する時間ではない。どちらの場合も、新しいデータに基づく予測を用いて、画面の次のリフレッシュ時間における眼の位置の推定値を改善することができる。その推定値が、直接測定された又は計算された新しい位置に優先して用いられる。適切な視野６１７は、標準の一般的なサーフェスレンダリング用のフライ（fly）に対して三角形のメッシュを構築する必要なしに、当業者によく知られた方法によって「地形（terrain）」として高速に描画することができる。

図７ａ及び７ｂは、図６ａ〜６ｄに示すような画像システムと共に使用するための表示画面のより詳細な図である。図７ａは、表示画面７０１の下面図であり、図７ｂは表示画面７０１の正面図である。表示画面７０１の下には、１又は２以上のカメラユニット７０３、及び１又は２以上の発光体７０５が設けられる。図７ａ及び７ｂは、複数のカメラユニット及び発光体を示しているが、影のない発光体及び奥行きデータを提供するいかなる配置も、本発明の範囲内である。これまでに論じたように、現在、単一のマルチアパーチャチップでも奥行きデータを提供することができるが、ウェハレベルの光学系によって、利点が少なくてもその使用を正当化できる程度まで、視覚センサのサイズが小さくなり価格が下がっている。２つのカメラを使用する場合、奥行きデータを得るように、それらの画像を計算によって比較することができる。これは、単一のカメラの奥行きの通知の代わりとして、又はその精度を高めるために行うことができる。或いは、２つのカメラを、単にオペレータの眼に達する１対の立体的な視野として配置してもよい（ただし、これは好ましくない）。その場合、カメラの位置の角度の分割が適切であれば、優れた立体的な奥行きの認知力を有するオペレータには、適切に拡大され表示された領域の様々な部分の奥行きについて明確な感覚が得られる。しかしながら、視差の奥行きの手掛かりには、明示的な奥行きデータが必要である。

視野が（１人又は２人以上の）オペレータの眼の位置の予想される範囲を含む、１又は２以上のビデオカメラを設けることができる。（１又は２以上の）カメラの出力はデジタルプロセッサに送信され、デジタルプロセッサが、画像の中のオペレータの眼の位置を特定する。これを行う様々な手段が、当業者によく知られている。複数のカメラが存在する場合には、三角測量によって、眼の表示画面に対する空間の中に３次元位置が確立される。ただ１つのカメラが設けられる場合、そのカメラは奥行きを取り込むことが可能であり、したがって、やはり眼の３次元位置が利用可能になる。３以上のカメラが取り付けられた場合、又は奥行きの通知を伴う複数のカメラが設けられた場合には、冗長性を用いて眼に対する位置データの精度を改善することができる。

複数のカメラを利用することの利点は、６０３などのカメラの位置からは隠れているが、６１１などの斜めの眼の位置からは見ることができるより少数の点を、補間法（計算による推定）によって表現することである。表示画面６０１を通してオペレータに見える点はどれも、表示画面より下のいくつかの位置にあるカメラにも見える。横からの視野は他のものが張り出した点を含む可能性があるため、奥行きデータの構造に、したがってレンダリングアルゴリズムにある程度の複雑さが加わるが、当業者には、この加わった複雑さを扱う多くの方法が明らかになるであろう。これまでに論じたプロセスは全て、奥行き及び眼のデータの決定であれ描画であれ、現在、ＣＵＤＡ（コンピュートユニバーサルデバイスアーキテクチャ、Compute Universal Device Architecture）などのプログラミング言語の拡張を用いて直接プログラムすることができる、数百のパラレルコアを有するグラフィック処理ユニット（ＧＰＵ、graphics processing units）のパイプラインにうまく適応するパラレル計算法と高い適合性がある。

画像システムが複数のカメラを用い、片眼又は２以上の眼の現在の位置からの視野の方向が、２又は３以上カメラが作業部位を見る方向の中間にある代替的実施形態では、平面画像の操作法により、それらのカメラによって通知される視野の間での補間が適切な方向の画像を与える。しかしながら、これは眼のディスプレイからの距離の変化を考慮しておらず、したがって、前述の明示的な奥行きデータの使用ほど安定した見掛けの作用対象６０７を示すことができない。

図６及び７を参照して記載した画像システムに注目すると、前述のように、ユーザによる様々な方法でのシステムの制御に、眼の位置のデータを用いることができる。しかしながら、重要な特徴は、表示画面より下の物質の画像に対する奥行きデータと、表示画面の上方の眼に対する位置とを組み合わせることによって、視差の奥行きの手掛かりを返すことが可能になることであり、それはこれまで、単純レンズより複雑で強力ないかなる拡大システムにも存在していなかった。計算速度の向上及び計算コストの削減と共に考えると、奥行きデータによって、フラットスコープに視差の奥行きの手掛かりを加えることが可能になり、最小限の教育でシステムを無理なく使用できるオペレータの範囲が広がる。オペレータがいかなる処置を通しても頭及び肩を固定した位置に保つことを強いられないことによる、歪みの低減などの接眼レンズの顕微鏡にまさる利点は、作用対象の見掛けの位置が立体写真術のみの場合より安定するため、視差の存在下でさらに強力なものになる。

画像は、可視域、例えば可視スペクトルの中、又は可視スペクトルの中及びまわりの光に加えて、近赤外線及び／又は近紫外線を検出するセンサによって得ることができる。画像を３又は４以上の重複する周波数帯域において検知することが可能であり、これらは、人の網膜における赤色、緑色及び青色の受容体を刺激する範囲にほぼ対応することができる。これは、例えばSzu名義の米国特許出願公開第２００６／００９７１７６号明細書又はSzu名義の米国特許出願公開第２００８／０２６０２２５号明細書に開示されるように、赤外範囲に拡張することによって可能になる。画像は、放射された又は透過された赤外線放射を検出するためのセンサによって得ることができる。別法として又は追加として、これは、紫外範囲に拡張することによって、又は可視スペクトルをさらに細かく分割することによって可能になる。そうした画像感知技術は、医療及び他の分野における広範な使用に適した経済及び技術レベルで、実用的になってきている。しかしながら、可視スペクトルの中、又は可視スペクトルの中及びまわりの光を用いる画像感知は、画像システムの表示画面上での表示のために、奥行きデータを含む画像を生成することができる方式の１つに過ぎない。それだけに限らないが、以下の段落における配置を含めた、いかなるリアルタイムの画像取得システムも使用することが可能である。

画像システムに取り付けられた又は埋め込まれた１又は２以上のエミッタによって、超音波信号を発射することができる。或いは（１又は２以上の）エミッタを、ディスプレイの下に存在する人又は動物などの対象物の一部に接するように、場合によってはエミッタと対象物の間のインピーダンスを低減するためのゲル又は他の手段と共に配置することができる。同様に反響音用のセンサが配置され、それは（１又は２以上の）同じデバイスの一部であっても、そうでなくてもよい。オペレータによって別個に移動させる、又は作用対象と共に移動するセンサ及びエミッタの場合、例えば（１又は２以上の）カメラユニット７０３からの画像を解析することによって、又は当業者に知られている他の手段によって、エミッタ及びセンサをリアルタイムで追跡することができる。したがって、超音波によって得られる３次元画像の各要素は、表示画面に対する位置が分かっている。したがって、表示画面は、超音波によって得られる画像を、いかなる都合の良い倍率を用いても、手−眼の共通位置による安定した視野で表示することが可能である。好ましい実施形態において、超音波によって得られる画像は視像と組み合わされ（融合され）、したがって、作用対象が患者である場合には、その結果は半透明な皮膚を通した視野とすることができる。この実施形態は、オペレータが直視のための大きい開口を設けるのではなく、小さいツールを皮膚の穴を通して挿入する低侵襲の処置に特に有用である。例には、それだけに限らないが、バイオプシー、腹腔鏡検査及び関節鏡検査が含まれる。

超音波を使用する多くの従来技術のシステムにおいて、オペレータは、作用対象から遠く、場合によってはそれに対して回転させた位置で表示を見なければならない。例えば、超音波の表示画面は、オペレータの一方の側に対して配置されることがしばしばであり、視野の向きは、デバイスを保持する手と共に変化する。例えば外科医の前面の腹腔鏡検査用の表示は、腹腔内部の可動カメラからの視野、画面より下の距離、及び間接的に制御されるツールを示すことができる。結果として、手−眼の調整が難しくなり、誤り率、オペレータへの負担、処置を完了するための時間及びコストが増す。オペレータの眼と作用対象６０７の間の表示画面６０１上に超音波によって得られる画像を提供することによって、この難しさを軽減することができる。多くの場合、本発明のこの実施形態は、画像化手段として挿入されたカメラに取って代わり、処置の侵襲性を低減することができる。

核磁気共鳴映像法（ＭＲＩ、magnetic resonance imaging）−適合性のある材料（ＭＲＩと干渉する電磁作用がなく、使用される大きい磁場によって損なわれない）で構成される画像システムは、オープンＭＲＩシステムに用いられ、それにより、磁気共鳴を用いて画像化される作用対象について、オペレータの手−眼の共通位置による操作が可能になる。同様に、陽電子放射断層撮影（ＰＥＴ、positron emission tomography）などの核医学的な画像化を、画像システムに組み込むことができる。好ましい実施形態では、超音波と同様に、ＭＲＩによって得られる又はＰＥＴによって得られる画像が視像と組み合わされる。

Ｘ線、したがってコンピュータ断層撮影（ＣＴ、computerized tomography）への連続的な又は頻繁な暴露は賢明ではないが、インターベンショナルラジオグラフィは、カテーテル及び他の低侵襲用ツールを案内するためにＸ線のスナップショットを使用する。しばしば、注入された造影剤によって動脈又は他の構造が可視化される。（立体視のような）２方向からの視野によって、３次元位置に対する３次元マップを生成することができる。同様に、画像システムに紫外線の画像化を組み込むことができる。これをフラットスコープにおける目に見える表示と組み合わせれば、オペレータの操作がより簡単になる。処置の間に患者又は他の作用対象が移動する、又は移動される場合には、表示された位置が古いものになる。本発明の実施形態は、カメラからの幾何的なデータを用いて作用対象の曲がり及び動きのモデルを構築し、これを用いて表示されるＸ線データを更新する。より一般的には、そうした幾何学的な更新データを、Ｘ線、ＭＲＩ、ＰＥＴ又は任意の他の走査法からｉｎ ｓｉｔｕで取得された新しいデータに適用し、画像システムの視覚的な構成要素によって明らかにされた幾何形状に対して調節することができる。

表示画面上に表示される画像は、シミュレーションから得ることも可能であり、その場合、作用対象の十分なインタラクションモデルを利用することができる。表示画面上に表示される画像は、以前の処置又は現在の処置のそれまでの部分の記録から得ることもできる。記録は、元の速度で、又はより速く若しくはより遅く再生することができる。これを用いて、個々のオペレータの誤りを解析するために又は競争による教育のために、処置又はステップをより詳細に観察することが可能になる。現在のオペレータのツールを、熟練者によって以前に実施された処置の視野に加えることができ、（場合によっては、速度を下げたバージョンから始めて）現在のオペレータが、熟練者の動きの再現を試みることができる。システムは、この試みの成功を評価し通知する。以下では、シミュレーション及び記録についてさらに詳しく論じる。

表示画面上に表示される画像は、遠隔の部位から得ることもでき、その場合、遠隔位置には、画像システムのものと適合性のあるカメラ機構が存在する。これは別のフラットスコープであることが好ましいが、画像システムは、ＤＩＣＯＭなど広く使用されるフォーマットで画像及びアノテーション情報を受け取ることが可能であり、したがって、業界標準を満たすいかなる遠隔の部位からの情報もサポートする。同様に、本発明の画像システムによって収集され、オペレータによって構築される画像及びアノテーションは、基準に準拠したいかなるデバイスにもリアルタイムでエクスポートすることができる。ある部位で、作用対象の画像を受け入れ、応答を送信する遠隔制御のツールが利用可能である場合には、遠隔のオペレータは作用対象に対して直接的に働きかけることができる。そうでない場合、遠隔のオペレータの手元のツールを、アノテーションなどを指し示すために、また一時的に又は他の方法で現場のオペレータに見える視野に加える信号を生成するために用いることができる。これは、指導及びコンサルテーションに用いることができる。オペレータが遠隔の部位に対して遠隔制御のツールを介して作業を行う場合には、例えば表示画面より下の位置は、作用対象自体の物理的な位置ではなく、オペレータによって感知される作用対象の位置であることに留意されたい。

以下においてさらに論じるように、フラットスコープの場合、ユーザの入力は、オペレータの手が（タッチスクリーンのように）表示の上方にある、又は（マウスのように）ディスプレイの一方の側にあるのではなく、ディスプレイより下にある状態において、しばしばより良好になる。処置の間にスクリーンとの接触を回避する１つの理由は、手術の又は他の物理的な作用対象が、可視性を低下させる恐れがある物質の豊富な供給源になることである。表示画面上に目に見える汚れがあれば、重大な問題になる可能性がある。したがって、スクリーンとの接触は、設定及び較正の初期作業のためのものにしておくことが好ましい。

いかなるスクリーン指向のインタラクションの平面的な入力とも異なり、対象物若しくはカーソルを、接触を追跡することにより共通位置によって移動させるのであれ、マウス又は他のデバイスによって間接的に移動させるのであれ、画像システムは、その設計の一部として共通位置のツールを有することができる。オペレータは、物理的な作用対象に対して作用するこうしたツールの細心の注意を要する使用に精通しており、それらを画像システムの制御に拡張することに無理はない。オペレータの手は、異なる制御対象物にも、マウスパッド若しくはスクリーンの前面などの異なる空間にも変わる必要がない。外科用メス、鉗子、彫刻ツール又はオペレータによって保持される他の器具の先端は、通常の自由度、すなわち前後、左右、上下への並進、並びに前方、横方向及び垂直方向の軸を含めた任意の軸のまわりの回転によって移動する。人のオペレータは、これらの自由度を同時に操作することに慣れている。

こうした（１又は２以上の）ツールの先端を入力デバイスとして使用するためには、画像システムが、それらの位置を特定する明示的なデータを有する（又は「知る」）必要がある。当業者によく知られている様々な追跡デバイスを、そうしたツールに取り付けることができる。これらには、それだけに限らないが、ロボットアーム、固定されたエミッタからの無線周波数信号若しくは超音波のレシーバ、及び発光ダイオード、又はカメラによって検出される他の点光源が含まれ、これらのいかなるものも、本発明の範囲内で使用することができる。しかしながら、図７ａ及び７ｂの（１又は２以上の）カメラの視野に入るいかなる先の尖った動かない対象物も、特別な付属物がなくても入力デバイスとして働くことが可能であることが好ましい。コンピュータの視野は、任意の状況における一般的な対象物の同定について、まだ人の脳に及ばない。しかしながら、部分的に不鮮明ではない背景の前で制御された照明を用いて、既知の形状（例えば、画像システムの使用の特定分野で用いられるツール形状データベースの中の１つのツール形状）の動かない対象物を見出すことは、多くの解決策が当業者に知られている作業である。したがって、そうした位置情報は、画像システムがリアルタイムで利用できると考えることができる。したがって、画像システムは、ツール又はツールの先端の位置、ツール又はツールの先端が指す作用対象上の位置、ツール又はツールの先端に最も近い作用対象上の位置、ツール又はツールの先端の現在有効な半径の範囲内の作用対象上の位置、ツール又はツールの先端のシミュレートされたエアブラシ効果の領域内の作用対象上の位置、ツール又はツールの先端が行うジェスチャ（その場合、ジェスチャは、ツールの先端が小さい円の中を移動するなどの学習可能な動きとすることができる）、及び他のそうした位置又は移動を決めることができる。その場合、画像システムは、こうした決定を動作の基礎とすることができる。

ツールは、その効果が切断、焼灼及び把持など作用対象との物理的なインタラクションから生じるもののみである、「物理的のみ」のモードで使用することができる。或いはツールは、選択モード、ペイントモード及び擬似カラー化モードなどの他のモードで使用することができる。オペレータは、例えば予め決められた語若しくは句を画像システムに接続されたマイクロホンに話す音声のインタラクションによって、ツールの先端を表示画面のメニュー領域に置くことによって、ツールの先端が作用対象からある距離のところに見えるとき、ツールの先端を用いて認識されるジェスチャを行い、足のボタンを押すことによって、又は当業者には明らかになるであろう他の手段によって、ツールがあるモードに入る、又はあるモードから出るようにすることができる。ツールをモード間で移動させるために、ツールの手の近位部に１又は２以上のボタンを加えることができる。しかしながら、再設計又は追加物なしでツールを使用できることが好ましい。その場合、新しいツールの追加によって、ツール形状データベースにそのツール形状が含まれるようにすることのみが必要になる。その形状は、当業者によく知られている手段によって、その製造用のコンピュータ援用設計（ＣＡＤ、computer-aided design）の設計書から、又はツールの例の３次元走査からインポートすることができる。動作を変更するこうしたモードのいかなるものの効果も、状況に依存する可能性がある。

持針器、鉗子、ピンセット、はさみ、先端にアクティブキャプチャを有するバイオプシー針、及び多くの他のデバイスを含むある特定のツールは、遠位端で「開放」されているか又は「閉鎖」されているかの視覚的に認識可能な状態を有する。開放状態又は閉鎖状態は、通常はオペレータの理解の範囲内での相対的な動きによって、オペレータの制御下にある。こうした状態を認識することによって、よく知られているコンピュータマウスの「ドラッグアンドドロップ」機構の３次元バージョン含む、他の種類の制御機構が可能になる。オペレータは、先端を画像上の特定の要素若しくは位置で、又はその近くで閉じること、或いはその要素若しくは新しい要素を先端が開いている３次元位置に対して移動又は拡張することが可能である。これを、例えば焼灼のための次の点を示すタグの単純な移動のために、又は先端が閉じている線の始点、及び次に先端が開くその線の終点を生成する「ラバーバンディング」のために用いることができる。目に見える経路が湾曲している場合、「閉鎖による掴み、ドラッグ、開放による解放」のモードによって、オペレータが経路の形状を変更することを可能にすることができる。コンピュータマウスのユーザによく知られている典型的な曲線のドラッグは、経路の方向を直接制御することなく、補間点又は制御点（ｘ，ｙ）を新しい点（ｘ’，ｙ’）に移動させる。しかしながら、本発明のこの実施形態による画像システムのツールには当然のものである６自由度の入力によって、オペレータがツールの先端を点（ｘ，ｙ，ｚ）から新しい点（ｘ’，ｙ’，ｚ’）に移動させることが可能になる。同時に、それによって経路の制御を移すことができる。またオペレータは、ツールの先端を移動させながら回転させることが可能であり、したがって、点を通る経路の方向も同様に回転する。したがって、他のツールが移動すべき安全な方法に関する訓練生又はロボットに対する指導者による指示など、複雑な経路を指定するのに必要な動きが少なくなる。

オペレータが、現在保持されているツールの先端がアノテータになるように信号（音声コマンド、ジェスチャ、メニューの選択、又は当業者に知られている他の手段）を送る場合、それが、Adobe Photo Shop（商標）などのアプリケーションにおいてよく知られているブラシ、ペンシル、曲線生成ツール、又は他のマーキングウィジェットになるようにすることができる。しかしながら、そうしたアプリケーションでは、そうしたウィジェットが平面画像のピクセルに関連付けられた１組の色値を生成するが、フラットスコープでは、生成されるデータは、生成が行われるときの先端の位置によって制御される奥行きの値を含み、作用対象６０５の画像システムの内部表現６０７に関連付けられるようにすることができる。色によるマーキングの別法として又は追加として、値は、作用対象の特定の点又は下部構造に対するラベルなどのタグ、及び分類（例えば「壊死」又は「切断しない」）を含むことができ、それらは、１組のピクセルがその中に表示される色を修正することによって表示することができるが、色値と同一とはみなされない。この違いによる他の結果の中で、システムは、オペレータが、所望されるようにある特定の（例えば壊死の）点を、暗いもの、明るいもの、青いものなどとして示すように選択可能にすることができる。好ましい実施形態では、ユーザによってマーキングモードが設定され、作用対象の表面上の特定の点又は作業部位における特定の点に、値を結びつけることができる。値が作用対象の表面上の特定の点に結びつけられる場合、マーキングは、オペレータの現在の観点に対して先端の向こう側の点、先端に最も近い点、仮想的なエアブラシが及ぶ点、又は他の基準によって選択される点のものとすることができる。値が作業部位における特定の点に結びつけられる場合、オペレータは、特定のアプリケーションの要求に従って、作用対象６０７を不透明若しくは半透明に覆い隠すように、又は作用対象によって覆い隠されるように表示される、空間内の自由な形の構造を生成することができる。好ましい実施形態では、そうした表示は全て、図６ｂに示すように、オペレータの視点に対して調節される。

既に論じたように、システムは、現在の画像データに合うようにその位置を調節する、作用対象の変形可能なモデルを生成することができる。オペレータが作用対象を変更する（例えば切断する）場合、モデルはトポロジーを変え、変形しなければならない。好ましい実施形態において、作用対象の上又は中の点に関するアノテーションは、表示画面を通して見たとき、作用対象自体の上にペイント又は描画されているかのように見えるように、そうしたモデルの中の点の位置と共に移動する。

多くの重要なアノテーションは、オペレータが目的及び範囲を設定する点において半自動であるが、作用対象の特定部分に対するアノテーションの範囲の割り当ては計算による。例えばユーザはある点を選択し（選択の手段については既に論じている）、音声、メニュー、ジェスチャ又は他の方法によって、システムに、点がその一部である構造（例えば管、動脈、病変）を特定するように要求することができる。次いで、システムは特定された構造を強調する。特定された構造が所望の対象物より大きい若しくは小さい場合には、オペレータは、音声によって「より大きく」若しくは「より小さく」するように要求すること、（例えば「管」と言うことによって）探し求める構造の種類を特定すること、詳細な編集ツールを用いて表示された境界を変更すること、又は任意の他の適切な技術を用いて選択された構造を変更することが可能である。オペレータは、特定の解析能力に従って、例えば面積、長さ、直径、厚さ、しわ（粗い又は滑らか）、炎症の程度及び推定される血流など、構造の様々なパラメータの計算を要求することができる。中でも医療の用途に所望される能力は、浮腫（流体が膨らんだ状態）の同定及び定量化である。腫脹が明らかに組織の見掛けの形状を乱す場合、（例えば、曲がりの測定と影響を受けない領域からの距離の測定を組み合わせることによって）表面を元の形の組織に従って計算によって合わせることができる。これによって基準面が与えられ、それに対して腫脹（補間された表面と実際の表面の間の領域）の体積を定量化することができる。

既に言及したように、赤色、緑色及び青色の３つのカラーバンドの標準的な組より多くのスペクトル情報を用いて画像を取得することが、ますます実現可能に、また経済的になっている。目に見える色によってグレースケール画像で可能なものより優れた識別ができるように、スペクトルの範囲を広げ、改善することによって、肉眼では見えない物質特性を機械で認識することが可能になる。例えば特定の周波数の副バンド、例えば赤色又は青色において高い反射を示す分子が多く生じる特定タイプの感染症の温度又はスペクトル特性を認識することができる。打撲傷など他の現象も、赤色及び青色の周波数帯域を同程度に刺激することによって、人の眼に同じ感覚を与える可能性があるが、副バンドにおける反射率のためにシステムによって簡単に区別することができる。顕微手術のためのものなど特定用途向けの画像システムは、そのプログラミングの中に、広範な関連する現象に関する徴候を含むことができる。こうしてオペレータは、システムに対して、現象の１つを特定し、それが存在する領域に（例えば、人に見える擬似カラーで）マークを付けることを要求することができる。好ましい実施形態では、バックグラウンドのルーチンが、特定の用途において臨床的に又は他の状況で重要な特性に関する所定のチェックリストの中からスペクトル特性を自動的にチェックし、オペレータにそれらの存在に対する警告を出す。システムはまた、赤外線に敏感なカメラを用いて温度を推定し、このスペクトル及び他のスペクトルを周囲の組織と対比することによって、炎症に関する尺度を得ることができる。オペレータが要求すると、これらの尺度を、擬似カラー又はコンタなどのグラフィックデバイスによって表面全体に、又は異常値が現れる領域のみに重ね合わせることができる。超音波など他の画像化様式によって、表面の弾力性などの物理量を得ることが可能になり、それを目に見えるアノテーションとして加えることもできる。

顕微手術などでよくある動作は、動脈を押し、血流を遮断した後、経時的に色の変化を観察することである。赤い色が失われ、排出されない血液が排出の強さを示す青色に変わる。次いで、動脈を解放し、前の状態に戻るまでの経時的な色の変化を観察することができる。同様の動作は、オペレータが、それ自体の原動力を有する対象物に対して動作を行ういかなる分野でも起こり得る。ほとんどの場合、血流の例のように、この観察は現在のところ定量化されていないが、画像システムに事象を観察及び記録するように指示し、場合によってはデータをタグに結びつけることができる。自動的なマルチスペクトル解析は、その各部分について、それが影響を受ける程度を変化させ推測する領域をマッピングする。血液供給の場合には、これによって、組織の各部分が遮断された特定の動脈の分枝にどの程度依存しているかを評価する。組織内のほとんどの点は、供給について少なくともある程度の冗長性を有する。これらの尺度から得られる物質的又は生物医学的な特性も、目に見えるアノテーションとして加えることができる。

前述の尺度の１又は２以上から、システムは、オペレータに重要な特徴若しくはパラメータを検出又は定量化することができる。特徴若しくはパラメータは、それだけに限らないが、医療上の使用においては皮膚の弾力性、壊死、脈管化、感染症、灌流、浮腫、腫脹又は歯肉圧排、彫刻家にとっては粘土の中の残りの含水量、並びに画像システムを用いることが可能な当業者によく知られている他の量を含むことができる。好ましい実施形態において、そうした量は、観点における全ての動き及び変化を通して表示画面内の同じ構造上の点に見られる、作用対象６０７に目に見えるように結びつけられたアノテーションとして示される。

図８は、本発明の一実施形態に従って画像システムによって実施されるステップを示すフローチャートである。画像システム又はフラットスコープは、図６ａ及び６ｂに示す形を有することができる。第１のステップ８０１では、オペレータの作業部位における作用対象の画像が取り込まれる。そうした画像の例が、図６ｃ及び６ｄに示されている。画像は奥行き情報８０３を含み、奥行き情報８０３は、既に論じたように、奥行き情報を得ることが可能な１つのカメラ、又は複数のカメラから得ることができる。第２のステップ８０５において、画像は、図６ａ及び６ｂの表示画面６０１などの表示装置に伝えられる。表示画面は、（例えば、位置６０９又は位置６１１の）オペレータの眼と、作用対象及びオペレータの作業部位との間に配置される。第３のステップ８０７において、奥行き情報を含む画像が表示画面上に表示される。重要な特徴は、表示画面より下の物質の画像に対する奥行きデータと、表示画面の上方の眼に対する位置を組み合わせることによって、視差の奥行きの手掛かりを返すことが可能になることである。

既に記載した手及び音声の制御だけではなく、画像システムをオペレータの頭及び眼の位置によって制御可能にすることが好ましい。既に論じたように、オペレータの頭及び眼の位置を用い、所与の仮想的な位置を有する表示対象物６０７（図６ｂ参照）に対して、適切な視差、遠近感及び立体的な奥行きの手掛かりを用いて画像を表示することができる。したがって、オペレータの頭が表示画面に近付く場合には、対象物６０７がオペレータの視野のより多くを占めるようになる。しかしながら、この機構のみが適用される場合、対象物６０７は大きくなるように見えない。人の視覚系は、対象物を近くのものとして、ただし同じサイズで見るように調節する。その代わりに、ここではオペレータの頭の移動を用いて、認識されるサイズを変更する。

（例えば音声、足のペダル、メニューの選択又は他の適切な手段によって）ズームモードをオンにした場合、眼を表示画面に近付けると、表示対象物６０７の空間的な拡大が得られる。したがって、表示対象物６０７はより大きく、また検査のためにはさらに詳細に見えるようになる。同様に、眼を表示画面から遠ざけるように移動させると、結果が逆になる。移動を拡大率λに変換する係数は、デフォルトで設定することができる。例えばａ＝７ｃｍの接近では、λ＝２^ａ／７によって見掛けのサイズを倍にすることができる。拡大率は、オペレータの好みによって変更できるようにすることが可能である。デフォルトの拡大率は、オペレータの代表的なグループの研究によって、コンセンサスを得た手順によって、又は他のいかなる適切な方法によっても得ることができる。

そうしたズームプロセスの最も単純な実装は、作用対象内又はツール上の点のそれぞれの表示位置（ｘ，ｙ，ｚ）を、（λｘ，λｙ，λｚ）によって置き換える。これは常に、（０，０，０）を点（０，０，０）に変換し、この点は（例えば表示される画像の中心に）固定される。他の点は半径方向に、その固定された点に向かって又はそれから離れるように移動する。

しかしながら、好ましい実施形態において、固定された点は、オペレータの制御下にある（Ｘ，Ｙ，Ｚ）であり、式は（ｘ，ｙ，ｚ）→（Ｘ，Ｙ，Ｚ）＋（λ（ｘ−Ｘ），λ（ｙ−Ｙ），λ（ｚ−Ｚ））になる。オペレータは、ツールの先端をそこに保持することによって、又は眼による注視をそれに固定することによって、又は他の適切な手段によって、点（Ｘ，Ｙ，Ｚ）を選択することができる。（当業者によく知られている手段は、眼が注目している方向、並びに眼がそれから注目している点を検出し、２つの眼の注視が交わる点、又は注視の方向がその範囲内に見える作用対象６０７の表示される要素若しくはツールと交わる点を計算する）。オペレータによって拡大表示される画像の中心になるように選択されたこの点が、先に用いた（Ｘ，Ｙ，Ｚ）になる。この点はいかなる方向にも移動しないため、そこで中心に置かれた対象物は、近くに移動するようにも遠くに移動するようにも見えず、大きくなるか又は小さくなるように見える。

拡大率λは、単一の数とすることができる。例えば拡大率λは、式（前述の例におけるλ＝２^ａ／７など）によって制御することができる。これは、オペレータの距離の変化に応答するが、拡大はズームされる各表示位置（ｘ，ｙ，ｚ）に対して同じである。或いは、拡大率λは、それだけに限らないが、式λ＝２^ａ／７／（１＋ｃ（（ｘ−Ｘ）^２＋ｙ−Ｙ）^２＋（ｚ−Ｚ）^２））（式中、ｃは縮小の割合を定める）などによって、距離に伴って単調に減少してもよい。これによって局所的なズームが与えられ、（Ｘ，Ｙ，Ｚ）のまわりの領域は大きくなり、中間にある区域は半径方向に縮み、遠隔の点は僅かに移動する。ある程度の歪みという犠牲を伴うが、ズームされた領域はやはり同様により大きい状況で見え、ナビゲーションはより容易になる。

表示における固定又は可変の拡大率λの使用は、当業者によく知られているが、拡大率λは通常、表示のスライダ若しくは他のドラッグ可能な要素、又はそのまわりのものによって制御される。拡大率λを変更するために頭の動きを使用することは、奥行きを伴う画像を検討するためのフラットスコープ又は他の画像システムなどの３次元表示の環境、又は２次元平面画像（奥行きｚを有するが、Ｚの項は前述の式から省かれる）による作業のためのシステムの環境には採用されていなかった。

既に言及したように、表示画面によって表示される画像は、シミュレーション又は記録から得ることができる。実際には、表示画面に表示される画像は、現在の実際の作用対象のものである必要はない。その代わりに、それらが記録された処置を示すようにすることができる。好ましい実施形態において、そうした記録は、元のオペレータの位置及び好みに対して調節された一連の平面画像として表示画面上に示されたものだけではなく、（１又は２以上の）カメラ及び他の入力源からの完全な入力ストリームを保存している。したがって、そうした記録を研究するオペレータは、処置の中で行われるものを変更することはできないが、オペレータは、記録を高速又は低速で再生すること、異なる位置から又は異なるズーム率で見ること、見掛けの照明を変更すること、及び他のいかなる利用可能なデータ解釈又は解析サブシステムをも適用することが可能である。これは、熟練者によって行われた処置を研究する訓練生、又は元のオペレータによる実施時のスキル又は問題を評価する指導者若しくは裁定者に有用となり得る。より積極的には、訓練生は、熟練者のツールの制御に従って、表示画面に見える元のツールと訓練生のツールの両方を用いて練習することができる。再生速度、倍率、ズーム及び他の変数は、訓練生又は訓練者又はシステムによって設定し、繰り返しの処置又は連続的な処置を現実感及び難度を高めるように調節することができる。倍率及び速度は、ツールの先端を用いた任意の特定の動きを実施する難度に影響を及ぼすため、これによって、徐々に最も困難なバージョンに向けて作業を行う能力が与えられ、結果が改善され、訓練時間が短縮される。

作用対象及びツールに対するその応答をシミュレートするための適切なシステムが与えられれば、そうした仮想的な作用対象を、フラットスコープにインポート又は接続することができ、訓練生又は従業者が、物理的な患者又は他の存在物に対するリスクを伴わずに上達することが可能になる。本開示における表示要素及びインタラクション要素は全て、この仮想的な操作の場合にも当てはまる。

再生される様式又は仮想的な様式において、システムは、表示に教材を加え、誤りを検出し、それを訓練生に対して、場合によっては指導者又は制度上の記録に対して通知することができる。再生された処置又はシミュレートされた処置によって、指導者は、既に論じた様々なインタラクションのために、遠隔又は近くの他のステーションから接続することができる。

既に記載した機能性の大部分は、それだけに限らないが、例えば携帯情報端末（ＰＤＡ、Personal Digital Assistant）又はカメラ付き携帯電話など、消費者向けデバイスのハードウェア及びソフトウェアを拡張することによって実現することもできる。これにより、ＰＤＡ、カメラ付き携帯電話又は他のデバイスの一部として含まれるカメラが、奥行き情報を得られること（一般的になると予想される機能）が実現されつつある。好ましくは、デバイスは、デバイスに組み込まれる又は補足的なシステムによって提供される、眼の追跡用の手段を有することもできる。眼の追跡用の手段が、補足的なシステムによって提供される場合、補足的なシステムは、好ましくは支持フレーム又は他の構成要素の一体部分として供給される。これにより、ＰＤＡ、カメラ付き携帯電話又は他のデバイスが、拡張機能を果たすことが可能になる。既に記載した音声入力機能には、通常は利用可能なデバイスの電話機能の音声データストリームへのアクセス、及び場合によっては利用可能なリアルタイムで重要な単語を認識する十分な処理能力へのアクセスが必要である。デバイスが内蔵の音声制御を有する場合には、これを直接用いることができる。

好ましくは、デバイス用の支持フレームが設けられる（これは、眼の追跡用の補足的なシステムを組み込む支持フレームと同じか、又はそれに追加することができる）。支持フレームは、ワークベース上に位置を占め、ＰＤＡ、カメラ付き携帯電話又は他のデバイスを、オペレータの眼と作用対象の間の調節可能な位置に保持することができる。これは、作用対象から５ｃｍ〜１０ｃｍの間の距離になるようにすることができるが、特定の距離は、特定の作用対象及び使用に依存し、この範囲外の距離も予想される。ＰＤＡ、カメラ付き携帯電話又は他のデバイスに含まれるカメラは、作用対象に焦点を合わせられ、結果として生じる視野が、デバイスの表示画面上に表示される。通常、表示画面は作用対象を現物より大きく示す。ＰＤＡ、カメラ付き携帯電話若しくは他のデバイス、又は支持フレームが、眼の追跡用の手段を含む場合には、好ましくはＰＤＡ、カメラ付き携帯電話若しくは他のデバイスは、表示画面がフラットスコープに対して既に一般的に記載した視差を示すようにするアプリケーションを含む。ＰＤＡ、カメラ付き携帯電話又は他のデバイスの表示画面が、画像を立体的に示す手段を含む場合には、左右の眼の画像を左右の眼の実際の位置に対して別個に調節することが好ましい。

そうしたＰＤＡ、カメラ付き携帯電話及び他のデバイスは、ネットワークにすぐ接続でき、かなりの帯域幅の使用が可能であることが普通である。その場合、既に記載した遠隔のユーザ又は指導者の機能性は、本発明のこの実施形態にも適用可能である。重要な違いは、物理的な縮尺（作業部位及び表示画面はより小さくなり、利用可能な倍率が小さくなる可能性がある）、及び照明の制御である。全てではないが、こうした種類の一部のデバイスには、マルチスペクトルの画像化などの他の機能を期待することができる。これが、アノテーションなどの一部の機能性を制限する可能性がある。

一部のＰＤＡ、カメラ付き携帯電話及び他のデバイスは、プログラム可能なマルチコアのグラフィックプログラミングユニットが、そうしたデバイスの中に納まることが可能な物理的サイズに近付いているため、フラットスコープの機能性を直接サポートする十分な処理能力及び適応性を有するようになるであろう。他のものはそうした機能性をサポートするようにはならず、或いはフラットスコープの目的のために容易に変更することができないグラフィック／ビデオのパイプラインを有するようになるであろう。しかしながら、そうしたＰＤＡ、カメラ付き携帯電話又は他のデバイスが、ローカル接続によって高速な双方向データ転送をサポートすれば、必要な計算能力を、システム全体の他の部分、例えば支持フレームのベースに含めることができる。したがって、本発明のこの実施形態の範囲は、手持型のＰＤＡ、カメラ付き携帯電話又は他のデバイスの上で走るソフトウェアと組み合わせた、非電子的で調節可能な支持フレームから、強力なデジタルシステム、及び手持型のＰＤＡ、カメラ付き携帯電話又は他のデバイスと支持フレーム（又は他の構成要素）との組み合わせの上で走るソフトウェアを含む支持フレーム（又は他の構成要素）にわたる。

医師は、しばしば経時的に撮った一連の写真を観察することによって、疾病及び治癒の経過を追う。しかしながら、臨床条件において、適切な比較を行うことができるように、全ての写真に同じ照明を準備することは容易ではない。身体部分が、光源から異なる方向から若しくは異なる距離で照明される場合、又は昼の光と異なるタイプの発光システムとの間で供給源が変わる場合、写真間の変化を評価するのが難しいことがある。

そうした写真に本発明の実施形態による画像システムを使用することによって、問題を著しく軽減することができる。第１に、光源７０５（図７ａ及び７ｂ参照）を明るくして像を際立たせ、制御されない光源による問題を軽減することができる。第２に、各画像を患者の電子診療記録（ＥＭＲ、electronic medical record）に自動的にアップロードすることができる。最初の画像の後にいかなる画像を得るときも、順序が特定されれば、画像システムは、最初の画像をダウンロードし、それを現在の画像に重ね合わせることができる。次いで、医師は身体部分を、比較可能な写真に対するその以前の位置と容易に整列させることができる。第３に、好ましい実施形態において、発光体７０５は、ある範囲のスペクトルを有するように物理的に配置され、したがって、特定の場合に得られる画像は、複数の異なる種類及びレベルの光に対して測定された輝度を含むようになる。第４に、好ましい実施形態において、カメラ７０３は、その画像応答においてマルチスペクトル性である。第５に、多くの周波数で適切に較正された反射率を有する標準的な対象物を、得られる画像それぞれに含めることができる。そうしたデータを用いれば、対象が標準化された光の中でどのように見えるかをきわめて正確に再構成することを可能にするのに十分なスペクトルの細部について、患者の表面のあらゆる可視点における物理的な反射率に対して最小自乗フィットを構成することは、簡単な線形代数の問題である。これによって、比較を容易にすることができる。さらに、十分なデータセットが保持されている場合には、予期しない病状が認められるようになったとき、医師は、様々な臨床的な前兆並びに現在の状態に関するスペクトル特性に対して調節されたフィルタを用いて、以前の画像を再検討することができる。こうして診断を改善することができる。この機能性の大部分は、ハンドヘルドデバイスを含む本発明の実施形態でも利用可能である。支持フレームは、カメラの位置を基準に合わせるだけではなく、医師の手を自由にして、患者の位置を一連のものの残りに合うように構成するのに有用となり得る。

マッチングの他の使用は、補綴物の個別化に適合する。（例えば）補綴用の指のラテックスの表面は、遭遇する可能性がある全ての形の照明の中で、それを取り付ける身体の手の外観と調和すべきである。同じ民族の中でも、様々な皮膚の色の反射光にはかなりのばらつきがある。人の視覚系によって赤色、緑色及び青色に分類されるが、（例えば）直射日光に由来する光のそうした２つの反射スペクトルは、それぞれの帯域で異なる周波数が人の脳のセンサを刺激しても、同じに見えることがある。他の入射光（例えば蛍光灯）では違いが現れることもあり、実際にはこれによって、赤色、緑色及び青色の応答の視覚的な違いがもたらされる可能性がある。物質は、１つの照明環境で調和して見えても、他の照明環境では調和して見えない場合がある。

ラテックスの色の調節は本質的に、ラテックスに埋め込まれると様々な異なる反射スペクトルを有する、着色された材料の混合物を加え、異なる周波数それぞれにおいて反射される入射光の様々な割合を作り出すことにある。最終的な反射率は、大体、これらの高反射性材料のスペクトル（加重値がそれらの量に比例する）及びラテックス自体の反射スペクトルの加重和とすることができる。可視光の範囲内でかなりの数の帯域における皮膚に対する反射率のデータが与えられれば、最小自乗計算によって、照明のタイプの標準的な組におけるスペクトル応答に合うように最も厳密に組み合わされた、材料スペクトルの加重値の組が得られる。そうした加重値を、ラテックスのグラムあたりの着色剤のグラム数に換算し、その結果、現在の状態の皮膚に対する全ての光にうまく調和する材料が得られる。

本発明の複数の異なる実施形態について記載してきたが、それぞれが従来技術に記載される周知の画像システムに改善をもたらす。

広く記載された本発明の趣旨又は範囲から逸脱することなく、特定の実施形態に示す本発明に多くの変更及び／又は修正を加えることが可能であることが、当業者には理解されるであろう。したがって、これらの実施形態は、全ての点において例示的なものであり、限定的なものではないと考えられる。

Claims (26)

1. オペレータの作業部位の画像を取り込むための画像キャプチャ装置であって、前記画像が奥行き情報を含む、画像キャプチャ装置と、
   前記画像キャプチャ装置と通信する表示装置であって、少なくとも１つの表示画面を備え、前記画像キャプチャ装置によって取り込まれた前記奥行き情報を含む前記画像を受け取り、前記画像キャプチャ装置によって取り込まれた前記奥行き情報を含む前記画像を、前記オペレータに対して前記表示画面上に表示するように構成された表示装置と
   を備え、
   前記表示画面が、前記オペレータの眼と前記作業部位の位置の間に配置される画像システム。
2. 画像キャプチャ装置が、奥行き情報を得ることが可能なカメラを備える請求項１に記載の画像システム。
3. 画像キャプチャ装置が複数のカメラを備え、前記複数のカメラによって取り込まれた画像を比較することによって、奥行き情報が得られる請求項１に記載の画像システム。
4. 奥行き情報が、オペレータの眼のそれぞれに送られる視野を処理することによって、前記オペレータに伝達される請求項１〜３のいずれかに記載の画像システム。
5. オペレータの眼の一方又は両方の位置に関するリアルタイムの情報を有する請求項１〜４のいずれかに記載の画像システム。
6. オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報が、前記オペレータが着用した追跡デバイスによって得られる請求項５に記載の画像システム。
7. オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報が、画像システムに装着された１又は２以上のカメラ、並びに前記オペレータの眼の前記位置を定める解析によって得られる請求項５又は６に記載の画像システム。
8. オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報を用いて、表示される画像の全て又は一部のズームを制御する請求項５〜７のいずれかに記載の画像システム。
9. 奥行き情報が、オペレータの頭が動くとき、視差によって前記オペレータに伝達される請求項１〜８のいずれかに記載の画像システム。
10. 画像キャプチャ装置が、可視域の中、又は可視域の中及びまわりの光を検出することによって画像を得るためのセンサを備える請求項１〜９のいずれかに記載の画像システム。
11. 画像キャプチャ装置が、放射された又は透過された赤外線放射を検出することによって画像を得るためのセンサを備える請求項１〜１０のいずれかに記載の画像システム。
12. 画像キャプチャ装置が超音波エミッタ及びセンサを備え、表示装置が、画像を表示画面上に、作業部位がオペレータに、前記作業部位の位置に実質的に対応する場所にあるように見えるように表示することが可能である請求項１〜１１のいずれかに記載の画像システム。
13. 画像キャプチャ装置が、核磁気共鳴映像法（ＭＲＩ、magnetic resonance imaging）によって画像を得るように構成される請求項１〜１２のいずれかに記載の画像システム。
14. 少なくとも２つのモードによって得られた画像を組み合せて、オペレータに対して表示画面上に表示される画像を形成し、前記２つのモードが、それだけに限らないが、可視光、磁気共鳴、超音波及び赤外線放射を含む群からのものである請求項１〜１３のいずれかに記載の画像システム。
15. 表示画面が、補足的な画像を表示するように構成される請求項１〜１４のいずれかに記載の画像システム。
16. １人又は２人以上のオペレータによって制御される１又は２以上のツールの検出位置が、画像システムへの入力を与える請求項１〜１５のいずれかに記載の画像システム。
17. オペレータの作業部位の画像を取り込み、表示するための方法であって、
    前記オペレータの作業部位の前記画像を取り込むステップであって、前記画像が奥行き情報を含む、ステップと、
    取り込まれた前記奥行き情報を含む前記画像を、表示画面を備える表示装置に伝えるステップと、
    取り込まれた前記奥行き情報を含む前記画像を、前記オペレータに対して、前記オペレータの眼と前記作業部位の位置の間に配置された前記表示画面上に表示するステップと
    を含む方法。
18. 画像を取り込むステップが、奥行き情報を、奥行き情報を得ることが可能なカメラによって得ることを含む請求項１７に記載の方法。
19. オペレータに対して画像を表示するための表示画面と、
    前記オペレータの眼の一方又は両方の位置を特定するリアルタイムの情報を得る手段と、
    前記オペレータの眼の前記位置の変化を用いて、表示される前記画像の全て又は一部の倍率を制御する手段と
    を備える画像システム。
20. 表示画面が、オペレータの眼のそれぞれに異なる画像を示すことによって、画像を立体画法によって示す請求項１９に記載の画像システム。
21. 表示画面が、オペレータの眼の位置に従って画像を調節することによって、視差を用いて画像を示す請求項１９に記載の画像システム。
22. 操作されるツールの動きを取り込むためのモーションキャプチャ装置と、
    前記モーションキャプチャ装置と通信する表示装置であって、少なくとも１つの表示画面を備え、前記モーションキャプチャ装置によって取り込まれた前記動きのデータを受け取り、前記モーションキャプチャ装置によって取り込まれた前記動きを、オペレータに対して前記表示画面上に画像の形で表示するように構成された表示装置と
    を備え、
    前記表示装置がさらに、前記表示画面上に追加の画像を表示するように構成され、
    前記表示画面が、前記オペレータの眼とオペレータの作業部位の位置の間に配置される画像システム。
23. 追加の画像が、別のオペレータによって実際の又は仮想的な対象物に対して実施された、記録された処置の画像を含む請求項２２に記載の画像システム。
24. 第１の側の、オペレータの作業部位の画像を取り込むためのカメラであって、前記画像が奥行き情報を含む、カメラ、及び
    前記第１の側と反対の第２の側の、前記奥行き情報を含む前記カメラによって取り込まれた前記画像を前記オペレータに対して表示するための表示画面
    を備えるハンドヘルドデバイスと、
    前記ハンドヘルドデバイスを、前記オペレータの眼と前記作業部位の位置の間に位置決めするための支持手段と
    を備える画像システム。
25. ハンドヘルドデバイスのカメラが、奥行き情報を得ることが可能なカメラを備える請求項２４に記載の画像システム。
26. 対象の画像を取り込み、可視域の中、又は可視域の中及びまわりの光を検出し、取り込まれた前記光を４以上の周波数帯域に分類するための画像キャプチャ装置と、
    取り込まれた前記画像から、前記対象のスペクトル反射率、及び前記画像が取り込まれたときの照明条件を決定し、ユーザによって指定された照明条件における前記対象の前記４以上の周波数帯域でのさらなる画像を生成するための計算手段と
    を備える画像システム。