JP2016524478A - 画像データを立体視表示するための方法及び装置 - Google Patents

Abstract

本発明は、画像データを立体視表示するための装置及び方法に関し、特に内視鏡を用いて実施される低侵襲手術において画像情報を三次元表示するための装置及び方法に関する。まず内視鏡の手術領域が、センサ装置によって三次元的に検出される。センサによって取得された３Ｄデータから立体視画像データが作成され、適当な表示装置上に可視化される。

Description

本発明は、画像データを立体視表示するための方法及び装置、特に低侵襲手術において画像データを立体視表示するための方法及び装置に関する。

医療分野における内視鏡治療や内視鏡検査は、患者の切開手術に比べて格段に優しく、かつより外傷の少ない治療を可能にする。従ってこの治療方法は、ますますその重要性を増している。低侵襲手術では、患者の身体の１つ又は複数の比較的小さな切開部を介して、患者の体内に光学的な外科用器具（内視鏡）が挿入される。これによって執刀者は、外科用器具を用いて検査及び治療を実施することができる。それと同時にこのプロセスを、光学的な器具によって監視することができる。簡単な内視鏡によって、内視鏡の接眼レンズを介して直接的に視認することができるか、又は、内視鏡に取り付けられたカメラと外部モニタとによって手術領域を観察することができる。この簡単な内視鏡では、立体視は不可能である。内視鏡が追加的に、第２方向からの対象の観察を可能にする第２観察チャネルを有する場合には、左目用と右目用の２つの接眼レンズによって２つの方向を外部に導くことによって立体視が可能となる。単一の内視鏡では、観察チャネル同士の間の間隔が基本的に非常に小さい（通常は最大６ｍｍ）ので、このような立体視内視鏡も、微視的範囲における非常に制限された立体視しか提供しない。従って、約１０ｃｍである人間の両目間隔に相当する立体視のためには、さらに離間したアクセスチャネルを提供することが必要である。しかしながら、追加的なアクセスチャネルを獲得するために患者の身体をさらに切開することは、患者のさらなる外傷に結びついているので、追加的なアクセスチャネルはできるだけ回避すべきである。

従って、低侵襲手術において、単一の内視鏡によって治療領域の立体的な可視化を可能とすべき場合には、一つには内視鏡の断面内にて２つの観察光路を外部へ導くか、又はこれに代えて、内視鏡の先端に上述したような相互に離間された２つのカメラを配置する必要がある。双方の場合とも内視鏡の断面積は非常に制限されているので、極めて小さな空間分解能しか実現できず、これによって表示範囲の解像度が非常に制限されてしまう。

これに代えて、デジタルシステムによって患者内部の治療領域を三次元的に測定することも可能である。例えば、独国特許出願公開第１０２００６０１７００３号明細書は、深度データを光学的に取得する内視鏡を開示している。ここでは、変調された光が治療領域に送出され、受信した光信号に基づいて治療空間の深度データが計算される。

この場合、利用可能な深度データが算出された後でも、執刀者が治療空間内で治療領域を直接的に立体視することは依然として不可能なままである。執刀者は、二次元のスクリーン上に表示されたモデルに基づいて自身の治療ステップを計画及び実施しなければならない。

従って、画像データの改善された立体視表示に対する需要、特に低侵襲手術における画像データの立体視表示に対する需要が存在する。

本発明は、１つの態様によれば、低侵襲手術において画像データを立体視表示するための方法であって、表面を少なくとも部分的に三次元的に検出するステップと、少なくとも部分的に三次元的に検出された前記表面の深度マップを作成するステップと、作成された前記深度マップをテクスチャリングするステップと、テクスチャリングされた前記深度マップから立体視画像データを計算するステップと、計算された前記立体視画像データを可視化するステップとを有する方法を提供する。

本発明は、別の１つの態様によれば、低侵襲手術において画像データを立体視表示するための装置であって、表面を少なくとも部分的に三次元的に検出するように構成されたセンサ装置と、少なくとも部分的に三次元的に検出された前記表面から深度マップを作成するように構成された深度マップ作成装置と、作成された前記深度マップをテクスチャリングするように構成されたテクスチャリング装置と、テクスチャリングされた前記深度マップから立体視画像データを計算するように構成された画像データ作成装置と、計算された前記立体視画像データを可視化するように構成された可視化装置と、を備える装置を提供する。

本発明の技術思想は、直接アクセスできない領域をまずセンサによって三次元的に検出し、この三次元的な検出から深度マップの形態のデジタルモデルを作成することである。この深度マップから、ユーザの両目間隔に最適に適合された立体視画像データを、ユーザに対して簡単かつ自動的に作成することができる

特別なセンサシステムを用いて観察領域を三次元的に測定することによって、例えば患者の体内のアクセスできない領域を、非常に小さな構造サイズを有するセンサによって検出することが可能となる。このようにして検出されたデータは、特に大きな断面積を有する内視鏡を必要とすることなく簡単に外部に導くことができる。

このようにして、非常に大きな断面積を有する内視鏡、又は、患者の体内の手術領域へのさらなる切開部を必要とすることなく、治療領域の優れた三次元的な検出が実現される。

さらなる利点は、このようなセンサシステムが、非常に良好な空間分解能及び相応に多い画素数で被検領域を検出できることにある。なぜならこの内視鏡のセンサは、唯１つのカメラしか必要としないからである。従って、患者の僅かな外傷だけで、観察すべき手術領域を非常に良好な画質で表示することができる。

さらなる利点は、センサシステムから供給された三次元データから、ユーザの両目間隔に最適に適合された、観察領域の立体視的な可視化を作成できることにある。従って、画像データの可視化は、ユーザに対して最適な三次元的な検出が可能となるように処理することができる。

さらには、立体視画像データの計算を、センサによる対象表面の三次元的な検出に依存せずに実施することが有利である。従って、内視鏡の目下の位置とは異なる、治療領域の立体視表示を、ユーザに供給することも可能となる。

従って、三次元的に検出された対象データから深度マップを適切に処理することによって、実際の状況に非常に近似した治療領域の表示をユーザに供給することが可能となる。

１つの実施形態によれば、計算された前記立体視画像データは、ユーザの両目の２つの視線方向に対応する。ユーザの両目の各視線方向に応じて立体視画像データを処理することによって、治療領域の立体視的な可視化をユーザに対して最適化することが可能となる。

１つの実施形態では、前記深度マップは、少なくとも部分的に三次元的に検出された前記表面の空間点を含む。このような深度マップによって、三次元的に検出された表面を非常に良好にさらに加工処理することが可能となる。

１つの実施形態によれば、前記表面を三次元的に検出するステップが継続的に実施され、継続的に三次元的に検出された前記表面に基づいて、前記深度マップが適合される。このようにして、深度マップを継続的に補足すること、場合によっては補正することも可能であり、これによって観察領域の完全な三次元モデルが連続的に構築される。従って、或る程度の時間が経過した後には、陰などによって差し当たり検出できなかった領域に関する画像情報も供給することが可能となる。

別の１つの実施形態では、本発明の方法は、さらなる画像情報を供給するステップと、前記さらなる画像情報を、前記検出された三次元の表面と組み合わせるステップとを含む。検出された三次元の表面を、さらなる画像情報とこのように組み合わせることによって、立体視画像データを特に良好に現実に即して可視化することが可能となる。

特別な１つの実施形態では、前記さらなる画像データは、診断画像データ、特にコンピュータ断層撮影法、磁気共鳴画像法、Ｘ線撮影法、及び／又は超音波検査法からのデータである。治療前又は治療中に作成された、観察領域に関連するこのような診断画像データは、治療領域の処理及び可視化のために特に有用な情報を供給する。これらの画像データは、例えば画像診断装置によって直接供給することができるか、又は、記憶装置２１から供給することができる。

別の１つの実施形態では、前記立体視画像データを計算するステップにおいて、所定の視線方向に関する画像データが計算される。この視線方向は、表面を三次元的に検出するセンサを備える内視鏡の目下の位置とは異なっていてもよい。これによって、治療領域の特にフレキシブルな可視化を実現することができる。

特別な１つの実施形態では、本発明の方法は、ユーザ入力を検出するステップをさらに含み、検出された前記ユーザ入力に基づいて、前記所定の視線方向が適合される。これによってユーザに対して、各自の要求に合わせて視線方向を個別的に適合させることが可能となる。

本発明の装置の別の１つの実施形態では、前記センサ装置は、内視鏡に接して又は内視鏡内に配置されている。

特別な１つの実施形態では、前記内視鏡は、少なくとも１つの外科用器具をさらに含む。これによって、唯一の切開部を介して、外科手術を実施すると同時にこの外科手術を光学的に監視することも可能となる。

本発明の１つの実施形態では、本発明の装置は、ＴＯＦカメラを備えるセンサ装置、及び／又は、三角測量のための装置、特に能動的な三角測量のための装置を含む。このようなセンサ装置によって、表面の特に良好な三次元的な検出を実現することができる。

別の１つの実施形態では、前記センサ装置は、カメラ、好ましくはカラーカメラを含む。これによりセンサ装置によって、表面の三次元的な検出の他にも、治療領域の可視化に使用されるデジタル画像データを取得することが同時に可能となる。

別の１つの実施形態では、前記画像データ作成装置は、所定の視線方向に関する画像データを計算する。

特別な１つの実施形態では、本発明の装置は、ユーザ入力を検出するように構成された入力装置をさらに含み、前記画像データ作成装置は、前記ユーザ入力に基づく視線方向に関する立体視画像データを計算する。

別の特別な１つの実施形態では、前記入力装置は、前記ユーザの動作、特に前記ユーザによって行われるジェスチャを検出する。この動作又はジェスチャは、カメラによって検出することが好ましい。

本発明の実施形態のさらなる特徴及び利点は、添付図面に関連した以下の説明から明らかとなる。

本発明の第１実施形態に即した、画像データを立体視表示するための装置の概略図である。 別の１つの実施形態に即した、本発明の装置の各要素の概略図である。 立体視的な可視化のためのモニタ要素の概略図である。 立体視的な可視化のためのモニタ要素の概略図である。 本発明の別の１つの実施形態の基礎となる、画像データを立体視表示するための方法の概略図である。

図１は、本発明の１つの実施形態に即した立体視表示するための装置を含む内視鏡を用いた低侵襲手術の概略図を示す。患者の身体２において、切開部（アクセス）２ｄを介して内視鏡１２が体内２ｂに挿入される。治療空間２ａは、例えば切開部２ｄを相応に封止した後に適当なガスを導入することよって広げることができる。このようにして、治療対象２ｃの前に充分な大きさの治療空間が形成される。内視鏡１２を介して治療空間２内には、一つにはセンサ装置１０を挿入し、さらには１つ又は複数の外科用器具１１を挿入することができる。外科用器具１１は、内部空間２ａ内での治療を実施するために適当な装置１１ａを介して外部から制御することができる。

この治療は、センサ装置１０によって光学的に監視される。このセンサ装置１０は、治療空間２ａの表面と、特に治療対象２ｃの表面とを三次元的に検出することができるセンサである。センサ装置１０は、例えば距離画像カメラ（ＴＯＦカメラ）の原理に即して動作するセンサとすることができる。この場合には、光源から変調された光パルスが送出され、表面によって散乱及び反射された光が、対応するセンサ、例えばカメラによって評価される。従って、この光の伝播速度に基づいて三次元モデルを作成することができる。

これに代えて、センサ装置１０は、例えば治療空間２ａの表面の三次元位置を算出するために三角測量を実施することも可能である。基本的には、このような三角測量は、例えば２つの別個のカメラを用いた受動的な三角測量によって実施することができる。しかしながら、低コントラストの表面（例えば肝臓）での受動的な三角測量の場合には、対応付け問題の解決が困難であり、かつ３Ｄデータ密度が非常に低いので、能動的な三角測量を実施することが好ましい。能動的な三角測量の場合には、センサ装置１０によって、治療空間２ａ内の表面上に既知のパターンが投影され、カメラによって表面が記録される。この既知のパターンは、可視光を用いて表面上に投影することが好ましい。しかしながらこれに加えて又はこれに代えて、可視波長範囲外の光、例えば赤外線又は紫外線を手術領域に照射してもよい。

治療空間２ａの表面における、カメラによって記録されたパターンと、プロジェクタによって送出された既知の理想的なパターンとを比較することによって、治療空間２ａの表面を三次元的に検出して評価することが可能となる。

表面の三次元的な検出に加えて、又は表面の三次元的な検出に代えて、治療空間２ａと治療空間２ａの表面とを従来のようにカメラによって検出してもよい。このようにして、治療空間２ａの対応するカラー画像又は白黒画像を検出することができる。センサ装置１０の光源を、治療空間２ａの照明用に使用すると同時に、従来のような画像データを取得するためにも使用できることが好ましい。

センサ装置１０によって検出された、治療空間２ａ内の表面の三次元位置に関するデータと、カメラによって検出されたカラー画像又は白黒画像とが外部に導かれ、これによってさらなる加工処理のために、特に可視化のために使用することが可能となる。

図２は、図１に関連して説明した実施例に即して作成された立体視画像データを可視化するための装置の概略図を示す。センサ装置１０は、センサ装置１０の視界内に存在する表面と、空間内での当該表面の個々の表面点の三次元位置とを検出する。上述したように、空間点の三次元的な検出に加えて、又は空間点の三次元的な検出に代えて、白黒カメラ又はカラーカメラを用いて従来のように画像データを取得することもできる。これに基づき、空間点の三次元位置に関する情報が、深度マップ作成装置２０に供給される。この深度マップ作成装置２０は、センサ装置１０からの表面点の三次元位置に関する情報を評価し、ここから、センサ装置１０によって検出された空間点の三次元位置に関する情報を含む深度マップを作成する。

センサ装置１０は限定的な視界しか有さず、さらには例えば治療空間内の隆起物に起因して陰ができることよって領域の一部が差し当たり検出できないことがあるので、この深度マップは、治療空間２ａ内の表面の三次元的な検出の開始時には、まだ差し当たり多かれ少なかれ大きなブランクを有することとなる。センサ装置１０によって治療空間２ａ内の表面をさらに継続的に検出することによって、時間の経過と共に、また治療空間２ａの内部でセンサ装置１０が移動する場合には特に、この深度マップが一層完全なものとなる。従って、或る程度の時間が経過した後には、例えば視界の外側又は陰の後ろに位置するが故に、実際にはセンサ装置１０によって検出できない空間点に関する情報も、この深度マップ内に供給されている。センサ装置１０によって表面を継続的に検出することによってさらに、深度マップ内において表面の変化を補正することも可能となる。このようにして深度マップは、治療空間２ａ内の表面の目下の状態を常に反映する。

深度マップ内に供給されている、治療空間２ａ内の表面の空間点は、テクスチャリング装置３０に転送される。テクスチャリング装置３０は、場合によって、深度マップからの情報と、内視鏡の白黒カメラ又はカラーカメラの画像データとを組み合わせることができる。テクスチャリング装置３０は、深度マップの空間点から、連続した表面を有する三次元オブジェクトを作成する。深度マップの三次元の空間データと、内視鏡のカメラデータとを組み合わせることにより、表面を必要に応じて適切に色付け又は陰影付けすることができる。

さらには、追加的な診断画像データを取り入れることが可能である。例えば手術前に既に、治療領域に関して記録を作成しておくことができる。このためには例えば、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲ又はＭＲＩ）、Ｘ線撮影法、超音波検査法等のような画像診断法が適している。また場合によっては治療中に、適当な画像診断法によって追加的な情報を作成することも考えられ、この追加的な情報を、画像作成プロセスにおいて一緒に考慮することができる。

テクスチャリング装置３０において、深度マップの空間データと、場合によってはさらなる画像データとから治療空間２ａの表面のテクスチャリングが実施された後、このようにして処理された情報が、画像データ作成装置４０へと転送される。この画像データ作成装置４０は、テクスチャリングされた三次元情報から立体視画像データを作成する。この立体視画像データは、観察者の両目間隔を考慮した、相互に若干ずらされた少なくとも２つの画像を含む。この際に使用される両目間隔は、通常約８０ｍｍである。観察者の両目の約２５ｃｍ手前に観察対象が存在すると仮定した場合には、観察者は特に良好な空間印象を得る。しかしながら基本的には、観察者に対して観察対象の空間印象を可能にする別のパラメータでもよい。従って、画像データ作成装置４０は、所定の視線方向から少なくとも２つの画像データセットを計算し、この場合に、これら２つの画像データセットの各視線方向は、観察者の両目間隔だけ異なっている。このようにして作成された画像データは、可視化装置５０に供給される。可視化装置５０に対して、三次元表示のためのさらなる情報又はデータが必要な場合には、これらの情報又はデータも、画像データ作成装置４０によって作成及び供給することができる。

可視化装置５０として、観察者の両目にそれぞれ異なる画像情報を供給するために適した全ての装置が適している。可視化装置５０は、例えば３Ｄモニタとすることができるか、又は、ユーザの両目に対して相異なる画像データを表示する特別な眼鏡とすることができる。

図３は、３Ｄモニタの第１の実施形態のための複数の画素の一部の概略図を示す。スクリーン上に、左目用の画素５１と右目用の画素５２とが順次交互に配置されている。これらの画素５１及び５２の前に配置されたスリット絞り５３により、左目及び右目はそれぞれ各自の専用の画素だけを観察し、その一方で、ユーザのそれぞれ他方の目のための画素は、それぞれの視線方向に基づきスリット絞り５３によって隠されている。

図４は、３Ｄモニタの択一的な形態を示す。ここでは、左目用の画素５１及び右目用の画素５２の前にそれぞれ小さなレンズ５４が配置されており、これらのレンズ５４は、左目用の光路及び右目用の光路を、同様にして各目が当該目に対する専用の画素だけを観察するように偏向する。

基本的には、さらに他の全ての種類の３Ｄ対応モニタも考えられ、適している。例えば、左目及び右目に対してそれぞれ異なる偏光を有する光を送出するモニタを使用することもできる。しかしながらこの場合には、ユーザは、適切な偏光フィルタを備える眼鏡を着用しなければならない。左目用の画像データと右目用の画像データとを交互に送出するモニタの場合にも、ユーザは、適切なシャッター眼鏡を着用する必要がある。このシャッター眼鏡は、交互に表示される画像に同期して、それぞれ交互に左目だけに及び右目だけにモニタの観察を可能にするものである。しかしながら、眼鏡の着用に伴って快適性が損なわれるので、特別な眼鏡の装着が必要な表示システムよりも、図３及び図４の原理に即して動作する可視化装置の方がユーザに受容される。

深度マップと、深度マップに次いで行われるテクスチャリングとは、既に説明したように徐々に連続的に完成されるので、治療空間２ａのほぼ完全なモデルは、或る程度の時間が経過した後に供給され、このほぼ完全なモデルは、ちょうど目下の時点では視認できない陰になった領域に関する情報も含んでいる。従って、画像データ作成装置４０のために、センサ装置１０の目下の位置とは異なる観察角度から画像データを作成することも可能となる。従って、例えば可視化装置５０上には、センサ装置１０の目下の位置と、同様に内視鏡に配置されている外科用器具１１の目下の位置とから多かれ少なかれ著しく相違している治療空間２ａの表示を表示することもできる。深度マップが充分に完成された後には、ユーザは、所望の視線方向をほぼ任意に設定することが可能となる。特に深度マップからの空間情報を、内視鏡カメラのさらなる画像データ及び追加的な診断画像情報と組み合わせることによって、切開された身体の態様に非常に近似した表示を可視化装置５０上でユーザに表示することができる。

従って、ユーザは、手術中により良好に方向を定めるために、自身の希望に応じた視線方向を任意に設定及び変更することが可能である。例えば治療すべき器官において特定の箇所を発見すべき場合、又は、特定の血管等を識別することによって対応する器官での方向付けをサポートすべき場合には、このことは特に有用である。

所望の視線方向は、適当な入力装置４１によって設定することができる。この入力装置４１は、例えばキーボード、コンピュータマウス、ジョイスティック、又はトラックボール等とすることができる。しかしながら外科手術中にはユーザは通常、内視鏡と、内視鏡に含まれる外科用手段１１とを両手で操作しなければならないので、ユーザは多くの場合、設定したい視線方向を制御するための入力装置４１を操作するために手が塞がっている。従って、好ましい実施形態では、視線方向の制御を非接触に実施することもできる。例えば音声制御を介して、視線方向の制御を実施することができる。さらには、特別な所定の動作による視線方向の制御も可能である。例えばユーザは、特定のジェスチャを実施することによって所望の視線方向を制御することができる。特に、ユーザの眼球運動を監視して評価することが考えられる。この検出された眼球運動に基づいて、視線方向が立体視表示に適合される。しかしながら、視線方向を制御するためにユーザの身体の他の部分を監視することも可能である。このようなユーザの動作又はジェスチャは、カメラによって監視して評価することが好ましい。これに代えて、音声制御の場合には、入力装置４１をマイクロフォンとすることができる。しかしながら、所定の視線方向を制御するために、例えば足の動作等による別の手段も考えられる。

図５は、本発明の基礎となる、画像データを立体視表示するための方法１００の概略図を示す。第１ステップ１１０ではまず、治療空間２ａの表面が少なくとも部分的に三次元的に検出される。上述したように、治療空間２ａの表面のこの三次元的な検出は、任意の適当なセンサ１０によって実施することができる。次いでステップ１２０では、対象表面の三次元的な検出に基づいて、深度マップが作成される。作成されたこの深度マップは、検出された三次元の表面の空間点を含む。センサ装置１０は限定的な視角しか有さず、さらに場合によっては、領域の一部が陰によって差し当たり検出できないことがあるので、このようにして作成された深度マップは、開始時には差し当たり不完全である可能性がある。治療空間２ａの内部における内視鏡と、ひいてはセンサ装置１０とを動かすことによって、表面のさらなる空間点を継続的に検出することができ、これらの情報を一緒に深度マップに統合することができる。同様にして、検出される表面が変化した場合には、深度マップ内の対応する情報を補正することができる。

少なくとも部分的に三次元的に検出された表面を備える深度マップが作成された後、ステップ１３０にて、深度マップ内に供給されている空間点によってテクスチャリングが実施される。このテクスチャリングには、場合によって供給されている、センサ装置１０のカメラからのさらなる画像データ、及び／又は、コンピュータ断層撮影法、磁気共鳴画像法、超音波検査法、又はＸ線撮影法のような画像方法による診断画像情報からのさらなる画像データを、一緒に統合することができる。このようにしてまず、治療空間２ａの表面の三次元のカラー画像又は白黒画像が作成される。次いでステップ１４０では、このようにしてテクスチャリングされた深度マップから立体視画像データが計算される。この立体視画像データは、所定の視線方向からの少なくとも２つの表示を含み、これらの表示は、観察者の両目間隔に応じて相異なっている。最後にステップ１５０において、予め計算された立体視画像データが、適当な表示装置上に可視化される。

ステップ１４０における立体視画像データの計算の基礎となる視線方向は、任意に適合させることができる。特に、立体視画像データを計算するための視線方向は、センサ装置１０の視線方向とは異なっていてもよい。ステップ１４０における立体視画像データの計算の基礎となる視線方向を設定するために、本発明の方法はさらなるステップを含み、このさらなるステップでは、ユーザ入力が検出され、このユーザ入力に応じて、立体視画像データを計算するための視線方向が適合される。視線方向を適合させるためのユーザ入力は、非接触に実施することが好ましい。例えば所定のユーザジェスチャの評価によって、ユーザ入力を実施することができる。

要約すると、本発明は、画像データを立体視表示するための装置及び方法に関し、特に内視鏡を用いて実施される低侵襲手術において画像情報を三次元表示するための装置及び方法に関する。まず内視鏡の手術領域が、センサ装置によって三次元的に検出される。センサによって取得された３Ｄデータから立体視画像データが作成され、適当な表示装置上に可視化される。

本発明は、画像データを立体視表示するための方法及び装置、特に低侵襲手術において画像データを立体視表示するための方法及び装置に関する。

医療分野における内視鏡治療や内視鏡検査は、患者の切開手術に比べて格段に優しく、かつより外傷の少ない治療を可能にする。従ってこの治療方法は、ますますその重要性を増している。低侵襲手術では、患者の身体の１つ又は複数の比較的小さな切開部を介して、患者の体内に光学的な外科用器具（内視鏡）が挿入される。これによって執刀者は、外科用器具を用いて検査及び治療を実施することができる。それと同時にこのプロセスを、光学的な器具によって監視することができる。簡単な内視鏡によって、内視鏡の接眼レンズを介して直接的に視認することができるか、又は、内視鏡に取り付けられたカメラと外部モニタとによって手術領域を観察することができる。この簡単な内視鏡では、立体視は不可能である。内視鏡が追加的に、第２方向からの対象の観察を可能にする第２観察チャネルを有する場合には、左目用と右目用の２つの接眼レンズによって２つの方向を外部に導くことによって立体視が可能となる。単一の内視鏡では、観察チャネル同士の間の間隔が基本的に非常に小さい（通常は最大６ｍｍ）ので、このような立体視内視鏡も、微視的範囲における非常に制限された立体視しか提供しない。従って、約１０ｃｍである人間の両目間隔に相当する立体視のためには、さらに離間したアクセスチャネルを提供することが必要である。しかしながら、追加的なアクセスチャネルを獲得するために患者の身体をさらに切開することは、患者のさらなる外傷に結びついているので、追加的なアクセスチャネルはできるだけ回避すべきである。

従って、低侵襲手術において、単一の内視鏡によって治療領域の立体的な可視化を可能とすべき場合には、一つには内視鏡の断面内にて２つの観察光路を外部へ導くか、又はこれに代えて、内視鏡の先端に上述したような相互に離間された２つのカメラを配置する必要がある。双方の場合とも内視鏡の断面積は非常に制限されているので、極めて小さな空間分解能しか実現できず、これによって表示範囲の解像度が非常に制限されてしまう。

これに代えて、デジタルシステムによって患者内部の治療領域を三次元的に測定することも可能である。例えば、独国特許出願公開第１０２００６０１７００３号明細書は、深度データを光学的に取得する内視鏡を開示している。ここでは、変調された光が治療領域に送出され、受信した光信号に基づいて治療空間の深度データが計算される。

この場合、利用可能な深度データが算出された後でも、執刀者が治療空間内で治療領域を直接的に立体視することは依然として不可能なままである。執刀者は、二次元のスクリーン上に表示されたモデルに基づいて自身の治療ステップを計画及び実施しなければならない。
国際特許出願公開第２０１３／０２５５３０号明細書は、外科用器具のための画像取得ユニットを開示している。この外科用器具は、互いに離間配置された２つの画像センサを含む。これら２つの画像センサからのデータを処理することによって立体視画像が作成され、この立体視画像は、表示装置上に表示することができる。

従って、画像データの改善された立体視表示に対する需要、特に低侵襲手術における画像データの立体視表示に対する需要が存在する。

従って、本発明は、独立請求項に記載の特徴を有する、画像データを立体視表示するための方法及び装置を提供する。

本発明は、別の１つの態様によれば、低侵襲手術において画像データを立体視表示するための装置であって、表面を少なくとも部分的に三次元的に検出するように構成されたセンサ装置と、少なくとも部分的に三次元的に検出された前記表面から深度マップを作成するように構成された深度マップ作成装置と、作成された前記深度マップをテクスチャリングするように構成されたテクスチャリング装置と、テクスチャリングされた前記深度マップから立体視画像データを計算するように構成された画像データ作成装置と、計算された前記立体視画像データを可視化するように構成された可視化装置と、を備える装置を提供する。

本発明の技術思想は、直接アクセスできない領域をまずセンサによって三次元的に検出し、この三次元的な検出から深度マップの形態のデジタルモデルを作成することである。この深度マップから、ユーザの両目間隔に最適に適合された立体視画像データを、ユーザに対して簡単かつ自動的に作成することができる

特別なセンサシステムを用いて観察領域を三次元的に測定することによって、例えば患者の体内のアクセスできない領域を、非常に小さな構造サイズを有するセンサによって検出することが可能となる。このようにして検出されたデータは、特に大きな断面積を有する内視鏡を必要とすることなく簡単に外部に導くことができる。

このようにして、非常に大きな断面積を有する内視鏡、又は、患者の体内の手術領域へのさらなる切開部を必要とすることなく、治療領域の優れた三次元的な検出が実現される。

さらなる利点は、このようなセンサシステムが、非常に良好な空間分解能及び相応に多い画素数で被検領域を検出できることにある。なぜならこの内視鏡のセンサは、唯１つのカメラしか必要としないからである。従って、患者の僅かな外傷だけで、観察すべき手術領域を非常に良好な画質で表示することができる。

さらなる利点は、センサシステムから供給された三次元データから、ユーザの両目間隔に最適に適合された、観察領域の立体視的な可視化を作成できることにある。従って、画像データの可視化は、ユーザに対して最適な三次元的な検出が可能となるように処理することができる。

さらには、立体視画像データの計算を、センサによる対象表面の三次元的な検出に依存せずに実施することが有利である。従って、内視鏡の目下の位置とは異なる、治療領域の立体視表示を、ユーザに供給することも可能となる。

従って、三次元的に検出された対象データから深度マップを適切に処理することによって、実際の状況に非常に近似した治療領域の表示をユーザに供給することが可能となる。

１つの実施形態によれば、計算された前記立体視画像データは、ユーザの両目の２つの視線方向に対応する。ユーザの両目の各視線方向に応じて立体視画像データを処理することによって、治療領域の立体視的な可視化をユーザに対して最適化することが可能となる。

１つの実施形態では、前記深度マップは、少なくとも部分的に三次元的に検出された前記表面の空間点を含む。このような深度マップによって、三次元的に検出された表面を非常に良好にさらに加工処理することが可能となる。

１つの実施形態によれば、前記表面を三次元的に検出するステップが継続的に実施され、継続的に三次元的に検出された前記表面に基づいて、前記深度マップが適合される。このようにして、深度マップを継続的に補足すること、場合によっては補正することも可能であり、これによって観察領域の完全な三次元モデルが連続的に構築される。従って、或る程度の時間が経過した後には、陰などによって差し当たり検出できなかった領域に関する画像情報も供給することが可能となる。

検出された三次元の表面を、さらなる画像情報とこのように組み合わせることによって、立体視画像データを特に良好に現実に即して可視化することが可能となる。

治療前又は治療中に作成された、観察領域に関連するこのような診断画像データは、治療領域の処理及び可視化のために特に有用な情報を供給する。これらの画像データは、例えば画像診断装置によって直接供給することができるか、又は、記憶装置２１から供給することができる。

別の１つの実施形態では、前記立体視画像データを計算するステップにおいて、所定の視線方向に関する画像データが計算される。この視線方向は、表面を三次元的に検出するセンサを備える内視鏡の目下の位置とは異なっていてもよい。これによって、治療領域の特にフレキシブルな可視化を実現することができる。

特別な１つの実施形態では、本発明の方法は、ユーザ入力を検出するステップをさらに含み、検出された前記ユーザ入力に基づいて、前記所定の視線方向が適合される。これによってユーザに対して、各自の要求に合わせて視線方向を個別的に適合させることが可能となる。

本発明の装置の別の１つの実施形態では、前記センサ装置は、内視鏡に接して又は内視鏡内に配置されている。

特別な１つの実施形態では、前記内視鏡は、少なくとも１つの外科用器具をさらに含む。これによって、唯一の切開部を介して、外科手術を実施すると同時にこの外科手術を光学的に監視することも可能となる。

本発明の１つの実施形態では、本発明の装置は、ＴＯＦカメラを備えるセンサ装置、及び／又は、三角測量のための装置、特に能動的な三角測量のための装置を含む。このようなセンサ装置によって、表面の特に良好な三次元的な検出を実現することができる。

別の１つの実施形態では、前記センサ装置は、カメラ、好ましくはカラーカメラを含む。これによりセンサ装置によって、表面の三次元的な検出の他にも、治療領域の可視化に使用されるデジタル画像データを取得することが同時に可能となる。

別の１つの実施形態では、前記画像データ作成装置は、所定の視線方向に関する画像データを計算する。

特別な１つの実施形態では、本発明の装置は、ユーザ入力を検出するように構成された入力装置をさらに含み、前記画像データ作成装置は、前記ユーザ入力に基づく視線方向に関する立体視画像データを計算する。

別の特別な１つの実施形態では、前記入力装置は、前記ユーザの動作、特に前記ユーザによって行われるジェスチャを検出する。この動作又はジェスチャは、カメラによって検出することが好ましい。

本発明の実施形態のさらなる特徴及び利点は、添付図面に関連した以下の説明から明らかとなる。

本発明の第１実施形態に即した、画像データを立体視表示するための装置の概略図である。 別の１つの実施形態に即した、本発明の装置の各要素の概略図である。 立体視的な可視化のためのモニタ要素の概略図である。 立体視的な可視化のためのモニタ要素の概略図である。 本発明の別の１つの実施形態の基礎となる、画像データを立体視表示するための方法の概略図である。

図１は、本発明の１つの実施形態に即した立体視表示するための装置を含む内視鏡を用いた低侵襲手術の概略図を示す。患者の身体２において、切開部（アクセス）２ｄを介して内視鏡１２が体内２ｂに挿入される。治療空間２ａは、例えば切開部２ｄを相応に封止した後に適当なガスを導入することよって広げることができる。このようにして、治療対象２ｃの前に充分な大きさの治療空間が形成される。内視鏡１２を介して治療空間２内には、一つにはセンサ装置１０を挿入し、さらには１つ又は複数の外科用器具１１を挿入することができる。外科用器具１１は、内部空間２ａ内での治療を実施するために適当な装置１１ａを介して外部から制御することができる。

この治療は、センサ装置１０によって光学的に監視される。このセンサ装置１０は、治療空間２ａの表面と、特に治療対象２ｃの表面とを三次元的に検出することができるセンサである。センサ装置１０は、例えば距離画像カメラ（ＴＯＦカメラ）の原理に即して動作するセンサとすることができる。この場合には、光源から変調された光パルスが送出され、表面によって散乱及び反射された光が、対応するセンサ、例えばカメラによって評価される。従って、この光の伝播速度に基づいて三次元モデルを作成することができる。

これに代えて、センサ装置１０は、例えば治療空間２ａの表面の三次元位置を算出するために三角測量を実施することも可能である。基本的には、このような三角測量は、例えば２つの別個のカメラを用いた受動的な三角測量によって実施することができる。しかしながら、低コントラストの表面（例えば肝臓）での受動的な三角測量の場合には、対応付け問題の解決が困難であり、かつ３Ｄデータ密度が非常に低いので、能動的な三角測量を実施することが好ましい。能動的な三角測量の場合には、センサ装置１０によって、治療空間２ａ内の表面上に既知のパターンが投影され、カメラによって表面が記録される。この既知のパターンは、可視光を用いて表面上に投影することが好ましい。しかしながらこれに加えて又はこれに代えて、可視波長範囲外の光、例えば赤外線又は紫外線を手術領域に照射してもよい。

治療空間２ａの表面における、カメラによって記録されたパターンと、プロジェクタによって送出された既知の理想的なパターンとを比較することによって、治療空間２ａの表面を三次元的に検出して評価することが可能となる。

表面の三次元的な検出に加えて、又は表面の三次元的な検出に代えて、治療空間２ａと治療空間２ａの表面とを従来のようにカメラによって検出してもよい。このようにして、治療空間２ａの対応するカラー画像又は白黒画像を検出することができる。センサ装置１０の光源を、治療空間２ａの照明用に使用すると同時に、従来のような画像データを取得するためにも使用できることが好ましい。

センサ装置１０によって検出された、治療空間２ａ内の表面の三次元位置に関するデータと、カメラによって検出されたカラー画像又は白黒画像とが外部に導かれ、これによってさらなる加工処理のために、特に可視化のために使用することが可能となる。

図２は、図１に関連して説明した実施例に即して作成された立体視画像データを可視化するための装置の概略図を示す。センサ装置１０は、センサ装置１０の視界内に存在する表面と、空間内での当該表面の個々の表面点の三次元位置とを検出する。上述したように、空間点の三次元的な検出に加えて、又は空間点の三次元的な検出に代えて、白黒カメラ又はカラーカメラを用いて従来のように画像データを取得することもできる。これに基づき、空間点の三次元位置に関する情報が、深度マップ作成装置２０に供給される。この深度マップ作成装置２０は、センサ装置１０からの表面点の三次元位置に関する情報を評価し、ここから、センサ装置１０によって検出された空間点の三次元位置に関する情報を含む深度マップを作成する。

センサ装置１０は限定的な視界しか有さず、さらには例えば治療空間内の隆起物に起因して陰ができることよって領域の一部が差し当たり検出できないことがあるので、この深度マップは、治療空間２ａ内の表面の三次元的な検出の開始時には、まだ差し当たり多かれ少なかれ大きなブランクを有することとなる。センサ装置１０によって治療空間２ａ内の表面をさらに継続的に検出することによって、時間の経過と共に、また治療空間２ａの内部でセンサ装置１０が移動する場合には特に、この深度マップが一層完全なものとなる。従って、或る程度の時間が経過した後には、例えば視界の外側又は陰の後ろに位置するが故に、実際にはセンサ装置１０によって検出できない空間点に関する情報も、この深度マップ内に供給されている。センサ装置１０によって表面を継続的に検出することによってさらに、深度マップ内において表面の変化を補正することも可能となる。このようにして深度マップは、治療空間２ａ内の表面の目下の状態を常に反映する。

深度マップ内に供給されている、治療空間２ａ内の表面の空間点は、テクスチャリング装置３０に転送される。テクスチャリング装置３０は、場合によって、深度マップからの情報と、内視鏡の白黒カメラ又はカラーカメラの画像データとを組み合わせることができる。テクスチャリング装置３０は、深度マップの空間点から、連続した表面を有する三次元オブジェクトを作成する。深度マップの三次元の空間データと、内視鏡のカメラデータとを組み合わせることにより、表面を必要に応じて適切に色付け又は陰影付けすることができる。

さらには、追加的な診断画像データを取り入れることが可能である。例えば手術前に既に、治療領域に関して記録を作成しておくことができる。このためには例えば、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲ又はＭＲＩ）、Ｘ線撮影法、超音波検査法等のような画像診断法が適している。また場合によっては治療中に、適当な画像診断法によって追加的な情報を作成することも考えられ、この追加的な情報を、画像作成プロセスにおいて一緒に考慮することができる。

テクスチャリング装置３０において、深度マップの空間データと、場合によってはさらなる画像データとから治療空間２ａの表面のテクスチャリングが実施された後、このようにして処理された情報が、画像データ作成装置４０へと転送される。この画像データ作成装置４０は、テクスチャリングされた三次元情報から立体視画像データを作成する。この立体視画像データは、観察者の両目間隔を考慮した、相互に若干ずらされた少なくとも２つの画像を含む。この際に使用される両目間隔は、通常約８０ｍｍである。観察者の両目の約２５ｃｍ手前に観察対象が存在すると仮定した場合には、観察者は特に良好な空間印象を得る。しかしながら基本的には、観察者に対して観察対象の空間印象を可能にする別のパラメータでもよい。従って、画像データ作成装置４０は、所定の視線方向から少なくとも２つの画像データセットを計算し、この場合に、これら２つの画像データセットの各視線方向は、観察者の両目間隔だけ異なっている。このようにして作成された画像データは、可視化装置５０に供給される。可視化装置５０に対して、三次元表示のためのさらなる情報又はデータが必要な場合には、これらの情報又はデータも、画像データ作成装置４０によって作成及び供給することができる。

可視化装置５０として、観察者の両目にそれぞれ異なる画像情報を供給するために適した全ての装置が適している。可視化装置５０は、例えば３Ｄモニタとすることができるか、又は、ユーザの両目に対して相異なる画像データを表示する特別な眼鏡とすることができる。

図３は、３Ｄモニタの第１の実施形態のための複数の画素の一部の概略図を示す。スクリーン上に、左目用の画素５１と右目用の画素５２とが順次交互に配置されている。これらの画素５１及び５２の前に配置されたスリット絞り５３により、左目及び右目はそれぞれ各自の専用の画素だけを観察し、その一方で、ユーザのそれぞれ他方の目のための画素は、それぞれの視線方向に基づきスリット絞り５３によって隠されている。

図４は、３Ｄモニタの択一的な形態を示す。ここでは、左目用の画素５１及び右目用の画素５２の前にそれぞれ小さなレンズ５４が配置されており、これらのレンズ５４は、左目用の光路及び右目用の光路を、同様にして各目が当該目に対する専用の画素だけを観察するように偏向する。

基本的には、さらに他の全ての種類の３Ｄ対応モニタも考えられ、適している。例えば、左目及び右目に対してそれぞれ異なる偏光を有する光を送出するモニタを使用することもできる。しかしながらこの場合には、ユーザは、適切な偏光フィルタを備える眼鏡を着用しなければならない。左目用の画像データと右目用の画像データとを交互に送出するモニタの場合にも、ユーザは、適切なシャッター眼鏡を着用する必要がある。このシャッター眼鏡は、交互に表示される画像に同期して、それぞれ交互に左目だけに及び右目だけにモニタの観察を可能にするものである。しかしながら、眼鏡の着用に伴って快適性が損なわれるので、特別な眼鏡の装着が必要な表示システムよりも、図３及び図４の原理に即して動作する可視化装置の方がユーザに受容される。

深度マップと、深度マップに次いで行われるテクスチャリングとは、既に説明したように徐々に連続的に完成されるので、治療空間２ａのほぼ完全なモデルは、或る程度の時間が経過した後に供給され、このほぼ完全なモデルは、ちょうど目下の時点では視認できない陰になった領域に関する情報も含んでいる。従って、画像データ作成装置４０のために、センサ装置１０の目下の位置とは異なる観察角度から画像データを作成することも可能となる。従って、例えば可視化装置５０上には、センサ装置１０の目下の位置と、同様に内視鏡に配置されている外科用器具１１の目下の位置とから多かれ少なかれ著しく相違している治療空間２ａの表示を表示することもできる。深度マップが充分に完成された後には、ユーザは、所望の視線方向をほぼ任意に設定することが可能となる。特に深度マップからの空間情報を、内視鏡カメラのさらなる画像データ及び追加的な診断画像情報と組み合わせることによって、切開された身体の態様に非常に近似した表示を可視化装置５０上でユーザに表示することができる。

従って、ユーザは、手術中により良好に方向を定めるために、自身の希望に応じた視線方向を任意に設定及び変更することが可能である。例えば治療すべき器官において特定の箇所を発見すべき場合、又は、特定の血管等を識別することによって対応する器官での方向付けをサポートすべき場合には、このことは特に有用である。

所望の視線方向は、適当な入力装置４１によって設定することができる。この入力装置４１は、例えばキーボード、コンピュータマウス、ジョイスティック、又はトラックボール等とすることができる。しかしながら外科手術中にはユーザは通常、内視鏡と、内視鏡に含まれる外科用手段１１とを両手で操作しなければならないので、ユーザは多くの場合、設定したい視線方向を制御するための入力装置４１を操作するために手が塞がっている。従って、好ましい実施形態では、視線方向の制御を非接触に実施することもできる。例えば音声制御を介して、視線方向の制御を実施することができる。さらには、特別な所定の動作による視線方向の制御も可能である。例えばユーザは、特定のジェスチャを実施することによって所望の視線方向を制御することができる。特に、ユーザの眼球運動を監視して評価することが考えられる。この検出された眼球運動に基づいて、視線方向が立体視表示に適合される。しかしながら、視線方向を制御するためにユーザの身体の他の部分を監視することも可能である。このようなユーザの動作又はジェスチャは、カメラによって監視して評価することが好ましい。これに代えて、音声制御の場合には、入力装置４１をマイクロフォンとすることができる。しかしながら、所定の視線方向を制御するために、例えば足の動作等による別の手段も考えられる。

図５は、本発明の基礎となる、画像データを立体視表示するための方法１００の概略図を示す。第１ステップ１１０ではまず、治療空間２ａの表面が少なくとも部分的に三次元的に検出される。上述したように、治療空間２ａの表面のこの三次元的な検出は、任意の適当なセンサ１０によって実施することができる。次いでステップ１２０では、対象表面の三次元的な検出に基づいて、深度マップが作成される。作成されたこの深度マップは、検出された三次元の表面の空間点を含む。センサ装置１０は限定的な視角しか有さず、さらに場合によっては、領域の一部が陰によって差し当たり検出できないことがあるので、このようにして作成された深度マップは、開始時には差し当たり不完全である可能性がある。治療空間２ａの内部における内視鏡と、ひいてはセンサ装置１０とを動かすことによって、表面のさらなる空間点を継続的に検出することができ、これらの情報を一緒に深度マップに統合することができる。同様にして、検出される表面が変化した場合には、深度マップ内の対応する情報を補正することができる。

少なくとも部分的に三次元的に検出された表面を備える深度マップが作成された後、ステップ１３０にて、深度マップ内に供給されている空間点によってテクスチャリングが実施される。このテクスチャリングには、場合によって供給されている、センサ装置１０のカメラからのさらなる画像データ、及び／又は、コンピュータ断層撮影法、磁気共鳴画像法、超音波検査法、又はＸ線撮影法のような画像方法による診断画像情報からのさらなる画像データを、一緒に統合することができる。このようにしてまず、治療空間２ａの表面の三次元のカラー画像又は白黒画像が作成される。次いでステップ１４０では、このようにしてテクスチャリングされた深度マップから立体視画像データが計算される。この立体視画像データは、所定の視線方向からの少なくとも２つの表示を含み、これらの表示は、観察者の両目間隔に応じて相異なっている。最後にステップ１５０において、予め計算された立体視画像データが、適当な表示装置上に可視化される。

ステップ１４０における立体視画像データの計算の基礎となる視線方向は、任意に適合させることができる。特に、立体視画像データを計算するための視線方向は、センサ装置１０の視線方向とは異なっていてもよい。ステップ１４０における立体視画像データの計算の基礎となる視線方向を設定するために、本発明の方法はさらなるステップを含み、このさらなるステップでは、ユーザ入力が検出され、このユーザ入力に応じて、立体視画像データを計算するための視線方向が適合される。視線方向を適合させるためのユーザ入力は、非接触に実施することが好ましい。例えば所定のユーザジェスチャの評価によって、ユーザ入力を実施することができる。

要約すると、本発明は、画像データを立体視表示するための装置及び方法に関し、特に内視鏡を用いて実施される低侵襲手術において画像情報を三次元表示するための装置及び方法に関する。まず内視鏡の手術領域が、センサ装置によって三次元的に検出される。センサによって取得された３Ｄデータから立体視画像データが作成され、適当な表示装置上に可視化される。

Claims (15)

1. 低侵襲手術において画像データを立体視表示するための方法（１００）であって、
   表面を少なくとも部分的に三次元的に検出するステップ（１１０）と、
   少なくとも部分的に三次元的に検出された前記表面の深度マップを作成するステップ（１２０）と、
   作成された前記深度マップをテクスチャリングするステップ（１３０）と、
   テクスチャリングされた前記深度マップから立体視画像データを計算するステップ（１４０）と、
   計算された前記立体視画像データを可視化するステップ（１５０）と
   を有する、方法（１００）。
2. 計算された前記立体視画像データは、ユーザの両目の２つの視線方向に対応する
   請求項１記載の方法（１００）。
3. 前記深度マップは、少なくとも部分的に三次元的に検出された前記表面の空間点を含む
   請求項１又は２記載の方法（１００）。
4. 前記表面を三次元的に検出するステップ（１１０）を継続的に実施し、
   前記表面の継続的な三次元的な検出に基づいて、前記深度マップを適合する
   請求項１から３のいずれか一項記載の方法（１００）。
5. さらなる画像情報を供給するステップと、
   前記さらなる画像情報を、検出された三次元の前記表面と組み合わせるステップと
   をさらに含む
   請求項１から４のいずれか一項記載の方法（１００）。
6. 前記さらなる画像データは、診断画像データ、特にコンピュータ断層撮影法、磁気共鳴画像法、Ｘ線撮影法、超音波検査法からのデータを含む
   請求項５記載の方法（１００）。
7. 前記立体視画像データを計算するステップは、所定の視線方向に関する画像データを計算する
   請求項１から６のいずれか一項記載の方法（１００）。
8. ユーザ入力を検出するステップをさらに含み、
   検出された前記ユーザ入力に基づいて、前記所定の視線方向を適合する
   請求項７記載の方法（１００）。
9. 低侵襲手術において画像データを立体視表示するための装置（１）であって、
   表面を少なくとも部分的に三次元的に検出するように構成されたセンサ装置（１０）と、
   少なくとも部分的に三次元的に検出された前記表面から深度マップを作成するように構成された深度マップ作成装置（２０）と、
   作成された前記深度マップをテクスチャリングするように構成されたテクスチャリング装置（３０）と、
   テクスチャリングされた前記深度マップから立体視画像データを計算するように構成された画像データ作成装置（４０）と、
   計算された前記立体視画像データを可視化するように構成された可視化装置（５０）と
   を備える、装置（１）。
10. 前記センサ装置（１０）は、内視鏡（１２）内に配置されている
    請求項９記載の装置。
11. 前記内視鏡（１２）は、少なくとも１つの外科用器具（１１）をさらに含む
    請求項１０記載の装置。
12. 前記センサ装置（１０）は、ＴＯＦカメラ、及び／又は、三角測量のための装置、特に能動的な三角測量のための装置を含む
    請求項９から１１のいずれか一項記載の装置。
13. 前記画像データ作成装置（４０）は、所定の視線方向に関する画像データを計算する
    請求項９から１２のいずれか一項記載の装置。
14. ユーザ入力を検出するように構成された入力装置（４１）をさらに含み、
    前記画像データ作成装置（４０）は、前記ユーザ入力に基づく視線方向に関する立体視画像データを計算する
    請求項１３記載の装置。
15. 前記入力装置（４１）は、前記ユーザの動作、特にジェスチャを検出する
    請求項１４記載の装置。

Images