JP2023081278A - 立体視画像に対する対話操作方法および立体視画像表示システム - Google Patents

Abstract

【課題】立体視画像に対する対話操作方法と、立体視画像表示システムを提供する。【解決手段】立体視画像表示システムは、立体視画像表示装置とジェスチャーセンサーを含む。立体視画像表示システムは、立体視画像表示装置が立体視画像を表示し、ジェスチャーセンサーがジェスチャーを感知する。ジェスチャーの現状態が取得される。立体視画像の前状態とジェスチャーの前状態が取得される。ジェスチャーの現状態とジェスチャーの前状態から、ジェスチャーを反映した立体座標の変動を計算する。立体視画像の前状態とジェスチャーを反映した立体座標の変動に応じて、新立体視画像データを取得する。立体視画像表示装置は、新立体視画像データによって形成した新立体視画像を表示するために使用される。【選択図】図４

Description

本発明は、インタラクティブセンシング技術に関し、より詳細には、ユーザーがジェスチャーやオブジェクトを用いて立体視画像と対話することができる方法、および立体視画像表示システムに関するものである。

従来の立体視画像表示装置の多くは、ユーザーの両目で見たときにズレがある２つの画像を脳内で合成することで奥行きのある立体視画像を生成する視差の原理を利用している。ズレを持った２つの映像は、体ディスプレイに表示されるように構成されており、ユーザーは、２つの映像が脳内で合成されたときに立体視画像を見ることができるように、特別な装置を身につけることができる。特殊な装置としては、例えば、赤青メガネ、偏光メガネ、シャッターメガネ、あるいは、ディスプレイに表示された２つの画像を両眼に投影できるヘッドマウントディスプレイなどを挙げることができる。

さらに、裸眼立体視ディスプレイ技術では、ディスプレイ上に配置された特定の光学素子を介して両目に映像を投影することができる。光学素子はレンズでもラスターでもよく、特別な光学機器を必要とせずに立体視画像を知覚することが可能である。

現在、立体表示技術は平面表示のみの技術であり、ユーザーが立体視画像とインタラクションを行う技術はまだ提供されていない。従来の立体表示技術にインタラクティブ技術が存在しない理由の一つは、従来の立体表示技術では、脳内で仮想的な映像として合成された画像が生成され、ユーザーがその仮想的な映像に直接インタラクティブに触れることができないためである。

本発明は、立体視画像表示装置に表示された立体視画像に対して、ユーザーがジェスチャーによってインタラクティブな操作を行う方法および立体視画像表示装置に関するものである。ユーザーは、ジェスチャーにより、移動、回転、ズームなどの動作を行うことができる。立体座標変換により、ジェスチャーから立体座標の変化を取得し、インタラクティブなコマンドを決定することができる。また、以前の立体視画像の状態を参照し、新立体視画像を算出することができる。本手法では、ジェスチャーによる立体映像のインタラクティブ効果を実現することができる。

本発明の一実施形態において、立体視画像表示システムの主要構成要素は、立体視画像表示装置及びジェスチャーセンサーを含む。ジェスチャーセンサーは、立体視画像表示装置によって表示される立体視画像を覆う有効感知ゾーンを設定するために、立体視画像表示装置の側面に配置されることができる。ジェスチャーは、有効感知ゾーン内で効果的に実行することができる。

立体視画像表示システムは、立体視画像に対して対話を行うための方法を実行する。この方法では、立体視画像データに従って、立体視画像表示装置が立体視画像を表示する。ジェスチャーセンサーはジェスチャーを感知し、ジェスチャーの現状態を取得する。立体視画像表示システムは、記憶装置から立体視画像の前状態と、ジェスチャーの前状態を同時に取得することができる。ジェスチャーの現状態とジェスチャーの前状態に基づいて、一連の立体座標の変動を計算することができる。また、立体視画像の前状態と、ジェスチャーに対応する立体視座標変化量に応じて、新立体視画像データを取得することができる。その後、立体視画像表示装置は、新立体視画像データからレンダリングされた新立体視画像を表示する。

本発明の一実施形態では、ジェスチャーセンサーは、ジェスチャーを行うために使用される身体部分又は指示装置の画像及びデプスマップを取得するために使用される。画像及びデプスマップに従って、ジェスチャーの複数の重要な位置の立体座標を計算することができ、ジェスチャーの前状態に基づいて、ジェスチャーに対応する立体座標の変化を取得することができる。

ジェスチャーセンサーが動作しているとき、ジェスチャーセンサーは飛行時間検出技術、音響波検出技術、両眼視差検出技術、または構造光検出技術によってジェスチャーの深度情報を取得し、デプスマップを形成することができる。

このように、ジェスチャーに対応する立体座標の変化を利用して、インタラクティブ・コマンドを決定することができ、インタラクティブ・コマンドは、クリックコマンド、スワイプコマンド、回転コマンド、またはズームコマンドである。

さらに、立体視画像の前状態とジェスチャーの立体座標の変化から、一定時間内の位置の変化、速度、加速度、大きさの変化を含むジェスチャー動作データを算出し、これにより、立体視画像表示装置は変化中に新しい立体視画像を表示する。

本発明の一実施形態では、立体視画像表示システムは、立体視画像データを提供することができる立体視画像サーバをさらに含む。立体視画像データは、立体視画像表示装置が立体視画像を表示するために提供されるデータである。さらに、立体視画像サーバは、立体視画像の前回の状態と、ジェスチャーに対応する立体座標の変化とに応じて、新立体視画像データを取得することができる。

本発明の特徴および技術的側面のさらなる理解のために、以下の本発明の詳細な説明および図面を参照されたい、しかし、図面は参照および説明の目的のためにのみ提供され、本発明を限定することを意図するものでない。

本発明の一実施形態に係る立体映像表示システムの構成を示す模式図である。 本発明の一実施形態に係る立体映像表示装置の回路を示す回路図である。 本発明の他の実施形態に係る立体視画像表示装置を示す模式図である。 本発明の一実施形態による、立体視画像に対してインタラクティブな操作を行う方法を説明するフローチャートである。 本発明の他の実施形態による、立体視画像にインタラクティブな操作を行う方法を説明するフローチャートである。 本発明の一実施形態による立体映像にインタラクティブ操作を行う方法において得られる手のキーポジションを示す模式図である。 本発明の一実施形態による立体視画像にインタラクティブ操作を行う方法においてジェスチャーを行うために使用されるハンドヘルドツールを示す概略図である。 本発明の他の実施形態による立体視画像にインタラクティブ操作を行う方法においてジェスチャーを行うために使用されるハンドヘルドツールを示す概略図である。 本発明の特定の実施形態による立体視画像にインタラクティブ操作を行うための方法において実行される様々なジェスチャーを示す概略図である。 本発明の特定の実施形態による立体視画像にインタラクティブ操作を行うための方法において実行される様々なジェスチャーを示す概略図である。 本発明の特定の実施形態による立体視画像にインタラクティブ操作を行うための方法において実行される様々なジェスチャーを示す概略図である。 本発明の特定の実施形態による立体視画像にインタラクティブ操作を行うための方法において実行される様々なジェスチャーを示す概略図である。 本発明の一実施形態による手の変化に応じて立体視画像がどのように変化するかを示す模式図である。 本発明の特定の実施形態によるジェスチャーセンサーを示す概略図である。 本発明の特定の実施形態によるジェスチャーセンサーを示す概略図である。 本発明の特定の実施形態によるジェスチャーセンサーを示す概略図である。 本発明の特定の実施形態によるジェスチャーセンサーを示す概略図である。 本発明の特定の実施形態による立体視画像表示システムにおいて設定される有効感知ゾーンを示す概略図である。 本発明の特定の実施形態による立体視画像表示システムにおいて設定される有効感知ゾーンを示す概略図である。 本発明の特定の実施形態による立体視画像表示システムにおいて設定される有効感知ゾーンを示す概略図である。 本発明の一実施形態によるジェスチャーセンサー、立体視画像表示装置及び立体視画像サーバ間で立体視画像にインタラクティブな操作を行う方法の実装を説明するフローチャートである。

下記より、具体的な実施例で本発明に係る実施形態を説明する。当業者は本明細書の公開内容により本発明のメリット及び効果を理解し得る。本発明は他の異なる実施形態により実行又は応用できる。本明細書における各細節も様々な観点又は応用に基づいて、本発明の精神逸脱しない限りに、均等の変形と変更を行うことができる。また、本発明の図面は簡単で模式的に説明するためのものであり、実際的な寸法を示すものではない。以下の実施形態において、さらに本発明に係る技術事項を説明するが、公開された内容は本発明を限定するものではない。

なお、本明細書において「第１」、「第２」、「第３」等の用語で各種の部品又は信号を説明する場合があるが、これらの部品又は信号はこれらの用語によって制限されるものではない。これらの用語は、主として一つの部品と別の部品、又は一つの信号と別の信号を区分するためのものであることが理解されたい。また、本明細書に用いられる「又は」という用語は、実際の状況に応じて、関連する項目中の何れか一つ又は複数の組合せを含み得る。

本発明は、立体視画像表示装置上に表示された立体視画像を見る際に、ユーザーがジェスチャーによって立体視画像を操作することを可能にする、立体視画像にインタラクティブな操作を行う方法及び立体視画像表示装置システムに関するものである。例示的な例では、ジェスチャーセンサーは、立体視画像上で行われるジェスチャーを感知するために使用される。ジェスチャーは、例えば、ユーザーが行うクリック、スワイプ、周回、ズームなどの動作とすることができる。ジェスチャーに対応する立体座標の変化が得られ、インタラクティブ・コマンドを決定するために使用されることができる。インタラクティブ・コマンドによれば、立体視画像表示装置は、ジェスチャーに応答して立体視画像を表示することができる。したがって、ユーザーは、ジェスチャーによって立体視画像とインタラクションすることができる。なお、立体視画像は、静止した三次元オブジェクトであっても、一連の立体視画像の動きによって形成される移動オブジェクトであってもよい。ジェスチャーに対応して形成される立体視画像は、静止画像であってもよいし、ジェスチャーに応じて計算される動く立体視画像であってもよい。

立体映像ディスプレイは、浮遊する立体映像を表示することができる。この技術は、フラットディスプレイパネルを利用して、複数の単位画像を同時に表示し、単位画像はフル画像（すなわち、統合画像）をレンダリングするものである。フローティング映像の表示中、フラットディスプレイパネルに表示された統合映像は、光学素子（レンズアレイなど）を通してパネルから離れた空間へ投影される。フラットディスプレイパネルに表示される各単位画像は、対応するレンズを通して結像させることができる。さらに、複数の単位画像は、複数のレンズを通して統合された画像を表示することができる。したがって、浮遊画像を表示するような効果を得ることができる。

本発明の一実施形態による立体視画像表示システムを示す模式図である図１を参照する。

本発明の一実施形態では、立体視画像表示装置１０が提供され、立体視画像表示装置１０は、光学素子１０１及び表示パネル１０２を含む。表示内容を処理するための画像処理装置が含まれる。立体視画像表示装置１０は、外部の画像ソースと通信し、立体視画像データを取得する。立体視画像データは、立体視画像１０３をレンダリングするために処理される。

さらに、立体視画像表示装置１０は、ユーザーの手１２によって立体視画像１０３に対して行われるジェスチャーを感知するために使用されるジェスチャーセンサー１０５を含む。図に示されたジェスチャーセンサー１０５の位置は、本発明の範囲を限定するために用いられるものではないことに留意されたい。

ジェスチャーセンサー１０５は、カメラを使用して手１２の１つ以上のキー部分の一連の画像をキャプチャする、画像検出方法を実装することができる。キー部分は、例えば、指、手のひら、及び／又は指の関節である。画像処理方法を通じて、一定期間内の手１２の画像の変化を得ることができる。手１２のキー部分の各々は、ジェスチャーセンサーに対する３次元座標（例えば、直交座標系のＸセンサー、Ｙセンサー及びＺセンサー又は球座標系のγ、θ及びφ）により描写され得る。ジェスチャーの座標を連続的に取得した後、立体座標の変化を得ることができる。センサーベースの座標系は、立体視画像表示装置１０を基準として、表示ベースの座標系に変換することができる。立体座標（Ｘｄｅｖｉｃｅ、Ｙｄｅｖｉｃｅ、Ｚｄｅｖｉｃｅ）の変化は、ベクトル（すなわち、変位と方向）とレート（すなわち、距離と時間）で表現することができる。変化は、クリック、スワイプ、回転、またはズーム動作のうちの１つまたは任意の組み合わせを含むインタラクション命令を決定するために使用することができる。

本発明の一実施形態による立体視画像にインタラクティブ操作を行うための方法において得られる手のキーポジションを示す模式図である図６を参照されたい。

手６０の複数のキーポジション６０１が図に示されている。キーポジション６０１の位置および数は、実用的な要求に基づいて予め設定することができる。立体視画像表示装置には、強力なコンピュータを採用することができ、より多くのキーポジション６０１を処理することができるので、ジェスチャーのより詳細な決定能力を向上させることができる。したがって、より細微なジェスチャーの変化を判定することができる。手６０のキーポジション６０１の位置は、立体視画像表示システムが、手６０または特定のオブジェクトによって行われるジェスチャー（クリック、スワイプ、回転またはズームなど）を決定するために提供され得る。

ジェスチャーセンサーは、手６０の空間位置を立体座標で記述する手６０の複数のキーポジション６０１を取得することができる。したがって、ジェスチャーが決定される。さらに、手６０の複数のキーポジション６０１の深度情報は、デプスマップ６２を設定するために使用され得る。または、深度情報は、画像６４を形成するように、色またはグレースケールを付加することができ、または、二値化することができる。手６０の現在の状態は、複数のキーポジション６０１’によって指定することができる。ジェスチャーの前状態は、以前の時間におけるキー部分の複数の位置、デプスマップ６２、および画像６４を示す。ジェスチャーの変化を取得することができる。例えば、ジェスチャーは、指、手６０の掌、手６０の指の関節等（タッチペンや任意の物体等）の立体座標を決定するために使用することができる。したがって、一定期間内のジェスチャーの変化を利用して、クリックジェスチャー、スワイプジェスチャー、回転ジェスチャー、またはズームジェスチャーを決定することができる。

これらのジェスチャーについて、図９～図１２を参照することができる。図９は、クリックジェスチャーの動作を模式的に示す図である。図１０は、スワイプジェスチャーの動作を模式的に示す図である。図１１は、回転ジェスチャーの動作を模式的に示す図である。図１２は、ズームジェスチャーの動作を模式的に示す図である。

なお、これらのジェスチャーは、手で行う以外に、他の物体で行うことも可能である。図７は、円柱７０を持つ手を描いた模式図であり、円柱７０の動きが座標変動を形成する。ユーザーが円柱７０を持って浮遊する立体視画像と対話する場合、ジェスチャーセンサーは、飛行時間検出技術、音響波検出技術、両眼視差検出技術、または構造光検出技術によって円柱７０の複数のキーポジションの奥行き情報を取得する。そして、一定期間内の立体座標の変動に基づいて、ジェスチャーを判定する。

図８は、微小な物体８０を持つ手を模式的に示したものである。ジェスチャーセンサーは、一定時間内における物体８０の立体座標の変動を取得することができる。

さらなる一実施形態では、ジェスチャーセンサー１０５は、光遮断の原理によってジェスチャーを感知する。ジェスチャーセンサー１０５は、光源を用いて感知光を照射し、感知光の範囲内で手１２が光を遮断すると、フォトセンサーが手１２上の光スポットを感知することができる。したがって、各キー部で反射された光スポットの量と、光スポット間で発生した時間差とを得ることができる。なお、鍵部分が反射する光点は、鍵部分の変化を反映し、時間差は鍵部分の深さに関する情報を示すものである。同様に、このような光情報を連続的に取得することで、ジェスチャーによって形成される立体座標の変化を得ることができる。このジェスチャーにより、システムは、動作（移動、回転、ズームなど）の１つまたは任意の組み合わせを示すインタラクティブ・コマンドを識別することができる。

遮光技術については、本発明の一実施形態による画像検出方法の使用によって感知されるジェスチャーを描いた模式図である図１４を参照することができる。図１４において、フォトセンサー１４は、立体視画像表示装置の側面に示されている。フォトセンサー１４は、手１４１によって行われるジェスチャーを感知する。フォトセンサー１４でジェスチャーを感知することによって生成されたセンシングデータは、処理ユニット１４０によって処理される。ジェスチャーの前状態とジェスチャーの現状態との間の変化に基づいて、新立体視画像を算出することができる。本発明の一実施形態において、フォトセンサー１４は、可視光線エミッタ又は不可視光線エミッタを備え得る。好ましくは、発光器は、赤外線発光器によって具現化され得、フォトセンサー１４は、発光器に準拠する周波数帯域の光を感知するように構成される。フォトセンサー１４は、手１４１または特定の物体によって反射された光を受信するように構成される。反射光は、手１４１または他の物体によって遮られる反射光である。発光光と反射光との時間差は、手１４１の複数のキー部分の奥行き情報を得るために使用される。

１つの更なる実施形態では、ジェスチャーセンサー１０５は、手１２によって反射された音響波を使用してジェスチャーを決定するように、音響発生器及び音響受信器を含むことができる。手１２がジェスチャーセンサー１０５の音響波の感知範囲内にあるとき、手１２は音響波を遮断し、反射波が形成される。受音器が反射波を受信すると、反射波の変化により、受音器は、空間における手１２のキー部分の変化を検出することができる。キー部分の変動は、アクション（クリック、スワイプ、回転、およびズームなど）の１つまたは任意の組み合わせを示すインタラクティブ・コマンドを決定するために使用できる立体座標の変動として解釈されることが可能である。

図１５は、本発明の一実施形態による音響感知技術の使用によって決定されるジェスチャーを示す概略図である。音感センサー１５が図に示されている。音感センサー１５は、有効感知ゾーン内に音響波を放射する音響エミッタを含む。音響波は、超音響波又はレーダー波であってもよい。手１５１又は有効感知ゾーン内の任意の物体によって行われるジェスチャーは、音響波を反射し、音感センサー１５は、反射波を受信する。従って、センシングデータが生成され、処理ユニット１５０によって処理される。音響波を反射する手１５１の要部に関する時間差は、算出することができる。したがって、キー部分のそれぞれの奥行き情報を取得し、ジェスチャーの判定に利用することができる。

さらに、図１６は、ジェスチャーを行う手１６３または特定のオブジェクトに対する視差を形成するために、２つのフォトセンサーを使用することを示す模式図である。手１６３または任意のオブジェクトのキー部分に関する深度情報を算出することができる。図１６において、立体視画像表示部の近傍に、第１のフォトセンサー１６１と、その間に距離を置いた第２のフォトセンサー１６２が配置される。第１のフォトセンサー１６１と第２のフォトセンサー１６２は、手１６３の２つのそれぞれの画像を同時に取得し、手１６３の視差が形成される。この視差情報は、処理部１６０によって処理され、手１６３の複数の要部に関して、視差データに基づく奥行き情報を算出するようにされる。そして、手１６３または任意のオブジェクトが行うジェスチャーを決定することができる。

図１７は、本発明の一実施形態によるジェスチャーを感知するための構造化光の使用を示す模式図である。構造光発光素子１７１及び構造光センサー１７２は、有効感知ゾーンを設定するために立体視画像表示装置の近傍に配置される。構造光発光素子１７１は、有効感知ゾーン内に特定のパターンを有する構造化光を放射する。パターンは、平行線、網目、または他のパターンであることができる。構造化光は、手１７３または特定の物体に照射され、構造光センサー１７２は、手１７３によって反射された構造化光を感知する。反射光も構造化光の一種であるため、反射した構造化光は、処理ユニット１７０によって処理することができる。処理ユニット１７０によって、反射構造化光を用いて手１７３の三次元曲面を計算することができ、それに応じてジェスチャーを決定することができる。

異なるジェスチャー感知技術を採用するジェスチャーセンサー１０５は、対話型感知方法を実施するために使用することができる。手１２の指、掌及び／又は指関節の位置、特にジェスチャーによって反映される指関節の三次元座標の変動に従って、１つ又は任意の組み合わせの動作（移動、回転及びズームなど）を示すインタラクティブ・コマンドを決定することが可能である。その後、画像データベースの立体視画像データを問い合わせることで、新たに対応する立体視画像データを用いて、次の立体視画像を表示することができる。立体視画像データには、静止した立体視画像や、一連の立体視画像で形成された動画が含まれることがある。なお、変化のセンシング、座標変換、立体視画像の算出を高速演算で行うことで、ジェスチャーに瞬時に反応するインタラクティブな効果を実現することができる。

本発明の一実施形態に係る立体映像表示システムの回路を示す回路図である図２を参照する。

図２には、立体視画像表示装置２０が設けられている。立体視画像表示装置２０は、特定の接続部又は特定の構造を介してジェスチャーセンサー２２と接続する。本発明の実施形態の一つにおいて、ジェスチャーセンサー２２と立体視画像表示装置２０の両方は、一つのデバイスに統合され、電気的に相互接続される二つのモジュールであり得る。あるいは、立体視画像表示装置２０及びジェスチャーセンサー２２は、互いに通信するために有線接続又は無線接続を介して相互接続される２つの独立したデバイスである。さらなる一実施形態では、図２に示すように、立体視画像サーバ２４が提供される。立体視画像表示装置２０及びジェスチャーセンサー２２は、ネットワーク又は特定の接続を介して立体視画像サーバ２４と接続する。立体視画像サーバ２４は、ジェスチャーセンサー２２が感知したジェスチャーの変化を処理する。ジェスチャーの変化は、３次元空間における変化とすることができる。立体視画像サーバ２４は、立体視画像表示装置２０に送信するための立体視画像データを生成する。

立体視画像表示装置２０において、インタラクティブセンシング方式における画像処理を行う画像処理装置２０３が設けられている。画像処理装置２０３は、入力インターフェース２０１などの他の電子部品と電気的に接続されている。入力インターフェース２０１は、ネットワークや特定の接続を介して立体視画像サーバ２４と接続するために用いられる通信インターフェースとすることができる。入力インターフェース２０１を通じて、立体視画像表示装置２０は、表示すべき立体視画像をレンダリングするために使用される立体視画像データを立体視画像サーバ２４から受信することができる。立体視画像サーバ２４から提供される立体視画像データは、ジェスチャーセンサー２２によって感知されたジェスチャーを変換して得られる対話型コマンドに従って生成される。本発明の一実施形態によれば、立体視画像サーバ２４がジェスチャーセンサー２２から受け取るデータは、ジェスチャーを感知することによって形成された立体座標の変動を含む。立体視画像サーバ２４は、立体座標の変動に従ってインタラクティブ・コマンドを計算し、また、インタラクティブ・コマンドに従って新立体視画像に関する画像座標データを計算する。

立体視画像サーバ２４では、ジェスチャーセンサー２２が感知したジェスチャーを反映した立体座標の変動を受信すると、クリック、スワイプ、回転及び／又はズーム動作を指示する対話型コマンドを算出することができる。インタラクティブ・コマンドは、変化に対応する立体視画像データを得るように、立体視画像サーバ２４内の画像データベースを検索するために提供される。あるいは、対話型コマンドにしたがって、立体視画像サーバ２４のプロセッサによって、立体視画像データを瞬時に算出することも可能である。立体視画像は、静止立体視画像であってもよいし、一連の立体視画像によって形成された動画であってもよい。立体視画像表示装置２０に提供される立体視画像データは、立体視画像表示装置２０が立体視画像を表示するための色情報および三次元空間情報を記述するために用いられる。画像処理装置２０３は、表示駆動装置２０４と電気的に接続されており、立体視画像データに基づいて立体視画像を生成し、表示ユニット２０５で表示させることができるようになっている。

ジェスチャーセンサー２２は、光、音、又は画像によってジェスチャーを感知するために用いられるセンサー素子２２１を含む。ジェスチャーは、指、掌及び／又は指関節の位置の変化を含む、手のいくつかの主要部分の変化を指す。

制御ユニット２２２は、ジェスチャーセンサー２２の制御回路として機能する。制御ユニット２２２は、インターフェースユニット２２３を介して、立体視画像表示装置２０と接続する。制御ユニット２２２は、センサー素子２２１によって感知されたジェスチャーの立体座標の変動を生成する。

さらに、ジェスチャーセンサー２２が感知したジェスチャーを反映した立体座標の変動は、ジェスチャーセンサー２２を基準とした座標系における座標に基づいている。インタラクティブ・コマンドを計算するように、立体座標の変動を立体視画像サーバ２４に転送する場合、座標変換が必要となる場合がある。インタラクティブ・コマンドに従って、座標変換は、画像座標データを介して立体視画像を表示するために、センサーベース座標系における座標データを表示ベース座標系に変換するために、立体視画像サーバ２４を介して実行される。本発明の更なる一実施形態では、入力インターフェース２０１を介して、立体視画像表示装置２０は、有線接続又は無線接続を介して、ジェスチャーセンサー２２のインターフェースユニット２２３と接続する。入力インターフェース２０１は、その間に信号を伝送するために使用される通信インターフェースである。立体視画像表示装置２０は、ジェスチャーに基づいて立体視画像データを算出し、表示部２０５によって立体視画像を表示する。

立体視画像表示装置２０は、よく定義された画像全体の位置に応じて立体視画像を表示する。画像全体の位置が立体視画像サーバ２４にフィードバックされると、立体視画像サーバ２４は、その元の座標系と座標変換後の座標系との間のジェスチャーの相関関係を求めることができる。相関関係は、ジェスチャーに関する三次元座標と、表示される立体視画像との関係を示すものである。例えば、スワイプするジェスチャーによって立体視画像が特定の方向へ移動する場合、立体視画像の三次元座標にはその方向に沿った変動が加わるはずである。したがって、立体視画像を新たな位置に更新し、新立体視画像を生成する必要がある。立体視画像サーバ２４（あるいは立体視画像表示装置２０の画像処理装置２０３に直接）において、新立体視画像データは、画像データベースへの問い合わせにより、あるいは瞬時に計算されることにより得ることができる。この立体視画像データは、立体視画像表示装置２０の表示駆動部２０４に供給され、立体視画像を表示させる。さらに、回転ジェスチャーは、立体視画像を角度回転させるので、この変化を立体視画像の三次元座標に加え、その後、別の新立体視画像データを形成することができればよい。さらに、ズームジェスチャーでは、同じ基準位置の立体視画像の大きさが変化する。立体視画像に関する三次元座標は、ズームジェスチャーによって変化する。画像処理装置２０３が画像データベースに問い合わせたり、瞬時の計算を行ったりした後、表示駆動部２０４が表示するための新立体視画像データが生成される。

なお、上述したスワイプ、回転、ズームの各ジェスチャーは、任意に組み合わせて対話型コマンドを構成することができる。立体視画像サーバ２４（又は立体視画像表示装置２０の画像処理装置２０３）は、新立体視画像データの算出を担当する。この立体視画像データは、立体視画像表示装置２０が立体視画像を表示するために提供される。現在のジェスチャーを反映するために、立体視画像サーバ２４または立体視画像表示装置２０の画像処理装置２０３で動作するソフトウェア・シーケンスが、ジェスチャーの前状態を参照して連続した複数の立体視画像データを決定し、動く立体視画像を表示するようにする。

本発明の別の実施形態による立体視画像表示システムを示す図３を参照されたい。インタラクティブな立体視ディスプレイは、ネットワーク３０を介して立体視画像サーバ３０１と接続する。上述した立体視画像データは、立体視画像サーバ３０１から提供され得る。立体視画像サーバ３０１は、インタラクティブなコマンドに従って立体視画像データを照会するための画像データベース３０３を提供する。

例示的な例では、ユーザーがインタラクションを実行すると、立体視画像表示装置２０のメモリに格納されたデータをチェックして、次の状態（インタラクションコマンドに対応する）に関連する画像データが含まれているかどうかを判断することができる。立体視画像表示装置２０に記憶されているデータに、既に次の状態に関する画像データが含まれていれば、立体視画像表示装置２０自身が立体視画像データを生成して立体視画像を表示することができる。逆に、立体視画像表示装置２０に次の状態に関する画像データが含まれていない場合、新立体視画像データ／ファイルの取得要求を生成し、ネットワーク３０を介して立体視画像サーバ３０１に送信する。新立体視画像データは、インタラクションに応じてダウンロードされ、新立体視画像として表示することができる。

図１を参照して、立体視画像表示装置１０に表示された立体視画像に対して、ユーザーの手１２によってインタラクションが行われると、そのジェスチャーによって参照される立体座標の変動が形成され、インタラクションコマンドが取得されるようになっている。インタラクティブ・コマンドは、ネットワーク３０を介して立体視画像サーバ３０１に送信され、立体視画像サーバ３０１はインタラクティブ・コマンドに応じた新立体視画像データを提供する。

立体視画像表示システムは、立体視画像に対してインタラクティブな操作を行うための方法を実行する。本発明の一実施形態による方法を説明するフローチャートである図４が参照され得る。

立体視画像表示システムは、立体視画像データに基づいて、立体視画像表示を用いて、図１に例示的に示す浮遊立体視画像のような立体視画像を表示する（ステップＳ４０１）。この浮遊立体視画像により、ユーザーは手や物を使ったジェスチャーを直感的に行うことができる。ユーザーが浮遊立体視画像上でジェスチャーを行うと、ジェスチャーセンサーはそのジェスチャーを感知し、ジェスチャーの現状態を取得する（ステップＳ４０３）。本実施形態の一つでは、手や物体が浮遊する立体視画像の光を遮る。したがって、立体映像表示システムは、ジェスチャーセンサーを通じてジェスチャー画像を取得し、さらに、ジェスチャーによって形成されるインタラクティブ・コマンドを決定することができる。図１４～図１７に例示的に示すジェスチャーセンサーは、手の部分又はオブジェクトの深度情報を得るために使用され、深度情報は、ジェスチャー状態を決定するために使用される。なお、ジェスチャーセンサーは、図１４～図１７に示すものに限定されるものではないことに留意されたい。

本発明の一実施形態によれば、立体視画像表示システムは、ジェスチャーの前状態（すなわち、以前のジェスチャーの複数のキーポジションの立体座標および移動データ）および立体視画像の以前の状態（すなわち、以前の立体視画像の立体座標および移動データ）を格納するために用いられる任意のタイプのストレージを提供する。このように、立体視画像表示システムは、任意のジェスチャーが感知されたときに、ストレージから立体視画像の前状態を取得することができる。立体視画像の前状態は、前回における立体視画像の位置、速度、加速度、姿勢、大きさを示すことができる立体座標を含む（ステップＳ４０５）。また、システムによって決定されたジェスチャーの現時点の直前における位置、速度、大きさを示すことができるジェスチャーの前状態も取得することができる（ステップＳ４０７）。その後、立体視画像表示システムで動作するソフトウェア・シーケンスでは、ジェスチャーの前状態と今回のジェスチャー状態に基づいて、ジェスチャーを反映した立体座標の変動を計算し、ジェスチャーを決定することができる。そして、そのジェスチャーを利用して、クリックコマンド、スワイプコマンド、回転コマンド、ズームコマンドなどの対話型コマンドを取得する（ステップ４０９）。

立体視画像表示装置で動作するソフトウェアプログラムは、立体視画像の前状態に基づいて、新立体視画像の立体座標を算出する。ステップＳ４１１では、画像データベースへの問い合わせにより立体視画像データを取得し、その立体視画像データを用いて新立体視画像をレンダリングすることができる。そして、立体視画像表示装置は、新立体視画像データにしたがって新立体視画像を表示する（ステップＳ４１３）。

図５は、本発明の他の実施形態による、立体視画像にインタラクティブな操作を行う方法を説明するフローチャートである。

立体視画像表示装置は、立体視画像を表示する（ステップＳ５０１）。ジェスチャーセンサーは、ジェスチャーの現状態を取得する（ステップＳ５０３）。一方、立体視画像表示システムは、立体視画像の前状態（ステップＳ５０５）と、前回時のジェスチャーに関する立体座標となり得る前回ジェスチャー状態を問い合わせる（ステップＳ５０７）。立体視画像表示装置で動作するソフトウェアプログラムは、ジェスチャーを行う手または物体の一定期間内の立体座標の変動を算出する（ステップＳ５０９）。この立体座標の変動を利用して、一定時間内におけるジェスチャーの位置の変化、速度、加速度、大きさの変化などを含む動きデータを得ることができる。この変化から、クリックコマンド、スワイプコマンド、回転コマンド、ズームコマンドなどの対話型コマンドを決定することができる。

次に、立体視画像表示システムで動作するソフトウェア・シーケンスは、立体視画像の変化を得るために、立体視画像の前状態とジェスチャーを反映した立体座標の変動に依拠して、ジェスチャー動作データを得る（ステップＳ５１１）。したがって、ジェスチャー（クリックジェスチャー、スワイプジェスチャー、回転ジェスチャー、ズームジェスチャーなど）が決定される。本システムで動作するソフトウェアプログラムは、ジェスチャーを反映した一連の立体視画像の位置、速度、加速度、サイズの変化を計算し（ステップＳ５１３）、これによって立体視画像表示装置は変化中に新しい立体視画像を表示する（ステップＳ５１５）。

図１４から図１７に示すジェスチャーセンサーの例示的な例では、ジェスチャーセンサーは、図６に例示的に示すデプスマップを形成するために用いられるジェスチャーの深度情報を得るように、飛行時間（ＴＯＦ）検出技術、音響波検出技術、両眼視差検出技術、構造光検出技術または他の深度センシング方法を実装することが可能である。図６に示すように、ジェスチャーセンサーは、手（又は他の身体部分）又はハンドヘルドツールなどの指示装置の画像６４及びデプスマップ６２を取得するために使用される。それに応じて、画像６４とデプスマップ６２とに基づいて複数のキーポジション６０１’の立体座標が決定され、ジェスチャーの前状態を参照することによって、ジェスチャーに対応する立体座標の変化を得ることができる。

上記の続きで、立体視画像表示システムは、ジェスチャーの立体座標の変動に依存して、クリックコマンド、スワイプコマンド、回転コマンド、ズームコマンドのいずれかの対話型コマンドを決定する。その後、これらのコマンドは、新立体視画像データを得るためのデータベースへの問い合わせ、または新立体視画像データを即座に計算するために使用される。そして、立体視画像表示装置は、新立体視画像データに基づいて新しい立体視画像を表示する。ジェスチャー動作データは、立体視画像の前回の状態と今回の状態との立体座標の変動に応じて取得することができる。ジェスチャー動作データは、一定期間内の立体視画像の位置変化、速度、加速度、大きさの変化を含み、これによって、立体視画像表示装置は変化中の新しい立体視画像を表示する。

図１３は、本発明の一実施形態による、手によって行われるジェスチャーによって引き起こされる立体視画像の変化を示す模式図である。同図は、ジェスチャーの前状態と、手１３によって行われるジェスチャーによって引き起こされるボールの一連の画像１３１、１３１’、１３１”とを例示的に示している。立体視画像表示装置で動作するソフトウェアプログラムは、ジェスチャーの前状態及び今回のジェスチャー状態に従って、手１３の動きデータを取得する。この動きデータは、変化する立体視画像（本実施例ではボールの画像１３１、１３１’、１３１”が示すように）を得るために使用される。

上記実施形態に示すように、立体視画像表示システムは、立体視画像表示装置の近傍に配置されたジェスチャーセンサーに依存して、有効感知ゾーンを設定している。図１８を参照すると、立体視画像１８５を表示する立体視画像表示装置２０と、立体視画像表示装置２０の側部に配置されたジェスチャーセンサー１８１と、立体視画像表示装置２０に対して対向する空間に形成された有効感知ゾーン１８０とが示されている。有効感知ゾーン１８０内では、ジェスチャーセンサー１８１は、ユーザーの手１８３の位置及び動作を有効に感知することができる。また、有効感知ゾーン１８０は、ユーザーにジェスチャーを行うための基準ゾーンを提供する。

図１９は、本発明の別の実施形態による有効感知ゾーンを示す模式図である。図１９において、上述した立体視画像１８５は、立体視画像表示装置２０の上方に表示される。立体視画像１８５を覆うゾーンは、一対のジェスチャーセンサー１９１、１９２の配置の基準となる有効感知ゾーン１９０を構成している。したがって、ジェスチャーセンサー１９１、１９２は、立体視画像１８５に対して手１８３が行うジェスチャーを効果的に感知することができる。

図２０は、本発明のさらに別の実施形態による立体視画像表示システムに設けられた有効感知ゾーンを示す模式図である。ジェスチャーセンサー２０８は、立体視画像表示装置２０の側面に配置される。ジェスチャーセンサー２０８は、センシングエリア２０９を有する。立体視画像表示装置２０は、ある領域をカバーする立体視画像２１０を表示する。それに応じて、立体視画像２１０を覆うように有効感知ゾーン２００が設けられ、ユーザーによるジェスチャーの実行は、有効感知ゾーン２００内で行われることが望ましい。

本発明の一実施形態によれば、立体視画像表示システムは、立体視画像データを提供することができる立体視画像サーバをさらに含むことができ、立体視画像データは、立体視画像表示装置が立体視画像を表示するために提供されるデータである。さらに、以前の立体視画像の状態および立体座標の変動に応じて、新立体視画像を得ることができる。そして、立体視画像サーバは、新立体視画像データを提供する。

ジェスチャーセンサー２１３、立体視画像表示装置２１２、および立体視画像サーバ２１１の間で動作する立体視画像に対してインタラクティブな操作を行う方法を説明するフローチャートである図２１を参照されたい。図２１に示す処理では、立体視画像サーバ２１１、立体視画像表示装置２１２、ジェスチャーセンサー２１３の間でインタラクティブなセンシング処理を行うことを説明する。

本実施形態によれば、ユーザーは、立体視画像表示部２１２の上方にある立体視画像に対してジェスチャーを行う。立体視画像サーバ２１１は、定期的にジェスチャーセンサー２１３がジェスチャーを感知できるようにジェスチャーセンサー２１３をトリガーする（ステップＳ２１１）、立体視画像表示装置２１２に立体視画像の表示要求を送信する（ステップＳ２１２）。そして、ジェスチャーセンサー２１３は、ジェスチャーを感知し、ジェスチャーに対応する立体座標データを形成するとともに、立体視画像の要求を生成して立体視画像サーバ２１１に送信し、立体視画像データを取得するようにする（ステップＳ２１３）。

立体視画像サーバ２１１は、ジェスチャーに関する立体座標データを受信すると、立体視画像の前状態およびジェスチャーの前回状態を取得する（ステップＳ２１４）。立体視画像は、現在、立体視画像表示部２１２によって表示されている。ジェスチャーセンサー２１３によって得られたジェスチャーの現状態は、ジェスチャーの前状態と比較することができるので、ジェスチャーを推定するためのアルゴリズムを介して、ジェスチャーを決定することができる（ステップＳ２１５）。

立体視画像サーバ２１１は、ジェスチャーによる立体座標の変動を算出する（ステップＳ２１６）。ジェスチャーの前状態に関する立体座標データと比較した後、対話型コマンドを決定することができる（ステップＳ２１７）。インタラクティブ・コマンドは、クリックコマンド、スワイプコマンド、回転コマンド、ズームコマンドのいずれでもよい。新立体視画像データは、データベースへの問い合わせにより取得されるが、立体視画像の前状態とジェスチャーによる立体座標の変動から瞬時に算出することも可能である。そして、新立体視画像データを立体視画像表示部２１２に送信し（ステップＳ２１８）、新立体視画像を表示させる。

以上、本発明の立体視画像に対する対話操作の実行方法及び立体視画像表示システムの実施形態によれば、ユーザーが立体視画像に対して直接ジェスチャーを行い、それに応じて対話コマンドを決定することができる。システムは、ジェスチャーの前状態、ジェスチャーの現状態、および立体視画像の以前の状態に基づいて、新しい立体視画像を得ることができる。新しい立体視画像が表示される。ユーザーは立体視画像上で直接ジェスチャーを行い、立体視画像とインタラクションすることができる。ジェスチャーの状態に応じて、変化する立体視画像が表示される。本方式では、ジェスチャーによる立体視画像とのインタラクティブ効果を実現することができる。

以上に開示される内容は本発明の好ましい実施可能な実施例に過ぎず、これにより本発明の特許請求の範囲を制限するものではないので、本発明の明細書及び添付図面の内容に基づき為された等価の技術変形は、全て本発明の特許請求の範囲に含まれるものとする。

１２：手
１０：立体視画像表示装置
１０１：光学素子
１０２：表示パネル
１０３：立体視画像
１０５：ジェスチャーセンサー
２０：立体視画像表示装置
２０１：入力インターフェース
２０３：画像処理装置
２０４：表示駆動部
２０５：表示ユニット
２０６：メモリーユニット
２２：ジェスチャーセンサー
２２１：センサー素子
２２２：制御ユニット
２２３：インターフェースユニット
２４：立体視画像サーバ
３０：ネットワーク
３０１：立体視画像サーバ
３０３：画像データベース
６０：手
６０１， ６０１’：キーポジション
６２：デプスマップ
６４：画像
７０、８０：ハンドヘルドツール
１３：手
１３１， １３１’ ， １３１”：ボール
１４１、１５１、１６３、１７３：手
１４：フォトセンサー
１４０， １５０， １６０， １７０：処理ユニット
１５：音感センサー
１６１：第１のフォトセンサー
１６２：第２のフォトセンサー
１７１：構造光発光素子
１７２：構造光センサー
１８５：立体視画像
１８１：ジェスチャーセンサー
１８３：手
１８０：有効感知ゾーン
１９１、１９２：ジェスチャーセンサー
１９０：有効感知ゾーン
２０８：ジェスチャーセンサー
２０９：センシングエリア
２００：有効感知ゾーン
２１０：立体視画像
２１１：立体視画像サーバ
２１２：立体視画像表示装置
２１３：ジェスチャーセンサー

Claims (15)

1. 立体視画像データに基づいて、立体視画像を立体視画像表示装置で表示し、
   ジェスチャーセンサーでジェスチャーを感知し、前記ジェスチャーの現時点の状態をジェスチャーの現状態として取得し、
   前記立体視画像の現時点の直前状態を立体視画像の前状態として取得し、
   前記ジェスチャーの現時点の直前状態をジェスチャーの前状態として取得し、
   前記ジェスチャーの現状態と前記ジェスチャーの前状態とに基づいて、ジェスチャーを反映した立体座標の変動を計算し、
   前記立体視画像の前状態と前記立体座標の変動とに基づいて、新立体視画像データを取得し、
   前記新立体視画像データに基づいて、前記立体視画像を更新し立体視画像表示装置で表示する、
   ことを特徴とする立体視画像に対する対話操作方法。
2. 前記ジェスチャーセンサーを使用して、前記ジェスチャーを行う身体部分または指示装置の画像およびデプスマップを取得し、前記画像および前記デプスマップに従って前記ジェスチャーの複数のキーポジションの立体座標を計算し、前記ジェスチャーの前状態に基づいて、前記ジェスチャーを反映した立体座標の変動を取得する、請求項１に記載の立体視画像に対する対話操作方法。
3. 前記ジェスチャーセンサーは、前記デプスマップを形成するように、飛行時間検出技術、音響波検出技術、両眼視差検出技術、又は構造化光検出技術によって前記ジェスチャーの深度情報を取得する、請求項２に記載の立体視画像に対する対話操作方法。
4. 前記ジェスチャーを反映した立体座標の変動に基づいて、インタラクティブ・コマンドを決定し、前記インタラクティブ・コマンドは、クリックコマンド、スワイプコマンド、回転コマンド、またはズームコマンドであることを特徴とする、請求項２に記載の立体視画像に対する対話操作方法。
5. 前記立体視画像の前状態および前記ジェスチャーを反映した立体座標の変動を用いて、前記立体視画像の速度、加速度、期間内の位置変化およびサイズ変化を含むジェスチャー動作データを計算し、これによって前記立体視画像表示装置が変化中の新しい立体視画像を表示する、請求項４に記載の立体視画像に対する対話操作方法。
6. 前記ジェスチャーの前状態は、ストレージに格納されている前記ジェスチャーの前時点による複数の重要な位置の立体座標と移動データを表し、前記立体視画像の前状態は、ストレージに格納されている前記立体視画像の前時点による立体座標と移動データを表す、請求項１に記載の立体視画像に対する対話操作方法。
7. 立体視画像サーバを備え、前記立体視画像サーバは、ジェスチャーを反映した立体座標データを受信すると、前記立体視画像の前状態および前記ジェスチャーの前状態の取得を開始し、前記立体視画像サーバは、前記ジェスチャーの現状態および前記ジェスチャーの前状態に基づいて、前記ジェスチャーを反映した立体座標の変動を算出し、前記立体視画像の前状態およびジェスチャーを反映した立体座標の変動に応じて、新立体視画像データを取得する、請求項１乃至６のいずれか１項に記載の立体視画像に対する対話操作方法。
8. 立体視画像表示装置、及び前記立体視画像表示装置に接続されたジェスチャーセンサーを具備する、立体視画像表示システムであって、
   前記立体視画像表示システムは、
   立体視画像データに基づいて、立体視画像を立体視画像表示装置で表示し、
   ジェスチャーセンサーでジェスチャーを感知し、前記ジェスチャーの現時点の状態をジェスチャーの現状態として取得し、
   前記立体視画像の現時点の直前状態を立体視画像の前状態として取得し、
   前記ジェスチャーの現時点の直前状態をジェスチャーの前状態として取得し、
   前記ジェスチャーの現状態と前記ジェスチャーの前状態とに基づいて、ジェスチャーを反映した立体座標の変動を計算し、
   前記立体視画像の前状態と前記立体座標の変動とに基づいて、新立体視画像データを取得し、
   前記新立体視画像データに基づいて、前記立体視画像を更新し立体視画像表示装置で表示する、
   ことを特徴とする立体視画像表示システム。
9. 前記ジェスチャーセンサーでは、前記ジェスチャーを行う身体部分または指示装置の画像およびデプスマップを取得するように使用され、前記画像および前記デプスマップに従って前記ジェスチャーの複数のキーポジションの立体座標を計算し、前記ジェスチャーの前状態に基づいて、前記ジェスチャーを反映した立体座標の変動を取得する、請求項８に記載の立体視画像表示システム。
10. 前記ジェスチャーセンサーは、前記デプスマップを形成するように、飛行時間検出技術、音響波検出技術、両眼視差検出技術、又は構造化光検出技術によって前記ジェスチャーの深度情報を取得する、請求項９に記載の立体視画像表示システム。
11. 前記ジェスチャーを反映した立体座標の変動に基づいて、インタラクティブ・コマンドを決定し、前記インタラクティブ・コマンドは、クリックコマンド、スワイプコマンド、回転コマンド、またはズームコマンドであることを特徴とする、請求項９に記載の立体視画像表示システム。
12. 前記立体視画像の前状態および前記ジェスチャーを反映した立体座標の変動を用いて、前記立体視画像の速度、加速度、期間内の位置変化およびサイズ変化を含むジェスチャー動作データを計算し、これによって前記立体視画像表示装置が変化中の新しい立体視画像を表示する、請求項１１に記載の立体視画像表示システム。
13. 前記ジェスチャーの前状態は、ストレージに格納されている前記ジェスチャーの前時点による複数の重要な位置の立体座標と移動データを表し、前記立体視画像の前状態は、ストレージに格納されている前記立体視画像の前時点による立体座標と移動データを表す、請求項８に記載の立体視画像表示システム。
14. 立体視画像サーバを備え、前記立体視画像サーバは、ジェスチャーを反映した立体座標データを受信すると、前記立体視画像の前状態および前記ジェスチャーの前状態の取得を開始し、前記立体視画像サーバは、前記ジェスチャーの現状態および前記ジェスチャーの前状態に基づいて、前記ジェスチャーを反映した立体座標の変動を算出し、前記立体視画像の前状態およびジェスチャーを反映した立体座標の変動に応じて、新立体視画像データを取得する、請求項８に記載の立体視画像表示システム。
15. 前記ジェスチャーセンサーは、前記立体視画像表示装置の側面に配置され、前記立体視画像表示装置によって表示される立体画像をカバーする有効感知ゾーンを設定し、前記有効感知ゾーン内で前記ジェスチャーが検知されることが可能である、請求項８乃至１４のいずれか１項に記載の立体視画像表示システム。

Images