JP2004046311A - ３次元仮想空間におけるジェスチャ入力方法およびその装置 - Google Patents
３次元仮想空間におけるジェスチャ入力方法およびその装置 Download PDFInfo
- Publication number
- JP2004046311A JP2004046311A JP2002199457A JP2002199457A JP2004046311A JP 2004046311 A JP2004046311 A JP 2004046311A JP 2002199457 A JP2002199457 A JP 2002199457A JP 2002199457 A JP2002199457 A JP 2002199457A JP 2004046311 A JP2004046311 A JP 2004046311A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- avatar
- user
- information
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Toys (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】安価に、かつ直感的で単純な操作で仮想空間内での利用者を象徴するアバタ動作の入力インタフェースを実現する。
【解決手段】仮想空間内ジェスチャ入力装置１では、圧力検出パネル１１を透明アクリル板１２等を天板に用いた机の上に設置し、ユーザの手によるジェスチャにおける圧力検出パネル１１との接触情報を、裏面からビデオカメラ１３で撮影し、ビデオ信号を端末装置２１Ａに入力する。端末装置２１Ａは、ビデオ信号に対し、指、手などによる圧力検出点の数、範囲などを認識し、得られた圧力検出点の数、範囲等から、ジェスチャ認識条件テーブルを参照して、接触情報をアバタジェスチャ命令に変換する。端末装置２１Ａは、アバタジェスチャ命令により、ＣＲＴディスプレイ２２Ａに描画した仮想空間の自アバタの動作を制御したり、他のユーザの端末に送信してそのアバタ動作を制御したりする。
【選択図】 図２
【解決手段】仮想空間内ジェスチャ入力装置１では、圧力検出パネル１１を透明アクリル板１２等を天板に用いた机の上に設置し、ユーザの手によるジェスチャにおける圧力検出パネル１１との接触情報を、裏面からビデオカメラ１３で撮影し、ビデオ信号を端末装置２１Ａに入力する。端末装置２１Ａは、ビデオ信号に対し、指、手などによる圧力検出点の数、範囲などを認識し、得られた圧力検出点の数、範囲等から、ジェスチャ認識条件テーブルを参照して、接触情報をアバタジェスチャ命令に変換する。端末装置２１Ａは、アバタジェスチャ命令により、ＣＲＴディスプレイ２２Ａに描画した仮想空間の自アバタの動作を制御したり、他のユーザの端末に送信してそのアバタ動作を制御したりする。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、仮想空間内で利用者を象徴するＣＧモデルであるアバタの移動・動作のための入力方法およびその装置に関し、具体的には、インターネットなどを介して提供される仮想空間において、利用者が当該仮想空間内における自己の存在を示すＣＧモデルであるアバタの動作制御を行う際に、仮想空間内のアバタ動作処理に必要とされる仮想空間内アバタ動作情報を生成し、制御するための仮想空間内でのアバタ動作の入力方法およびその装置に関する。
【０００２】
【従来の技術】
近年、インターネットなどにより、サイバースペースと呼ばれる仮想空間が提供されている。これを参照するユーザ（利用者）は、コンピュータ端末上に表示される仮想空間を移動しながら、情報を体感的に取得したり、これらの仮想空間を他のユーザと共有することによって、他のユーザとの間でコミュニケーションを楽しむことなどができる。これらコンピュータ上に表示された仮想空間内のユーザを象徴する３次元ＣＧモデルであるアバタに対する動作入力のためのインタフェース装置として、マウス、データグローブなどが一般的である。
【０００３】
マウスを用いた入力手法としては、あらかじめ決められた動作指示を示すボタンなどが用意され、マウスのポインタを用いてそれらのボタンをクリックすることによって動作指示を行う形態が一般的である。また、多数のセンサを内蔵したデータグローブをユーザが装着することによって、ユーザの手の形を認識することができ、なんらかのジェスチャをすることによってコンピュータが認識する形態が一般的である。
【０００４】
【発明が解決しようとする課題】
前記のように、従来の仮想空間内のアバタに対する動作入力のためのインタフェース装置として用いられるマウスやデータグローブなどは、アバタに対する動作入力の手段としては、直感的に理解できるものではない。また、データグローブは、その装置自体が特殊で高価なものであり、一般的な普及は望めない。
【０００５】
本発明は、前記従来の技術の問題を解決するため、比較的安価な部品を用いて、直感的なインタフェース装置を構成することを可能とする３次元仮想空間でのアバタ動作の入力方法および装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明は、前記の課題を解決するため、以下の仮想空間内アバタジェスチャ入力方法を特徴とする。
【０００７】
すなわち、仮想空間内に利用者を象徴する３次元ＣＧによる人型モデルであるアバタを表示する表示手順と、現実空間の所定領域面内での利用者の手によるジェスチャにおける接触情報を入力する入力手順と、当該接触情報を当該仮想空間内のアバタ動作情報に変換する変換手順と、当該アバタ動作情報により前記接触情報を当該仮想空間内のアバタの動作に反映する制御手順と、を有することを特徴とする。
【０００８】
あるいは、前記変換手順では、前記接触情報として、様々な手の形による当該現実空間内の所定領域面と手もしくは指との接触領域の数、および接触領域の大きさの一方もしくは双方によって、手もしくは指による接触情報をアバタ動作情報に変換することを特徴とする。
【０００９】
あるいは、前記表示手順では、仮想空間内にＣＧモデルを表示するための仮想空間システムを有する利用者の端末同士がネットワークを介して接続され、ある利用者の移動・動作情報がネットワークを介して他の端末に伝達されて、当該利用者の移動・動作を仮想空間内の当該利用者のアバタの移動・動作として表現することにより利用者同士が共有する仮想空間内に自他のアバタを表示し、前記制御手順では、アバタ動作情報を、当該仮想空間内の自アバタの動作に反映するとともに、他の利用者の端末に当該利用者の移動・動作情報として伝達することを特徴とする。
【００１０】
また、本発明は、前記の課題を解決するために、以下の仮想空間内アバタジェスチャ入力装置を特徴とする。
【００１１】
すなわち、仮想空間内に利用者を象徴する３次元ＣＧによる人型モデルであるアバタを表示し、アバタ動作情報が与えられると当該アバタの動作を仮想空間内で表現する仮想空間システム、および現実空間の所定領域内での手のジェスチャによる接触情報を当該仮想空間におけるアバタ動作情報に変換し、当該アバタ動作情報を前記仮想空間システムに与える変換処理手段を有する端末装置と、現実空間の所定領域面内での手のジェスチャによる接触情報を前記変換処理手段に入力する仮想空間内ジェスチャ入力手段と、を備えることを特徴とする。
【００１２】
あるいは、前記仮想空間内ジェスチャ入力手段は、手もしくは指を接触させる所定領域面を有し、当該領域面内における手のジェスチャによる手もしくは指との接触領域の数、および接触領域の大きさの一方もしくは双方を検知するための接触情報入力手段と、前記接触情報入力手段における所定領域面である接触面を撮影する撮像手段と、を有し、前記端末装置において、変換処理手段は、撮像手段によって撮影された前記接触面の映像から得られる接触情報を、画像処理によって前記仮想空間内のアバタ動作情報に変換するものであることを特徴とする。
【００１３】
あるいは、前記端末装置において、ネットワークを介して他の利用者の端末装置に接続し、アバタ動作情報を他の利用者の端末装置に利用者の移動・動作情報として伝達すると共に、他の端末から伝達される利用者の移動・動作情報を受信するネットワーク制御手段を有し、前記仮想空間システムは、利用者の移動・動作情報をネットワークを介して端末装置同士で伝達しあって、利用者の移動・動作を仮想空間内の当該利用者のアバタの移動・動作として表現することにより仮想空間を共有するものであり、アバタ動作情報を当該仮想空間内の自アバタの動作に反映する表示制御手段を有することを特徴とする。
【００１４】
本発明では、利用者が、手を圧力検出パネルに接触させるなど、現実空間の所定領域内での手によるジェスチャにおける接触情報を、例えば様々な手の形による現実空間内の所定領域面と手や指との接触点の数、接触領域の大きさを要因としたジェスチャ変換を用いて、仮想空間内でのアバタ動作情報に変換し、当該接触情報を当該仮想空間内のアバタの動作に反映したり、他の端末へ移動・動作情報として伝達することにより、安価に、かつ非常に直感的で単純な操作によって仮想空間内でのアバタ動作の入力インタフェースを実現する。
【００１５】
【発明の実施の形態】
以下、添付図面を参照しつつ、本発明の実施の形態を装置例および方法例について説明する。
【００１６】
図１は、本発明の仮想空間内ジェスチャ入力装置を構成する素材の特徴を示したものである。薄板状の圧力検出パネルに対して、指などを用いて押下することによって、その圧力を検知し、表面からその板を参照した際に、色の変化などが生じる特徴を持っている。
【００１７】
図２は、本発明の仮想空間内ジェスチャ入力装置を、これが適用される仮想空間システムとともに示す図である。仮想空間内ジェスチャ入力装置１では、図１に示すように、前記薄板状の圧力検出パネル１１を透明アクリル板１２などを天板に用いた机の上に設置し、人の手による圧力検出パネル１１への接触情報を裏面からビデオカメラ１３などの撮像装置により撮影する。
【００１８】
ここで、仮想空間内ジェスチャ入力装置１におけるビデオカメラ１３などの撮像装置は、前記圧力検出パネル１１を裏面から見た圧力検出点、圧力検出点の範囲などを検出するための撮像を、逐次、ユーザＡの端末２Ａの端末装置２１Ａに対して入力する。
【００１９】
ユーザＡの端末２Ａにおいて、仮想空間システムを構成する端末装置２１Ａは、仮想空間中のユーザＡの視点位置情報を基に、当該ユーザＡの視点から見た仮想空間の画像をＣＲＴディスプレイ２２Ａ等の表示手段に描画する。
【００２０】
また、図２では、当該仮想空間システムを有する複数のユーザ端末２Ａ，２Ｂがネットワーク３を介して接続され、互いに視点の移動情報やアバタ動作情報を伝達することにより、ユーザ同士で共有する仮想空間内に人間を模して表現されたアバタを移動・動作させることが可能な端末装置２１Ａ，２１ＢとＣＲＴディスプレイ２２Ａ，２２Ｂからなる仮想空間通信システムも示している。なお、図２では２台の端末のみを示しており、またユーザＢの端末における仮想空間内ジェスチャ入力装置は省略している。
【００２１】
図３は、ユーザ端末における端末装置２１内のモジュール構成を示したものである。端末装置２１内のモジュールは、前記圧力検出パネルを表面から撮像するビデオカメラ１３の出力を取り込み、デジタル画像信号情報に変換するビデオ信号変換部２１１、前記得られたデジタル画像信号情報に対し、指、手などによる圧力検出点の数、範囲などを認識するビデオ映像認識部２１２、前記得られた圧力検出点の数、範囲などから、ジェスチャ認識条件テーブル２１３を参照し、得られた画像がどのジェスチャに対応するかを識別し、自ユーザアバタへのジェスチャ命令をネットワーク制御部２１４とネットワーク３を介して他ユーザ端末へ配信するアバタジェスチャ命令管理部２１５、ネットワーク３とネットワーク制御部２１４を介して受信したアバタへのジェスチャ命令を受信するアバタジェスチャ命令受信部２１６、アバタジェスチャ命令管理部２１５から受け取った当該アバタへのジェスチャ命令、およびアバタジェスチャ情報テーブル２１７から取り出した当該ジェスチャ動作データを用いて、ＣＲＴディスプレイ２２ヘの描画を行うアバタ表示制御部２１８からなる。
【００２２】
前記接触点の数、および接触領域の大きさを要因としたアバタジェスチャヘの変換ルールを示すテーブル例を表１に示す。
【００２３】
【表１】
【００２４】
図４から図６は、表１に示されたアバタジェスチャ変換ルールテーブルに基づいた本実施形態例におけるジェスチャ入力の例を示している。なお、仮想空間内の移動に関しては、特願平１１−６６０４１号のような指の動きを用いた移動入力方法を併用することが考えられる。本実施形態例では、特に立ち止まる、座るなどのジェスチャ入力を行う方式について焦点を当てている。
【００２５】
図４は、移動の後の立ち止まる例を示している。指によって移動させた後、人差し指、中指を圧力検出パネルに接触させながらその動きを停止させた場合、立ち止まるジェスチャが認識される。
【００２６】
図５は、「休め」のジェスチャの入力例を示したものである。ここでは、前記立ち止まった後に、親指を接触させることにより、接触点が３箇所となり、この際、「休め」が認識される。
【００２７】
図６は、「着席」のジェスチャの入力例を示したものである。ここでは、手の腹を接触させた状態により、接触点が４箇所となり、その内、範囲の広い接触点が含まれる場合、「着席」が認識される。
【００２８】
【発明の効果】
以上説明したように、本発明によれば、ユーザは、手を圧力検出パネル等の所定領域面に接触させて、その接触情報を、例えば接触点の数、接触領域の大きさを要因としたジェスチャ変換などで、当該仮想空間内のアバタ動作情報に変換するようにしたので、安価で、かつ非常に直感的で単純な操作によって仮想空間内でのアバタジェスチャを実現することが可能となる。
【００２９】
また、接触点の数、接触領域の大きさを要因としたジェスチャ変換ルールを変更することにより、ジェスチャヘの変換のカスタマイズが容易に実現できる。
【図面の簡単な説明】
【図１】仮想空間内ジェスチャ入力装置用素材を示す図
【図２】本発明の一実施形態例を示す仮想空間システム構成図
【図３】ユーザ端末における端末装置内のモジュール構成図
【図４】「立ち止まり」のジェスチャ入力例を示す図
【図５】「休め」のジェスチャ入力例を示す図
【図６】「着席」のジェスチャ入力例を示す図
【符号の説明】
１…仮想空間内ジェスチャ入力装置
１１…圧力検出パネル
１２…透明アクリル板
１３…ビデオカメラ
２Ａ，２Ｂ…仮想空間システム利用者端末
２１，２１Ａ，２１Ｂ…端末装置
２１１…ビデオ信号変換部
２１２…ビデオ映像認識部
２１３…ジェスチャ認識条件テーブル
２１４…ネットワーク制御部
２１５…アバタジェスチャ命令管理部
２１６…アバタジェスチャ命令受信部
２１７…アバタジェスチャ情報テーブル
２１８…アバタ表示制御部
２２，２２Ａ，２２Ｂ…ＣＲＴディスプレイ
３…ネットワーク
【発明の属する技術分野】
本発明は、仮想空間内で利用者を象徴するＣＧモデルであるアバタの移動・動作のための入力方法およびその装置に関し、具体的には、インターネットなどを介して提供される仮想空間において、利用者が当該仮想空間内における自己の存在を示すＣＧモデルであるアバタの動作制御を行う際に、仮想空間内のアバタ動作処理に必要とされる仮想空間内アバタ動作情報を生成し、制御するための仮想空間内でのアバタ動作の入力方法およびその装置に関する。
【０００２】
【従来の技術】
近年、インターネットなどにより、サイバースペースと呼ばれる仮想空間が提供されている。これを参照するユーザ（利用者）は、コンピュータ端末上に表示される仮想空間を移動しながら、情報を体感的に取得したり、これらの仮想空間を他のユーザと共有することによって、他のユーザとの間でコミュニケーションを楽しむことなどができる。これらコンピュータ上に表示された仮想空間内のユーザを象徴する３次元ＣＧモデルであるアバタに対する動作入力のためのインタフェース装置として、マウス、データグローブなどが一般的である。
【０００３】
マウスを用いた入力手法としては、あらかじめ決められた動作指示を示すボタンなどが用意され、マウスのポインタを用いてそれらのボタンをクリックすることによって動作指示を行う形態が一般的である。また、多数のセンサを内蔵したデータグローブをユーザが装着することによって、ユーザの手の形を認識することができ、なんらかのジェスチャをすることによってコンピュータが認識する形態が一般的である。
【０００４】
【発明が解決しようとする課題】
前記のように、従来の仮想空間内のアバタに対する動作入力のためのインタフェース装置として用いられるマウスやデータグローブなどは、アバタに対する動作入力の手段としては、直感的に理解できるものではない。また、データグローブは、その装置自体が特殊で高価なものであり、一般的な普及は望めない。
【０００５】
本発明は、前記従来の技術の問題を解決するため、比較的安価な部品を用いて、直感的なインタフェース装置を構成することを可能とする３次元仮想空間でのアバタ動作の入力方法および装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明は、前記の課題を解決するため、以下の仮想空間内アバタジェスチャ入力方法を特徴とする。
【０００７】
すなわち、仮想空間内に利用者を象徴する３次元ＣＧによる人型モデルであるアバタを表示する表示手順と、現実空間の所定領域面内での利用者の手によるジェスチャにおける接触情報を入力する入力手順と、当該接触情報を当該仮想空間内のアバタ動作情報に変換する変換手順と、当該アバタ動作情報により前記接触情報を当該仮想空間内のアバタの動作に反映する制御手順と、を有することを特徴とする。
【０００８】
あるいは、前記変換手順では、前記接触情報として、様々な手の形による当該現実空間内の所定領域面と手もしくは指との接触領域の数、および接触領域の大きさの一方もしくは双方によって、手もしくは指による接触情報をアバタ動作情報に変換することを特徴とする。
【０００９】
あるいは、前記表示手順では、仮想空間内にＣＧモデルを表示するための仮想空間システムを有する利用者の端末同士がネットワークを介して接続され、ある利用者の移動・動作情報がネットワークを介して他の端末に伝達されて、当該利用者の移動・動作を仮想空間内の当該利用者のアバタの移動・動作として表現することにより利用者同士が共有する仮想空間内に自他のアバタを表示し、前記制御手順では、アバタ動作情報を、当該仮想空間内の自アバタの動作に反映するとともに、他の利用者の端末に当該利用者の移動・動作情報として伝達することを特徴とする。
【００１０】
また、本発明は、前記の課題を解決するために、以下の仮想空間内アバタジェスチャ入力装置を特徴とする。
【００１１】
すなわち、仮想空間内に利用者を象徴する３次元ＣＧによる人型モデルであるアバタを表示し、アバタ動作情報が与えられると当該アバタの動作を仮想空間内で表現する仮想空間システム、および現実空間の所定領域内での手のジェスチャによる接触情報を当該仮想空間におけるアバタ動作情報に変換し、当該アバタ動作情報を前記仮想空間システムに与える変換処理手段を有する端末装置と、現実空間の所定領域面内での手のジェスチャによる接触情報を前記変換処理手段に入力する仮想空間内ジェスチャ入力手段と、を備えることを特徴とする。
【００１２】
あるいは、前記仮想空間内ジェスチャ入力手段は、手もしくは指を接触させる所定領域面を有し、当該領域面内における手のジェスチャによる手もしくは指との接触領域の数、および接触領域の大きさの一方もしくは双方を検知するための接触情報入力手段と、前記接触情報入力手段における所定領域面である接触面を撮影する撮像手段と、を有し、前記端末装置において、変換処理手段は、撮像手段によって撮影された前記接触面の映像から得られる接触情報を、画像処理によって前記仮想空間内のアバタ動作情報に変換するものであることを特徴とする。
【００１３】
あるいは、前記端末装置において、ネットワークを介して他の利用者の端末装置に接続し、アバタ動作情報を他の利用者の端末装置に利用者の移動・動作情報として伝達すると共に、他の端末から伝達される利用者の移動・動作情報を受信するネットワーク制御手段を有し、前記仮想空間システムは、利用者の移動・動作情報をネットワークを介して端末装置同士で伝達しあって、利用者の移動・動作を仮想空間内の当該利用者のアバタの移動・動作として表現することにより仮想空間を共有するものであり、アバタ動作情報を当該仮想空間内の自アバタの動作に反映する表示制御手段を有することを特徴とする。
【００１４】
本発明では、利用者が、手を圧力検出パネルに接触させるなど、現実空間の所定領域内での手によるジェスチャにおける接触情報を、例えば様々な手の形による現実空間内の所定領域面と手や指との接触点の数、接触領域の大きさを要因としたジェスチャ変換を用いて、仮想空間内でのアバタ動作情報に変換し、当該接触情報を当該仮想空間内のアバタの動作に反映したり、他の端末へ移動・動作情報として伝達することにより、安価に、かつ非常に直感的で単純な操作によって仮想空間内でのアバタ動作の入力インタフェースを実現する。
【００１５】
【発明の実施の形態】
以下、添付図面を参照しつつ、本発明の実施の形態を装置例および方法例について説明する。
【００１６】
図１は、本発明の仮想空間内ジェスチャ入力装置を構成する素材の特徴を示したものである。薄板状の圧力検出パネルに対して、指などを用いて押下することによって、その圧力を検知し、表面からその板を参照した際に、色の変化などが生じる特徴を持っている。
【００１７】
図２は、本発明の仮想空間内ジェスチャ入力装置を、これが適用される仮想空間システムとともに示す図である。仮想空間内ジェスチャ入力装置１では、図１に示すように、前記薄板状の圧力検出パネル１１を透明アクリル板１２などを天板に用いた机の上に設置し、人の手による圧力検出パネル１１への接触情報を裏面からビデオカメラ１３などの撮像装置により撮影する。
【００１８】
ここで、仮想空間内ジェスチャ入力装置１におけるビデオカメラ１３などの撮像装置は、前記圧力検出パネル１１を裏面から見た圧力検出点、圧力検出点の範囲などを検出するための撮像を、逐次、ユーザＡの端末２Ａの端末装置２１Ａに対して入力する。
【００１９】
ユーザＡの端末２Ａにおいて、仮想空間システムを構成する端末装置２１Ａは、仮想空間中のユーザＡの視点位置情報を基に、当該ユーザＡの視点から見た仮想空間の画像をＣＲＴディスプレイ２２Ａ等の表示手段に描画する。
【００２０】
また、図２では、当該仮想空間システムを有する複数のユーザ端末２Ａ，２Ｂがネットワーク３を介して接続され、互いに視点の移動情報やアバタ動作情報を伝達することにより、ユーザ同士で共有する仮想空間内に人間を模して表現されたアバタを移動・動作させることが可能な端末装置２１Ａ，２１ＢとＣＲＴディスプレイ２２Ａ，２２Ｂからなる仮想空間通信システムも示している。なお、図２では２台の端末のみを示しており、またユーザＢの端末における仮想空間内ジェスチャ入力装置は省略している。
【００２１】
図３は、ユーザ端末における端末装置２１内のモジュール構成を示したものである。端末装置２１内のモジュールは、前記圧力検出パネルを表面から撮像するビデオカメラ１３の出力を取り込み、デジタル画像信号情報に変換するビデオ信号変換部２１１、前記得られたデジタル画像信号情報に対し、指、手などによる圧力検出点の数、範囲などを認識するビデオ映像認識部２１２、前記得られた圧力検出点の数、範囲などから、ジェスチャ認識条件テーブル２１３を参照し、得られた画像がどのジェスチャに対応するかを識別し、自ユーザアバタへのジェスチャ命令をネットワーク制御部２１４とネットワーク３を介して他ユーザ端末へ配信するアバタジェスチャ命令管理部２１５、ネットワーク３とネットワーク制御部２１４を介して受信したアバタへのジェスチャ命令を受信するアバタジェスチャ命令受信部２１６、アバタジェスチャ命令管理部２１５から受け取った当該アバタへのジェスチャ命令、およびアバタジェスチャ情報テーブル２１７から取り出した当該ジェスチャ動作データを用いて、ＣＲＴディスプレイ２２ヘの描画を行うアバタ表示制御部２１８からなる。
【００２２】
前記接触点の数、および接触領域の大きさを要因としたアバタジェスチャヘの変換ルールを示すテーブル例を表１に示す。
【００２３】
【表１】
図４から図６は、表１に示されたアバタジェスチャ変換ルールテーブルに基づいた本実施形態例におけるジェスチャ入力の例を示している。なお、仮想空間内の移動に関しては、特願平１１−６６０４１号のような指の動きを用いた移動入力方法を併用することが考えられる。本実施形態例では、特に立ち止まる、座るなどのジェスチャ入力を行う方式について焦点を当てている。
【００２５】
図４は、移動の後の立ち止まる例を示している。指によって移動させた後、人差し指、中指を圧力検出パネルに接触させながらその動きを停止させた場合、立ち止まるジェスチャが認識される。
【００２６】
図５は、「休め」のジェスチャの入力例を示したものである。ここでは、前記立ち止まった後に、親指を接触させることにより、接触点が３箇所となり、この際、「休め」が認識される。
【００２７】
図６は、「着席」のジェスチャの入力例を示したものである。ここでは、手の腹を接触させた状態により、接触点が４箇所となり、その内、範囲の広い接触点が含まれる場合、「着席」が認識される。
【００２８】
【発明の効果】
以上説明したように、本発明によれば、ユーザは、手を圧力検出パネル等の所定領域面に接触させて、その接触情報を、例えば接触点の数、接触領域の大きさを要因としたジェスチャ変換などで、当該仮想空間内のアバタ動作情報に変換するようにしたので、安価で、かつ非常に直感的で単純な操作によって仮想空間内でのアバタジェスチャを実現することが可能となる。
【００２９】
また、接触点の数、接触領域の大きさを要因としたジェスチャ変換ルールを変更することにより、ジェスチャヘの変換のカスタマイズが容易に実現できる。
【図面の簡単な説明】
【図１】仮想空間内ジェスチャ入力装置用素材を示す図
【図２】本発明の一実施形態例を示す仮想空間システム構成図
【図３】ユーザ端末における端末装置内のモジュール構成図
【図４】「立ち止まり」のジェスチャ入力例を示す図
【図５】「休め」のジェスチャ入力例を示す図
【図６】「着席」のジェスチャ入力例を示す図
【符号の説明】
１…仮想空間内ジェスチャ入力装置
１１…圧力検出パネル
１２…透明アクリル板
１３…ビデオカメラ
２Ａ，２Ｂ…仮想空間システム利用者端末
２１，２１Ａ，２１Ｂ…端末装置
２１１…ビデオ信号変換部
２１２…ビデオ映像認識部
２１３…ジェスチャ認識条件テーブル
２１４…ネットワーク制御部
２１５…アバタジェスチャ命令管理部
２１６…アバタジェスチャ命令受信部
２１７…アバタジェスチャ情報テーブル
２１８…アバタ表示制御部
２２，２２Ａ，２２Ｂ…ＣＲＴディスプレイ
３…ネットワーク
Claims (6)
- 仮想空間内に利用者を象徴する３次元ＣＧによる人型モデルであるアバタを表示する表示手順と、
現実空間の所定領域面内での利用者の手によるジェスチャにおける接触情報を入力する入力手順と、
当該接触情報を当該仮想空間内のアバタ動作情報に変換する変換手順と、
当該アバタ動作情報により前記接触情報を当該仮想空間内のアバタの動作に反映する制御手順と、を有する
ことを特徴とする３次元仮想空間におけるジェスチャ入力方法。 - 前記変換手順では、
前記接触情報として、様々な手の形による当該現実空間内の所定領域面と手もしくは指との接触領域の数、および接触領域の大きさの一方もしくは双方によって、手もしくは指による接触情報をアバタ動作情報に変換する
ことを特徴とする請求項１に記載の３次元仮想空間におけるジェスチャ入力方法。 - 前記表示手順では、
仮想空間内にＣＧモデルを表示するための仮想空間システムを有する利用者の端末同士がネットワークを介して接続され、ある利用者の移動・動作情報がネットワークを介して他の端末に伝達されて、当該利用者の移動・動作を仮想空間内の当該利用者のアバタの移動・動作として表現することにより利用者同士が共有する仮想空間内に自他のアバタを表示し、
前記制御手順では、
アバタ動作情報を、当該仮想空間内の自アバタの動作に反映するとともに、他の利用者の端末に当該利用者の移動・動作情報として伝達する
ことを特徴とする請求項１または２に記載の３次元仮想空間におけるジェスチャ入力方法。 - 仮想空間内に利用者を象徴する３次元ＣＧによる人型モデルであるアバタを表示し、アバタ動作情報が与えられると当該アバタの動作を仮想空間内で表現する仮想空間システム、
および現実空間の所定領域内での手のジェスチャによる接触情報を当該仮想空間におけるアバタ動作情報に変換し、当該アバタ動作情報を前記仮想空間システムに与える変換処理手段を有する端末装置と、
現実空間の所定領域面内での手のジェスチャによる接触情報を前記変換処理手段に入力する仮想空間内ジェスチャ入力手段と、を備える
ことを特徴とする３次元仮想空間におけるジェスチャ入力装置。 - 前記仮想空間内ジェスチャ入力手段は、
手もしくは指を接触させる所定領域面を有し、当該領域面内における手のジェスチャによる手もしくは指との接触領域の数、および接触領域の大きさの一方もしくは双方を検知するための接触情報入力手段と、
前記接触情報入力手段における所定領域面である接触面を撮影する撮像手段と、を有し、
前記端末装置において、
変換処理手段は、撮像手段によって撮影された前記接触面の映像から得られる接触情報を、画像処理によって前記仮想空間内のアバタ動作情報に変換するものである
ことを特徴とする請求項４に記載の３次元仮想空間におけるジェスチャ入力装置。 - 前記端末装置において、
ネットワークを介して他の利用者の端末装置に接続し、アバタ動作情報を他の利用者の端末装置に利用者の移動・動作情報として伝達すると共に、他の端末から伝達される利用者の移動・動作情報を受信するネットワーク制御手段を有し、前記仮想空間システムは、利用者の移動・動作情報をネットワークを介して端末装置同士で伝達しあって、利用者の移動・動作を仮想空間内の当該利用者のアバタの移動・動作として表現することにより仮想空間を共有するものであり、
アバタ動作情報を当該仮想空間内の自アバタの動作に反映する表示制御手段を有する
ことを特徴とする請求項４または５に記載の３次元仮想空間におけるジェスチャ入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002199457A JP2004046311A (ja) | 2002-07-09 | 2002-07-09 | ３次元仮想空間におけるジェスチャ入力方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002199457A JP2004046311A (ja) | 2002-07-09 | 2002-07-09 | ３次元仮想空間におけるジェスチャ入力方法およびその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004046311A true JP2004046311A (ja) | 2004-02-12 |
Family
ID=31706584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002199457A Pending JP2004046311A (ja) | 2002-07-09 | 2002-07-09 | ３次元仮想空間におけるジェスチャ入力方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004046311A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006040271A (ja) * | 2004-06-28 | 2006-02-09 | Microsoft Corp | ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用 |
| WO2007061057A1 (ja) * | 2005-11-25 | 2007-05-31 | Matsushita Electric Industrial Co., Ltd. | ジェスチャー入力装置、及び方法 |
| JP2009217543A (ja) * | 2008-03-11 | 2009-09-24 | Brother Ind Ltd | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム |
| JP2010535364A (ja) * | 2007-03-01 | 2010-11-18 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | インタラクティブにユーザ制御されたアバターアニメーション |
| CN106232192A (zh) * | 2014-03-14 | 2016-12-14 | 索尼互动娱乐股份有限公司 | 具有可旋转放置的摄像机的玩游戏装置 |
| CN114020192A (zh) * | 2021-09-18 | 2022-02-08 | 特斯联科技集团有限公司 | 一种基于曲面电容实现非金属平面的互动方法和系统 |
-
2002
- 2002-07-09 JP JP2002199457A patent/JP2004046311A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006040271A (ja) * | 2004-06-28 | 2006-02-09 | Microsoft Corp | ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用 |
| WO2007061057A1 (ja) * | 2005-11-25 | 2007-05-31 | Matsushita Electric Industrial Co., Ltd. | ジェスチャー入力装置、及び方法 |
| JP2010535364A (ja) * | 2007-03-01 | 2010-11-18 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | インタラクティブにユーザ制御されたアバターアニメーション |
| JP2009217543A (ja) * | 2008-03-11 | 2009-09-24 | Brother Ind Ltd | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム |
| JP4670879B2 (ja) * | 2008-03-11 | 2011-04-13 | ブラザー工業株式会社 | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム |
| CN106232192A (zh) * | 2014-03-14 | 2016-12-14 | 索尼互动娱乐股份有限公司 | 具有可旋转放置的摄像机的玩游戏装置 |
| CN114020192A (zh) * | 2021-09-18 | 2022-02-08 | 特斯联科技集团有限公司 | 一种基于曲面电容实现非金属平面的互动方法和系统 |
| CN114020192B (zh) * | 2021-09-18 | 2024-04-02 | 特斯联科技集团有限公司 | 一种基于曲面电容实现非金属平面的互动方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Interaction methods for smart glasses: A survey | |
| US20200409532A1 (en) | Input device for vr/ar applications | |
| Yamashita et al. | CheekInput: turning your cheek into an input surface by embedded optical sensors on a head-mounted display | |
| Aghajan et al. | Human-centric interfaces for ambient intelligence | |
| KR20200099574A (ko) | 공중 햅틱 시스템들과의 인간 상호작용들 | |
| WO2015188614A1 (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
| CN102779000B (zh) | 一种用户交互系统和方法 | |
| CN110362231B (zh) | 抬头触控设备、图像显示的方法及装置 | |
| US20140022171A1 (en) | System and method for controlling an external system using a remote device with a depth sensor | |
| KR20220032059A (ko) | 증강 현실 시스템용 터치프리 인터페이스 | |
| WO2018230160A1 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
| CN106846496A (zh) | 基于混合现实技术的dicom影像查看系统及操作方法 | |
| JP2004078977A (ja) | インターフェイス装置 | |
| WO2021073743A1 (en) | Determining user input based on hand gestures and eye tracking | |
| JP6244069B1 (ja) | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム | |
| JP2004046311A (ja) | ３次元仮想空間におけるジェスチャ入力方法およびその装置 | |
| Zhang et al. | A hybrid 2D–3D tangible interface combining a smartphone and controller for virtual reality | |
| CN111901518A (zh) | 显示方法、装置和电子设备 | |
| Lee et al. | Towards augmented reality-driven human-city interaction: Current research and future challenges | |
| JP2004127173A (ja) | 位置検出入出力装置 | |
| CN109144235B (zh) | 基于头手协同动作的人机交互方法与系统 | |
| CN111258482B (zh) | 信息分享方法、头戴式设备及介质 | |
| Chen | Immersive analytics interaction: User preferences and agreements by task type | |
| CN111246014B (zh) | 通话方法、头戴式设备及介质 | |
| Schlattmann et al. | Efficient bimanual symmetric 3d manipulation for bare-handed interaction |