JP2001236520A - 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム - Google Patents
仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システムInfo
- Publication number
- JP2001236520A JP2001236520A JP2000042335A JP2000042335A JP2001236520A JP 2001236520 A JP2001236520 A JP 2001236520A JP 2000042335 A JP2000042335 A JP 2000042335A JP 2000042335 A JP2000042335 A JP 2000042335A JP 2001236520 A JP2001236520 A JP 2001236520A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- user
- alter ego
- dimensional
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 少ないマーカーやセンサで利用者の動作を認
識し、仮想空間内の分身を利用者の動作通りにほぼ動作
させる動作入力装置、方法を提供する。 【解決手段】 まず、利用者の頭、両手首、背中に取り
付けた磁気センサにより、頭と手首と中心点の三次元位
置、方向を検出する。次に両手を広げてキャリブレーシ
ョンを行い、センサの方向を合わせ、頭の磁気センサ位
置から分身の大きさを算出する。次に、算出した大きさ
と検出した位置と方向の分身情報を他の利用者の画像表
示端末装置に伝送する。各画像表示端末装置では、分身
情報に基づいて、分身の肩の位置、方向を算出し、手首
の位置と方向からインバースキネマティクスの数値計算
法を用いて腕の各関節の移動位置と方向を予測する。こ
の計算結果と分身情報から分身を動作させた仮想空間を
生成し、ディスプレイに三次元仮想空間を表示する。
識し、仮想空間内の分身を利用者の動作通りにほぼ動作
させる動作入力装置、方法を提供する。 【解決手段】 まず、利用者の頭、両手首、背中に取り
付けた磁気センサにより、頭と手首と中心点の三次元位
置、方向を検出する。次に両手を広げてキャリブレーシ
ョンを行い、センサの方向を合わせ、頭の磁気センサ位
置から分身の大きさを算出する。次に、算出した大きさ
と検出した位置と方向の分身情報を他の利用者の画像表
示端末装置に伝送する。各画像表示端末装置では、分身
情報に基づいて、分身の肩の位置、方向を算出し、手首
の位置と方向からインバースキネマティクスの数値計算
法を用いて腕の各関節の移動位置と方向を予測する。こ
の計算結果と分身情報から分身を動作させた仮想空間を
生成し、ディスプレイに三次元仮想空間を表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、各利用者を分身と
して表示し、利用者は分身を操作することで利用者の意
思で自由に移動ができる三次元仮想空間を表現すると共
に、仮想空間内において三次元オブジェクト（三次元の
物体および他の利用者の分身など）を表現することがで
きる端末装置をネットワークにより複数台接統し、複数
の利用者が遠隔地において仮想空間を共有し、利用者の
手足の動作を検出し、その動作を他の利用者に伝達し、
遠隔地にいる利用者の分身を動作させる仮想空間におけ
る動作入力方法および装置に関する。
して表示し、利用者は分身を操作することで利用者の意
思で自由に移動ができる三次元仮想空間を表現すると共
に、仮想空間内において三次元オブジェクト（三次元の
物体および他の利用者の分身など）を表現することがで
きる端末装置をネットワークにより複数台接統し、複数
の利用者が遠隔地において仮想空間を共有し、利用者の
手足の動作を検出し、その動作を他の利用者に伝達し、
遠隔地にいる利用者の分身を動作させる仮想空間におけ
る動作入力方法および装置に関する。
【０００２】
【従来の技術】動作を検出し分身を動作させる従来の方
法としては、光学式、磁気式、機械式などのモーション
キャプチャ方式により利用者の全関節の三次元位置と方
向を検出し、その位置と方向により分身を動作させて方
法がある。
法としては、光学式、磁気式、機械式などのモーション
キャプチャ方式により利用者の全関節の三次元位置と方
向を検出し、その位置と方向により分身を動作させて方
法がある。
【０００３】尚、モーションキャプチャは、ＣＧの世界
では多用されており、例えば、以下の文献などに記載さ
れている。
では多用されており、例えば、以下の文献などに記載さ
れている。
【０００４】文献１「Ｙｕｅｔｉｎｇ Ｚｈｕａｎｇ，
Ｘｉａｎｏｍｉｎｇ Ｌｉｕ，ａｎｄ Ｙｕｎｈｅ Ｐ
ａｎ：“Ｖｉｄｅｏ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ
Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ｔｒａｃｋｉｎｇ ａｎ
ｄ Ｓｋｅｌｔｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏ
ｎ”，ＩＥＥＥ ＩＣＩＰ １９９９，ＩＶ，ｐｐ．２
３２−２３６，Ｏｃｔ．１９９９」。
Ｘｉａｎｏｍｉｎｇ Ｌｉｕ，ａｎｄ Ｙｕｎｈｅ Ｐ
ａｎ：“Ｖｉｄｅｏ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ
Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ｔｒａｃｋｉｎｇ ａｎ
ｄ Ｓｋｅｌｔｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏ
ｎ”，ＩＥＥＥ ＩＣＩＰ １９９９，ＩＶ，ｐｐ．２
３２−２３６，Ｏｃｔ．１９９９」。
【０００５】文献２「楊大昭、安藤寛、Ｗｕ Ｗｅｉ、
国弘威、下田宏、吉川栄和：“人体の行動計測による自
然な人体モーションと顔表情の合成手法の検討”、Ｈｕ
ｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎ＆Ｒ，Ｖｏｌ．１３，
１９９８」。
国弘威、下田宏、吉川栄和：“人体の行動計測による自
然な人体モーションと顔表情の合成手法の検討”、Ｈｕ
ｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎ＆Ｒ，Ｖｏｌ．１３，
１９９８」。
【０００６】文献３「日経コンピュータグラフィック
ス、“モーションキャプチャ最新動向”、１９９９年３
月号」。
ス、“モーションキャプチャ最新動向”、１９９９年３
月号」。
【０００７】
【発明が解決しようとする課題】前述した従来の技術で
は、光学式の場合はマーカーを、磁気式の場合は磁気セ
ンサを全関節に装着したり、機械式の場合は重いスーツ
を装着しなければならず、装置の着脱に手間がかかった
り、装着したために動きが制約されたりするという問題
がある。
は、光学式の場合はマーカーを、磁気式の場合は磁気セ
ンサを全関節に装着したり、機械式の場合は重いスーツ
を装着しなければならず、装置の着脱に手間がかかった
り、装着したために動きが制約されたりするという問題
がある。
【０００８】本発明の課題は、少ないマーカーあるいは
センサで利用者の動作を認識し、仮想空間内の利用者の
分身を利用者の動作通りにほぼ動作させる仮想空間にお
ける動作入力方法および装置およびその動作入力プログ
ラムを提供することにある。
センサで利用者の動作を認識し、仮想空間内の利用者の
分身を利用者の動作通りにほぼ動作させる仮想空間にお
ける動作入力方法および装置およびその動作入力プログ
ラムを提供することにある。
【０００９】
【課題を解決するための手段】本発明は、以下に列記す
る手段により上記の課題を解決する。
る手段により上記の課題を解決する。
【００１０】その一手段は、各利用者を分身として表示
し、利用者は分身を操作することで利用者の意思で自由
に移動ができる三次元仮想空間を表現すると共に、仮想
空間内において三次元オブジェクト（三次元の物体およ
び他の利用者の分身など）を表現することができる端末
装置をネットワークにより複数台接続し、複数の利用者
が遠隔地において仮想空間内でコミュニケーションを図
る仮想空間システムにおいて、利用者の身体の末端と中
心点の位置と方向を検出する位置方向検出過程と、利用
者がキャリブレーションを行い利用者に合わせて利用者
の分身の大きさを計算する分身の大きさ計算過程と、前
記分身の大きさ計算過程より得られた分身の大きさ情報
と前記位置方向検出過程から検出された位置、方向情報
を他の利用者の端末装置に伝送する分身情報伝送過程
と、前記分身情報伝送過程により伝送された位置、方向
情報から遠隔にいる利用者の仮想空間における分身の各
関節の位置・回転量を計算する動作計算過程と、前記分
身情報伝送過程により伝送された分身の大きさ情報と前
記動作計算過程の計算結果に応じて分身を変更・動作さ
せた仮想空間の生成を行う三次元仮想空間生成過程と、
前記三次元仮想空間生成過程により生成された仮想空間
を表示する三次元仮想空間表示過程とを有することを特
徴とする仮想空間における動作入力方法である。
し、利用者は分身を操作することで利用者の意思で自由
に移動ができる三次元仮想空間を表現すると共に、仮想
空間内において三次元オブジェクト（三次元の物体およ
び他の利用者の分身など）を表現することができる端末
装置をネットワークにより複数台接続し、複数の利用者
が遠隔地において仮想空間内でコミュニケーションを図
る仮想空間システムにおいて、利用者の身体の末端と中
心点の位置と方向を検出する位置方向検出過程と、利用
者がキャリブレーションを行い利用者に合わせて利用者
の分身の大きさを計算する分身の大きさ計算過程と、前
記分身の大きさ計算過程より得られた分身の大きさ情報
と前記位置方向検出過程から検出された位置、方向情報
を他の利用者の端末装置に伝送する分身情報伝送過程
と、前記分身情報伝送過程により伝送された位置、方向
情報から遠隔にいる利用者の仮想空間における分身の各
関節の位置・回転量を計算する動作計算過程と、前記分
身情報伝送過程により伝送された分身の大きさ情報と前
記動作計算過程の計算結果に応じて分身を変更・動作さ
せた仮想空間の生成を行う三次元仮想空間生成過程と、
前記三次元仮想空間生成過程により生成された仮想空間
を表示する三次元仮想空間表示過程とを有することを特
徴とする仮想空間における動作入力方法である。
【００１１】あるいは、各利用者を分身として表示し、
利用者は分身を操作することで利用者の意思で自由に移
動ができる三次元仮想空間を表現すると共に、仮想空間
内において三次元オブジェクト（三次元の物体および他
の利用者の分身など）を表現することができる端末装置
をネットワークにより複数台接続し、複数の利用者が遠
隔地において仮想空間内でコミュニケーションを図る仮
想空間システムにおいて、利用者の身体の末端と中心点
の位置と方向を検出する位置方向検出手段と、利用者が
キャリブレーションを行い利用者に合わせて利用者の分
身の大きさを計算する分身の大きさ計算手段と、前記分
身の大きさ計算手段より得られた分身の大きさ情報と前
記位置方向検出手段から検出された位置、方向情報を他
の利用者の端末装置に伝送する分身情報伝送手段と、他
の端末装置の分身情報伝送手段により伝送された位置、
方向情報から遠隔にいる利用者の仮想空間における分身
の各関節の位置・回転量を計算する動作計算手段と、前
記他の端末装置の分身情報伝送手段により伝送された分
身の大きさ情報と前記動作計算手段の計算結果に応じて
分身を変更・動作させた仮想空間の生成を行う三次元仮
想空間生成手段と、前記三次元仮想空間生成手段により
生成された仮想空間を表示する三次元仮想空間表示手段
とを備えることを特徴とする仮想空間における動作入力
装置である。
利用者は分身を操作することで利用者の意思で自由に移
動ができる三次元仮想空間を表現すると共に、仮想空間
内において三次元オブジェクト（三次元の物体および他
の利用者の分身など）を表現することができる端末装置
をネットワークにより複数台接続し、複数の利用者が遠
隔地において仮想空間内でコミュニケーションを図る仮
想空間システムにおいて、利用者の身体の末端と中心点
の位置と方向を検出する位置方向検出手段と、利用者が
キャリブレーションを行い利用者に合わせて利用者の分
身の大きさを計算する分身の大きさ計算手段と、前記分
身の大きさ計算手段より得られた分身の大きさ情報と前
記位置方向検出手段から検出された位置、方向情報を他
の利用者の端末装置に伝送する分身情報伝送手段と、他
の端末装置の分身情報伝送手段により伝送された位置、
方向情報から遠隔にいる利用者の仮想空間における分身
の各関節の位置・回転量を計算する動作計算手段と、前
記他の端末装置の分身情報伝送手段により伝送された分
身の大きさ情報と前記動作計算手段の計算結果に応じて
分身を変更・動作させた仮想空間の生成を行う三次元仮
想空間生成手段と、前記三次元仮想空間生成手段により
生成された仮想空間を表示する三次元仮想空間表示手段
とを備えることを特徴とする仮想空間における動作入力
装置である。
【００１２】あるいは、上記の動作入力方法における各
過程の処理を計算機に実行させる動作入力プログラム
を、前記計算機が読み取り可能である記録媒体に記録し
たことを特徴とする仮想空間における動作入力プログラ
ムを記録した記録媒体である。
過程の処理を計算機に実行させる動作入力プログラム
を、前記計算機が読み取り可能である記録媒体に記録し
たことを特徴とする仮想空間における動作入力プログラ
ムを記録した記録媒体である。
【００１３】さらには、各利用者を分身として表示し、
利用者は分身を操作することで利用者の意思で自由に移
動ができる三次元仮想空間を表現すると共に、仮想空間
内において三次元オブジェクト（三次元の物体および他
の利用者の分身など）を表現することができる端末装置
をネットワークにより複数台接続し、複数の利用者が遠
隔地において仮想空間内でコミュニケーションを図る仮
想空間システムであって、前記端末装置が上記の仮想空
間における動作入力装置を有することを特徴とする仮想
空間システムである。
利用者は分身を操作することで利用者の意思で自由に移
動ができる三次元仮想空間を表現すると共に、仮想空間
内において三次元オブジェクト（三次元の物体および他
の利用者の分身など）を表現することができる端末装置
をネットワークにより複数台接続し、複数の利用者が遠
隔地において仮想空間内でコミュニケーションを図る仮
想空間システムであって、前記端末装置が上記の仮想空
間における動作入力装置を有することを特徴とする仮想
空間システムである。
【００１４】本発明では、他の端末装置から分身情報と
して伝送される利用者の手首・足首などの末端の点と中
心点の位置と方向から、当該利用者の分身の各関節の位
置・回転量を計算し、その計算結果に応じてその分身を
変更・動作させることにより、利用者の全関節にマーカ
ーあるいはセンサを装着したり、重いスーツを装着した
りせずに、仮想空間における前記利用者の分身を利用者
の動作通りにほぼ動作させることを可能とする。
して伝送される利用者の手首・足首などの末端の点と中
心点の位置と方向から、当該利用者の分身の各関節の位
置・回転量を計算し、その計算結果に応じてその分身を
変更・動作させることにより、利用者の全関節にマーカ
ーあるいはセンサを装着したり、重いスーツを装着した
りせずに、仮想空間における前記利用者の分身を利用者
の動作通りにほぼ動作させることを可能とする。
【００１５】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１６】〈システム構成の実施の形態〉本発明の仮
想空間システムのハードウェア構成は、基本的に図１の
ように、センタ装置１と複数の利用者の各画像表示端末
装置３Ａ，３Ｂ，３Ｃがネットワーク２により相互に接
続されている。画像表示端末装置としては、３Ａに示し
たように利用者が仮想空間に没入し立体視できる多面デ
ィスプレイシステムを用いたものや、３Ｂに示したよう
にＨＭＤ（ヘッド マウント ディスプレイ）を用いて
仮想空間を立体表示するものや、３Ｃに示したように汎
用ＰＣ（パーソナルコンピュータ）に表示するものなど
が使用可能である。尚、センタ装置１は、各画像表示端
末装置を管理するサーバであり、各画像表示端末装置が
仮想空間を共有できるようにするとともに、ある画像表
示端末装置からの分身情報を他の画像表示端末装置へ伝
送する機能を有する。
想空間システムのハードウェア構成は、基本的に図１の
ように、センタ装置１と複数の利用者の各画像表示端末
装置３Ａ，３Ｂ，３Ｃがネットワーク２により相互に接
続されている。画像表示端末装置としては、３Ａに示し
たように利用者が仮想空間に没入し立体視できる多面デ
ィスプレイシステムを用いたものや、３Ｂに示したよう
にＨＭＤ（ヘッド マウント ディスプレイ）を用いて
仮想空間を立体表示するものや、３Ｃに示したように汎
用ＰＣ（パーソナルコンピュータ）に表示するものなど
が使用可能である。尚、センタ装置１は、各画像表示端
末装置を管理するサーバであり、各画像表示端末装置が
仮想空間を共有できるようにするとともに、ある画像表
示端末装置からの分身情報を他の画像表示端末装置へ伝
送する機能を有する。
【００１７】〈動作入力の第１の実施の形態〉図２、図
３、図４、図５は、本発明の第１の実施の形態を説明す
る図である。本実施の形態では、利用者の動作として、
磁気センサにより利用者の上半身のみを計測し、伝送す
る場合について説明する。図４は、本実施の形態におけ
る処理フローを示す図である。
３、図４、図５は、本発明の第１の実施の形態を説明す
る図である。本実施の形態では、利用者の動作として、
磁気センサにより利用者の上半身のみを計測し、伝送す
る場合について説明する。図４は、本実施の形態におけ
る処理フローを示す図である。
【００１８】まず、図２のように、利用者の頭に磁気セ
ンサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、両手を
広げた時の中心（背中）に磁気センサ４Ｄを取り付け、
前記利用者の頭と手首と中心点の三次元位置および方向
を検出する。次に、図２のように両手を広げて手の甲を
上に向けた姿勢で前記利用者はキャリブレーションを行
い、センサの方向を合わせると共に、前記利用者の頭に
取り付けた磁気センサ４Ａの位置から分身の大きさ、あ
るいは分身の大きさを前記利用者の等身大とするための
比率を算出する。次に、算出した大きさあるいは比率に
よる大きさ情報と上記で検出した位置と方向の情報を分
身情報として他の利用者の画像表示端末装置にセンタ装
置１を介して伝送する。
ンサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、両手を
広げた時の中心（背中）に磁気センサ４Ｄを取り付け、
前記利用者の頭と手首と中心点の三次元位置および方向
を検出する。次に、図２のように両手を広げて手の甲を
上に向けた姿勢で前記利用者はキャリブレーションを行
い、センサの方向を合わせると共に、前記利用者の頭に
取り付けた磁気センサ４Ａの位置から分身の大きさ、あ
るいは分身の大きさを前記利用者の等身大とするための
比率を算出する。次に、算出した大きさあるいは比率に
よる大きさ情報と上記で検出した位置と方向の情報を分
身情報として他の利用者の画像表示端末装置にセンタ装
置１を介して伝送する。
【００１９】ここで分身は一種のリンク構造と見なし、
図３のように胴体を含めて全ての肢はリンク（頭、胴、
腰、上腕、下腕、手、大腿、すね、足）と関節から構成
し、各関節は３つ（Ｘ，Ｙ，Ｚ）の１方向に回転できる
ノードから構成され、各ノードは回転角を制限できるよ
うにし、不自然な動きを防ぐ。
図３のように胴体を含めて全ての肢はリンク（頭、胴、
腰、上腕、下腕、手、大腿、すね、足）と関節から構成
し、各関節は３つ（Ｘ，Ｙ，Ｚ）の１方向に回転できる
ノードから構成され、各ノードは回転角を制限できるよ
うにし、不自然な動きを防ぐ。
【００２０】次に、分身情報が送られた各画像表示端末
装置において、分身の頭の動作は、頭の磁気センサ４Ａ
から得られる値のみを用いて動作させ、中心点から肩ま
での距離を左右一定として予め入力しておき、前記利用
者の分身の肩の位置および方向を算出し、手首（末端ノ
ード）の位置と方向からニュートン法を用いたインバー
スキネマティクス（逆運動学）の数値計算法を用いて腕
の各関節の移動位置と方向を予測する。具体的なインバ
ースキネマティクスの数値計算は、図５に示す動作処理
フローのように行う。
装置において、分身の頭の動作は、頭の磁気センサ４Ａ
から得られる値のみを用いて動作させ、中心点から肩ま
での距離を左右一定として予め入力しておき、前記利用
者の分身の肩の位置および方向を算出し、手首（末端ノ
ード）の位置と方向からニュートン法を用いたインバー
スキネマティクス（逆運動学）の数値計算法を用いて腕
の各関節の移動位置と方向を予測する。具体的なインバ
ースキネマティクスの数値計算は、図５に示す動作処理
フローのように行う。
【００２１】図５に示すインバースキネマティクスの数
値計算処理においては、まず各関節の各ノードの角度を
変動させ、手首を変動させる。次に、変動後の手首の位
置をフォワードキネマティクス（順運動学）により計算
し、移動すべき位置との距離を測定する。次に、その測
定距離により最終的に移動すべき位置に近づいたかどう
かを判定し、距離が近づいた場合（ＹＥＳ）には当初の
通りに各ノードを動かし、遠のいた場合（ＮＯ）には逆
の方向に各ノードを動かす。これを繰り返し、移動させ
た位置と最終的に移動すべき位置との距離が設定した値
以下になるか、あるいは設定した演算回数になった場合
に計算を終了する。
値計算処理においては、まず各関節の各ノードの角度を
変動させ、手首を変動させる。次に、変動後の手首の位
置をフォワードキネマティクス（順運動学）により計算
し、移動すべき位置との距離を測定する。次に、その測
定距離により最終的に移動すべき位置に近づいたかどう
かを判定し、距離が近づいた場合（ＹＥＳ）には当初の
通りに各ノードを動かし、遠のいた場合（ＮＯ）には逆
の方向に各ノードを動かす。これを繰り返し、移動させ
た位置と最終的に移動すべき位置との距離が設定した値
以下になるか、あるいは設定した演算回数になった場合
に計算を終了する。
【００２２】次に、計算終了後、計算結果に応じて分身
を動作させた仮想空間の生成を行い、ディスプレイに三
次元仮想空間を表示する。
を動作させた仮想空間の生成を行い、ディスプレイに三
次元仮想空間を表示する。
【００２３】尚、下半身を動作させる場合も、足首の位
置と方向および腰の位置と方向を検出すれば、上記と同
様にインバースキネマティクスを用いて足の動作を予測
できる。
置と方向および腰の位置と方向を検出すれば、上記と同
様にインバースキネマティクスを用いて足の動作を予測
できる。
【００２４】また、本実施の形態におけるフォワードキ
ネマティクスとは、関節の位置、速度、加速度が与えら
れた時に、各リンクの位置、姿勢、速度、角速度、加速
度、角加速度を求める問題であり、インバースキネマテ
ィクスとは、リンクの位置、姿勢、速度、角速度、加速
度、角加速度が与えられた時、それを実現する関節変数
の位置、速度、加速度を求める問題である。アームで考
えると、腕の関節を動かしたときに手が追随するのがフ
ォワードキネマティクスで、手を動かした時に腕の関節
を移動させるのがインバースキネマティクスである。こ
れらはロボット工学においてアームの制御では一般的に
用いられており、例えば文献「“ロボット工学ハンドブ
ック”、日本ロボット学会編、ｐｐ．１９６−２０６」
に記載されている。
ネマティクスとは、関節の位置、速度、加速度が与えら
れた時に、各リンクの位置、姿勢、速度、角速度、加速
度、角加速度を求める問題であり、インバースキネマテ
ィクスとは、リンクの位置、姿勢、速度、角速度、加速
度、角加速度が与えられた時、それを実現する関節変数
の位置、速度、加速度を求める問題である。アームで考
えると、腕の関節を動かしたときに手が追随するのがフ
ォワードキネマティクスで、手を動かした時に腕の関節
を移動させるのがインバースキネマティクスである。こ
れらはロボット工学においてアームの制御では一般的に
用いられており、例えば文献「“ロボット工学ハンドブ
ック”、日本ロボット学会編、ｐｐ．１９６−２０６」
に記載されている。
【００２５】〈動作入力の第２の実施の形態〉図６は、
本発明の第２の実施の形態を説明する図である。
本発明の第２の実施の形態を説明する図である。
【００２６】本実施の形態は、基本的には図１のシステ
ム構成において、図４、図５の処理フローに従って処理
を行うが、磁気センサにより利用者の上半身を計測し分
身情報を伝送する場合において、図４の処理フロー中の
キャリブレーションを下記のように行う。
ム構成において、図４、図５の処理フローに従って処理
を行うが、磁気センサにより利用者の上半身を計測し分
身情報を伝送する場合において、図４の処理フロー中の
キャリブレーションを下記のように行う。
【００２７】第１の実施の形態と同様に、利用者の頭に
磁気センサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、
両手を広げた時の中心（背中）に磁気センサ４Ｄを取り
付け、前記利用者の頭と手首と中心点の三次元位置およ
び方向を検出する。図６のように両手を下ろした状態で
前記利用者はキャリブレーションを行い、センサの方向
を合わせると共に、前記利用者の頭に取り付けた磁気セ
ンサ４Ａの位置から前記利用者の背高さを算出し、磁気
センサ４Ｂと４Ｄの位置から利用者の腕の長さａ、肩幅
ｂを算出する。以下、図４の処理フローのとおり、各算
出した値と検出した位置と方向の分身情報を他の利用者
の画像表示端末装置にセンタ装置１を介して伝送し、各
画像表示端末装置において、その分身情報に基づいて、
利用者の背の高さ・腕の長さ・肩幅に合わせて前記利用
者の分身を動作させた仮想空間を生成して表示する。
磁気センサ４Ａを、両手首に磁気センサ４Ｂ，４Ｃを、
両手を広げた時の中心（背中）に磁気センサ４Ｄを取り
付け、前記利用者の頭と手首と中心点の三次元位置およ
び方向を検出する。図６のように両手を下ろした状態で
前記利用者はキャリブレーションを行い、センサの方向
を合わせると共に、前記利用者の頭に取り付けた磁気セ
ンサ４Ａの位置から前記利用者の背高さを算出し、磁気
センサ４Ｂと４Ｄの位置から利用者の腕の長さａ、肩幅
ｂを算出する。以下、図４の処理フローのとおり、各算
出した値と検出した位置と方向の分身情報を他の利用者
の画像表示端末装置にセンタ装置１を介して伝送し、各
画像表示端末装置において、その分身情報に基づいて、
利用者の背の高さ・腕の長さ・肩幅に合わせて前記利用
者の分身を動作させた仮想空間を生成して表示する。
【００２８】このようにキャリブレーションを行うこと
で、利用者の体型にほぼ同等な分身を作製することが可
能となる。
で、利用者の体型にほぼ同等な分身を作製することが可
能となる。
【００２９】尚、以上の実施の形態では、磁気センサを
用いる例を示したが、他のモーションキャプチャ方式を
用いてもよいことは当然であり、その際のマーカーやセ
ンサ等の配置は図２や図６と同様である。
用いる例を示したが、他のモーションキャプチャ方式を
用いてもよいことは当然であり、その際のマーカーやセ
ンサ等の配置は図２や図６と同様である。
【００３０】また、以上の実施の形態における動作入力
方法として図４、図５に示した処理過程は、画像表示端
末装置に内蔵された計算機（コンピュータ）によって実
行することが可能であり、その処理過程を実行するため
の動作入力プログラムは、その計算機が読み取り可能な
可搬媒体メモリ、半導体メモリ、ハードディスクなどの
適当な記憶媒体に格納して、保存したり、配布したり、
提供したりすることができる。
方法として図４、図５に示した処理過程は、画像表示端
末装置に内蔵された計算機（コンピュータ）によって実
行することが可能であり、その処理過程を実行するため
の動作入力プログラムは、その計算機が読み取り可能な
可搬媒体メモリ、半導体メモリ、ハードディスクなどの
適当な記憶媒体に格納して、保存したり、配布したり、
提供したりすることができる。
【００３１】
【発明の効果】以上説明したように、本発明は、利用者
を仮想空間内に分身として表示する際に、全関節の位置
と方向を検出することなく、前記利用者の分身の動作通
りにほぼ動作させることが可能となるという効果を奏す
る。
を仮想空間内に分身として表示する際に、全関節の位置
と方向を検出することなく、前記利用者の分身の動作通
りにほぼ動作させることが可能となるという効果を奏す
る。
【図１】本発明の実施の形態を示す仮想空間システムの
構成図である。
構成図である。
【図２】本発明の動作入力方法の第１の実施の形態にお
ける利用者に付ける磁気センサの配置および利用者が行
うキャリブレーション姿勢の例を示す図である。
ける利用者に付ける磁気センサの配置および利用者が行
うキャリブレーション姿勢の例を示す図である。
【図３】上記第１の実施の形態における分身の構成例を
示す図である。
示す図である。
【図４】上記第１の実施の形態における処理過程の例を
示す処理フロー図である。
示す処理フロー図である。
【図５】上記第１の実施の形態におけるインバースキネ
マティクスによる分身の位置と方向を予測する計算過程
の例を示す処理フロー図である。
マティクスによる分身の位置と方向を予測する計算過程
の例を示す処理フロー図である。
【図６】本発明の第２の実施の形態における利用者に付
ける磁気センサの配置および利用者が行うキャリブレー
ション姿勢の例を示す図である。
ける磁気センサの配置および利用者が行うキャリブレー
ション姿勢の例を示す図である。
１…センタ装置 ２…ネットワーク ３Ａ，３Ｂ，３Ｃ…利用者の画像表示端末装置 ４Ａ，４Ｂ，４Ｃ，４Ｄ…磁気センサ
フロントページの続き (72)発明者 石橋 聡 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 BA07 BA08 BA09 CA07 EA13 EA26 FA02
Claims (4)
- 【請求項１】 各利用者を分身として表示し、利用者は
分身を操作することで利用者の意思で自由に移動ができ
る三次元仮想空間を表現すると共に、仮想空間内におい
て三次元の物体および他の利用者の分身を含む三次元オ
ブジェクトを表現することができる端末装置をネットワ
ークにより複数台接続し、複数の利用者が遠隔地におい
て仮想空間内でコミュニケーションを図る仮想空間シス
テムにおいて、 利用者の身体の末端と中心点の位置と方向を検出する位
置方向検出過程と、 利用者がキャリブレーションを行い利用者に合わせて利
用者の分身の大きさを計算する分身の大きさ計算過程
と、 前記分身の大きさ計算過程より得られた分身の大きさ情
報と前記位置方向検出過程から検出された位置、方向情
報を他の利用者の端末装置に伝送する分身情報伝送過程
と、 前記分身情報伝送過程により伝送された位置、方向情報
から遠隔にいる利用者の仮想空間における分身の各関節
の位置・回転量を計算する動作計算過程と、 前記分身情報伝送過程により伝送された分身の大きさ情
報と前記動作計算過程の計算結果に応じて分身を変更・
動作させた仮想空間の生成を行う三次元仮想空間生成過
程と、 前記三次元仮想空間生成過程により生成された仮想空間
を表示する三次元仮想空間表示過程とを有することを特
徴とする仮想空間における動作入力方法。 - 【請求項２】 各利用者を分身として表示し、利用者は
分身を操作することで利用者の意思で自由に移動ができ
る三次元仮想空間を表現すると共に、仮想空間内におい
て三次元の物体および他の利用者の分身を含む三次元オ
ブジェクトを表現することができる端末装置をネットワ
ークにより複数台接続し、複数の利用者が遠隔地におい
て仮想空間内でコミュニケーションを図る仮想空間シス
テムにおいて、 利用者の身体の末端と中心点の位置と方向を検出する位
置方向検出手段と、 利用者がキャリブレーションを行い利用者に合わせて利
用者の分身の大きさを計算する分身の大きさ計算手段
と、 前記分身の大きさ計算手段より得られた分身の大きさ情
報と前記位置方向検出手段から検出された位置、方向情
報を他の利用者の端末装置に伝送する分身情報伝送手段
と、 他の端末装置の分身情報伝送手段により伝送された位
置、方向情報から遠隔にいる利用者の仮想空間における
分身の各関節の位置・回転量を計算する動作計算手段
と、 前記他の端末装置の分身情報伝送手段により伝送された
分身の大きさ情報と前記動作計算手段の計算結果に応じ
て分身を変更・動作させた仮想空間の生成を行う三次元
仮想空間生成手段と、 前記三次元仮想空間生成手段により生成された仮想空間
を表示する三次元仮想空間表示手段とを備えることを特
徴とする仮想空間における動作入力装置。 - 【請求項３】 請求項１記載の仮想空間における動作入
力方法の各過程の処理を計算機に実行させる動作入力プ
ログラムを、 前記計算機が読み取り可能である記録媒体に記録したこ
とを特徴とする仮想空間における動作入力プログラムを
記録した記録媒体。 - 【請求項４】 各利用者を分身として表示し、利用者は
分身を操作することで利用者の意思で自由に移動ができ
る三次元仮想空間を表現すると共に、仮想空間内におい
て三次元の物体および他の利用者の分身を含む三次元オ
ブジェクトを表現することができる端末装置をネットワ
ークにより複数台接続し、複数の利用者が遠隔地におい
て仮想空間内でコミュニケーションを図る仮想空間シス
テムであって、 前記端末装置が請求項２記載の仮想空間における動作入
力装置を有することを特徴とする仮想空間システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000042335A JP3668663B2 (ja) | 2000-02-21 | 2000-02-21 | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000042335A JP3668663B2 (ja) | 2000-02-21 | 2000-02-21 | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001236520A true JP2001236520A (ja) | 2001-08-31 |
| JP3668663B2 JP3668663B2 (ja) | 2005-07-06 |
Family
ID=18565421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000042335A Expired - Fee Related JP3668663B2 (ja) | 2000-02-21 | 2000-02-21 | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3668663B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005337983A (ja) * | 2004-05-28 | 2005-12-08 | Spice:Kk | モーションキャプチャー方法及びシステム |
| KR100753965B1 (ko) * | 2006-04-07 | 2007-08-31 | (주)아이토닉 | 퍼펫의 자세캡쳐 시스템 및 그 방법 |
| KR101401656B1 (ko) | 2012-12-27 | 2014-06-02 | 전자부품연구원 | 동작인식 기반의 가상훈련 시스템 및 그 제어방법 |
| US8928749B2 (en) | 2009-06-24 | 2015-01-06 | Fuji Xerox Co., Ltd. | Position measuring system, processing device for position measurement, processing method for position measurement, and computer readable medium |
| CN105565103A (zh) * | 2016-03-16 | 2016-05-11 | 广州日滨科技发展有限公司 | 电梯故障检测方法及装置 |
| JP2016126500A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
| JP2017038821A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 動作判別装置及び動作判別方法 |
| JP2017511906A (ja) * | 2014-01-09 | 2017-04-27 | イクセンス・ホールディング・ベー・フェーＸｓｅｎｓ Ｈｏｌｄｉｎｇ Ｂ．Ｖ． | 数を減らした装着センサセットを用いたモーショントラッキング |
| JP6470859B1 (ja) * | 2018-03-08 | 2019-02-13 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
| JP2019128721A (ja) * | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
| WO2019167214A1 (ja) * | 2018-03-01 | 2019-09-06 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、推定方法及びプログラム |
| KR20190136047A (ko) * | 2017-09-18 | 2019-12-09 | 구글 엘엘씨 | 가상 현실 시스템에서 가상 컨트롤러의 위치 및 방위 추적 |
| WO2020049847A1 (ja) * | 2018-09-06 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、学習装置、推定方法、学習方法及びプログラム |
| JP2020047235A (ja) * | 2018-09-20 | 2020-03-26 | 未來市股▲ふん▼有限公司 | 追跡方法及び追跡方法を使用する追跡システム |
| JP2020091774A (ja) * | 2018-12-07 | 2020-06-11 | 株式会社ｇｕｍｉ | プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ |
| CN112860072A (zh) * | 2021-03-16 | 2021-05-28 | 河南工业职业技术学院 | 一种虚拟现实多人交互协作方法与系统 |
| JP7409615B2 (ja) | 2018-08-21 | 2024-01-09 | グリー株式会社 | 画像表示システム、画像表示方法及び画像表示プログラム |
-
2000
- 2000-02-21 JP JP2000042335A patent/JP3668663B2/ja not_active Expired - Fee Related
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005337983A (ja) * | 2004-05-28 | 2005-12-08 | Spice:Kk | モーションキャプチャー方法及びシステム |
| KR100753965B1 (ko) * | 2006-04-07 | 2007-08-31 | (주)아이토닉 | 퍼펫의 자세캡쳐 시스템 및 그 방법 |
| US8928749B2 (en) | 2009-06-24 | 2015-01-06 | Fuji Xerox Co., Ltd. | Position measuring system, processing device for position measurement, processing method for position measurement, and computer readable medium |
| KR101401656B1 (ko) | 2012-12-27 | 2014-06-02 | 전자부품연구원 | 동작인식 기반의 가상훈련 시스템 및 그 제어방법 |
| JP2017511906A (ja) * | 2014-01-09 | 2017-04-27 | イクセンス・ホールディング・ベー・フェーＸｓｅｎｓ Ｈｏｌｄｉｎｇ Ｂ．Ｖ． | 数を減らした装着センサセットを用いたモーショントラッキング |
| JP2016126500A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
| JP2017038821A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 動作判別装置及び動作判別方法 |
| CN105565103A (zh) * | 2016-03-16 | 2016-05-11 | 广州日滨科技发展有限公司 | 电梯故障检测方法及装置 |
| KR20190136047A (ko) * | 2017-09-18 | 2019-12-09 | 구글 엘엘씨 | 가상 현실 시스템에서 가상 컨트롤러의 위치 및 방위 추적 |
| JP2020529646A (ja) * | 2017-09-18 | 2020-10-08 | グーグル エルエルシー | 仮想現実システム内の仮想コントローラの位置および向きの追跡 |
| JP7382994B2 (ja) | 2017-09-18 | 2023-11-17 | グーグル エルエルシー | 仮想現実システム内の仮想コントローラの位置および向きの追跡 |
| JP7030854B2 (ja) | 2017-09-18 | 2022-03-07 | グーグル エルエルシー | 仮想現実システム内の仮想コントローラの位置および向きの追跡 |
| JP2022008987A (ja) * | 2017-09-18 | 2022-01-14 | グーグル エルエルシー | 仮想現実システム内の仮想コントローラの位置および向きの追跡 |
| KR102338836B1 (ko) * | 2017-09-18 | 2021-12-13 | 구글 엘엘씨 | 가상 현실 시스템에서 가상 컨트롤러의 위치 및 방위 추적 |
| JP2019128721A (ja) * | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
| JPWO2019167214A1 (ja) * | 2018-03-01 | 2020-12-03 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、推定方法及びプログラム |
| US11660526B2 (en) | 2018-03-01 | 2023-05-30 | Sony Interactive Entertainment Inc. | Estimation apparatus, estimation method, and program |
| WO2019167214A1 (ja) * | 2018-03-01 | 2019-09-06 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、推定方法及びプログラム |
| JP6470859B1 (ja) * | 2018-03-08 | 2019-02-13 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
| JP2019159501A (ja) * | 2018-03-08 | 2019-09-19 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
| JP7409615B2 (ja) | 2018-08-21 | 2024-01-09 | グリー株式会社 | 画像表示システム、画像表示方法及び画像表示プログラム |
| WO2020049847A1 (ja) * | 2018-09-06 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、学習装置、推定方法、学習方法及びプログラム |
| US11763464B2 (en) | 2018-09-06 | 2023-09-19 | Sony Interactive Entertainment Inc. | Estimation apparatus, learning apparatus, estimation method, learning method, and program |
| JP2020047235A (ja) * | 2018-09-20 | 2020-03-26 | 未來市股▲ふん▼有限公司 | 追跡方法及び追跡方法を使用する追跡システム |
| JP2020091774A (ja) * | 2018-12-07 | 2020-06-11 | 株式会社ｇｕｍｉ | プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ |
| CN112860072A (zh) * | 2021-03-16 | 2021-05-28 | 河南工业职业技术学院 | 一种虚拟现实多人交互协作方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3668663B2 (ja) | 2005-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460875B (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| JP2001236520A (ja) | 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム | |
| US6163322A (en) | Method and apparatus for providing real-time animation utilizing a database of postures | |
| US7259771B2 (en) | Image processing system, image processing apparatus, and display apparatus | |
| KR101483713B1 (ko) | 모션 캡쳐 장치 및 모션 캡쳐 방법 | |
| CN108564643B (zh) | 基于ue引擎的表演捕捉系统 | |
| EP4307233A1 (en) | Data processing method and apparatus, and electronic device and computer-readable storage medium | |
| US20230067081A1 (en) | System and method for real-time creation and execution of a human Digital Twin | |
| KR102436906B1 (ko) | 대상자의 보행 패턴을 식별하는 방법 및 이를 수행하는 전자 장치 | |
| CN108020223B (zh) | 一种基于惯性测量装置的力反馈设备手柄的姿态测量方法 | |
| Molet et al. | An animation interface designed for motion capture | |
| Tao et al. | Human modeling and real-time motion reconstruction for micro-sensor motion capture | |
| KR20230166319A (ko) | 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체 | |
| Schönauer et al. | Wide area motion tracking using consumer hardware | |
| Akahane et al. | Two-handed multi-finger string-based haptic interface SPIDAR-8 | |
| Jiang et al. | EgoPoser: Robust Real-Time Ego-Body Pose Estimation in Large Scenes | |
| Thalmann et al. | Virtual reality software and technology | |
| Kakadiaris et al. | Vision-based animation of digital humans | |
| JP3973995B2 (ja) | アニメーション作成システム | |
| JP2915846B2 (ja) | ３次元映像作成装置 | |
| WO2023277043A1 (ja) | 情報処理装置 | |
| Magnenat-Thalmann et al. | Virtual reality software and technology | |
| US20230290101A1 (en) | Data processing method and apparatus, electronic device, and computer-readable storage medium | |
| Sato et al. | 3D freeform design: interactive shape deformations by the use of CyberGlove | |
| Rose et al. | The process of motion capture: Dealing with the data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |