JP2004192325A

JP2004192325A - ユーザ姿勢情報伝達方法，ユーザ姿勢情報送信装置，ユーザ姿勢情報受信装置，ユーザ姿勢情報送信プログラム，ユーザ姿勢情報受信プログラム，およびそれらのプログラムを記録した記録媒体

Info

Publication number: JP2004192325A
Application number: JP2002359329A
Authority: JP
Inventors: Kazuyuki Iso; 和之磯; Takashi Yagi; 貴史八木; Minoru Kobayashi; 稔小林; Satoshi Iwaki; 敏岩城; Satoshi Ishibashi; 聡石橋
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-12-11
Filing date: 2002-12-11
Publication date: 2004-07-08

Abstract

【課題】異なる構造の空間の間でユーザの姿勢を伝達，再現する。
【解決手段】送信側装置１の位置センサ１３により，空間Ａに存在するユーザａの位置，ユーザａの体の各部位の位置と方向，テーブルＴ_Ａや椅子Ｃ_Ａなどの各物体の位置を計測する。物体選択処理部１２は，計測された情報に基づいて各部位それぞれに対応する物体を選択し，情報送信部１１は，選択した物体の物体情報と，その物体の方向を向いているユーザａの部位の情報を受信側装置２に送信する。受信側装置２の情報受信部２１は，送信された物体情報と関連部位情報を受信し，物体選択処理部２２は，受信した物体情報をもとに空間Ｂの中の物体を１つ選択し，関節角度計算部２３が，選択した物体の方向を向くようにユーザａの分身ａ′の各部位の関節の角度を計算する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境において，ユーザの姿勢の情報を伝達するユーザ姿勢情報伝達方法，ユーザ姿勢情報送信装置，ユーザ姿勢情報受信装置，ユーザ姿勢情報送信プログラム，ユーザ姿勢情報受信プログラム，およびそれらのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来，空間を共有して通信を行う場合，１つの仮想空間を生成して，複数のユーザで共有し，ユーザを立体的な映像で提示する方法が提案されている（例えば，非特許文献１参照）。この方法では，ユーザの姿勢を伝達するとき，ユーザの各関節の角度を伝達する。別の端末では，受信した関節の角度をもとに分身（アバタ）を表示する。
【０００３】
また，ユーザの各間接の角度に加え位置を伝達し，受信側でユーザの姿勢をＣＧとして再現する方法も提案されている（例えば，非特許文献２参照）。
【０００４】
【非特許文献１】
広瀬通孝，外３名，「没入型コミュニケーションのための高臨場感ビデオアバタ」，ヒューマンインタフェース学会論文誌，２０００年，第２巻，第２号，ｐ．１６１−１６７
【非特許文献２】
河野隆志，外４名，「没入型共有コミュニケーション環境」，情報処理学会研究報告，２０００年３月，第２０００巻，第２６号，ｐ．１３−１８
【０００５】
【発明が解決しようとする課題】
従来方法では，空間の構成が１つであるため，体の関節の角度を伝達していた。しかし，体の関節の角度の伝達だけでは，ユーザの手先の方向や，顔の正面の方向と，周辺の物体との関係を，異なる構造の空間で再現することができなかった。すなわち，上記非特許文献１および非特許文献２に示されているいずれの従来方法によっても，異なる構造の空間の間でユーザの姿勢を適切に伝達，再現することは不可能であった。
【０００６】
本発明は，異なる構造の空間の間で，ユーザの姿勢の変化を適切に伝達することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するために，第１の本発明では，ユーザの体の部位の方向に基づき分身の部位を選択した方向に向ける。そのため，送信側端末において，ユーザの位置，ユーザの体の各部位の位置，ユーザの体の各方向と，ユーザが存在する空間の物体の位置を計測し，計測結果にもとづいて，ユーザの体の各部位（頭部，右腕部，左腕部，胸部，右足部，左足部などの部位）と，各部位に関連性のある，各部位それぞれに対応する１つの物体を選択し，選択した物体の情報と，その物体と関連のある関連部位情報とを受信側端末へ送信する。
【０００８】
受信側端末では，受信した情報に含まれる物体の情報から，受信側端末の空間中に存在する物体を１つ選択し，その選択した物体を基準として，受信した関連部位情報から受信側端末の空間における送信側ユーザの分身の各部位の方向が，選択した物体の方向を向くように，体の各部位の関節角度を決定する。
【０００９】
また，第２の本発明では，ユーザの体の部位が物体に接触していることに基づき分身の部位を対応する物体に接触させる。そのため，送信側端末において，ユーザの位置と空間に存在する物体の位置を計測し，計測結果にもとづいて，ユーザの体の各部位（頭部，右腕部，左腕部，胸部，右足部，左足部などの部位）が物体に触れているかを判定し，ユーザの体の部位が物体に触れている場合に，それらの各部位それぞれに対応する１つの物体を選択する。選択した物体の情報と，選択した物体に接触している部位の情報である接触部位情報とを，受信側端末へ送信する。
【００１０】
受信側端末では，受信した情報に含まれる１つの物体の情報から，受信側端末の空間中に存在する物体を１つ選択し，前記物体に対応する接触部位情報に含まれる部位に対応する受信側端末の空間における送信側ユーザの分身の部位が，前記物体に触れるように体の部位の関節角度を決定する。
【００１１】
また，第３の本発明では，ユーザの体の部位と複数の物体との位置関係に基づき分身の部位と対応する複数の物体との位置関係を定める。そのため，送信側端末において，ユーザの位置と空間に存在する物体の位置を計測し，計測結果にもとづいて，ユーザの体の各部位（頭部，右腕部，左腕部，胸部，右足部，左足部などの部位）と，各部位に関連性のある，各部位それぞれに対応する複数の物体を選択し，選択した複数の物体それぞれと，ユーザの体の中で，選択した複数の物体に関連する部位の中の特徴点との相対距離を計算し，選択した複数の物体の情報と，計算した体の各部位の相対距離とを，受信側端末へ送信する。
【００１２】
受信側端末では，送信された情報を受信し，受信した情報に含まれる複数の物体の情報から，受信した端末が存在する空間中の複数の物体を選択し，受信した体の各部位の特徴点の相対距離を自然長とする仮想的なバネを，選択された複数の物体から伸ばし，バネの交点が力学的に釣り合う位置を，受信側端末の空間における，送信側ユーザの分身の各部位の位置として決定する。
【００１３】
また，第４の本発明では，ユーザが着座姿勢を取っていればそれを検出し，ユーザが着座姿勢であることに基づき分身に着座姿勢を取らせる。そのため，送信側端末において，ユーザの位置と，ユーザの胸部または頭部の地面からの高さと，ユーザが存在する空間の物体の位置を計測し，計測結果にもとづいて，ユーザの頭部または胸部の高さが，一定以下の高さの時に，ユーザの位置と重なる物体を選択し，前記選択結果にもとづいてユーザの姿勢を着座姿勢と決定し，選択した物体の情報と，決定した着座姿勢情報とを，受信側端末へ送信する。
【００１４】
受信側端末では，送信された情報を受信し，受信した情報に含まれる物体の情報から，受信した端末が存在する空間中の物体を１つ選択し，選択した物体に対して，受信した着座姿勢情報から受信側端末の空間において，物体に対する適切な着座姿勢を取るように送信側ユーザの分身の各関節角度を決定する。
【００１５】
以上の第１ないし第４の発明を，組み合わせて実施することも可能である。以上の本発明によって，異なる構造を持った実空間で，ユーザの姿勢の変化を伝達することができるようになる。
【００１６】
【発明の実施の形態】
本発明の実施の形態の詳細を説明するに先立ち，本発明が適用されるシステムの概要を説明する。図１は，本発明を適用するシステムの概要を説明する図である。
【００１７】
例えば図１（イ）に示すように，遠く離れた家の居間でテーブルの前に座ってテレビを見ている二人（ユーザａとユーザｂとする）がいるとする。ユーザａがいる実空間を空間Ａとし，ユーザｂがいる実空間を空間Ｂとする。このとき，ユーザｂがあたかも空間Ａにいるように，ユーザａに見せることができれば，ユーザｂは，同じ場所でテレビを見ているような感覚でユーザｂと会話をすることが可能になる。同様に，ユーザａがあたかも空間Ｂにいるように，ユーザｂに見せることができれば，ユーザｂは，同じ場所でテレビを見ているような感覚でユーザａと会話をすることが可能になる。
【００１８】
これを実現するためには，互いの構造が異なる空間Ａ，Ｂに，互いの姿が自然に表現されることが必要となる。互いの構造が異なる空間Ａ，Ｂとは，例えば空間Ａに存在するテーブルＴ_ａと，空間Ｂに存在するテーブルＴ_ｂの位置や形状が異なることを意味する。この場合，互いの構造が異なる空間Ａ，Ｂに，互いの姿を表現するためには，少なくとも相手の位置情報および姿勢情報が必要であるが，この位置情報，姿勢情報がそれぞれの空間Ａ，Ｂで定義された座標系の座標値や関節角度で表される場合には，互いの姿を自然に表現するということはできない。ここで，相手の存在している位置および姿勢が，周辺の物体との位置関係によって表されることが重要になる。
【００１９】
すなわち，図１（ロ）に示すように，ユーザａが実空間である空間Ａまたはその映像にユーザｂの分身（ユーザｂ′）を重ね合わせて見るような場合，空間ＢにおいてユーザｂがテーブルＴ_ｂの前に座っていれば，その分身のユーザｂ′も空間Ａにおいて同じような物体であるテーブルＴ_ａの前に座っているように見えるのが自然であり望ましい。ユーザｂが空間Ｂまたはその映像にユーザａの分身（ユーザａ′）を重ね合わせて見る場合も同様である。
【００２０】
なお，それぞれの空間Ａ，Ｂにおいて，相手の姿を見るための表示装置としては，例えばヘッドマウントディスプレイ（ＨＭＤ）を用いることができる。ヘッドマウントディスプレイを使うことによって，実際の空間と相手から送られてきた相手の姿とを重ね合わせて見ることが可能である。実際の空間と相手の姿とを重ね合わせるのではなく，実際の空間の映像と相手の姿とを合成してＣＲＴや液晶等のディスプレイに表示してもよい。
【００２１】
また，各ユーザの「分身」は，表示装置に表示される画像に限らず，ロボット等であっても構わない。
【００２２】
以上のように，通信相手がどのような行動をとっているのかを知るうえで，相手が存在している位置および姿勢というのは重要な情報であるが，相手が存在している位置を知るうえで，異なる実空間の間では，空間内で存在している位置および姿勢を示す座標情報や角度情報は意味を持たない。本発明は以上の点に鑑み，周辺の物体との相対的な位置関係と姿勢を再現できる情報を，ユーザの姿勢情報として送ることに着目したものである。以下，実施の形態の具体例を説明する。
【００２３】
［第１の実施の形態］
空間Ａ，Ｂに端末が存在し，空間Ａにいるユーザａの手先の方向に対して，空間Ｂにおいて表す手先の方向を計算する方法に関する第１の実施の形態を説明する。図２にブロック図を示し，処理の流れを図３に示す。
【００２４】
図２において，送信側装置１は，ユーザａがいる空間Ａに存在する端末装置であり，情報送信部１１，物体選択処理部１２，位置センサ１３を持つ。受信側装置２は，他のユーザｂがいる空間Ｂに存在する端末装置であり，情報受信部２１，物体選択処理部２２，関節角度計算部２３，分身表示部２４を持つ。
【００２５】
送信側装置１と受信側装置２とは，ネットワークを介して接続される。なお，相互にユーザ位置を交換する場合には，それぞれの端末が図２に示す送信側装置１の機能と受信側装置２の機能の両方の機能を持つことは言うまでもない。
【００２６】
送信側装置１は，空間Ａに存在するユーザａの位置と，ユーザａの体の各部位の位置と方向と，空間Ａ内に存在するテーブルＴ_Ａや椅子Ｃ_Ａなどの各物体の位置と方向を位置センサ１３によって計測する（図３のステップＳ１）。
【００２７】
位置を計測する方法としては，位置センサ１３として２台以上のカメラを用い，それらのカメラにより撮影した画像を周知の画像認識技術等を利用して解析することにより，ユーザａの位置と各物体の位置を計測する方法を用いることができる。また，ユーザの各部位の位置を検出するためのマーカーをユーザａに装着させ，空間Ａ内に存在するマーカーの３次元位置を検出する方法を用いることもできる。位置センサ１３としては，人間などの３次元位置を検出可能であれば，磁気センサや超音波などの方法を用いてもよい。
【００２８】
物体選択処理部１２は，位置センサ１３によって計測した位置情報に基づいて物体を１つ選択する（ステップＳ２）。例えば，右手の先の向いている方に存在する物体が椅子Ｃ_Ａであったとすると，空間Ａの送信側装置１は，関連性のある物体として椅子Ｃ_Ａを選択する。
【００２９】
情報送信部１１は，関連する物体の情報と，その物体の方向を向いている人の部位の情報（関連部位情報）を送信する（ステップＳ３）。図２の例では，椅子Ｃ_Ａの物体情報と，関連部位情報として“右手”という情報を受信側装置２に送信する。
【００３０】
物体情報として送信する情報としては，例えば，物体の名前や形状，機能など，基準とした物体を特徴づける情報が考えられる。このような物体情報は，データベースとして送信側装置１および受信側装置２にあらかじめ用意しておくことで，空間Ｂ側において，空間Ａの物体と共通の機能を持つ物体を，送信された物体情報から選択することができる。
【００３１】
空間Ｂにある受信側装置２の情報受信部２１は，送信側装置１から送信された物体情報と関連部位情報を受信する（ステップＳ１１）。そして，物体選択処理部２２は，受信した物体情報をもとに，空間Ｂの中の物体を１つ選択する（ステップＳ１２）。例えば，物体情報に含まれる物体の名前が椅子であったとすると，名前「椅子」によって空間Ｂの中の物体を，あらかじめ用意された物体情報データベースから検索し，椅子Ｃ_Ｂを選択する。
【００３２】
次に，関節角度計算部２３は，選択した物体の方向を向くように，関連する部位の関節の角度を計算する（ステップＳ１３）。これにより，椅子Ｃ_Ｂの方向にユーザａの手の先が向くように，ユーザａの分身ａ′の右肩，右ヒジ，右手首の角度が計算され，空間Ｂにおいて，ユーザａの分身ａ′の右手を表す角度が決定される。同様に，頭部，左手，胸部，両足についても，各部位の関節の角度を計算することによって，ユーザａの分身ａ′の体のすべての関節の角度が決定され，姿勢を表すことができる。分身表示部２４は，計算された姿勢でユーザａの分身ａ′を表示する。
【００３３】
なお，送信側装置１における物体選択処理部１２は，必ずしもすべての部位について関連性のある物体を選択しなくてもよく，ある部位の方向に適当な物体がなかった場合には，その部位に対応する物体は「なし」とし，その部位に関連する関節角度は，他の部位の関節角度から推定したり，あらかじめ定めた標準的な角度を適用したりしてもよい。これは，以下の実施の形態も同様である。
【００３４】
［第２の実施の形態］
空間Ａ，Ｂに端末が存在し，空間Ａにいるユーザａの左手の位置に対して，空間Ｂにおいてユーザａを表す分身ａ′の左手の位置を計算する方法に関する本発明の第２の実施の形態を説明する。図４にブロック図を示し，処理の流れを図５に示す。
【００３５】
図４において，送信側装置３は，ユーザａがいる空間Ａに存在する端末装置であり，情報送信部３１，物体選択処理部３２，位置センサ３３を持つ。受信側装置４は，他のユーザｂがいる空間Ｂに存在する端末装置であり，情報受信部４１，物体選択処理部４２，関節角度計算部４３，分身表示部４４を持つ。
【００３６】
送信側装置３と受信側装置４とは，ネットワークを介して接続される。なお，相互にユーザ位置を交換する場合には，それぞれの端末に図４に示す送信側装置３の機能と受信側装置４の機能の両方の機能を備える。
【００３７】
送信側装置３は，空間Ａに存在するユーザａの位置と，ユーザａの体の各部位の位置と方向と，空間Ａ内に存在するテーブルＴ_Ａや椅子Ｃ_Ａなどの各物体の位置と方向とを位置センサ３３によって計測する（図５のステップＳ２１）。
【００３８】
物体選択処理部３２は，位置センサ３３によって計測した位置情報に基づいて物体を１つ選択する（ステップＳ２２）。例えば，左手が触れている物体がテーブルＴ_Ａであったすると，空間Ａの送信側装置３の物体選択処理部３２は，テーブルＴ_Ａの物体を選択する。
【００３９】
次に，情報送信部３１は，関連する物体と，その物体に触れている人の部位の情報（関連部位情報）を送信する（ステップＳ２３）。すなわち，この例では，テーブルＴ_Ａの物体情報と，接触部位情報として“左手”という情報を受信側装置４に送信する。物体情報として送信する情報としては，例えば，物体の名前や形状，機能など，基準とした物体を特徴づける情報が考えられる。
【００４０】
空間Ｂにある受信側装置４の情報受信部４１は，送信側装置３から送信された物体情報と関連部位情報を受信する（ステップＳ３１）。そして，物体選択処理部４２は，受信した物体情報をもとに，空間Ｂの中の物体を１つ選択する（ステップＳ３２）。例えば，物体情報に含まれる物体の名前がテーブルであったとすると，名前「テーブル」によって空間Ｂの中の物体を，あらかじめ用意された物体情報データベースから検索し，テーブルＴ_Ｂを選択する。
【００４１】
関節角度計算部４３は，選択した物体に触れるように，関連する部位の関節の角度を計算する（ステップＳ３３）。すなわち，テーブルＴ_Ｂに左手が触れるようにユーザａの分身ａ′の左肩，左ヒジ，左手首の角度を計算し，決定する。これにより，空間Ｂにおいて，ユーザａの分身ａ′の左手を表す左腕の各関節の角度が決定される。
【００４２】
同様に，頭部，右手，胸部，両足についても，各部位の関節の角度を計算することによって，ユーザａの体のすべての関節の角度が決定され，姿勢を表すことができる。分身表示部４４は，計算された姿勢でユーザａの分身ａ′を表示する。
【００４３】
［第３の実施の形態］
空間Ａ，Ｂに端末が存在し，空間Ａにいるユーザａの手先の方向に対して，空間Ｂにおいて表す手先の方向を計算する方法に関する第３の実施の形態を説明する。図６にブロック図を示し，処理の流れを図７に示す。
【００４４】
図６において，送信側装置５は，ユーザａがいる空間Ａに存在する端末装置であり，情報送信部５１，相対距離計算部５２，物体選択処理部５３，位置センサ５４を持つ。受信側装置６は，他のユーザｂがいる空間Ｂに存在する端末装置であり，情報受信部６１，物体選択処理部６２，関節角度計算部６３，分身表示部６４を持つ。
【００４５】
送信側装置５と受信側装置６とは，ネットワークを介して接続される。なお，相互にユーザ位置を交換する場合には，それぞれの端末に図６に示す送信側装置５の機能と受信側装置６の機能の両方の機能を備える。
【００４６】
送信側装置５は，空間Ａに存在するユーザａの位置と，ユーザａの体の各部位の位置と方向と，空間Ａ内に存在するテーブルＴ_Ａや椅子Ｃ_Ａなどの各物体の位置と方向を位置センサ５４によって計測する（図７のステップＳ４１）。
【００４７】
物体選択処理部５３は，位置センサ５４によって計測した位置情報に基づいて複数の物体を選択する（ステップＳ４２）。例えば，ユーザの右手と物体とのそれぞれの距離を計算し，近い方から任意のあらかじめ設定していた個数の物体を選択する方法や，空間Ａに存在する全ての物体を選択する方法がある。この例では，空間Ａ中の全ての物体を選択することとする。全ての物体を選択したため，ここではテーブルＴ_Ａと椅子Ｃ_Ａが選択される。
【００４８】
次に，相対距離計算部５２は，選択した物体とユーザａの各部位との相対距離を計算する（ステップＳ４３）。相対距離とは，空間Ａにおけるある基準の長さを単位とした長さである。計測したテーブルＴ_Ａからユーザａの右手の中心までの距離を｜Ｐ_ａＴＡ｜，椅子Ｃ_Ａからユーザａの右手の中心までの距離を｜Ｐ_ａＣＡ｜とする。
【００４９】
情報送信部５１は，選択した物体の情報と，各物体とユーザとの相対距離を空間Ｂの受信側装置６に送信する（ステップＳ４４）。物体情報として送信する情報としては，例えば，物体の名前や形状，機能など，基準とした物体を特徴づける情報が考えられる。
【００５０】
空間Ｂにある受信側装置６の情報受信部６１は，送信側装置５から送信された物体情報と右手の中心との相対距離情報とを受信する（ステップＳ５１）。物体選択処理部６２は，受信した物体情報をもとに，空間Ｂの中の物体を複数選択する（ステップＳ５２）。例えば，物体情報に含まれる物体の名前がテーブルと椅子であったとすると，名前「テーブル」によって空間Ｂの中の物体を，あらかじめ用意された物体情報データベースから検索し，テーブルＴ_Ｂを選択する。同様に，名前「椅子」についても検索し，椅子Ｃ_Ｂを選択する。その結果，空間ＡにおけるテーブルＴ_Ａと椅子Ｃ_Ａに対応する物体が，空間ＢにおいてはテーブルＴ_Ｂと椅子Ｃ_Ｂであるとする。
【００５１】
関節角度計算部６３は，選択された各物体と相対距離とから，空間Ｂにおけるユーザａの分身ａ′について各部位の位置を計算するため，選択された複数の物体から，相対距離を自然長とする仮想的なバネを伸ばし，バネの交点が力学的に釣り合う位置を計算する（ステップＳ５３）。すなわち，選択された各物体から，バネの自然長が，受信した相対距離となる仮想的なバネを伸ばし，全てのバネを空間中の１つの点につなぐ。この点に働く各バネの力が力学的に釣り合う位置を計算する。釣り合った点を，ユーザａの右手の位置を空間Ｂにおいて表す位置として決定する（ステップＳ５４）。
【００５２】
具体的には，空間ＡにおけるテーブルＴ_Ａからユーザａの右手の中心までの距離が｜Ｐ_ａＴＡ｜，椅子Ｃ_Ａからユーザａの右手の中心までの距離が｜Ｐ_ａＣＡ｜であったとすると，バネに力が働かないときの自然長の長さが，それぞれ｜Ｐ_ａＴＡ｜，｜Ｐ_ａＣＡ｜に相当する２本の仮想的なバネＳ_ａＴＢ，Ｓ_ａＣＢを考え，これらのバネＳ_ａＴＢ，Ｓ_ａＣＢを空間ＢにおけるテーブルＴ_Ｂ，椅子Ｃ_Ｂから伸ばし，空間Ｂ中の一つの点につなぎ，その点に働く各バネの力が力学的に釣り合う位置を計算して，その位置を空間Ｂにおけるユーザａの右手の中心の位置と決定する。
【００５３】
選択された物体の個数が２個の場合であれば，分身の部位と対応する各物体の距離の関係をユーザの体の部位と各物体の距離の関係に比例させることによって，分身の部位の位置を決定することもできる。しかし，選択された物体の個数が３個以上の場合，異なる構造の空間の間では，このような比例関係を成り立たせることができなくなる。そのため，本発明では，上記ステップＳ５３およびステップＳ５４で示したように，分身の部位が選択された各物体に仮想的なバネでつながれているとして，力学的に釣り合う点を算出し，分身の部位の位置を決定する。これにより，異なる構造の空間の間でも，任意の個数の物体との関係において対応する位置を求めることができる。
【００５４】
同様に，頭部，左手，胸部，両足についても，空間Ｂにおける各部位の位置を計算することを通じてユーザａの分身ａ′のすべての関節の角度が決定され，姿勢を表すことができる。分身表示部６４は，計算された姿勢でユーザａの分身ａ′を表示する。
【００５５】
［第４の実施の形態］
空間Ａ，Ｂに端末が存在し，空間Ａにいるユーザａの着座姿勢に対して，空間Ｂにおいて適切な場所において着座している姿勢として表す方法に関する第４の実施の形態を説明する。図８にブロック図を示し，処理の流れを図９に示す。
【００５６】
図８において，送信側装置７は，ユーザａがいる空間Ａに存在する端末装置であり，情報送信部７１，物体選択処理部７２，位置センサ７３を持つ。受信側装置８は，他のユーザｂがいる空間Ｂに存在する端末装置であり，情報受信部８１，物体選択処理部８２，関節角度計算部８３，分身表示部８４を持つ。
【００５７】
送信側装置７と受信側装置８とは，ネットワークを介して接続される。なお，相互にユーザ位置を交換する場合には，それぞれの端末に図８に示す送信側装置７の機能と受信側装置８の機能の両方の機能を備える。
【００５８】
送信側装置７は，空間Ａに存在するユーザａの位置と，ユーザａの頭部または胸部の高さと，ユーザａの体の各部位の位置と方向と，空間Ａ内に存在するテーブルＴ_Ａや椅子Ｃ_Ａなどの各物体の位置と方向を位置センサ７３によって計測する（図９のステップＳ６１）。
【００５９】
物体選択処理部７２は，位置センサ７３によって計測した位置情報に基づいてユーザａが座っている物体を１つ選択する（ステップＳ６２）。ユーザａの頭部または胸部の高さが，ある一定以下の高さで，ユーザａの位置が椅子Ｃ_Ａの位置で重なっている場合，物体選択処理部７２は，椅子Ｃ_Ａをユーザａが座っている物体として選択する。
【００６０】
情報送信部７１は，選択した物体である椅子Ｃ_Ａの物体情報と，人が着座姿勢を取っているという情報を送信する（ステップＳ６３）。物体情報として送信する情報としては，例えば，物体の名前や形状，機能など，基準とした物体を特徴づける情報が考えられる。
【００６１】
空間Ｂにある受信側装置８の情報受信部８１は，送信側装置７から送信された物体情報とユーザａが座っていることを示す情報を受信する（ステップＳ７１）。物体選択処理部８２は，受信した物体情報をもとに，空間Ｂの中の物体を１つ選択する（ステップＳ７２）。例えば，物体情報に含まれる物体の名前が椅子であったとすると，名前「椅子」によって空間Ｂの中の物体を，あらかじめ用意された物体情報データベースから検索し，椅子Ｃ_Ｂを選択する。
【００６２】
次に，関節角度計算部８３は，椅子Ｃ_Ｂに人が着座姿勢を取るように，ユーザａの分身ａ′の関連する部位の関節の角度を計算し，決定する（ステップＳ７３）。この着座姿勢を取っているときの関節角度は，物体情報データベースから得られた椅子Ｃ_Ｂの人が座る位置の高さ情報や奥行き情報，また，ユーザａの分身ａ′についての各部位のサイズ情報から容易に計算することができる。また，あらかじめ物体の形状に応じて計算された関節の角度情報をテーブル化したデータを用意しておき，選択された物体の形状からテーブルを参照して関節角度を算出してもよい。これにより，空間Ｂにおいて，ユーザａの各部位の関節の角度が決定され，空間Ｂにおいて，ユーザａの分身ａ′が着座している姿勢が表される。分身表示部８４は，計算された姿勢でユーザａの分身ａ′を表示する。
【００６３】
なお，本実施の形態においては，ユーザａの頭部または胸部の高さがある一定値以下である場合に着座姿勢であるとの判定を行っているが，椅子Ｃ_Ａ等の物体に荷重センサや接触センサ等を設け，このセンサの出力に基づきユーザａが着座姿勢であるか否かを判定するような実施も可能である。
【００６４】
［第５の実施の形態］
第５の実施の形態は，上記第１の実施の形態から第４の実施の形態までのユーザの姿勢情報伝達方法の中から，体の各部位のそれぞれに対して，個別にユーザの姿勢情報伝達方法を選択する手段を持つ。例えば，右手および左手については，第１または第２の実施の形態によるユーザの姿勢情報伝達方法を選択し，頭部および胸部については，第３の実施の形態によるユーザの姿勢情報伝達方法を選択し，第４の実施の形態についてはユーザが着座姿勢を取っている場合に選択するというように，第１から第４までの実施の形態を組み合わせて，受信側装置１の空間における送信側ユーザの分身の姿勢を決定する。このとき，ユーザの分身の関節角度として，各実施の形態に応じて同じ関節に複数の異なる角度が算出された場合には，あらかじめ定められた優先度に従って角度を決定してもよいし，例えば平均角度を関節角度として決定してもよい。第１から第４までの実施の形態をどのように組み合わせるかについては，システム設計者が決めることも可能であり，また送信側ユーザまたは受信側ユーザが動的にメニューなどにより設定し，カスタマイズ可能にするという方法を採用することもできる。
【００６５】
上記本発明を適用するシステムが行う処理は，コンピュータとソフトウェアプログラムとを用いて実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００６６】
【発明の効果】
以上説明したように，本発明によれば，異なる構造を持った実空間で，周辺の物体との関連性を含めユーザの姿勢情報を伝達することができるので，異なる実空間にいながら，通信相手の指示動作や関心のある物体や，話題の対象となっている物体や，注目している物体等が容易に理解可能な通信環境を実現することができるようになる。
【図面の簡単な説明】
【図１】本発明を適用するシステムの概要を説明する図である。
【図２】第１の実施の形態を示すブロック図である。
【図３】第１の実施の形態における処理の流れを示す図である。
【図４】第２の実施の形態を示すブロック図である。
【図５】第２の実施の形態における処理の流れを示す図である。
【図６】第３の実施の形態を示すブロック図である。
【図７】第３の実施の形態における処理の流れを示す図である。
【図８】第４の実施の形態を示すブロック図である。
【図９】第４の実施の形態における処理の流れを示す図である。
【符号の説明】
１，３，５，７送信側装置
２，４，６，８受信側装置
１１，３１，５１，７１情報送信部
１２，３２，５３，７２物体選択処理部
１３，３３，５４，７３位置センサ
２１，４１，６１，８１情報受信部
２２，４２，６２，８２物体選択処理部
２３，４３，６３，８３関節角度計算部
２４，４４，６４，８４分身表示部
５２相対距離計算部

Claims

複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザ姿勢情報伝達方法であって，
ユーザの体の各部位の位置および方向と，ユーザが存在する空間の物体の位置とを計測するステップと，
前記計測結果にもとづいて，ユーザの体の各部位の方向と関連性のある各部位それぞれに対応する物体を選択するステップと，
前記選択した物体の情報と，その物体と関連のある関連部位情報とを受信側端末へ送信するステップと，
前記送信された情報を受信側端末が受信するステップと，
前記受信した情報に含まれる物体の情報から，受信側端末の空間中に存在する物体を選択するステップと，
前記選択した物体を基準として，前記受信した関連部位情報から受信側端末の空間における送信側ユーザの分身の各部位の方向が，選択した物体の方向を向くように，体の各部位の関節角度を決定するステップとを有する
ことを特徴とするユーザ姿勢情報伝達方法。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザ姿勢情報伝達方法であって，
ユーザの体の各部位の位置と，ユーザが存在する空間の物体の位置とを計測するステップと，
前記計測結果にもとづいて，ユーザの体の部位が物体に触れている場合に，その部位に接触している物体を選択するステップと，
前記選択した物体の情報と，選択した物体に接触している部位の情報である接触部位情報とを受信側端末へ送信するステップと，
前記送信された情報を受信側端末が受信するステップと，
前記受信した情報に含まれる物体の情報から，受信側端末の空間中に存在する物体を選択するステップと，
前記接触部位情報に含まれる部位に対応する受信側端末の空間における送信側ユーザの分身の部位が，前記選択した物体に触れるように体の部位の関節角度を決定するステップとを有する
ことを特徴とするユーザ姿勢情報伝達方法。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザ姿勢情報伝達方法であって，
ユーザの体の各部位の位置と，ユーザが存在する空間の物体の位置とを計測するステップと，
前記計測結果にもとづいて，ユーザの体の各部位と，それらの各部位に関連性のある，各部位それぞれに対応する複数の物体を選択するステップと，
前記選択した複数の物体のそれぞれと，ユーザの体の中で，選択した複数の物体に関連する部位の中の特徴点との相対距離を計算するステップと，
前記選択した複数の物体の情報と，前記計算した体の各部位の相対距離とを受信側端末へ送信するステップと，
前記送信された情報を受信側端末が受信するステップと，
前記受信した情報に含まれる複数の物体の情報から，受信側端末の空間中に存在する複数の物体を選択するステップと，
前記受信した体の各部位の特徴点の相対距離を自然長とする仮想的なバネを前記選択した複数の物体から伸ばし，バネの交点が力学的に釣り合う位置を受信側端末の空間における送信側ユーザの分身の各部位の位置として決定するステップとを有する
ことを特徴とするユーザ姿勢情報伝達方法。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザの姿勢情報伝達方法であって，
ユーザの体の各部位の位置と，ユーザが存在する空間の物体の位置とを計測するステップと，
前記計測結果にもとづいて，ユーザと物体との関係からユーザが物体に座っているか否かを判定し，座っている場合にユーザの姿勢を着座姿勢と決定するステップと，
前記ユーザが座っている物体の情報と，前記決定した着座姿勢情報とを受信側端末へ送信するステップと，
前記送信された情報を受信側端末が受信するステップと，
前記受信した情報に含まれる物体の情報から，受信側端末の空間中に存在する物体を選択するステップと，
前記選択した物体に対して，前記受信した着座姿勢情報から受信側端末の空間において物体に対する着座姿勢を取るように，受信側端末における送信側ユーザの分身の各関節角度を決定するステップとを有する
ことを特徴とするユーザ姿勢情報伝達方法。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザ姿勢情報伝達方法であって，
ユーザが存在する空間におけるユーザの姿勢情報を送信し，受信側端末における空間中のユーザの分身の姿勢を決定するにあたり，ユーザの体の部位の方向に基づき分身の部位を選択した方向に向ける第１の方法，ユーザの体の部位が物体に接触していることに基づき分身の部位を対応する物体に接触させる第２の方法，ユーザの体の部位と複数の物体の位置関係に基づき分身の部位と対応する複数の物体との位置関係を定める第３の方法，またはユーザが着座姿勢であることに基づき分身に着座姿勢を取らせる第４の方法のいずれの方法を採用するかを，指定された情報または各部位ごとにあらかじめ定められた情報に基づいて選択するステップと，
ユーザの体の各部位の位置および方向と，ユーザが存在する空間の物体の位置とを計測するステップと，
前記計測結果にもとづいて，ユーザの体の各部位または各部位の方向と関連性のある１または複数の物体を選択するステップと，
前記選択した物体の情報と，その物体と関連のある関連部位情報とを受信側端末へ送信するステップと，
前記送信された情報を受信側端末が受信するステップと，
前記受信した情報に含まれる物体の情報から，受信側端末の空間中に存在する物体をまたは複数選択するステップと，
前記選択した物体を基準として，前記選択された第１の方法から第４の方法までのいずれかの方法により，前記受信した関連部位情報から受信側端末の空間における送信側ユーザの分身の各部位の関節角度を決定するステップとを有する
ことを特徴とするユーザ姿勢情報伝達方法。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境において，受信側端末に対し，受信側端末の空間中に存在する物体を選択させ，選択した物体を基準として，受信した関連部位情報から受信側端末の空間における送信側ユーザの分身の各部位の方向が，選択した物体の方向を向くように，各部位の関節角度を決定させるためのユーザ姿勢情報を送信するユーザ姿勢情報送信装置であって，
ユーザの体の各部位の位置および方向と，ユーザが存在する空間の物体の位置とを計測する手段と，
前記計測結果にもとづいて，ユーザの体の各部位の方向と関連性のある各部位それぞれに対応する物体を選択する手段と，
前記選択した物体の情報と，その物体と関連のある関連部位情報とを，受信側端末へ送信する手段とを備える
ことを特徴とするユーザ姿勢情報送信装置。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザ姿勢情報受信装置であって，
請求項６に記載のユーザ姿勢情報送信装置から送信された，選択した物体の情報と関連部位情報とを含むユーザ姿勢情報を受信する手段と，
前記受信した物体の情報から，当該ユーザ姿勢情報受信装置側の空間中に存在する物体を選択する手段と，
前記選択した物体を基準として，前記受信した関連部位情報から当該ユーザ姿勢情報受信装置側の空間における送信側ユーザの分身の各部位の方向が，選択した物体の方向を向くように，体の各部位の関節角度を決定する手段とを備える
ことを特徴とするユーザ姿勢情報受信装置。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境において，受信側端末に対し，受信側端末の空間中に存在する物体を選択させ，選択した物体に対応する接触部位情報に含まれる部位に対応する受信側端末の空間における送信側ユーザの分身の部位が，前記物体に触れるように体の部位の関節角度を決定させるためのユーザ姿勢情報を送信するユーザ姿勢情報送信装置であって，
ユーザの体の各部位の位置と，ユーザが存在する空間の物体の位置とを計測する手段と，
前記計測結果にもとづいて，ユーザの体の部位が物体に触れている場合に，その部位に接触している物体を選択する手段と，
前記選択した複数の物体の情報と，選択した物体に接触している部位の情報である接触部位情報とを送信する手段とを備える
ことを特徴とするユーザ姿勢情報送信装置。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザ姿勢情報受信装置であって，
請求項８に記載のユーザ姿勢情報送信装置から送信された，選択した物体の情報と，選択した物体に接触している部位の情報である接触部位情報とを受信する手段と，
前記受信した情報に含まれる物体の情報から，当該ユーザ姿勢情報受信装置の空間中に存在する物体を選択する手段と，
前記物体に対応する接触部位情報に含まれる部位に対応する当該ユーザ姿勢情報受信装置の空間における送信側ユーザの分身の部位が，前記選択した物体に触れるように体の部位の関節角度を決定する手段とを備える
ことを特徴とするユーザ姿勢情報受信装置。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境において，受信側端末に対し，受信側端末の空間中に存在する複数の物体を選択させ，受信した体の各部位の特徴点の相対距離を自然長とする仮想的なバネを前記選択した複数の物体から伸ばし，バネの交点が力学的に釣り合う位置を受信側端末の空間における送信側ユーザの分身の各部位の位置として決定させるためのユーザ姿勢情報を送信するユーザ姿勢情報送信装置であって，
ユーザの体の各部位の位置と，ユーザが存在する空間の物体の位置とを計測する手段と，
前記計測結果にもとづいて，ユーザの体の各部位と，それらの各部位に関連性のある，各部位それぞれに対応する複数の物体を選択する手段と，
前記選択した複数の物体のそれぞれと，ユーザの体の中で，選択した複数の物体に関連する部位の中の特徴点との相対距離を計算する手段と，
前記選択した複数の物体の情報と，前記計算した体の各部位の相対距離とを送信する手段とを備える
ことを特徴とするユーザ姿勢情報送信装置。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザ姿勢情報受信装置であって，
請求項１０に記載のユーザ姿勢情報送信装置から送信された，選択した複数の物体の情報と，それらの物体と体の各部位との相対距離とを受信する手段と，
前記受信した複数の物体の情報から，当該ユーザ姿勢情報受信装置の空間中に存在する複数の物体を選択する手段と，
前記受信した体の各部位の特徴点の相対距離を自然長とする仮想的なバネを前記選択した複数の物体から伸ばし，バネの交点が力学的に釣り合う位置を当該ユーザ姿勢情報受信装置の空間における送信側ユーザの分身の各部位の位置として決定する手段とを備える
ことを特徴とするユーザ姿勢情報受信装置。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境において，受信側端末に対し，受信側端末の空間中に存在する物体を選択させ，選択した物体に対して，受信した着座姿勢情報から受信側端末の空間において物体に対する着座姿勢を取るように，受信側端末における送信側ユーザの分身の各関節角度を決定させるためのユーザ姿勢情報を送信するユーザ姿勢情報送信装置であって，
ユーザの体の各部位の位置と，ユーザが存在する空間の物体の位置とを計測する手段と，
前記計測結果にもとづいて，ユーザと物体との関係からユーザが物体に座っているか否かを判定し，座っている場合にユーザの姿勢を着座姿勢と決定する手段と，
前記ユーザが座っている物体の情報と，前記決定した着座姿勢情報とを送信する手段とを備える
ことを特徴とするユーザ姿勢情報送信装置。
複数のユーザ端末がネットワークを介してつながり，それぞれ異なる構造の空間に存在するユーザの行動を，それぞれの空間で共有する通信環境におけるユーザの姿勢情報受信装置であって，
請求項１２に記載のユーザ姿勢情報送信装置から送信された，選択した物体の情報と着座姿勢情報とを受信する手段と，
前記受信した物体の情報から，当該ユーザ姿勢情報受信装置の空間中に存在する物体を選択する手段と，
前記選択した物体に対して，前記受信した着座姿勢情報から当該ユーザ姿勢情報受信装置の空間において物体に対する着座姿勢を取るように，当該ユーザ姿勢情報受信装置における送信側ユーザの分身の各関節角度を決定する手段とを備える
ことを特徴とするユーザ姿勢情報受信装置。
請求項６，請求項８，請求項１０または請求項１２のいずれか１項に記載のユーザ姿勢情報送信装置を実現するための処理をコンピュータに実行させるためのユーザ姿勢情報送信プログラム。
請求項７，請求項９，請求項１１または請求項１３のいずれか１項に記載のユーザ姿勢情報受信装置を実現するための処理をコンピュータに実行させるためのユーザ姿勢情報受信プログラム。
請求項６，請求項８，請求項１０または請求項１２のいずれか１項に記載のユーザ姿勢情報送信装置を実現するための処理をコンピュータに実行させるためのユーザ姿勢情報送信プログラムを記録した記録媒体。
請求項７，請求項９，請求項１１または請求項１３のいずれか１項に記載のユーザ姿勢情報受信装置を実現するための処理をコンピュータに実行させるためのユーザ姿勢情報受信プログラムを記録した記録媒体。