JP2001160154A - Avatar display device in virtual space communication system, avatar displaying method and storage medium - Google Patents
Avatar display device in virtual space communication system, avatar displaying method and storage mediumInfo
- Publication number
- JP2001160154A JP2001160154A JP34393699A JP34393699A JP2001160154A JP 2001160154 A JP2001160154 A JP 2001160154A JP 34393699 A JP34393699 A JP 34393699A JP 34393699 A JP34393699 A JP 34393699A JP 2001160154 A JP2001160154 A JP 2001160154A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- user
- virtual space
- animation display
- animation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、複数の利用者端末
が通信回線を介してセンタ装置に接続され、複数の利用
者が３次元コンピュータグラフィックスによる３次元仮
想空間を共有する仮想空間通信システムにおけるアバタ
表示装置、アバタ表示方法および記憶媒体に関する。The present invention relates to a virtual space communication system in which a plurality of user terminals are connected to a center device via a communication line, and a plurality of users share a three-dimensional virtual space by three-dimensional computer graphics. An avatar display device, an avatar display method, and a storage medium.
【０００２】[0002]
【従来の技術】従来、３次元ＣＧ（Computer Graphic
s）における表示制御においては、ＬＯＤ（Level Of De
tail）と呼ばれる手法が一般的である。ＬＯＤでは、利
用者の視点位置からの距離に応じて、表示するＣＧモデ
ルを動的に変更し、ＣＧ表示性能の最適化を行う手法で
ある。2. Description of the Related Art Conventionally, three-dimensional CG (Computer Graphic)
s), the display control in LOD (Level Of De
A technique called tail) is common. LOD is a method of dynamically changing a CG model to be displayed in accordance with a distance from a user's viewpoint to optimize CG display performance.
【０００３】また、３次元仮想空間通信サービスにおけ
るアバタ（ＣＧ像）表現では、アバタを構成する各パー
ツに対して動作データを適用し、アニメーションを行っ
ていた。動作データに関しては、予め作成された動作デ
ータを用いる手法、もしくは、利用者に装着された複数
のセンサからの入力などで動作データを動的に作成する
手法が取られていた。[0003] In an avatar (CG image) expression in a three-dimensional virtual space communication service, animation is performed by applying motion data to each part constituting the avatar. Regarding the operation data, a method using operation data created in advance, or a method of dynamically creating operation data based on inputs from a plurality of sensors mounted on a user has been adopted.
【０００４】[0004]
【発明が解決しようとする課題】ところで、今後サイパ
ースペースと呼ぱれる３次元ＣＧを用いた共有空間が一
般的なものとなってきた際に、上記アバタと呼ばれる利
用者の姿・動作を象徴するＣＧモデルが仮想空間に多数
存在することが予想される。このような状況に対し、上
記従来技術によるＬＯＤの手法においては、表示するＣ
Ｇモデルの動的な変更のみが行われ、アバタのようなア
ニメーションを行うＣＧモデルの動作に関するＬＯＤな
どは考えられていないという問題があった。By the way, when a shared space using three-dimensional CG called a siper space has become common in the future, the above-mentioned avatar symbolizes the appearance and movement of a user. It is expected that many CG models will be present in the virtual space. To cope with such a situation, in the LOD method according to the related art, the C
There is a problem that only the dynamic change of the G model is performed, and LOD related to the operation of the CG model performing animation such as an avatar is not considered.
【０００５】また、アバタが複数存在する形態において
は、上述した従来技術によるアバタ表現で、予め作成さ
れた動作デー夕を利用する場合には、アバタアニメーシ
ョンによる放送型通信などには向いているが、複数の利
用者が空間を共有するようなシステムにおいて、利用者
独自の動作定義などを行うなどのカスタマイズには向か
ない。また、センサを利用して動的に動作データを生成
するには、センサの装着が必要になり、デスクトップに
おける利用などには向かないという問題があった。Further, in the case where a plurality of avatars exist, the above-described avatar expression according to the prior art is suitable for broadcast-type communication using avatar animation when using operation data created in advance. However, in a system in which a plurality of users share a space, it is not suitable for customization such as defining a user's own operation. Also, in order to dynamically generate motion data using a sensor, it is necessary to mount the sensor, which is not suitable for use on a desktop.
【０００６】さらに、今後、コンピュータにカメラなと
の撮像装置を付加することが一般的となり、そのカメラ
を用いた顔や体の映像を、ネットワークを介して配信し
てコミュニケーションを行う形態が多く見られるように
なると予想される。このような使われ方の一般的な例
に、コンピュータを用いて、利用者の動作をリアルタイ
ムかつ詳細に伝えるテレビ会議システムがある。しかし
ながら、多人数参加型の空間を映像通信のみで構成する
ことは、必要伝送帯域、ＣＰＵ処理能力の点から現実的
ではなかった。そこで、従来技術によるアバタ表現を適
用することが考えられるが、従来、３次元仮想空間通信
サービスにおけるアバタ表現では、漫画的なキャラクタ
を用いることが多く、実際の顔もしくは体の映像を利用
した通信を実現した通信サービスは少なく、テレビ会議
システムに適用することが難しいという問題があった。Further, in the future, it is common to add an image pickup device such as a camera to a computer, and in many cases, communication is performed by distributing face and body images using the camera via a network. It is expected that it will be able to be. A common example of such usage is a video conference system that uses a computer to convey user actions in real time and in detail. However, it is not practical to configure a multi-participation space only with video communication in terms of required transmission bandwidth and CPU processing capacity. Therefore, it is conceivable to apply the avatar expression according to the conventional technology. However, in the conventional avatar expression in the three-dimensional virtual space communication service, a cartoon character is often used, and communication using an actual face or body image is performed. There are few communication services that realize the above, and there is a problem that it is difficult to apply to a video conference system.
【０００７】この発明は上述した事情に鑑みてなされた
もので、利用者の状況に応じたアバタ動作を設定するこ
とができ、また、アバタと利用者視点との相対的な位置
関係に応じて多数存在するアバタおよびその動作表示を
最適化することができ、また、アバタ表現を用いてより
リアルな多人数参加型のテレビ会議システムを容易に構
築することができる仮想空間通信システムにおけるアバ
タ表示装置、アバタ表示方法および記憶媒体を提供する
ことを目的とする。[0007] The present invention has been made in view of the above-described circumstances, and can set an avatar operation according to a user's situation. Further, the present invention provides an avatar according to a relative positional relationship between an avatar and a user's viewpoint. Avatar display device in a virtual space communication system that can optimize a large number of avatars and their operation display, and can easily construct a more realistic multi-party video conference system using avatar expressions , An avatar display method and a storage medium.
【０００８】[0008]
【課題を解決するための手段】上述した問題点を解決す
るために、請求項１記載の発明では、通信回線を介して
接続される複数の端末の利用者が３次元仮想空間を共有
し、該３次元仮想空間中に個々の利用者を象徴する人型
の３次元ＣＧモデルによるアバタを出現させ、該３次元
仮想空間における個々の利用者の位置・方向情報を配信
することによって、前記アバタのアニメーション表示を
実現する仮想空間通信システムにおけるアバタ表示装置
において、アバタを構成する独立して動作可能な複数の
ノード毎に、複数のアニメーション表示方法と各アニメ
ーション表示方法を行う際の適用条件を設定するアバタ
属性設定手段と、各ノードの３次元仮想空間における位
置および方向情報を記憶するアバタ情報記憶手段と、前
記複数のアニメーション表示方法のうち、合致した適用
条件に応じたアニメーション表示方法を各ノードに対し
て適用すべく、前記アバタ情報記憶手段に記憶されてい
る各ノードの位置および方向情報を動的に変更するアバ
タ情報制御手段と、前記アバタ情報記憶手段に記憶され
ている各ノードの位置および方向情報に基づいて、アバ
タのアニメーション表示を行うアバタ表示制御手段とを
具備することを特徴とする。In order to solve the above-mentioned problems, according to the first aspect of the present invention, users of a plurality of terminals connected via a communication line share a three-dimensional virtual space, By displaying an avatar based on a human-shaped three-dimensional CG model symbolizing each user in the three-dimensional virtual space and distributing the position and direction information of each user in the three-dimensional virtual space, the avatar is displayed. In the avatar display device in the virtual space communication system that realizes the animation display of the above, for each of a plurality of independently operable nodes constituting the avatar, a plurality of animation display methods and application conditions for performing each animation display method are set. Avatar attribute setting means for storing, and avatar information storage means for storing position and direction information of each node in a three-dimensional virtual space; The position and direction information of each node stored in the avatar information storage unit is dynamically changed in order to apply an animation display method according to a matching application condition to each node among the application display methods. An avatar information control means and an avatar display control means for performing an avatar animation display based on the position and direction information of each node stored in the avatar information storage means.
【０００９】また、請求項２記載の発明では、請求項１
記載の仮想空間通信システムにおけるアバタ表示装置に
おいて、予め設定された既定動作を記憶する既定動作記
憶手段と、アバタモデルに対するジェスチャを指示する
動作指示入力手段と、利用者の顔もしくは上半身映像を
撮影する撮影手段とを備え、前記アバタ情報制御手段
は、前記既定動作記憶手段に記憶されている既定動作も
しくは前記動作指示入力手段により指示されるジェスチ
ャに基づいて、前記アバタ情報記憶手段に記憶されてい
る各ノードの位置および方向情報を動的に変更し、前記
アバタ表示制御手段は、前記アバタ情報記憶手段に記憶
されている各ノードの位置および方向情報に基づいてア
バタのアニメーション表示を行うとともに、前記撮影手
段により撮影された映像をアバタに合成することを特徴
とする。Further, according to the invention described in claim 2, according to claim 1,
In the avatar display device in the virtual space communication system described above, a default operation storage unit that stores a preset default operation, an operation instruction input unit that instructs a gesture with respect to the avatar model, and captures a face or upper body image of the user. Photographing means, wherein the avatar information control means is stored in the avatar information storage means based on a default operation stored in the default operation storage means or a gesture specified by the operation instruction input means. The avatar display control means dynamically changes the position and direction information of each node, and performs avatar animation display based on the position and direction information of each node stored in the avatar information storage means, The image captured by the image capturing means is combined with the avatar.
【００１０】また、請求項３記載の発明では、請求項１
記載の仮想空間通信システムにおけるアバタ表示装置に
おいて、前記適用条件は、利用者の３次元仮想空間にお
ける視点位置と、該３次元仮想空間における他のアバタ
との相対的な位置関係であることを特徴とする。[0010] According to the third aspect of the present invention, the first aspect is provided.
3. The avatar display device in the virtual space communication system according to claim 1, wherein the application condition is a user's viewpoint position in a three-dimensional virtual space and a relative positional relationship between the user and another avatar in the three-dimensional virtual space. And
【００１１】また、上述した問題点を解決するために、
請求項４記載の発明では、通信回線を介して接続される
複数の端末の利用者が３次元仮想空間を共有し、該３次
元仮想空間中に個々の利用者を象徴する人型の３次元Ｃ
Ｇモデルによるアバタを出現させ、該３次元仮想空間に
おける個々の利用者の位置・方向情報を配信することに
よって、前記アバタのアニメーション表示を実現するア
バタ表示方法において、利用者のアバタの３次元仮想空
間における視点位置と、該３次元仮想空間における他の
アバタとの相対的な位置関係を算出するステップと、前
記算出された相対位置関係と、前記アバタを構成する独
立して動作可能な複数のノード毎に定義された、複数の
アニメーション表示方法を行う際の適用条件とを比較す
るステップと、前記比較した結果、合致した適用条件に
応じたアニメーション表示方法によって各ノードをアニ
メーション表示するステップとを有することを特徴とす
る。In order to solve the above-mentioned problems,
According to the fourth aspect of the present invention, a user of a plurality of terminals connected via a communication line shares a three-dimensional virtual space, and a three-dimensional humanoid symbolizing each user in the three-dimensional virtual space. C
In the avatar display method for realizing an animation display of the avatar by causing an avatar based on the G model to appear and distributing position / direction information of each user in the three-dimensional virtual space, the three-dimensional virtual avatar of the user is provided. Calculating a relative positional relationship between a viewpoint position in a space and another avatar in the three-dimensional virtual space; and calculating a plurality of independently operable plurality of avatars constituting the avatar. A step of comparing application conditions defined when performing a plurality of animation display methods defined for each node, and a step of animation-displaying each node by an animation display method according to a result of the comparison, which matches the applied condition. It is characterized by having.
【００１２】また、請求項５記載の発明では、請求項４
記載のアバタ表示方法において、前記複数のアニメーシ
ョン表示方法は、前記既定動作記憶手段に記憶されてい
る既定動作に基づくアニメーション表示、前記動作指示
入力手段により指示されるジェスチャに基づくアニメー
ション表示、実際に撮影された映像をアバタに合成する
ことによるアニメーション表示のいずれか１つ、もしく
は組み合わせであることを特徴とする。According to the invention described in claim 5, according to claim 4,
In the avatar display method described above, the plurality of animation display methods include an animation display based on a default operation stored in the default operation storage unit, an animation display based on a gesture specified by the operation instruction input unit, and actual shooting. It is characterized by being one or a combination of animation display by combining the displayed video with the avatar.
【００１３】また、請求項６記載の発明では、請求項４
記載のアバタ表示方法において、利用者のアバタからの
距離に基づき仮想空間を第１の範囲乃至第４の範囲に分
割するステップを有し、前記アニメーション表示するス
テップは、前記相対位置関係が前記第１の範囲にある場
合には、非アニメーション表示を行い、前記相対位置関
係が前記第１の範囲に比べ、利用者のアバタにより近い
第２の範囲にある場合には、前記既定動作記憶手段に記
憶されている既定動作に基づくアニメーション表示を行
い、前記相対位置関係が前記第２の範囲に比べ、利用者
のアバタにより近い第３の範囲にある場合には、少なく
とも、前記動作指示入力手段により指示されるジェスチ
ャに基づくアニメーション表示を行い、前記相対位置関
係が前記第３の範囲に比べ、利用者のアバタにより近い
第４の範囲にある場合には、少なくとも、実際に撮影さ
れた映像をアバタに合成することによりアニメーション
表示を行うことを特徴とする。According to the invention described in claim 6, according to claim 4,
The avatar display method according to claim 1, further comprising a step of dividing the virtual space into first to fourth ranges based on a distance of the user from the avatar; In the case where the relative position relationship is in the second range closer to the user's avatar than in the first range, the non-animation display is performed. An animation display based on the stored default operation is performed, and when the relative positional relationship is in a third range closer to the avatar of the user than in the second range, at least the operation instruction input means An animation display based on the instructed gesture is performed, and the relative positional relationship is in a fourth range closer to the user's avatar than the third range. Expediently, at least, and performing an animation display by combining the actually been captured image to an avatar.
【００１４】また、上述した問題点を解決するために、
請求項７記載の発明では、通信回線を介して接続された
複数の端末の利用者により共有される３次元仮想空間中
に個々の利用者を象徴する人型の３次元ＣＧモデルによ
るアバタのうち、利用者のアバタの３次元仮想空間にお
ける視点位置と、該３次元仮想空間における他のアバタ
との相対的な位置関係を算出するステップと、前記算出
された相対位置関係と、前記アバタを構成する独立して
動作可能な複数のノード毎に定義された、複数のアニメ
ーション表示方法を行う際の適用条件とを比較するステ
ップと、前記比較した結果、合致した適用条件に応じた
アニメーション表示方法によって各ノードをアニメーシ
ョン表示するステップとからなるアバタ表示用プログラ
ムを記憶することを特徴とする。In order to solve the above-mentioned problems,
According to the seventh aspect of the present invention, among avatars based on a human-shaped three-dimensional CG model symbolizing each user in a three-dimensional virtual space shared by users of a plurality of terminals connected via a communication line. Calculating a viewpoint position of the user's avatar in a three-dimensional virtual space and a relative positional relationship with another avatar in the three-dimensional virtual space; configuring the calculated relative positional relationship; A step of comparing application conditions defined for each of a plurality of independently operable nodes, when performing a plurality of animation display methods, and the result of the comparison, the animation display method according to the matched application conditions And storing an avatar display program comprising the step of displaying an animation of each node.
【００１５】また、請求項８記載の発明では、請求項７
記載の記憶媒体において、前記複数のアニメーション表
示方法は、前記既定動作記憶手段に記憶されている既定
動作に基づくアニメーション表示、前記動作指示入力手
段により指示されるジェスチャに基づくアニメーション
表示、実際に撮影された映像をアバタに合成することに
よるアニメーション表示のいずれか１つ、もしくは組み
合わせであることを特徴とする。また、請求項９記載の
発明では、請求項７記載の記憶媒体において、前記アバ
タ表示用プログラムにおいて、利用者のアバタからの距
離に基づき仮想空間を第１の範囲乃至第４の範囲に分割
するステップを有し、前記アニメーション表示するステ
ップでは、前記相対位置関係が前記第１の範囲にある場
合には、非アニメーション表示を行い、前記相対位置関
係が前記第１の範囲に比べ、利用者のアバタにより近い
第２の範囲にある場合には、前記既定動作記憶手段に記
憶されている既定動作に基づくアニメーション表示を行
い、前記相対位置関係が前記第２の範囲に比べ、利用者
のアバタにより近い第３の範囲にある場合には、少なく
とも、前記動作指示入力手段により指示されるジェスチ
ャに基づくアニメーション表示を行い、前記相対位置関
係が前記第３の範囲に比べ、利用者のアバタにより近い
第４の範囲にある場合には、少なくとも、実際に撮影さ
れた映像をアバタに合成することによりアニメーション
表示を行うことを特徴とする。According to the invention described in claim 8, according to claim 7,
In the storage medium according to the aspect, the plurality of animation display methods include an animation display based on a default operation stored in the default operation storage unit, an animation display based on a gesture specified by the operation instruction input unit, It is characterized by being one or a combination of animation display by combining the displayed video with the avatar. According to a ninth aspect of the present invention, in the storage medium according to the seventh aspect, in the avatar display program, the virtual space is divided into a first range to a fourth range based on a distance of the user from the avatar. In the step of displaying an animation, when the relative positional relationship is within the first range, a non-animal display is performed, and the relative positional relationship is compared with the first range. When it is in the second range closer to the avatar, an animation display based on the default operation stored in the default operation storage means is performed, and the relative positional relationship is larger than that in the second range by the user's avatar. At least in the third range, animation display based on a gesture instructed by the operation instruction input means is performed, and the relative position is displayed. When the relationship is in the fourth range closer to the user's avatar as compared to the third range, animation display is performed by combining at least the actually shot video with the avatar. .
【００１６】この発明では、アバタを構成する独立して
動作可能な複数のノード毎に、複数のアニメーション表
示方法と各アニメーション表示方法を行う際の適用条件
をアバタ属性設定手段に設定しておく。アバタ情報制御
手段は、アバタ属性設定手段に設定されている複数のア
ニメーション表示方法のうち、合致した適用条件に応じ
たアニメーション表示方法を各ノードに対して適用すべ
く、前記アバタ情報記憶手段に記憶されている各ノード
の位置および方向情報を動的に変更する。アバタ表示制
御手段は、前記アバタ情報記憶手段に記憶されている各
ノードの位置および方向情報に基づいて、アバタのアニ
メーション表示を行う。したがって、アバタが複数存在
する共有空間において、利用者の状況に応じたアバタ動
作を設定することが可能となり、さらにアバタと利用者
視点との相対的な位置関係によって、上記アバタ動作の
設定を動的に変更することによって、多数存在するアバ
タおよびその動作表示を最適化することが可能となる。
また、ビデオカメラなどの撮像装置を設置した端末を利
用することにより、アバタが複数存在する共有空間にお
いて、それぞれのアバタに対して顔もしくは体の映像を
貼り付けることにより、多人数参加型のテレビ会議シス
テムを容易に構築することが可能となる。この際、上記
アバタ動作設定と組み合わせることにより、利用者視点
とアバタとの相対的な位置関係により、アパタへの顔も
しくは体の映像の貼り付けを最適化することが可能とな
る。In the present invention, for each of a plurality of independently operable nodes constituting an avatar, a plurality of animation display methods and application conditions for performing each animation display method are set in the avatar attribute setting means. The avatar information control means stores the avatar information storage means in the avatar information storage means in order to apply an animation display method corresponding to a matching application condition to each node among a plurality of animation display methods set in the avatar attribute setting means. Dynamically change the position and direction information of each node. The avatar display control means performs an avatar animation display based on the position and direction information of each node stored in the avatar information storage means. Therefore, it is possible to set an avatar operation in accordance with the situation of the user in a shared space where a plurality of avatars exist, and furthermore, the setting of the avatar operation is changed according to the relative positional relationship between the avatar and the user's viewpoint. By changing the avatar, a large number of avatars and their operation display can be optimized.
In addition, by using a terminal equipped with an imaging device such as a video camera, a face or body image is pasted to each avatar in a shared space where a plurality of avatars exist, so that a multi-person television A conference system can be easily constructed. At this time, by combining with the avatar operation setting, it is possible to optimize the attachment of the face or body image to the avatar based on the relative positional relationship between the user's viewpoint and the avatar.
【００１７】[0017]
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。本実施形態は、３次元仮想空間内で
複数の参加者およびサービスの間での通信を実現する仮
想空間通信システムに関するものである。より具体的に
は、多人数参加型通信サービスの例として、各利用者端
末で仮想的な都市モデルを共有し、利用者は、端末の入
力装置を用いて該都市内の自己の座標を移動させる。各
端末は、その表示装置に該当座標位置から見た都市の景
観を３次元コンピュータグラフィックスで生成して表示
し、さらに、他の参加者およびサーバ端末に対して自己
の座標位置および方向を送信する。参加者の各端末は、
受信した他の参加者の位置および方向を用いて、同じ都
市内を移動している他の参加者を象徴するＣＧ像（アバ
タ）を仮想都市の中に同じく生成して表示する。Embodiments of the present invention will be described below with reference to the drawings. The present embodiment relates to a virtual space communication system that realizes communication between a plurality of participants and services in a three-dimensional virtual space. More specifically, as an example of a multi-person participatory communication service, each user terminal shares a virtual city model, and the user moves his or her own coordinates in the city using the input device of the terminal. Let it. Each terminal generates and displays the cityscape viewed from the corresponding coordinate position on the display device using three-dimensional computer graphics, and further transmits its own coordinate position and direction to other participants and the server terminal. I do. Each participant ’s terminal
Using the received positions and directions of the other participants, a CG image (avatar) representing the other participants moving in the same city is also generated and displayed in the virtual city.
【００１８】また、本実施形態は、デスクトップ会議な
どに応用した際に、一般的には利用者が椅子に着席した
まま利用する形態を考え、アバタの上半身の動作に重点
を置き、下半身の動きに関しては、既定動作を行うよう
な形態に関するものである。In this embodiment, when the present invention is applied to a desktop conference or the like, it is generally considered that the user uses the apparatus while sitting on a chair, and the emphasis is placed on the movement of the avatar's upper body, and the movement of the lower body is performed. Is related to a form in which a default operation is performed.
【００１９】Ａ．実施形態の構成 図１は、本発明の実施形態による３次元共有仮想空間通
信サービスを提供するシステムの構成を示すブロック図
である。図において、３次元共有仮想空間通信サービス
は、ネットワーク１を介して接続された複数の利用者端
末（図示の例では２つの利用者端末のみ記載）２ａ，２
ｂおよび仮想空間集中制御装置（共有仮想空間通信サー
ビスサーバ）３から構成される。A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of a system for providing a three-dimensional shared virtual space communication service according to an embodiment of the present invention. In the figure, the three-dimensional shared virtual space communication service includes a plurality of user terminals (only two user terminals are shown in the illustrated example) 2a, 2 connected via the network 1.
b and a virtual space centralized control device (shared virtual space communication service server) 3.
【００２０】利用者端末２ａ，２ｂは、各々、各情報を
制御するための利用者端末装置４ａ，４ｂ、およびそれ
に接続された仮想空間表示用のディスプレイ５ａ，５
ｂ、顔画像撮影用のビデオカメラ６ａ，６ｂ、利用者音
声を録音するためのマイク７ａ，７ｂ、別利用者音声
（および効果音なと）を再生するためのスピーカ（これ
はヘッドフォンを利用してもよい）８ａ，８ｂ、仮想空
間の移動およびアバタジェスチャ入力を行う入力デバイ
ス装置（マウス、ジョイスティック、キーボードなど）
９ａ，９ｂから構成される。ここでは、アバタの制御手
法として、マウス、ジョイスティックなどの一般的な入
力デバイス装置を用いることを前提とする。The user terminals 2a and 2b are respectively provided with user terminal devices 4a and 4b for controlling respective information, and displays 5a and 5 connected to the user terminals for displaying a virtual space.
b, video cameras 6a and 6b for photographing face images, microphones 7a and 7b for recording user voices, and speakers for reproducing another user's voice (and sound effects) (this uses headphones). 8a, 8b, input device devices (mouse, joystick, keyboard, etc.) for moving the virtual space and performing avatar gesture input
9a and 9b. Here, it is assumed that a general input device such as a mouse or a joystick is used as the avatar control method.
【００２１】本実施形態においては、仮想空間内の移動
については、マウスを用いることとし、お辞儀、挙手な
どのアバタジェスチャについては、キーボードの適当な
キーにこれらのジェスチャ開始を割り当てることとし、
当該キーを押下することによって他方の利用者端末上で
当該アバタが指定されたジェスチャを行う機能を有して
いる。In the present embodiment, the mouse is used for movement in the virtual space, and the start of these gestures is assigned to appropriate keys on the keyboard for avatar gestures such as bowing and raising hands.
When the key is pressed, the avatar has a function of performing a specified gesture on the other user terminal.
【００２２】次に、図２は、利用者端末におけるモジュ
ール構成を示すブロック図である。なお、図における各
部は、利用者端末２ａ，２ｂに共通するものである。図
において、ネットワーク制御部１０は、ネットワーク１
を介して情報の送受信を行い、情報の種類によってそれ
ぞれ対応するビデオ映像制御部１２またはアバタ情報制
御部１２に情報を供給する。ビデオ信号変換部１１は、
利用者端末装置２に設置されたビデオカメラ６ａ，６ｂ
を介して利用者映像を撮像し、デジタル信号に変換した
後、ビデオ映像制御１２に供給する。ビデオ映像制御部
１２は、デジタル信号に変換された利用者映像をネット
ワーク制御部１０を介して、他の利用者端末へ配信する
とともに、他の利用者端末から受信した他利用者映像を
アバタに合成するためにアバタ情報制御部１４に供給す
る。Next, FIG. 2 is a block diagram showing a module configuration in the user terminal. Each unit in the figure is common to the user terminals 2a and 2b. In the figure, a network control unit 10
, And supplies information to the corresponding video image controller 12 or avatar information controller 12 depending on the type of information. The video signal conversion unit 11
Video cameras 6a, 6b installed in the user terminal device 2
The user image is captured via the CPU, converted into a digital signal, and supplied to the video image controller 12. The video image control unit 12 distributes the user image converted into the digital signal to another user terminal via the network control unit 10, and transmits the other user image received from the other user terminal to the avatar. The information is supplied to the avatar information control unit 14 for synthesis.
【００２３】ジェスチャ入力制御部１３は、マウス、キ
ーボードなど利用者端末２に設置された入力デバイス装
置９ａ，９ｂから、仮想空間の移動情報、ジェスチャ指
示情報などを取得し、アバタ情報制御部１４に供給す
る。アバタ情報制御部１４は、ビデオ映像制御部１２や
ジェスチャ入力制御部１３から受け取った情報を用い
て、後述するアバタ属性定義テーブル１５、既定動作情
報テーブル１６を用い、３次元ＣＧシミュレーション毎
のアバタ情報テーブル１７（アバタ位置・方向情報など
を含む）を更新する。アバタ表示制御部１８は、アバタ
情報制御部１４からアバタ表示命令を受け、更新された
アバタ情報テーブル１７を参照し、実際に３次元ＣＧ表
示、３次元ＣＧによるアバタ表示、他の利用者映像を合
成したアバタ表示を、ＣＲＴディスプレイ５ａ，５ｂに
対して行う。The gesture input control unit 13 acquires movement information of a virtual space, gesture instruction information, and the like from input device devices 9 a and 9 b installed in the user terminal 2 such as a mouse and a keyboard. Supply. The avatar information control unit 14 uses the information received from the video image control unit 12 and the gesture input control unit 13 to use the avatar attribute definition table 15 and the default operation information table 16 to be described later, and the avatar information for each three-dimensional CG simulation. The table 17 (including the avatar position / direction information) is updated. The avatar display control unit 18 receives the avatar display command from the avatar information control unit 14, refers to the updated avatar information table 17, and actually displays the three-dimensional CG display, the avatar display using the three-dimensional CG, and other user images. The synthesized avatar is displayed on the CRT displays 5a and 5b.
【００２４】次に、上述した既定動作情報テーブル１
６、アバタ情報テーブル１７について説明する。なお、
アバタ属性定義テーブル１５については後述する動作に
おいて説明する。Next, the above-mentioned default operation information table 1
6. The avatar information table 17 will be described. In addition,
The operation of the avatar attribute definition table 15 will be described later.
【００２５】[0025]
【表１】 [Table 1]
【００２６】まず、表１に示すアバタ情報テーブル１７
は、その時点でのアバタパーツの位置データおよび方向
データからなり、利用者の操作（指示）に応じてアバタ
情報制御部１４によりリアルタイムで更新される。アバ
タ表示制御部１８は、このアバタ情報テーブル１７を参
照して各アバタの表示を行う。First, the avatar information table 17 shown in Table 1
Is composed of avatar part position data and direction data at that time, and is updated in real time by the avatar information control unit 14 in response to a user operation (instruction). The avatar display controller 18 displays each avatar with reference to the avatar information table 17.
【００２７】[0027]
【表２】 [Table 2]
【００２８】次に、表２に示す既定動作情報テーブル１
６は、各ジェスチャ（歩く、走る、座る、手を挙げるな
ど）に対応する各ノード（パーツ）の位置・方向の一連
の羅列（フレーム）からなる。なお、表２には、簡略化
のため、フレーム４以降の表記、また走る、座る、手を
挙げるなどのその他のジェスチャに関する表記は省略し
てある。Next, the default operation information table 1 shown in Table 2
6 is a series of frames (frames) of the position and direction of each node (part) corresponding to each gesture (walk, run, sit, raise hand, etc.). Note that, in Table 2, notations after frame 4 and other gestures such as running, sitting, and raising a hand are omitted for simplicity.
【００２９】次に、アバタ属性の定義例を図３に示す。
本実施形態では、アバタモデルを１１個のパーツ（頭
部、体１、体２、右手１、右手２、左手１、左手２、右
足１、右足２、左足１、左足２）に分割している。アバ
タモデルは、図中の体２における重心位置をアバタモデ
ルの基準位置とし、他の各々のパーツについては、該基
準位置からの相対位置、および方向の情報を持つ。Next, FIG. 3 shows a definition example of the avatar attribute.
In this embodiment, the avatar model is divided into 11 parts (head, body 1, body 2, right hand 1, right hand 2, left hand 1, left hand 2, right foot 1, right foot 2, left foot 1, left foot 2). I have. The avatar model uses the position of the center of gravity of the body 2 in the figure as a reference position of the avatar model, and has information on the other parts relative to the reference position and the direction.
【００３０】次に、自視点位置と当該アバタとの相対関
係、すなわち利用者Ａの視点位置と利用者Ｂのアバタ位
置との相対関係を計算するためのパラメータを図４に示
す。パラメータは、自視点位置と当該アバタ位置との距
離ｄ、および自視点方向を示す単位ベクトルａと当該ア
バタ視点方向を示す単位ベクトルｂとの内積ｐの２種類
がある。なお、θは、利用者Ａと利用者Ｂとの視点方向
ベクトルの成す角度である。Next, FIG. 4 shows parameters for calculating the relative relationship between the own viewpoint position and the avatar, that is, the relative relationship between the viewpoint position of the user A and the avatar position of the user B. There are two types of parameters: a distance d between the own viewpoint position and the avatar position, and an inner product p of a unit vector a indicating the own viewpoint direction and a unit vector b indicating the avatar viewpoint direction. Θ is an angle formed by the viewpoint direction vectors of the user A and the user B.
【００３１】上述した各部は、図示しないメモリなどの
記憶媒体に格納されているアバタ表示プログラムを実行
することにより動作するようになっている。該アバタ表
示プログラムは、を記録した記録媒体７を備える。この
記憶媒体は、磁気ディスク（フロッピーディスク、ハー
ドディスクなど）、半導体メモリ、あるいはその他の記
憶媒体からなる。なお、着脱可能な記憶媒体である場合
には、所定の駆動装置に装着した記録媒体から上記アバ
タ表示プログラムを読み込み、内部の記憶媒体に転送し
て実行するようにしてもよい。Each section described above operates by executing an avatar display program stored in a storage medium such as a memory (not shown). The avatar display program includes a recording medium 7 on which is recorded. This storage medium includes a magnetic disk (floppy disk, hard disk, or the like), a semiconductor memory, or another storage medium. If the storage medium is a removable storage medium, the avatar display program may be read from a storage medium mounted on a predetermined drive device, transferred to an internal storage medium, and executed.
【００３２】Ｂ．実施形態の動作 次に、本実施形態の動作について詳細に説明する。ここ
で、図５は、本実施形態によるシミュレーションのルー
プ毎に行われる基本処理を説明するためのフローチャー
トである。アバタパーツ毎に動作受信属性が定義された
アバタ属性定義テーブル１５を読み込み（ステップＡ
１）、その時点での自視点位置と仮想空間内に存在する
各アバタとの相対関係を示す上記距離ｄと内積ｐを算出
する（ステップＡ２）。次に、算出された相対関係値と
アバタ属性定義テーブル１５の条件部分とを比較し（ス
テップＡ３）、当該仮想空間内に存在する各アバタのア
ニメーション状態を求める（ステップＡ４）。そして、
アニメーションを行うペきアバタが存在する場合、必要
なアバタ動作データを既定動作情報テーブル１６から読
み込み（ステップＡ５）、あるいはアバタ動作データを
受信し（ステップＡ６）、それぞれのアバタ動作をアバ
タ表示制御部１８が表示するために用いるデータである
アバタ情報テーブル１７をアバタ情報制御部１４により
更新する（ステップＡ７）。その後、アバタ表示制御部
１８により実際のアバタ表示が行われる（ステップＡ
８）。B. Next, the operation of the present embodiment will be described in detail. Here, FIG. 5 is a flowchart for explaining the basic processing performed for each simulation loop according to the present embodiment. The avatar attribute definition table 15 in which the operation reception attribute is defined for each avatar part is read (step A).
1) The distance d and the inner product p indicating the relative relationship between the own viewpoint position at that time and each avatar existing in the virtual space are calculated (step A2). Next, the calculated relative relationship value is compared with the condition part of the avatar attribute definition table 15 (step A3), and the animation state of each avatar existing in the virtual space is obtained (step A4). And
If there is an avatar for performing animation, necessary avatar operation data is read from the default operation information table 16 (step A5), or avatar operation data is received (step A6), and each avatar operation is performed by the avatar display control unit. The avatar information control unit 14 updates the avatar information table 17 which is data used for display by 18 (step A7). Thereafter, an actual avatar display is performed by the avatar display control unit 18 (step A).
8).
【００３３】上述した基本処理は、単純化されたフロー
であり、図５に示す波線で囲まれたステップＡ５〜Ａ８
について詳細に説明する。以下では、例として利用者Ａ
と利用者Ｂがお互いに向き合いながら、利用者Ｂが利用
者Ａに対して段々と近付いた際に利用者Ａから見た利用
者Ｂのアバタ表現がとのように変化するかを取り上げ、
その際の処理について詳細に説明する。本例では、利用
者Ａの視点位置を中心として、表３に示すように、４種
類の範囲に分割される。The above-described basic processing is a simplified flow, and includes steps A5 to A8 surrounded by dashed lines shown in FIG.
Will be described in detail. In the following, as an example, user A
And while User B is facing each other, we will take a look at how the avatar expression of User B seen from User A changes as follows when User B gradually approaches User A.
The processing at that time will be described in detail. In this example, the area is divided into four types, as shown in Table 3, centering on the viewpoint position of the user A.
【００３４】[0034]
【表３】 [Table 3]
【００３５】表３に示すように、利用者Ａと利用者Ｂと
の距離ｄがｄ＞３００であれば、その位置でのアニメー
ション動作はない。また、距離ｄが２００＜ｄ＜３００
で、かつ、内積ｐが−０．５＜ｐ＜０であれば、全ての
アバタパーツに対して既存動作データを用いたアニメー
ション動作を行う。また、距離ｄが１００＜ｄ＜２００
で、かつ、内積ｐが−０．５＜ｐ＜０であれば、下半身
パーツに対しては、既存動作データを用いたアニメーシ
ョン動作を行い、上半身パーツに対しては、利用者がキ
ー押下によりジェスチャを送信してきた場合、その押下
キーに応じたジェスチャアニメーション動作を行う。さ
らに、距離ｄが０＜ｄ＜１００で、かつ、内積ｐが−
０．５＜ｐ＜０であれば、下半身パーツに対しては、既
存動作データを用いたアニメーション動作を行い、上半
身パーツに対しては、上半身パーツを消去し、利用者の
端末から送信されてくる映像データ（利用者の上半身）
をアバタ上半身部分に合成してアバタ表現を行う。As shown in Table 3, if the distance d between the user A and the user B is d> 300, there is no animation operation at that position. When the distance d is 200 <d <300
If the inner product p is −0.5 <p <0, an animation operation using the existing operation data is performed on all avatar parts. Further, the distance d is 100 <d <200.
If the inner product p is −0.5 <p <0, an animation operation using the existing operation data is performed for the lower body part, and the user presses a key for the upper body part. When a gesture is transmitted, a gesture animation operation corresponding to the pressed key is performed. Further, if the distance d is 0 <d <100 and the inner product p is −
If 0.5 <p <0, an animation operation using the existing operation data is performed for the lower body part, and the upper body part is erased for the upper body part, and transmitted from the user terminal. Coming video data (user's upper body)
Is combined with the avatar upper body part to perform the avatar expression.
【００３６】また、上記表３に示す４種類の範囲に分割
されたアバタ表現を実現するアバタ属性定義テーブル１
５の例を表４に示す。An avatar attribute definition table 1 for realizing an avatar expression divided into four types of ranges shown in Table 3 above
Table 4 shows an example of No. 5.
【００３７】[0037]
【表４】 [Table 4]
【００３８】表４に示すアニメーション条件は、既定動
作情報テーブル１６の既存動作データを用いてアニメー
ション動作を行う際の条件を指す。また、ジェスチャと
は、キー押下によるリアルタイムにジェスチャ命令が他
利用者端末に送信されることによって実現されるアバタ
動作を指し、ジェスチャ動作条件に合致した際に、ジェ
スチャフラグがＴＲＵＥになっているノード（パーツ）
を押下キーに応じたジェスチャアニメーション動作させ
る。さらに、映像利用は、映像利用条件に合致した際
に、映像利用フラグがＴＲＵＥとなっているノード（パ
ーツ）を削除し、その部分に他利用者映像を合成して表
示するアバタ動作を指す。The animation conditions shown in Table 4 indicate conditions for performing an animation operation using the existing operation data in the default operation information table 16. In addition, the gesture refers to an avatar operation realized by transmitting a gesture command to another user terminal in real time by pressing a key, and a node whose gesture flag is set to TRUE when the gesture operation condition is met. (parts)
Is operated as a gesture animation corresponding to the pressed key. Further, the use of video refers to an avatar operation of deleting a node (part) whose video use flag is TRUE and synthesizing and displaying another user's video on that part when the video use condition is met.
【００３９】次に、図６は、上記４つの範囲におけるア
バタ表現を示す概念図である。なお、図６では、簡単の
ため距離条件のみを示しており、内積ｐに関しては条件
に合致している（利用者ＡとＢが向き合っている状態）
ものとする。図において、範囲１では、利用者Ｂは、ア
バタアニメーションなしの状態で、次いで、範囲２で
は、前進既定アニメーション（歩行アニメーション）で
アバタ表現が行われる。そして、利用者Ｂが利用者Ａに
マウスを用いて近付きながら、範囲３において、利用者
Ｂが「手を振る」というジェスチャ命令を送信する当該
キーを押下すと、下半身には、既定アニメーション（歩
行アニメーション）でアバタ表現が行われ、上半身に
は、押下キーに応じたリアルタイムジェスチャによりア
バタ表現が行われる。そして、さらに、利用者Ｂが利用
者Ａにマウスを用いてさらに近付くと、範囲４におい
て、下半身には、既定アニメーション（歩行アニメーシ
ョン）でアバタ表現が行われ、上半身には、実写映像が
合成される。FIG. 6 is a conceptual diagram showing avatar expressions in the above four ranges. In FIG. 6, only the distance condition is shown for simplicity, and the inner product p matches the condition (a state in which the users A and B face each other).
Shall be. In the figure, in the range 1, the user B performs the avatar expression without the avatar animation, and then in the range 2, the avatar expression is performed by the predetermined forward animation (walking animation). Then, when the user B presses the key for transmitting the gesture command “wave” in the range 3 while approaching the user A using the mouse, the predetermined animation ( An avatar expression is performed by a walking animation, and an avatar expression is performed on the upper body by a real-time gesture corresponding to a pressed key. When the user B further approaches the user A using the mouse, the avatar expression is performed on the lower body by a predetermined animation (walking animation) in the range 4, and a live-action image is synthesized on the upper body. You.
【００４０】[0040]
【発明の効果】以上説明したように、本発明によれば、
アバタが複数存在する共有空間において、利用者の状況
に応じたアバタ動作を設定することができ、さらにアバ
タと利用者視点との相対的な位置関係によって、上記ア
バタ動作の設定を動的に変更することによって、多数存
在するアバタおよびその動作表示を最適化することがで
きるという利点が得られる。また、ビデオカメラなどの
撮像装置を設置した端末を利用することにより、アバタ
が複数存在する共有空間において、それぞれのアバタに
対して顔もしくは体の映像を貼り付けることにより、多
人数参加型のテレビ会議システムを容易に構築すること
ができるという利点が得られる。この際、上記アバタ動
作設定と組み合わせることにより、利用者視点とアバタ
との相対的な位置関係により、アパタへの顔もしくは体
の映像の貼り付けを最適化することが可能となる。As described above, according to the present invention,
In a shared space where multiple avatars exist, avatar actions can be set according to the user's situation, and the avatar action settings are dynamically changed according to the relative positional relationship between the avatar and the user's viewpoint. By doing so, there is an advantage that a large number of avatars and their operation display can be optimized. In addition, by using a terminal equipped with an imaging device such as a video camera, a face or body image is pasted to each avatar in a shared space where a plurality of avatars exist, so that a multi-person television The advantage is that the conference system can be easily constructed. At this time, by combining with the avatar operation setting, it is possible to optimize the attachment of the face or body image to the avatar based on the relative positional relationship between the user's viewpoint and the avatar.
【図１】 本発明の実施形態による３次元共有仮想空間
通信サービスを提供する共有仮想空間システムの構成を
示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a shared virtual space system that provides a three-dimensional shared virtual space communication service according to an embodiment of the present invention.
【図２】 本実施形態による利用者端末の（モジュー
ル）構成を示すブロック図である。FIG. 2 is a block diagram illustrating a (module) configuration of a user terminal according to the present embodiment.
【図３】 本実施形態によるアバタノード例を示す概念
図である。FIG. 3 is a conceptual diagram illustrating an example of an avatar node according to the embodiment;
【図４】 本実施形態によるアバタ相対関係パラメータ
を説明するための概念図である。FIG. 4 is a conceptual diagram for explaining avatar relative relationship parameters according to the embodiment;
【図５】 本実施形態によるアバタ表示方式の基本処理
を示すフローチャートである。FIG. 5 is a flowchart showing basic processing of an avatar display method according to the embodiment.
【図６】 本実施形態によるアバタ表示例を示す概念図
である。FIG. 6 is a conceptual diagram showing an avatar display example according to the embodiment.
１ ネットワーク ２ａ，２ｂ 利用者端末 ３ 共有仮想空間津芯サービスサーバ ４ａ，４ｂ 利用者端末装置 ５ａ，５ｂ ディスプレイ ６ａ，６ｂ ビデオカメラ ７ａ，７ｂ マイク ８ａ，８ｂ スピーカ ９ａ，９ｂ 移動入力装置（動作指示入力手段） １０ ネットワーク制御部 １１ ビデオ信号変換部 １２ ビデオ映像制御部 １３ ジェスチャ入力制御部 １４ アバタ情報制御部（アバタ情報制御手段） １５ アバタ属性定義テーブル（アバタ属性設定手段） １６ 既定動作情報テーブル １７ アバタ情報テーブル（アバタ情報記憶手段） １８ アバタ表示制御部（アバタ表示制御手段） Reference Signs List 1 network 2a, 2b user terminal 3 shared virtual space Tsushin service server 4a, 4b user terminal device 5a, 5b display 6a, 6b video camera 7a, 7b microphone 8a, 8b speaker 9a, 9b moving input device (operation instruction input) Means) 10 Network control unit 11 Video signal conversion unit 12 Video image control unit 13 Gesture input control unit 14 Avatar information control unit (Avatar information control unit) 15 Avatar attribute definition table (Avatar attribute setting unit) 16 Default operation information table 17 Avatar Information table (avatar information storage unit) 18 Avatar display control unit (avatar display control unit)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 正木 茂樹 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 AA08 BA08 BA09 BA12 CA07 CA08 DA04 EA19 EA24 EA27 FA02 5B080 BA04 5E501 AB20 AC16 BA20 CA03 CA04 CB14 CB15 CC11 DA02 FA15 FA27 FA32 FB02 FB03 FB11 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Shigeki Masaki 2-3-1 Otemachi, Chiyoda-ku, Tokyo F-term in Nippon Telegraph and Telephone Corporation (reference) 5B050 AA08 BA08 BA09 BA12 CA07 CA08 DA04 EA19 EA24 EA27 FA02 5B080 BA04 5E501 AB20 AC16 BA20 CA03 CA04 CB14 CB15 CC11 DA02 FA15 FA27 FA32 FB02 FB03 FB11
Claims (9)
の利用者が３次元仮想空間を共有し、該３次元仮想空間
中に個々の利用者を象徴する人型の３次元ＣＧモデルに
よるアバタを出現させ、該３次元仮想空間における個々
の利用者の位置・方向情報を配信することによって、前
記アバタのアニメーション表示を実現する仮想空間通信
システムにおけるアバタ表示装置において、 アバタを構成する独立して動作可能な複数のノード毎
に、複数のアニメーション表示方法と各アニメーション
表示方法を行う際の適用条件を設定するアバタ属性設定
手段と、 各ノードの３次元仮想空間における位置および方向情報
を記憶するアバタ情報記憶手段と、 前記複数のアニメーション表示方法のうち、合致した適
用条件に応じたアニメーション表示方法を各ノードに対
して適用すべく、前記アバタ情報記憶手段に記憶されて
いる各ノードの位置および方向情報を動的に変更するア
バタ情報制御手段と、 前記アバタ情報記憶手段に記憶されている各ノードの位
置および方向情報に基づいて、アバタのアニメーション
表示を行うアバタ表示制御手段とを具備することを特徴
とする仮想空間通信システムにおけるアバタ表示装置。1. A user of a plurality of terminals connected via a communication line shares a three-dimensional virtual space, and uses a human-shaped three-dimensional CG model symbolizing each user in the three-dimensional virtual space. An avatar display device in a virtual space communication system that realizes an animation display of the avatar by displaying an avatar and distributing position / direction information of each user in the three-dimensional virtual space. Attribute setting means for setting a plurality of animation display methods and application conditions when performing each animation display method, for each of a plurality of nodes operable by hand, and information on the position and direction of each node in a three-dimensional virtual space An avatar information storage unit, and an animation display method according to a matched application condition among the plurality of animation display methods. An avatar information control unit for dynamically changing the position and direction information of each node stored in the avatar information storage unit so as to be applied to each node; and each node stored in the avatar information storage unit. An avatar display device in a virtual space communication system, comprising: avatar display control means for displaying an avatar animation based on the position and direction information of the avatar.
動作記憶手段と、アバタモデルに対するジェスチャを指
示する動作指示入力手段と、 利用者の顔もしくは上半身映像を撮影する撮影手段とを
備え、 前記アバタ情報制御手段は、前記既定動作記憶手段に記
憶されている既定動作もしくは前記動作指示入力手段に
より指示されるジェスチャに基づいて、前記アバタ情報
記憶手段に記憶されている各ノードの位置および方向情
報を動的に変更し、 前記アバタ表示制御手段は、前記アバタ情報記憶手段に
記憶されている各ノードの位置および方向情報に基づい
てアバタのアニメーション表示を行うとともに、前記撮
影手段により撮影された映像をアバタに合成することを
特徴とする請求項１記載の仮想空間通信システムにおけ
るアバタ表示装置。2. An apparatus according to claim 1, further comprising: a predetermined operation storage unit configured to store a predetermined operation set in advance; an operation instruction input unit configured to instruct a gesture with respect to the avatar model; and a photographing unit configured to photograph a user's face or upper body image; The avatar information control means, based on a default operation stored in the default operation storage means or a gesture instructed by the operation instruction input means, position and direction information of each node stored in the avatar information storage means The avatar display control means performs an animation display of the avatar based on the position and direction information of each node stored in the avatar information storage means, and displays an image captured by the imaging means. The avatar display device in the virtual space communication system according to claim 1, wherein the avatar is combined with the avatar. .
間における視点位置と、該３次元仮想空間における他の
アバタとの相対的な位置関係であることを特徴とする請
求項１記載の仮想空間通信システムにおけるアバタ表示
装置。3. The application condition according to claim 1, wherein the application condition is a user's viewpoint position in a three-dimensional virtual space and a relative positional relationship with another avatar in the three-dimensional virtual space. An avatar display device in a virtual space communication system.
の利用者が３次元仮想空間を共有し、該３次元仮想空間
中に個々の利用者を象徴する人型の３次元ＣＧモデルに
よるアバタを出現させ、該３次元仮想空間における個々
の利用者の位置・方向情報を配信することによって、前
記アバタのアニメーション表示を実現するアバタ表示方
法において、 利用者のアバタの３次元仮想空間における視点位置と、
該３次元仮想空間における他のアバタとの相対的な位置
関係を算出するステップと、 前記算出された相対位置関係と、前記アバタを構成する
独立して動作可能な複数のノード毎に定義された、複数
のアニメーション表示方法を行う際の適用条件とを比較
するステップと、 前記比較した結果、合致した適用条件に応じたアニメー
ション表示方法によって各ノードをアニメーション表示
するステップとを有することを特徴とするアバタ表示方
法。4. A user of a plurality of terminals connected via a communication line shares a three-dimensional virtual space, and uses a human-shaped three-dimensional CG model symbolizing each user in the three-dimensional virtual space. An avatar display method for displaying an avatar and distributing position / direction information of each user in the three-dimensional virtual space to realize an animation display of the avatar, comprising the steps of: location and,
Calculating a relative positional relationship with another avatar in the three-dimensional virtual space; defining the calculated relative positional relationship and defining a plurality of independently operable nodes constituting the avatar Comparing an application condition when performing a plurality of animation display methods; and displaying an animation of each node by an animation display method according to a matching application condition as a result of the comparison. Avatar display method.
くアニメーション表示、前記動作指示入力手段により指
示されるジェスチャに基づくアニメーション表示、実際
に撮影された映像をアバタに合成することによるアニメ
ーション表示のいずれか１つ、もしくは組み合わせであ
ることを特徴とする請求項４記載のアバタ表示方法。5. The animation display method according to claim 1, wherein the animation display is based on a default operation stored in the default operation storage unit, an animation display is based on a gesture instructed by the operation instruction input unit, 5. The avatar display method according to claim 4, wherein the avatar display is any one of animation display by combining a video with an avatar or a combination thereof.
空間を第１の範囲乃至第４の範囲に分割するステップを
有し、 前記アニメーション表示するステップは、 前記相対位置関係が前記第１の範囲にある場合には、非
アニメーション表示を行い、 前記相対位置関係が前記第１の範囲に比べ、利用者のア
バタにより近い第２の範囲にある場合には、前記既定動
作記憶手段に記憶されている既定動作に基づくアニメー
ション表示を行い、 前記相対位置関係が前記第２の範囲に比べ、利用者のア
バタにより近い第３の範囲にある場合には、少なくと
も、前記動作指示入力手段により指示されるジェスチャ
に基づくアニメーション表示を行い、 前記相対位置関係が前記第３の範囲に比べ、利用者のア
バタにより近い第４の範囲にある場合には、少なくと
も、実際に撮影された映像をアバタに合成することによ
りアニメーション表示を行うことを特徴とする請求項４
記載のアバタ表示方法。6. The method according to claim 6, further comprising the step of dividing the virtual space into first to fourth ranges based on a distance of the user from the avatar; If it is in the range, non-animation display is performed. If the relative positional relationship is in the second range closer to the user's avatar than in the first range, it is stored in the default operation storage means. Performing an animation display based on the predetermined operation, and when the relative positional relationship is in a third range closer to the user's avatar than the second range, at least an instruction is given by the operation instruction input means. Performing an animation display based on the gesture of the user, and when the relative positional relationship is in a fourth range closer to the user's avatar as compared with the third range, Both, claim and performs an animation display by combining the actually been shot video avatar 4
The avatar display method described.
の利用者により共有される３次元仮想空間中に個々の利
用者を象徴する人型の３次元ＣＧモデルによるアバタの
うち、利用者のアバタの３次元仮想空間における視点位
置と、該３次元仮想空間における他のアバタとの相対的
な位置関係を算出するステップと、 前記算出された相対位置関係と、前記アバタを構成する
独立して動作可能な複数のノード毎に定義された、複数
のアニメーション表示方法を行う際の適用条件とを比較
するステップと、 前記比較した結果、合致した適用条件に応じたアニメー
ション表示方法によって各ノードをアニメーション表示
するステップとからなるアバタ表示用プログラムを記憶
することを特徴とする記憶媒体。7. An avatar based on a human-shaped three-dimensional CG model symbolizing each user in a three-dimensional virtual space shared by users of a plurality of terminals connected via a communication line. Calculating a viewpoint position of the avatar in a three-dimensional virtual space and a relative positional relationship with another avatar in the three-dimensional virtual space; and calculating the calculated relative positional relationship with an independent avatar. Comparing the application conditions defined for each of the plurality of nodes operable in performing the plurality of animation display methods, and comparing each node with the animation display method according to the matched application condition as a result of the comparison. A storage medium for storing an avatar display program which comprises an animation display step.
くアニメーション表示、前記動作指示入力手段により指
示されるジェスチャに基づくアニメーション表示、実際
に撮影された映像をアバタに合成することによるアニメ
ーション表示のいずれか１つ、もしくは組み合わせであ
ることを特徴とする請求項７記載の記憶媒体。8. The plurality of animation display methods include: an animation display based on a default operation stored in the default operation storage unit; an animation display based on a gesture specified by the operation instruction input unit; The storage medium according to claim 7, wherein the storage medium is any one or a combination of animation display by combining a video with an avatar.
空間を第１の範囲乃至第４の範囲に分割するステップを
有し、 前記アニメーション表示するステップでは、 前記相対位置関係が前記第１の範囲にある場合には、非
アニメーション表示を行い、 前記相対位置関係が前記第１の範囲に比べ、利用者のア
バタにより近い第２の範囲にある場合には、前記既定動
作記憶手段に記憶されている既定動作に基づくアニメー
ション表示を行い、 前記相対位置関係が前記第２の範囲に比べ、利用者のア
バタにより近い第３の範囲にある場合には、少なくと
も、前記動作指示入力手段により指示されるジェスチャ
に基づくアニメーション表示を行い、 前記相対位置関係が前記第３の範囲に比べ、利用者のア
バタにより近い第４の範囲にある場合には、少なくと
も、実際に撮影された映像をアバタに合成することによ
りアニメーション表示を行うことを特徴とする請求項７
記載の記憶媒体。9. The method according to claim 9, further comprising the step of dividing the virtual space into first to fourth ranges based on a distance of the user from the avatar. If it is in the range, non-animation display is performed. If the relative positional relationship is in the second range closer to the user's avatar than in the first range, it is stored in the default operation storage means. Performing an animation display based on the predetermined operation, and when the relative positional relationship is in a third range closer to the user's avatar than the second range, at least an instruction is given by the operation instruction input means. Performing an animation display based on the gesture of the user, and if the relative positional relationship is in a fourth range closer to the user's avatar as compared to the third range, Kutomo, claim and performs an animation display by combining the actually been shot video avatar 7
The storage medium according to the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34393699A JP3623415B2 (en) | 1999-12-02 | 1999-12-02 | Avatar display device, avatar display method and storage medium in virtual space communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34393699A JP3623415B2 (en) | 1999-12-02 | 1999-12-02 | Avatar display device, avatar display method and storage medium in virtual space communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001160154A true JP2001160154A (en) | 2001-06-12 |
| JP3623415B2 JP3623415B2 (en) | 2005-02-23 |
Family
ID=18365397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34393699A Expired - Fee Related JP3623415B2 (en) | 1999-12-02 | 1999-12-02 | Avatar display device, avatar display method and storage medium in virtual space communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3623415B2 (en) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003108502A (en) * | 2001-09-28 | 2003-04-11 | Interrobot Inc | Physical media communication system |
| JP2004061648A (en) * | 2002-07-25 | 2004-02-26 | Denso Corp | Map display apparatus and program |
| JP2006164212A (en) * | 2004-11-10 | 2006-06-22 | Sony Corp | Information processing apparatus and method, recording medium, and program |
| US7471644B2 (en) | 2004-11-16 | 2008-12-30 | Sony Corporation | Information processing apparatus and method, recording medium, and program |
| US20090113302A1 (en) * | 2007-10-24 | 2009-04-30 | Samsung Electronics Co., Ltd. | Method of manipulating media object in media player and apparatus therefor |
| JP2010535364A (en) * | 2007-03-01 | 2010-11-18 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Interactive user-controlled avatar animation |
| WO2010151075A3 (en) * | 2009-06-25 | 2011-03-31 | 삼성전자주식회사 | Imaging device and computer reading and recording medium |
| WO2010128830A3 (en) * | 2009-05-08 | 2011-04-21 | 삼성전자주식회사 | System, method, and recording medium for controlling an object in virtual world |
| JP2013047962A (en) * | 2012-10-01 | 2013-03-07 | Olympus Imaging Corp | Reproduction display device, reproduction display program, reproduction display method, and image processing server |
| JP6275891B1 (en) * | 2017-01-27 | 2018-02-07 | 株式会社コロプラ | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program |
| WO2020063009A1 (en) * | 2018-09-25 | 2020-04-02 | Oppo广东移动通信有限公司 | Image processing method and apparatus, storage medium, and electronic device |
| US11205293B2 (en) | 2018-10-31 | 2021-12-21 | Dwango Co., Ltd. | Avatar display system in virtual space, avatar display method in virtual space, and computer program |
| CN114419694A (en) * | 2021-12-21 | 2022-04-29 | 珠海视熙科技有限公司 | Processing method and processing device for head portrait of multi-person video conference |
| KR102419906B1 (en) * | 2021-12-28 | 2022-07-13 | 주식회사 직방 | User image data matching method in metaverse based office environment, storage medium in which a program executing the same, and user image data matching system including the same |
| KR102419919B1 (en) * | 2021-12-28 | 2022-07-13 | 주식회사 직방 | User image data display method in metaverse based office environment, storage medium in which a program executing the same, and user image data display system including the same |
| KR102419932B1 (en) * | 2021-12-28 | 2022-07-13 | 주식회사 직방 | Display control method in metaverse based office environment, storage medium in which a program executing the same, and display control system including the same |
| KR102423902B1 (en) * | 2021-12-28 | 2022-07-22 | 주식회사 직방 | User grouping method in metaverse based office environment, storage medium in which a program executing the same, and user grouping system including the same |
| WO2022201509A1 (en) * | 2021-03-26 | 2022-09-29 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| WO2022209129A1 (en) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | Information processing device, information processing method and program |
| US11928253B2 (en) | 2021-10-07 | 2024-03-12 | Toyota Jidosha Kabushiki Kaisha | Virtual space control system, method for controlling the same, and control program |
| US12086915B2 (en) | 2020-01-30 | 2024-09-10 | Dwango Co., Ltd. | Avatar display device, avatar display system, avatar display method, and avatar display program |
-
1999
- 1999-12-02 JP JP34393699A patent/JP3623415B2/en not_active Expired - Fee Related
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003108502A (en) * | 2001-09-28 | 2003-04-11 | Interrobot Inc | Physical media communication system |
| JP2004061648A (en) * | 2002-07-25 | 2004-02-26 | Denso Corp | Map display apparatus and program |
| JP2006164212A (en) * | 2004-11-10 | 2006-06-22 | Sony Corp | Information processing apparatus and method, recording medium, and program |
| US8031631B2 (en) | 2004-11-10 | 2011-10-04 | Sony Corporation | Information processing apparatus, method, and recording medium for communication through a network in a predetermined area |
| US7471644B2 (en) | 2004-11-16 | 2008-12-30 | Sony Corporation | Information processing apparatus and method, recording medium, and program |
| JP2010535364A (en) * | 2007-03-01 | 2010-11-18 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Interactive user-controlled avatar animation |
| JP2014149836A (en) * | 2007-03-01 | 2014-08-21 | Sony Computer Entertainment America Llc | Interactive user controlled avatar animations |
| US20090113302A1 (en) * | 2007-10-24 | 2009-04-30 | Samsung Electronics Co., Ltd. | Method of manipulating media object in media player and apparatus therefor |
| US8875024B2 (en) * | 2007-10-24 | 2014-10-28 | Samsung Electronics Co., Ltd. | Method of manipulating media object in media player and apparatus therefor |
| CN102458595A (en) * | 2009-05-08 | 2012-05-16 | 三星电子株式会社 | System, method, and recording medium for controlling an object in virtual world |
| WO2010128830A3 (en) * | 2009-05-08 | 2011-04-21 | 삼성전자주식회사 | System, method, and recording medium for controlling an object in virtual world |
| CN102483857A (en) * | 2009-06-25 | 2012-05-30 | 三星电子株式会社 | Imaging device and computer reading and recording medium |
| WO2010151075A3 (en) * | 2009-06-25 | 2011-03-31 | 삼성전자주식회사 | Imaging device and computer reading and recording medium |
| JP2013047962A (en) * | 2012-10-01 | 2013-03-07 | Olympus Imaging Corp | Reproduction display device, reproduction display program, reproduction display method, and image processing server |
| JP6275891B1 (en) * | 2017-01-27 | 2018-02-07 | 株式会社コロプラ | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program |
| JP2018120520A (en) * | 2017-01-27 | 2018-08-02 | 株式会社コロプラ | Communication method through virtual space, program causing computer to execute method, and information processing device to execute program |
| WO2020063009A1 (en) * | 2018-09-25 | 2020-04-02 | Oppo广东移动通信有限公司 | Image processing method and apparatus, storage medium, and electronic device |
| US11205293B2 (en) | 2018-10-31 | 2021-12-21 | Dwango Co., Ltd. | Avatar display system in virtual space, avatar display method in virtual space, and computer program |
| US12086915B2 (en) | 2020-01-30 | 2024-09-10 | Dwango Co., Ltd. | Avatar display device, avatar display system, avatar display method, and avatar display program |
| WO2022201509A1 (en) * | 2021-03-26 | 2022-09-29 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| WO2022209129A1 (en) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | Information processing device, information processing method and program |
| US11928253B2 (en) | 2021-10-07 | 2024-03-12 | Toyota Jidosha Kabushiki Kaisha | Virtual space control system, method for controlling the same, and control program |
| CN114419694A (en) * | 2021-12-21 | 2022-04-29 | 珠海视熙科技有限公司 | Processing method and processing device for head portrait of multi-person video conference |
| KR102419906B1 (en) * | 2021-12-28 | 2022-07-13 | 주식회사 직방 | User image data matching method in metaverse based office environment, storage medium in which a program executing the same, and user image data matching system including the same |
| KR102423902B1 (en) * | 2021-12-28 | 2022-07-22 | 주식회사 직방 | User grouping method in metaverse based office environment, storage medium in which a program executing the same, and user grouping system including the same |
| WO2023128309A1 (en) * | 2021-12-28 | 2023-07-06 | 주식회사 직방 | Method for controlling display in metaverse-based office environment, storage medium in which program for executing same is recorded, and display control system comprising same |
| WO2023128305A1 (en) * | 2021-12-28 | 2023-07-06 | 주식회사 직방 | Method for user image data matching in metaverse-based office environment, storage medium in which program for executing same is recorded, and user image data matching system including storage medium |
| WO2023128310A1 (en) * | 2021-12-28 | 2023-07-06 | 주식회사 직방 | Method for user grouping in metaverse-based office environment, storage medium in which program for executing same is recorded, and user grouping system including storage medium |
| WO2023128307A1 (en) * | 2021-12-28 | 2023-07-06 | 주식회사 직방 | Method for displaying user image data in metaverse-based office environment, storage medium in which program for executing same is recorded, and user image data display system comprising same |
| KR102419932B1 (en) * | 2021-12-28 | 2022-07-13 | 주식회사 직방 | Display control method in metaverse based office environment, storage medium in which a program executing the same, and display control system including the same |
| KR102419919B1 (en) * | 2021-12-28 | 2022-07-13 | 주식회사 직방 | User image data display method in metaverse based office environment, storage medium in which a program executing the same, and user image data display system including the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3623415B2 (en) | 2005-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3623415B2 (en) | Avatar display device, avatar display method and storage medium in virtual space communication system | |
| US11563779B2 (en) | Multiuser asymmetric immersive teleconferencing | |
| JP5208810B2 (en) | Information processing apparatus, information processing method, information processing program, and network conference system | |
| US6753857B1 (en) | Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor | |
| US10602121B2 (en) | Method, system and apparatus for capture-based immersive telepresence in virtual environment | |
| CN110178158B (en) | Information processing apparatus, information processing method, and recording medium | |
| JP2010533006A (en) | System and method for communicating with a virtual world | |
| EP4161067A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
| JP3660198B2 (en) | Three-dimensional shared virtual space display method, three-dimensional shared virtual space communication system and method, virtual conference system, and recording medium recording user terminal program therefor | |
| CN111530088B (en) | Method and device for generating real-time expression picture of game role | |
| JP4572615B2 (en) | Information processing apparatus and method, recording medium, and program | |
| WO2021257868A1 (en) | Video chat with spatial interaction and eye contact recognition | |
| JP3488096B2 (en) | Face image control method in three-dimensional shared virtual space communication service, three-dimensional shared virtual space communication device, and program recording medium therefor | |
| WO2023190344A1 (en) | Information processing device, information processing method, and program | |
| JP5894505B2 (en) | Image communication system, image generation apparatus, and program | |
| JP2013196154A (en) | Image communication system, ar (augmented reality) moving image generation device and program | |
| JP2015136069A (en) | Video distribution system, video distribution method, and video distribution program | |
| JP2011066745A (en) | Terminal apparatus, communication method and communication system | |
| JPH11289524A (en) | Virtual space conference method and record medium recording the method | |
| JP7123222B1 (en) | Display control device, display control method and display control program | |
| JP7062126B1 (en) | Terminals, information processing methods, programs, and recording media | |
| JP7132478B2 (en) | WEB CONFERENCE SYSTEM, CONTROL METHOD AND PROGRAM THEREOF | |
| WO2022092122A1 (en) | Information processing device | |
| JP2003163905A (en) | Television conference system and method therefor | |
| CN118891885A (en) | Information processing apparatus, information processing method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041124 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |