JP2000299684A - Data communication system - Google Patents

Data communication system

Info

Publication number
JP2000299684A
JP2000299684A JP10439799A JP10439799A JP2000299684A JP 2000299684 A JP2000299684 A JP 2000299684A JP 10439799 A JP10439799 A JP 10439799A JP 10439799 A JP10439799 A JP 10439799A JP 2000299684 A JP2000299684 A JP 2000299684A
Authority
JP
Japan
Prior art keywords
virtual
data
dimensional space
means
operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10439799A
Other languages
Japanese (ja)
Inventor
Tomoaki Kawaguchi
Yutaka Kidawara
知昭 川口
豊 木俵
Original Assignee
Telecommunication Advancement Organization Of Japan
通信・放送機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecommunication Advancement Organization Of Japan, 通信・放送機構 filed Critical Telecommunication Advancement Organization Of Japan
Priority to JP10439799A priority Critical patent/JP2000299684A/en
Publication of JP2000299684A publication Critical patent/JP2000299684A/en
Application status is Granted legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a service of good quality using a virtual three-dimensional space to many users without increasing a load by simultaneously multi-address- communicating time series data on the virtual three-dimensional space to respective virtual three-dimensional space constructing means.
SOLUTION: A data communication system takes shape as that communicating operation data to clients 1,...n constructing a virtual three-dimensional space from a capacitor server CS holding operation data of an operable three- dimensional character within the virtual three-dimensional space, e.g. through a network N. In this case, data to be held in a contents server CS (multi-address communication means) includes the operation data for operating the virtual three-dimensional character, e.g. within the virtual three-dimensional space to be constructed by the clients 1,...n (virtual three-dimensional space constructing means). Then, the operation of virtual objects such as an operable abutter in the virtual three-dimensional space is simultaneously multi-address- communicated to this virtual three-dimensional space constructing means.
COPYRIGHT: (C)2000,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は,データ通信システムに係り,詳しくは,仮想3次元空間内で動作可能な例えばキャラクタなどの仮想物体の動作データを通信するためのデータ通信システムに関するものである。 BACKGROUND OF THE INVENTION The present invention relates to a data communication system, and more particularly to a data communication system for communicating the operational data of the virtual object, such as operable e.g. character in the virtual three-dimensional space .

【0002】 [0002]

【従来の技術】現在インターネット上では,3次元グラフィックスの記述言語の一つであるVRML(Virtual BACKGROUND OF THE INVENTION Currently on the Internet, VRML (Virtual is one of the three-dimensional graphics description language
Reality Modeling Language)を用いた仮想現実(Virtua Reality Modeling Language) virtual reality using the (Virtua
l Reality)の世界が構築され始めている。 World of l Reality) is beginning to be built. 端末のディスプレイ上などに表れる,この仮想的な3次元空間は,例えばネットワークに接続したユーザのコミュニケーション手段の一つとして利用されており,各ユーザは,ユーザの分身であるアバターを仮想3次元空間に構築された仮想都市内で歩行させ,他のユーザとチャットを行ったり,仮想都市の各所にある情報を集めたり,商品を購入したりすることができる。 Appearing like on the terminal display, the virtual 3-dimensional space, for example, is used as one of the user communication means connected to a network, each user avatar in the virtual three-dimensional space is a branch of the user made to walk in a virtual city that has been built on, and go to chat with other users, or gather information on the various locations of the virtual city, it is possible to purchase the goods. ところで,上記のような3次元グラフィックスを用いた仮想都市などのサービスを提供する場合には,仮想3次元空間を時系列的に変化させる必要がある。 Incidentally, when providing services such as virtual city using 3D graphics as described above, it is necessary to a virtual three-dimensional space time series change. 例えば,他のユーザに歩行しているように見せるには,アバターの足や腕を動作させる必要があるし,より臨場感を増すためには,アバターの歩行にともなって当該ユーザが見る仮想都市の風景も変化させる必要がある。 For example, a virtual city in the show as walking to other users, to it is necessary to operate the legs and arms of the avatar, in order to increase a more realistic feeling, which is the user with the walking avatar View there is a need also of the landscape changing. さらに,アバターの表情などを変化させれば,喜怒哀楽をも表現することができる。 In addition, it is changed and the avatar of facial expression, can be expressed also the emotions. このような仮想3次元空間内における時系列的な変化の中で,特に複雑なものが上記アバターなどのキャラクタの動作である。 Among the time-series change in such a virtual three-dimensional space, particularly complicated is the operation of the character, such as the avatar. このキャラクタの動作は,例えばモーションキャプチャ等の技術を用いてデータ化される。 The character of the operation, for example, data by using a technique such as motion capture. 上記キャラクタは,この動作データを,上記キャラクタの形状やテクスチャを表す形状データと組み合わせることにより,仮想3次元空間内で動作可能となる。 The character, the operation data, by combining the shape data representing the shape and texture of the character, an operation is possible in the virtual three-dimensional space. 上記キャラクタの動作データや形状データなどは,上記サービスを提供するためのサーバに保持されており,ユーザが用いる端末から要求があると,その要求に応えて上記キャラクタのデータがネットワーク上に送信され,該データを基にユーザの端末に構築された仮想空間に上記キャラクタが生成され,その動作が再生される。 Such operational data and shape data of the character is held in the server for providing the service, when there is a request from the user uses the terminal, the data of the character is transmitted over the network in response to the request the character is generated in a virtual space built on the user's terminal based on the data, the operation is reproduced.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら,ユーザの要求に随時応えて当該ユーザにデータを送信する,即ち1対1のデータ通信によってサーバからユーザの端末にデータを伝送する場合,複数のユーザが当該サーバにアクセスすると,複数のコネクションが同時に成立し, [SUMMARY OF THE INVENTION However, if response time to time to a user request to transmit the data to the user, for transmitting data words from the server by the data communication one-to-one in the user's terminal, a plurality of users When accessing the server, a plurality of connections established at the same time,
サーバはそれぞれのコネクションに同じ内容のパケットを送信することになるため,サーバの負荷が著しく増大し,ネットワークの帯域も圧迫してしまう。 Since the server that will send the packets of the same content to each connection, server load increased significantly, network bandwidth also results in compression. 特に,上記仮想3次元空間に関するデータを伝送しようとする場合,動作などを自然にしようとすると,非常に高い伝送速度が必要となり,従って,サービスの質を抑えたり, In particular, when attempting to transmit data relating to the virtual three-dimensional space, an attempt to operate the like nature, requires a very high transmission rate, therefore, or suppress the quality of service,
サービスを提供する人数を少数に制限したり,サーバやネットワークを増強するなどの必要が生じていた。 Or limited to a small number of the number of people to provide the service, need, such as has occurred to enhance the server or network. このため,上記仮想3次元空間に関するデータを伝送する場合には,予めユーザの端末側に時系列的に変化しない形状データなどを保持させておき,時系列的に変化する動作データなどをネットワークを介して通信することにより,サーバ及びネットワークの負荷の軽減を図る技術も研究・開発が進められているが,この場合でも,1対1 Therefore, when transmitting data on the virtual three-dimensional space, allowed to hold the like time series do not change the shape data in advance in the terminal of the user, a network such as the operation data varies in time series by communicating through, but also techniques of Reducing the load on the server and network research and development are underway, even in this case, one-to-one
のデータ通信によってサーバから複数のユーザにデータを配信されることに変わりなく,サービスの提供規模を大きくするには限界があった。 Without change to be delivered the data to multiple users from the server by the data communication, there is a limit in increasing the provided scale services. 本発明は,このような従来の技術における課題を解決するために,データ通信システムを改良し,仮想3次元空間に関する時系列データを,上記仮想3次元空間を構築するための仮想3次元空間に一斉同報通信することにより,サーバ及びネットワークの負荷を軽減して運用上のコストを削減すると共に,良質のサービスを提供することのできるデータ通信システムを提供することを主な目的とするものである。 The present invention, in order to solve the problems in the conventional art, to improve the data communication system, the time-series data about the virtual three-dimensional space, the virtual 3-dimensional space for constructing the virtual three-dimensional space by communicating broadcast, as well as reduce the cost of operational to reduce the load on the server and the network, those whose primary purpose is to provide a data communication system capable of providing a quality service is there.
また,上記動作データのような時系列情報を伝送する場合には,パケットが受信される順番が時系列にならなかったり,ネットワークの途中で消失したりすると,コマ落ちなど再生に問題が生じる。 Further, when transmitting the time-series information such as the operation data, or not become order packets are received in time series, or when you lost in the middle of the network, problems in reproduction such as dropped frames. そこで,本発明のさらなる目的は,時系列情報を伝送する際にパケットの受信順序が時系列にならなかったり,消失した場合でも,好適に補間を行い,自然な再生を行うことである。 Therefore, a further object of the present invention, may not become order received packet when transmitting the time-series information to the time series, even if lost, it performs suitably interpolated, is to perform natural reproduction.

【0004】 [0004]

【課題を解決するための手段】上記目的を達成するために,請求項1に係る発明は,仮想3次元空間を構築するための複数の仮想3次元空間構築手段と,上記仮想3次元空間に関する時系列データを各仮想3次元空間構築手段へ一斉同報通信する同報通信手段とを具備してなるデータ通信システムとして構成されている。 To achieve SUMMARY OF to the above objects, the invention according to claim 1, a plurality of virtual three-dimensional space constructing means for constructing a virtual three-dimensional space, to the virtual three-dimensional space time series data is configured as a data communication system comprising; and a broadcast unit for broadcasting simultaneously to each virtual three-dimensional space construction unit. また,請求項2に係る発明は,上記請求項1に記載のデータ通信システムにおいて,上記同報通信手段が,上記仮想3次元空間内で動作可能な仮想物体の動作データを各仮想3次元空間構築手段へ一斉同報通信するものであって,上記仮想3次元空間構築手段が,上記仮想物体の形状データを予め取得する形状データ取得手段と,上記形状データ取得手段により取得された上記仮想物体の形状データと上記同報通信手段からの上記仮想物体の動作データとに基づいて上記仮想物体の動作を上記仮想3次元空間内で再生する再生手段とを具備してなることをその要旨とする。 In the invention, in the data communication system described in claim 1, said broadcast means, each virtual three-dimensional space the operation data of the operable virtual object by the virtual three-dimensional space according to claim 2 be those broadcast simultaneously to constructing means the virtual 3-dimensional space construction unit, the shape data acquiring means for previously acquired shape data of the virtual object, the virtual object acquired by the shape data acquiring means as its gist by comprising an operation of the virtual object; and a reproducing means for reproducing in the virtual three-dimensional space on the basis of the shape data and the broadcasting means into the operation data of the virtual object . また,請求項3に係る発明は,上記請求項2に記載のデータ通信システムにおいて,上記仮想3次元空間が他の時系列情報と同期して構築再生されるものであって,上記同報通信手段が,上記他の時系列情報と上記仮想物体の動作データとを合成する合成手段を備え,該合成手段により合成された上記他の時系列情報と上記仮想物体の動作データを各仮想3次元空間構築手段へ一斉同報通信し,上記再生手段が,上記合成手段により合成された上記他の時系列情報と上記仮想物体の動作データを分離する分離手段を備え,該分離手段により分離された上記仮想物体の動作データに基づいて上記仮想物体の動作を上記仮想3次元空間内で再生してなることをその要旨とする。 The invention according to claim 3, in the data communication system described in claim 2, there is that the virtual three-dimensional space is constructed reproduced in synchronization with other time-series information, said broadcast communication means comprises a combining means for combining the operation data of the other time-series information and the virtual object, the virtual three-dimensional motion data of the other time-series information synthesized with the virtual object by said synthesizing means broadcasts simultaneously to space construction unit, the reproducing means comprises a separating means for separating the operation data of the other time-series information synthesized with the virtual object by said synthesizing means, separated by the separation means the operation of the virtual object as its gist to become playing in the virtual three-dimensional space based on the operation data of the virtual object. また,請求項4に係る発明は,上記請求項3 The invention according to claim 4, the claim 3
に記載のデータ通信システムにおいて,上記同報通信手段が,上記仮想物体の動作データ及び他の時系列情報のうち,いずれかの情報を先行して各仮想3次元空間構築手段へ一斉同報通信してなることをその要旨とする。 The data communication system according to said broadcast communication means, the out of operation data and other time-series information of the virtual object, prior to broadcast simultaneously to each virtual three-dimensional space constructing means any information as its gist that was formed by. また,請求項5に係る発明は,上記請求項4に記載のデータ通信システムにおいて,上記再生手段が,上記先行して通信された情報の一部が欠落した場合に,時間的に前後する情報に基づいて,欠落した情報を補間してなることをその要旨とする。 Information The invention according to claim 5, in the data communication system described in claim 4, the reproducing means, when part of the information communicated by the preceding missing, which chronologically successive based on, and its gist that obtained by interpolating the missing information.

【0005】また,請求項6に係る発明は,上記請求項4又は5に記載のデータ通信システムにおいて,上記同報通信手段が,上記ネットワークの負荷状態を調査するための負荷調査手段を具備し,上記負荷調査手段により調査された上記ネットワークの負荷状態に基づいて,先行させる上記仮想物体の動作データ又は他の時系列情報の先行時間を定めてなることをその要旨とする。 [0005] The invention according to claim 6, in the data communication system described in claim 4 or 5, the broadcasting means comprises a load checking means for checking the load state of the network , based on the load state of the network that is examined by the load checking means, preceded thereby to become defining a lead time of operation data or other time-series information of the virtual object and the gist thereof. また, Also,
請求項7に係る発明は,上記請求項3〜6のいずれか1 According to claim 7 invention, any one of the preceding claims 3 to 6
項に記載のデータ通信システムにおいて,各仮想3次元空間構築手段と上記同報通信手段とがネットワークにより接続されており,上記他の時系列情報及び上記仮想物体の動作データがRTP及びRTCPプロトコルを用いてマルチキャスト通信されてなることをその要旨とする。 The data communication system according to claim, are connected by the virtual 3-dimensional space construction means and said broadcasting means and a network, the operation data of the other time-series information and the virtual object RTP and RTCP protocol as its gist that formed by multicast communication using. また,請求項8に係る発明は,上記請求項7に記載のデータ通信システムにおいて,上記仮想空間内に上記仮想物体が複数再生される場合,上記同報通信手段が, The invention according to claim 8, in the data communication system described in claim 7, when the virtual object on the virtual space is more reproduced, the above broadcasting means,
上記仮想物体の動作の速さに応じて,各仮想物体の動作データに対応したパケットの送信間隔を変化させてなることをその要旨とする。 Depending on the speed of operation of the virtual object, and the gist thereof by being formed by changing the transmission interval of the packet corresponding to the operating data of each virtual object. 上記請求項1〜8のいずれか1 Any of the preceding claims 1
項に記載のデータ通信システムによれば,仮想3次元空間を構築するための例えばパーソナルコンピュータなどの仮想3次元空間構築手段に,仮想3次元空間内で動作可能なアバターなどの仮想物体の動作データが一斉同報通信されるため,1対1の通信が複数行われる場合と比べて,ネットワークやサーバの負荷を増大させることなく,多数のユーザに仮想3次元空間を用いた良質のサービスを提供することができる。 According to the data communication system according to claim, in the virtual three-dimensional space construction unit, such as a personal computer for constructing a virtual three-dimensional space, the operation data of the virtual object, such as operable avatars in the virtual three-dimensional space because There is broadcast communication, compared to the case where one-to-one communication is performed more, without increasing the load on the network and servers, provide quality of service using a virtual 3-dimensional space to a number of users can do. さらに,請求項4に記載のデータ通信システムによれば,上記仮想物体の動作データ及び他の時系列情報のうち,いずれかの情報が先行して送信されるため,例えば動作データのパケットだけが,それに同期して再生される音声などのパケットよりも遅れて配信されるような場合でも,同期ずれを防止することができる。 Furthermore, according to the data communication system according to claim 4, in the operation data and other time-series information of the virtual object, since any information is sent in advance, for example, packets only operation data , it even when the delivered later than packets such as voice to be reproduced in synchronization, it is possible to prevent the synchronization error. また,先行させる時間は,例えば請求項6に記載のように,上記同報通信手段が,上記ネットワークの負荷状態を調査するため負荷調査手段を具備することによって,上記負荷調査手段により調査された上記ネットワークの負荷状態に基づいて定めることができる。 Also, prior to causing the time, for example as described in claim 6, said broadcast communication means, by having a load survey means for investigating the load state of the network, was investigated by the load checking means it can be determined based on a load state of the network. しかも,請求項5に記載のデータ通信システムによれば,時系列情報が再生側でリアルタイム再生される場合に,パケットの受信順序が時系列にならなかったり, Moreover, may not become the case according to the data communication system according to claim 5, in which the time-series information is real-time reproduced by the reproducing side, the received sequence of packets in a time series,
パケットが欠落しても,時間的に前後するパケットにより上記動作データなどが補間されるため,コマ落ちなどが生じて再生の品質が劣化するのを防止することができる。 Even packet missing, because the packets chronologically successive like the operation data is interpolated, it is possible to prevent the quality of the reproduction occurs and drop frame is degraded. また,請求項8に記載のデータ通信システムによれば,仮想空間内に上記仮想物体が複数再生される場合, Further, according to the data communication system of claim 8, when the virtual object is a plurality reproduced in the virtual space,
上記同報通信手段が,上記仮想物体の動作の速さに応じて,各仮想物体の動作データに対応したパケットの送信間隔を変化させるため,ユーザには自然な再生を提供しながら,必要伝送容量を抑制して,ネットワークの帯域を有効利用することができる。 The broadcasting means, depending on the speed of operation of the virtual object, for changing the transmission interval of the packet corresponding to the operating data of each virtual object, the user while providing a natural reproduction, required transmission by suppressing capacitance, it can be effectively utilized bandwidth of the network.

【0006】 [0006]

【発明の実施の形態】以下,添付図面を参照して,本発明の実施の形態につき説明し,本発明の理解に供する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with reference to the accompanying drawings, described embodiments of the present invention will provide an understanding of the present invention.
尚,以下の実施の形態は,本発明の具体的な一例であって,本発明の技術的範囲を限定する性格のものではない。 Note that the following embodiment is a specific example of the present invention, not intended to limit the technical scope of the present invention. ここで,図1は本発明の一実施の形態に係るデータ通信システムの概略構成を示す図,図2は仮想3次元コンテンツの一例を示す図,図3は仮想3次元コンテンツ同報通信装置の概略構成を示す図である。 Here, 1 is a diagram showing a schematic configuration of a data communication system according to an embodiment of the present invention, FIG 2 is a diagram showing an example of a virtual three-dimensional content, Figure 3 is a virtual three-dimensional content broadcast device it is a diagram showing a schematic configuration. 図1に示す如く,本発明の一実施の形態に係るデータ通信システムは,例えば仮想3次元空間内で動作可能な仮想3次元キャラクタの動作データなどを保持するコンテンツサーバCSから,ネットワークNを介して,上記仮想3次元空間が構築される複数のクライアント1,…,nに上記動作データを通信するデータ通信システムとして具体化されるものである。 As shown in FIG. 1, the data communication system according to an embodiment of the present invention, for example from a content server CS for holding such operation data operable virtual three-dimensional character in a virtual three-dimensional space, through the network N Te, a plurality of clients 1 wherein said virtual three-dimensional space is constructed, ..., in which is embodied as a data communication system for communicating the operational data to n. このために,上記データ通信システムでは,例えば上記ネットワークのアプリケーション層のフレームワークが,RTP(Real Time Protocol,Real-t Therefore, in the above data communication system, for example, the framework of the application layer of the network, RTP (Real Time Protocol, Real-t
ime Transport Protocol) やRTCP(Real Time Contr ime Transport Protocol) and RTCP (Real Time Contr
ol Protocol)により提供され,RTPメッセージ又はR Provided by ol Protocol), RTP message or R
TCPメッセージのペイロードに所定のフォーマットにて格納された上記動作データが,上記コンテンツサーバCSから各クライアント1,…,nにIPマルチキャスト送信される。 Payload to the operation data stored in a predetermined format of a TCP message, the content server each from CS client 1, ..., it is IP multicast transmission to n.

【0007】以下,上記データ通信システムの詳細について説明する。 [0007] The following is a detailed explanation of the above-mentioned data communication system. 上記データ通信システムにおいて,コンテンツサーバCS(同報通信手段に相当)に保持されるデータには,例えば図2に示すような仮想3次元キャラクタVCを,上記クライアント1,…,n(仮想3次元空間構築手段に相当)に構築される仮想3次元空間VR In the data communication system, the data stored in the content server CS (corresponding to broadcasting means), for example, a virtual three-dimensional character VC as shown in FIG. 2, the client 1, ..., n (virtual three-dimensional virtual is built equivalent) to space construction unit three-dimensional space VR
内で動作させるための動作データがある。 There are operation data for operating within. 上記仮想3次元キャラクタVCを生成するためのデータは,上記動作データと上記仮想3次元キャラクタVCのテクスチャや形状などを指定するための形状データとに分けられることが多いが,後記するように,本実施の形態に係るデータ通信システムでは,仮想3次元空間VR自体のデータを生成するためのデータや上記形状データは予めクライアント1,…,nにて取得されており,上記動作データのみがコンテンツサーバCSに保持される。 The data for generating a virtual three-dimensional character VC are often divided into the shape data for specifying the like texture and shape of the operation data and the virtual three-dimensional character VC, as described later, in the data communication system according to this embodiment, the data and the shape data for generating the data of the virtual three-dimensional space VR itself advance the client 1, ... are obtained at n, only the operation data content It is held in the server CS. 上記動作データの他,上記コンテンツサーバCSには,音声データや動画像データなどの他の時系列情報も保持される。 Besides the above operation data, the above-mentioned content server CS, other time-series information such as audio data and video data is also held. 上記音声データや動画像データは,例えば上記仮想3次元キャラクタの動作と同期してクライアント1,…,nにおいて再生され,上記仮想3次元空間内の臨場感を増したり,カラオケなどのサービスを提供するために用いられる。 The audio data or moving picture data, e.g., client 1 in synchronism with the operation of the virtual three-dimensional character, ..., are reproduced at n, or increase the realism of the virtual three-dimensional space, providing services such as karaoke They are used to. 上記動作データ,音声データ,及び動画像データは,上記コンテンツサーバCS上で実現される仮想3次元コンテンツ同報通信装置を用いて入力される。 The operation data, voice data, and moving image data is input by using the virtual three-dimensional content broadcast device implemented on the content server CS. ここで,図3に上記仮想3次元コンテンツ同報通信装置の概略構成を示す。 Here, a schematic configuration of the virtual three-dimensional content broadcasting device in FIG. 上記仮想3次元コンテンツ同報通信装置は,上記動作データなどを取り込み,所定の手順に従ってネットワーク通信用ストリームに変換して,上記動作データなどを各クライアント1,…,nにIPマルチキャスト送信するための装置であり,例えば動作情報入力装置B01,動作データ生成装置B02,動作データ合成装置B03(合成手段に相当),同報通信ストリーム情報生成装置B04,ネットワーク送出装置B05などを備える。 The virtual 3-dimensional content broadcast device, such as the incorporation the operation data is converted into a network communications stream in accordance with a predetermined procedure, the operation data, etc. Each client 1, ..., for IP multicast transmission to the n an apparatus includes for example the operation information input device B01, the operation data generation unit B02, the operation data combining device B03 (corresponding to the combining means), the broadcast stream information generating device B04, a network delivery device B05. 例えば上記動作データは,腕を挙げる,足を前に出すなどの動作毎にモーションキャプチャなどの動作情報入力装置B01を用いてデジタルデータ化され, For example the operation data include arms, by using the operation information input device B01 such operation each motion capture to such out before the foot is digital data,
動作データ生成装置B02により所定のフォーマットに従って動作データに変換される。 The operation data generation device B02 is converted into operation data in accordance with a predetermined format. ここで,図4に上記動作データ生成装置の概略構成を示す。 Here, a schematic structure of the operation data generation device in FIG. 上記動作データ生成装置B02は,上記動作情報入力装置B01から供給されたデジタルデータ量を算出する動作データ量算出部C01と,所定の送信モードに従って動作データ格納容量を算出する動作データ格納容量算出部C02と,上記動作データの送信スケジュールを作成する送信スケジュール作成部C03と,上記送信スケジュール作成部C0 The operation data generation device B02 includes a motion data amount calculator C01 for calculating the amount of digital data supplied from the operation information input device B01, the operation data storage capacity calculating unit that calculates an operation data storage capacity in accordance with a predetermined transmission mode and C02, and the transmission scheduling unit C03 for creating transmission schedule of the operation data, the transmission schedule creation unit C0
3により作成された送信スケジュールに基づいて上記デジタルデータを分割する動作データ分割部C04を具備する。 3 based on the transmission schedule created by comprising an operation data division unit C04 for dividing the digital data.

【0008】上記動作データ生成装置B02において, [0008] In the above operation data generation device B02,
上記動作情報入力装置B01から供給されるデジタルデータは,例えば100msec程度のサンプリング時間で取り込まれた時系列デジタルデータであり,取り込み時間と上記サンプリング時間などを基に上記デジタルデータ全体の量が上記動作データ量算出部C01により算出される。 The digital data supplied from the operation information input device B01 is, for example, a series digital data when taken in 100msec about sampling time, acquisition time and amount of the entire digital data based on such the sampling time is the operation It is calculated by the data amount calculator C01. 次に,動作データ格納容量算出部C02により所定の送信モードに従って格納可能なデータ容量が算出される。 Next, the volume of the data that can be stored is calculated according to the operating data storage capacity calculating portion C02 by a predetermined transmission mode. 次に,上記動作データ格納容量算出部C02 Next, the operation data storage capacity calculation unit C02
により算出された動作データ格納容量を基に上記動作データの送信スケジュールが上記動作データ送信スケジュール作成部C03により作成される。 Transmission schedule of the operation data is generated by the operation data transmission scheduling section C03 on the basis of the operation data storage capacity calculated by. そして,上記動作データ送信スケジュール作成部C03により作成された送信スケジュールを基に上記動作データ分割部C04により上記デジタルデータが分割され,送信用動作データとして動作データ合成装置B03へ供給される。 Then, by the operation data dividing unit C04 based on transmission schedule created by the operation data transmission schedule creation unit C03 the digital data is divided, it is supplied to the operation data synthesis unit B03 as the transmission operation data. 上記動作データ生成装置B02において分割された上記動作データは,上記動作データ合成装置B03により,例えば上記音声データや動画データなどの他の時系列情報の送信用パケットにそれぞれ合成される。 The operation data divided in the operation data generation unit B02 is by the operation data combining device B03, for example, synthesized respectively in the transmission packet of another time-series information such as the audio data or video data. ここで,図5に上記動作データ合成装置の概略構成を示す。 Here, a schematic structure of the operation data synthesizer in Fig. 図5に示すように,上記動作データ合成装置B03は,合成モード切替装置D01,周波数変調装置D02,データ合成装置D03,指定フォーマット内領域探索装置D04,指定フォーマット内領域記述装置D05,電子透かし情報作成装置D06,電子透かし合成装置D07などを備える。 As shown in FIG. 5, the operation data combining device B03 is synthesized mode switching device D01, a frequency modulation device D02, the data synthesizer D03, specifying the format region seeker D04, specifying the format region description unit D05, the electronic watermark information creating device D06, provided with an electronic watermark synthesizer D07. 上記動作データ合成装置B03では,まず,上記合成モード切替装置D01により上記動作データと,合成対象となる音声データ,又は動画像データとの入力が所定の合成モードに従って切り替えられる。 In the operation data synthesizing device B03, firstly, the above operation data by the synthesizing mode switching device D01, the audio data be synthesized, or the input of the moving image data is switched in accordance with a predetermined combination mode. 例えば上記動作データを上記音声データと合成する場合には,周波数変調装置D02により上記動作データが周波数変調され,上記データ合成装置D03により上記音声データと合成される。 For example the operation data when combined with the audio data, the operation data is frequency modulated by the frequency modulator D02, is combined with the audio data by the data synthesizer D03. また,上記動作データを上記動画像データと合成する場合には,電子透かし情報作成装置D06により上記動作データが電子透かし情報に変換され,上記電子透かし合成装置D07により上記動画像データに電子透かしとして合成される。 Also, when synthesizing the operation data and the moving picture data, the electronic watermark information generating apparatus D06 the operation data is converted into electronic watermark information, by the electronic watermark synthesizer D07 as an electronic watermark into the moving picture data It is synthesized. また,上記音声データや動作データに上記動作データを合成する場合には,上記指定フォーマット内領域探索装置D04,及び指定フォーマット内領域記述装置D05により,送信するデータの領域を探索して,探索した領域を分割し,分割した各領域に上記音声データや動画像データ,及び上記動作データを振り分けて記述するようにして上記音声データや動画像データに上記動作データを合成するようにしてもよい。 Also, when synthesizing the above operation data to the audio data and operation data, the designated format in the area search unit D04, and the specified format in the region description unit D05, searches the area of ​​data to be transmitted and searches dividing the area, the audio data or moving image data in each divided region, and may be synthesized the above operation data to the audio data or moving image data as described by distributing the operation data. このようにして上記動作データ合成装置B03により上記動作データが合成された動作データ合成済データは,同報通信ストリーム情報生成装置B04に供給される。 In this way, the operating data precomposed data which the operation data is synthesized by the operation data combining device B03 is supplied to the broadcast stream information generator B04.

【0009】上記同報通信ストリーム情報生成装置B0 [0009] The broadcast stream information generator B0
4では,上記動作データ合成済データがネットワーク上でのストリーム情報に変換される。 In 4, the operation data precomposed data is converted to a stream information over the network. ここで,RTP,R Here, RTP, R
TCPメッセージを用いた具体例を図6乃至図8を用いて説明する。 Specific examples of using the TCP message will be described with reference to FIGS. 尚,図6はRTPのメッセージフォーマットの一例を示す図表であり,図7は上記動作データのフォーマットの一例を示す図表であり,図8はRTCPのメッセージフォーマットの一例を示す図表である。 Note that FIG. 6 is a table showing an example of a message format of RTP, FIG. 7 is a table showing an example of the format of the operation data, Fig. 8 is a diagram showing an example of a RTCP message format. 図6 Figure 6
に示す如く,RTPのメッセージフォーマットは,例えばIP(InternetProtocol) ヘッダ,UDP(Usr Datagr As shown, the message format of the RTP, for example IP (Internet Protocol) header, UDP (Usr Datagr
am Protocol) ヘッダ,RTPメッセージに大きく分けることができる。 am Protocol) header, can be divided into RTP message. このうち,上記RTPメッセージは, Of these, the RTP message,
RTPヘッダとアプリケーションデータとからなり,上記RTPヘッダは,バージョン,ペイロードタイプ,シーケンス番号,時刻印,同期送信元識別子などのフィールドを備える。 Consists of a RTP header and application data, the RTP header, version, payload type, sequence number, time stamp, and a field such as the synchronization source identifier. 尚,RTPメッセージやそのフィールドの詳細については,例えばRFC1889 PSH.Schulzrinne,S. The details of the RTP message and its fields, for example RFC1889 PSH.Schulzrinne, S.
Casner,R.Frederick,V.Jacobson,"RTP:A Transport Pro Casner, R.Frederick, V.Jacobson, "RTP: A Transport Pro
tocolfor Real-Time Applications"などを参照されたい。上記仮想3次元キャラクタVCの動作データは,例えば上記音声データと合成されて上記アプリケーションデータ領域に格納される。図7に上記動作データのフォーマットを示す。図7に示す如く,上記動作データのチャンクは,データタイプ,同期時間,シリアル番号,アプリケーション番号,仮想3次元空間認識番号,動作データ,未使用予約領域,チェックサムなどのフィールドを含む。上記フィールドのうち,データタイプ,及び仮想3次元空間認識番号は,仮想3次元キャラクタVCの動作の種類,及び適用オブジェクトを示すために用いられる。上記同期時間,及びシリアル番号は,分割された動作データを時系列に配列するために必要とされるものであり,上記同期時間には再生 tocolfor Real-Time Applications "see such operational data. the virtual three-dimensional character VC shows the format of the operating data. FIG. 7 for example is combined with the audio data stored in the application data area . as shown in FIG. 7, a chunk of the behavior data, the data type, synchronization time, serial number, application number, a virtual three-dimensional space identification number, operation data, unused reserved area. above, including fields such as a checksum among the fields, the data type, and a virtual three-dimensional space recognition number, the virtual 3-dimensional type of operation of the character VC, and used to indicate the application object. the synchronization time, and serial number, divided operation data It is what is required to sequences in time series, playback on the synchronization time 始を基準として当該動作データが再生される相対的な時間が,シリアル番号には送出される順番が格納される。また,アプリケーション番号は,クライアント1,…,nにおいて,上記動作を再生するために用いられるアプリケーションの種類を指定するために用いられる。尚,上記未使用予約領域には,通常,値0が設定される。 The relative time that the operation data is reproduced the beginning as a reference, the order to be delivered is stored in the serial number. The application number is the client 1, ..., in n, for reproducing the operation It is used to specify the type of application used for. Note that the unused reserved area, usually, the value 0 is set.

【0010】また,例えば同じフォーマットの動作データをRTCPメッセージフォーマットのSDES(Sourc [0010] Also, for example, the operation data in the same format of the RTCP message format SDES (Sourc
e Descprition)項目群に格納し,RTPメッセージに格納された音声データや動画像データと同期させることもできる。 Stored in the e Descprition) item group may be synchronized with audio data and moving image data stored in the RTP message. ここで,図8にRTCPの送信元記述パケットのフォーマットを示す。 Here, the format of the source description packet RTCP Figure 8. 上記RTCPには,送信者報告パケット,受信者報告パケット,送信元記述パケット, The aforementioned RTCP, the sender report packet, the receiver report packet, a source description packets,
退去メッセージパケットの4つのパケットタイプがあり,上記動作データが格納される上記送信元記述パケットは,そのフォーマットに図8に示す如く,バージョン,パッド有無,パケットタイプ,長さ,SDES項目群,同期又は貢献送信元識別子などのフィールドを備える。 There are four types of packets leave message packet, the source description packets the operation data is stored, as shown in FIG. 8 that format, version, pad presence, packet type, length, SDES item group, synchronization or it comprises a field, such as contributing source identifier. 上記送信元記述パケットは,送信元についての情報を提供するために使用されるパケットであり,上記パケットタイプのフィールドには,そのことを示す202が格納され,同期送信元識別子には,メッセージの元々の送信元を示すための識別子が格納され,同一送信元からのRTPメッセージと対応させるために用いられる。 The source description packet is a packet that is used to provide information about the sender, the field of the packet type, is stored 202 indicating that, in the synchronization source identifier, message It stores an identifier for indicating the original source, used to correspond to the RTP messages from the same sender. また,上記SDES項目群には,少なくも送信元の身元を確認するための標準名称(CNAME,Canonical NAME)が含まれ,このSEDS項目群に上記動作データが格納される。 The aforementioned SDES item groups, less a standard name (CNAME, Canonical NAME) to verify the identity of the sender is included, the operation data is stored in the SEDS item group. このようなメッセージフォーマットを持つRTPパケット,動作データパケット,及びRTCPパケットを用いることにより,RTPパケットで送られた音声データや動画像のフレーム番号や時間情報をクライアント1,…,n側で一時的に保存し,その情報に基づいてR RTP packets with such a message format, the operation data packets, and by using the RTCP packet, the client 1 a frame number or time information of the audio data or moving image sent in RTP packets, ..., temporarily in the n-side Save in, R on the basis of the information
TCPパケットで送信された動作情報を同期させることによって,ダンスやカラオケ等の音楽に合わせた仮想3 By synchronizing the operation information transmitted in TCP packets, the virtual 3 to music such as dance and karaoke
次元キャラクタVCの動作の再生や,動画像の動きに合わせた動作が可能となる。 Reproduction and behavior of dimension character VC, it is possible to operate to match the movement of the moving image. そして,上記RTPパケットやRTCPパケットは,キャリーであるUDPデータグラムに複数まとめて格納され,例えば指定された所定の日時に上記ネットワーク送出装置B05により,上記ネットワークに接続された複数のクライアント1,…,n Then, the RTP packet and the RTCP packet is stored in a plurality of the UDP datagram is carrying, for example, by the network delivery device B05 to the specified predetermined time, a plurality of client 1 connected to the network, ... , n
にIPマルチキャスト送信される。 It is IP multicast transmission to.

【0011】ユニキャスト通信では,複数のクライアントがサーバに接続した場合,同じ内容のパケットをそれぞれのクライアントに送信するため,サーバの負荷を増大させ,ネットワークの帯域を圧迫するが,マルチキャスト通信では,サーバが,ある1つのパケットを送信すれば,マルチキャストルータにより予め参加を希望した全てのクライアントのグループにそれぞれ分配されるため,サーバ及びネットワークの負荷が大幅に軽減される。 [0011] In unicast communication, when a plurality of clients connected to the server, for sending packets of the same content to each client, increasing the load on the server, but compresses the bandwidth of the network, multicast communication, server, by transmitting a certain one packet, since each is distributed in advance to all client group that wants to join the multicast router, load on the server and network are greatly reduced. このために,クライアント1,…,nは,予め参加しているグループのマルチキャストアドレス(224. To this end, the client 1, ..., n is, multicast address of the group that are participating in advance (224.
0.0.0〜239.255.255.255の範囲) Range of 0.0.0~239.255.255.255)
をマルチキャストルータに対して通知しており,コンテンツサーバCSは,同じマルチキャストアドレスを上記IPヘッダ中で指定して上記動作データを含むパケットを上記マルチキャストルータに送信する。 Are notified to the multicast router, the content server CS, the same multicast address specified in the IP header and transmits the packet including the operation data to the multicast router. 上記のように送信された動作データは,各クライアント1,…,nにおいて構築される仮想3次元空間VR内の仮想3次元キャラクタVCの動作として再生される。 Operation data transmitted as described above, the client 1, ..., are reproduced as an operation of a virtual three-dimensional character VC of the virtual three-dimensional space VR constructed in n. この再生には, The play,
各クライアント1,…,nにおいて実現される例えば図9に示すような仮想3次元コンテンツ再生装置(再生手段に相当)が用いられる。 Each client 1, ..., (corresponding to the reproducing means) virtual three-dimensional content playback apparatus as shown in FIG. 9, for example implemented in n is used. 図9に示す如く,上記仮想3 As shown in FIG. 9, the virtual 3
次元コンテンツ再生装置は,音声ストリーム受信装置E Dimension content reproducing apparatus, audio stream reception apparatus E
01,動画像ストリーム受信装置E02,ストリーム制御信号受信装置E03,ストリーム情報再生装置E0 01, the moving picture stream reception apparatus E02, stream control signal receiving apparatus E03, stream information reproducing apparatus E0
4,動作データ解析装置E05,音声データ再生装置E 4, operation data analyzer E05, audio data reproducing apparatus E
06,画像データ再生装置E07,動作データ再生装置E08,画像合成装置E09などを備える。 Comprising 06, the image data reproducing apparatus E07, operating data reproducing apparatus E08, the image synthesizer E09, and the like. 上記仮想3 The virtual 3
次元コンテンツ再生装置において,音声ストリーム受信装置E01,動画像ストリーム受信装置E02,ストリーム制御信号受信装置E03(分離手段に相当)により,音声データ,動画像データ,動作データに対応したストリームがネットワークから分離受信される。 Separated in dimensions content reproducing apparatus, audio stream reception apparatus E01, moving image stream receiver apparatus E02, the stream control signal receiving unit E03 (corresponding to the separation means), audio data, video data, streams from the network corresponding to the operating data It is received. これら分離受信されたストリームは,ストリーム情報再生装置E04により所定の手順に従って再生され,上記音声データ,動画像データ,動作データが再構成される。 These separated received stream is the stream information reproducing apparatus E04 is reproduced in accordance with a predetermined procedure, the audio data, video data, the operation data reconstructed. 上記動作データ解析装置E05では,上記ストリーム情報再生装置E04により再構成された上記動作データなどが解析され,その解析結果が音声データ再生装置E06, In the motion data analyzer E05, etc. the operation data reconstructed by the stream information reproducing apparatus E04 is analyzed, the analysis result is audio data reproducing apparatus E06,
画像データ再生装置E07,動作データ再生装置E08 Image data reproducing apparatus E07, operating data reproducing apparatus E08
に供給される。 It is supplied to. 各再生装置E06,E07,E08の出力は,画像合成装置E09に接続されており,上記画像合成装置E09において,仮想3次元空間VRなどの画像と合成される。 The output of each reproduction device E06, E07, E08 are connected to the image synthesizer E09, in the image synthesizer E09, it is combined with the image such as the virtual three-dimensional space VR. ここで,上記クライアント1,…,n Here, the client 1, ..., n
上に構築される仮想3次元空間VRのデータや,仮想3 And data of the virtual three-dimensional space VR constructed above, the virtual 3
次元キャラクタVCの形状データは,記憶媒体や通信媒体を用いて予め取得されており,上記画像合成装置E0 Shape data dimension character VC is obtained in advance using a storage medium or communication medium, the image synthesizer E0
9では,上記仮想3次元空間VRのデータを基に仮想3 In 9, a virtual based on data of the virtual three-dimensional space VR 3
次元空間VRが構築され,上記形状データと動作データとに基づいて仮想3次元キャラクタVCの動作が再生され,さらにこれらに同期して音声データや動画像データが合成再生される。 Dimensional space VR is constructed, the operation of the virtual three-dimensional character VC based on the above shape data and motion data is reproduced, the audio data and video data are synthesized reproduced further in synchronism with them. 尚,本発明における形状データ取得手段は,例えばハードディスクなどの記憶媒体とそのインターフェースなどにより実現されるものである。 The shape data obtaining means in the present invention are, for example, be implemented by a storage medium and its interfaces, such as a hard disk. このように,本実施の形態に係るデータ通信システムでは, Thus, in the data communication system according to this embodiment,
動画像データや音声データに合成されて仮想3次元キャラクタの動作データが,コンテンツサーバからクライアントにマルチキャスト送信され,クライアントにて予め取得された仮想3次元空間のデータや上記仮想3次元キャラクタの形状データと上記送信された動作データとに基づいて仮想3次元空間が構築され,仮想3次元キャラクタの配信する場合と較べて,上記仮想3次元キャラクタの動作データを通信する場合でも,ネットワークやサーバの負荷を抑え,運用上又はサービス上のコストを低下させるとともに良質のサービスを提供することができる。 Operation data of the virtual three-dimensional character is synthesized to the moving image data and audio data is multicast transmitted from the content server to the client, previously acquired shape data of the data and the virtual three-dimensional character in the virtual three-dimensional space are at the client and the virtual 3-dimensional space based on the transmitted operation data is built, compared to the case of distributing the virtual three-dimensional character, even when communicating operational data of the virtual three-dimensional character, the network and server load the restrained, it is possible to provide a quality service with reducing the cost of the operational or service.

【0012】 [0012]

【実施例】ところで,上記ネットワークの状態によっては,上記動作データの一部が格納されたパケットが,受信側のクライアント1,…,nに到達できない場合がある。 EXAMPLES Now, depending on the state of the network, the packet part of the operation data is stored, the client 1 on the receiving side, ... may not be reached n. このため,音声データと動画像データとの同期をとった動作データの送受信を行う場合には,上記仮想3次元キャラクタの動作再生時に上記音声データや動画像データと十分な同期ができない場合がある。 Therefore, when the transmitting and receiving operation data synchronized with audio data and video data may not be the voice data or moving image data and the sufficient synchronization in operation playback of the virtual three-dimensional character . そこで,図1 Then, as shown in FIG. 1
0に示す如く,上記音声データや動画像データよりも上記動作データを先行送信時間t pだけ先行させて上記ネットワーク上に送出するようにしてもよい。 As shown in 0, it may be from the audio data or moving image data by preceding the operation data just preceding transmission time t p to be transmitted onto the network. 上記先行送信時間t pは,例えば送信前のネゴシエーションや,ネットワークの負荷状況等を基に設定調整される。 The preceding transmission time t p is, for example, a prior transmission negotiation is set adjusted on the basis of the load status of the network. 受信側では同期タイミングよりも先に動作データを受け取った場合には,現在の動作データと先行した動作データとの間で補間を行うことにより,より緻密な動作データを生成することができる。 If the receiving side that has received the earlier operating data than the synchronization timing, by performing interpolation between the operation data that preceded the current operating data, it is possible to generate a more precise operation data. さらに,先行させる時系列情報は,上記動作データに限らず,音声データや動画像データを先行させるようにしてもよい。 Further, time-series information to preceded is not limited to the above operation data may be precede the audio data and video data. また,例えば同期させる音声データや動画像データの到着前に欠落した動作データの次の動作データがクライアント1,…,nに到達した場合には,先行して受信された動作データのうち欠落した動作データの前後の動作データを用いて欠落した動作データが補間される。 Further, for example, the following operation data the client 1 operating data missing before the arrival of the audio data or moving image data to be synchronized, ..., when it reaches the n is missing in the operation data received prior to operation data missing with before and after operation data operation data is interpolated. 例えば図11に示す如く, For example, as shown in FIG. 11,
時刻t 2で同期させるデータが欠落し,時刻t 1に同期させるデータの後に時刻t 3で同期させるデータが,時刻t 2で同期させるデータの再生前に到着した場合には,時刻t 1で同期させるデータと時刻t 3で同期させるデータとを用いて,その間の動作を表すベクトルが計算され,時刻t 2で同期させるデータが補間される。 Missing data to be synchronized in time t 2, the data to be synchronized at time t 3 after the data to be synchronized to the time t 1 is, when you arrive before playback of the data to be synchronized in time t 2, the at time t 1 by using the data for synchronizing the data and time t 3 when synchronizing, is calculated vector representing therebetween operation, data to be synchronized is interpolated at time t 2. これにより,コマ落ちなどの品質劣化を防止することができる。 As a result, it is possible to prevent quality deterioration, such as dropped frames. 尚,この補間の後に,時刻t 2で同期させる本来のデータが到着した場合には,破棄するようにしてもよいし,本来のデータを再生するようにしてもよい。 Incidentally, after this interpolation, if the original data to be synchronized at time t 2 has arrived, may be discarded, may be reproduced the original data. また,時刻t 2で同期させるデータの再生前に上記時刻t Further, the before playback of the data to be synchronized at time t 2 at time t
3で同期させるデータが到着しなかった場合には,例えば図12に示す如く,時刻t 1で同期させるデータd 1 If the data to be synchronized is not arrived at 3, for example as shown in FIG. 12, data d 1 to be synchronized at time t 1
と時刻t 2で同期させるデータd 2からその間の動作ベクトルを算出し,その算出した動作ベクトルを用いて時刻t 2で同期させるデータd 3の代わりのデータd′ 3 Calculating the intervening motion vectors from the data d 2 to be synchronized at time t 2 and, instead of the data d '3 data d 3 to be synchronized at time t 2 using the motion vector obtained by the calculation
を作成する。 To create a. そして,時刻t 3 ,t 4で同期させるデータd 3 ,d 4が欠落して,その後に,時刻t 5で同期させるデータd 5が到着した時点でその時点のデータと上記データd 5とを用いて補間を行い,上記データd 4の代わりのデータd′ 4を作成する。 Then, the time t 3 data d 3 to be synchronized, d 4 is missing in, t 4, after which, at that time when the data d 5 arrives to synchronize the time t 5 data and the the data d 5 using perform interpolation, to create a data d '4 instead of the data d 4. この場合には,上記データd′ 3 ,d′ 4は本来のデータと異なる動作となることもあるが,上記データd 5を受信した時点で正しい動きになるように修正される。 In this case, the data d '3, d' 4 is sometimes a different behavior from the original data is modified so as to correct motion upon receiving the data d 5. これにより,欠落が続くなどして再生前に欠落したデータの次のデータも到着しない場合でも,コマ落ちなどの品質劣化を防止することができる。 As a result, even if the missing is not even arrive the next data of the data that was missing before playing by, for example, continues, it is possible to prevent the quality deterioration, such as dropped frames. このようなデータ通信システムも本発明におけるデータ通信システムの一例である。 Such data communication system is also an example of a data communication system of the present invention.

【0013】また,上記実施の形態では,RTP,RT [0013] In addition, in the above-described embodiment, RTP, RT
CPパケットを用いて上記動作データをマルチキャスト通信したが,これに限られるものではなく,他のプロトコルを用いてマルチキャスト通信するようにしてもよい。 Although multicast communication the operation data by using a CP packet is not limited thereto, it may be multicast communication using other protocols. さらに,上記ネットワーク自体は,既に構築されている有線ネットワークを用いてもよいし,無線や衛生回線を用いて構築されたネットワークを用いてもよい。 Furthermore, the network itself may be used a wired network already constructed, may be used network built with radio and hygiene lines. このようなデータ通信システムも本発明におけるデータ通信システムの一例である。 Such data communication system is also an example of a data communication system of the present invention. また,上記実施の形態では, In the above embodiment,
動作データを上記音声データや動画像データに合成してマルチキャスト通信したが,これに限られるものではなく,例えば上記動作データ及びこれに関する情報を記録した付加情報をマルチキャスト通信するようにしてもよい。 While the operation data and multicast communication by combining the above audio data and video data is not limited to this, for example, may be additional information that records the operation data and information related thereto as multicast communication. また,上記動作データが合成される時系列データも音声データや動画像データに限られるものではない。 Also, sequence data is also not limited to audio data and video data when the operation data is synthesized. このようなデータ通信システムも本発明におけるデータ通信システムの一例である。 Such data communication system is also an example of a data communication system of the present invention. また,上記実施の形態では, In the above embodiment,
仮想3次元キャラクタの動作データをマルチキャスト通信したが,これに限られるものではなく,仮想3次元空間内の他のオブジェクトのデータを通信するようにしてもよい。 The operation data of the virtual three-dimensional character has been multicast communication is not limited thereto, may communicate the data of the other objects in the virtual three-dimensional space. このようなデータ通信システムも本発明におけるデータ通信システムの一例である。 Such data communication system is also an example of a data communication system of the present invention. また,ネットワークを通じて送られる動作データを再生する上記クライアント1,…,nなどの受信装置には,様々なタイプが存在し,その処理能力も多種多様である。 Further, the client 1 to play the operation data sent over the network, ..., to the reception device, such as n, there are various types, its processing capacity is also diverse. そこで,上記動作データに応じて表示するデータのポリゴン数を上記処理能力に応じて増減するようにしてもよい。 Therefore, the number of polygons of the data to be displayed according to the operation data may be increased or decreased in accordance with the processing capability. このようなデータ通信システムも本発明におけるデータ通信システムの一例である。 Such data communication system is also an example of a data communication system of the present invention. また,上記仮想3次元空間VR内で動作する仮想3次元キャラクタの中には,動きの激しいものもあれば,緩慢なものもある。 Further, in the virtual three-dimensional character to be operated by the virtual three-dimensional space VR is some are violent motion, and some slow. 例えば図13に示す如く,ユーザに提供される視野の中で比較的近い位置にあるキャラクタAの動きは一般的に激しく,比較的遠い位置にあるキャラクタBの動きは一般的に緩慢である。 For example, as shown in FIG. 13, the movement of the character A in a relatively close position in the field of view provided to the user are generally intense, the movement of the character B in a relatively far position is generally slower. ところで,動きが緩慢な仮想3次元キャラクタについては,動きの激しい仮想3次元キャラクタよりも低い時間精度の動作データを用いても十分に自然な再生を行うことができる。 However, for the motion slow virtual three-dimensional character, it is possible to perform sufficient natural reproduction even with operation data of the lower time accuracy than fast moving virtual three-dimensional character. そこで,仮想3次元キャラクタの動作の速度に応じて,図14に示す如く,上記動作データの送出間隔を変更するようにしてもよい。 Therefore, depending on the speed of operation of the virtual three-dimensional character, as shown in FIG. 14, may be changed the transmission intervals of the operation data. これにより,ネットワークの帯域をより有効に使用することができる。 This makes it possible to use the bandwidth of the network more effectively. このようなデータ通信システムも本発明におけるデータ通信システムの一例である。 Such data communication system is also an example of a data communication system of the present invention.

【0014】 [0014]

【発明の効果】以上説明した通り,上記請求項1〜8のいずれか1項に記載のデータ通信システムによれば,仮想3次元空間を構築するための例えばパーソナルコンピュータなどの仮想3次元空間構築手段に,仮想3次元空間内で動作可能なアバターなどの仮想物体の動作データが一斉同報通信されるため,1対1の通信が複数行われる場合と比べて,ネットワークやサーバの負荷を増大させることなく,多数のユーザに仮想3次元空間を用いた良質のサービスを提供することができる。 As described in the foregoing, according to the data communication system according to any one of the claims 1-8, the virtual 3-dimensional space construction such as a personal computer for constructing a virtual three-dimensional space the means, since the operation data of the virtual object, such as operable avatars in the virtual 3-dimensional space is simultaneously broadcast, in comparison with the case where one-to-one communication is performed more, increasing the load on the network and server without, it is possible to provide a high quality of service using a virtual 3-dimensional space to a number of users. さらに,請求項4に記載のデータ通信システムによれば,上記仮想物体の動作データ及び他の時系列情報のうち,いずれかの情報が先行して送信されるため,例えば動作データのパケットだけが,それに同期して再生される音声などのパケットよりも遅れて配信されるような場合でも,同期ずれを防止することができる。 Furthermore, according to the data communication system according to claim 4, in the operation data and other time-series information of the virtual object, since any information is sent in advance, for example, packets only operation data , it even when the delivered later than packets such as voice to be reproduced in synchronization, it is possible to prevent the synchronization error. また,先行させる時間は, In addition, the preceding is to time,
例えば請求項6に記載のように,上記同報通信手段が, For example, as described in claim 6, it is the broadcast communication means,
上記ネットワークの負荷状態を調査するため負荷調査手段を具備することによって,上記負荷調査手段により調査された上記ネットワークの負荷状態に基づいて定めることができる。 By having a load survey means for investigating the load state of the network can be determined based on a load state of the network that is examined by the load checking means. しかも,請求項5に記載のデータ通信システムによれば,時系列情報が再生側でリアルタイム再生される場合に,パケットの受信順序が時系列にならなかったり,パケットが欠落しても,時間的に前後するパケットにより上記動作データなどが補間されるため,コマ落ちなどが生じて再生の品質が劣化するのを防止することができる。 Moreover, according to the data communication system of claim 5, when the time-series information is real-time reproduced by the reproducing side, or not become reception order of the packet in a time series, even if a packet is lost, the time since such the operation data is interpolated by packets back and forth, it is the quality of reproduction occurs and frame dropping can be prevented from deteriorating. また,請求項8に記載のデータ通信システムによれば,仮想空間内に上記仮想物体が複数再生される場合,上記同報通信手段が,上記仮想物体の動作の速さに応じて,各仮想物体の動作データに対応したパケットの送信間隔を変化させるため,ユーザには自然な再生を提供しながら,必要伝送容量を抑制して,ネットワークの帯域を有効利用することができる。 Further, according to the data communication system of claim 8, when the virtual object is a plurality reproduced in the virtual space, the broadcast communication means, according to the speed of operation of the virtual object, the virtual for changing the transmission interval of the packet corresponding to the object of the operation data, while providing a natural reproduction to the user, by suppressing the necessary transmission capacity, it is possible to effectively use the bandwidth of the network.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】 本発明の一実施の形態に係るデータ通信システムの概略構成を示す図。 It shows a schematic configuration of a data communication system according to an embodiment of the present invention; FIG.

【図2】 仮想3次元空間内の仮想3次元キャラクタを説明するための図。 Figure 2 is a diagram for explaining a virtual three-dimensional character in the virtual three-dimensional space.

【図3】 上記実施の形態における仮想3次元コンテンツ同報通信装置の概略構成を示す図。 FIG. 3 is a diagram showing a schematic configuration of a virtual three-dimensional content broadcast device of the above embodiment.

【図4】 動作データ生成装置の概略構成を示す図。 4 is a diagram showing a schematic configuration of a motion data generation apparatus.

【図5】 動作データ合成装置の概略構成を示す図。 5 is a diagram showing a schematic configuration of a motion data synthesizer.

【図6】 RTPのメッセージフォーマットを説明するための図。 FIG. 6 is a diagram for explaining the message format of the RTP.

【図7】 動作データのフォーマットの一例を示す図。 7 is a diagram showing an example of the format of the operation data.

【図8】 RTCPの送信元記述パケットのフォーマットを説明するための図。 Figure 8 is a diagram illustrating the format of RTCP source description packets.

【図9】 仮想3次元コンテンツ再生装置の概略構成を示す図。 9 is a diagram showing a schematic configuration of a virtual three-dimensional content playback apparatus.

【図10】 動作データを音声データなどよりも先行させて送信することを説明するための図。 Figure 10 is a diagram for explaining the sending by ahead voice data operation data.

【図11】 欠落した動作データを補間することを説明するための図。 [11] missing diagram for explaining interpolating operation data.

【図12】 欠落した動作データを補間することを説明するための他の図。 [12] Another view for explaining an interpolating the missing motion data.

【図13】 本発明の一実施例に係るデータ通信システムを説明するための図。 13 is a diagram for explaining a data communication system according to an embodiment of the present invention.

【図14】 上記一実施例に係るデータ通信システムにおけるキャラクタに応じたデータ送出を説明するための図。 Figure 14 is a diagram for explaining a data transmission in accordance with the character in the data communication system according to the embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

1〜n … クライアント CS … サーバ VC … 仮想3次元キャラクタ VR … 仮想3次元空間 1~n ... client CS ... server VC ... a virtual three-dimensional character VR ... virtual three-dimensional space

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B050 BA08 BA09 CA08 EA24 EA28 FA02 5C061 AA29 AB01 AB08 AB11 AB24 5K030 HA08 HB00 HC01 HC14 JT10 KA01 KA07 LD02 LE14 9A001 CC07 DZ12 HH29 HH30 JJ76 KK56 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 5B050 BA08 BA09 CA08 EA24 EA28 FA02 5C061 AA29 AB01 AB08 AB11 AB24 5K030 HA08 HB00 HC01 HC14 JT10 KA01 KA07 LD02 LE14 9A001 CC07 DZ12 HH29 HH30 JJ76 KK56

Claims (8)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 仮想3次元空間を構築するための複数の仮想3次元空間構築手段と,上記仮想3次元空間に関する時系列データを各仮想3次元空間構築手段へ一斉同報通信する同報通信手段とを具備してなるデータ通信システム。 1. A plurality of virtual three-dimensional space constructing means for constructing a virtual three-dimensional space, the broadcast of simultaneous broadcast time-series data regarding the virtual 3-dimensional space to each virtual three-dimensional space constructing means data communication system which is formed by and means.
  2. 【請求項2】 上記同報通信手段が,上記仮想3次元空間内で動作可能な仮想物体の動作データを各仮想3次元空間構築手段へ一斉同報通信するものであって,上記仮想3次元空間構築手段が,上記仮想物体の形状データを予め取得する形状データ取得手段と,上記形状データ取得手段により取得された上記仮想物体の形状データと上記同報通信手段からの上記仮想物体の動作データとに基づいて上記仮想物体の動作を上記仮想3次元空間内で再生する再生手段とを具備してなる請求項1に記載のデータ通信システム。 Wherein said broadcast means, be one that broadcasts simultaneous operation data operable virtual object by the virtual three-dimensional space to each virtual three-dimensional space construction unit, the virtual 3-dimensional space construction unit, the operation data of the virtual object from the shape data acquisition means for previously obtaining the shape data of the virtual object, the shape the shape data of the obtained the virtual object by the data acquisition means and said broadcasting means the data communication system of claim 1, the operation of the virtual object formed by and a reproducing means for reproducing in the virtual three-dimensional space on the basis of and.
  3. 【請求項3】 上記仮想3次元空間が他の時系列情報と同期して構築再生されるものであって,上記同報通信手段が,上記他の時系列情報と上記仮想物体の動作データとを合成する合成手段を備え,該合成手段により合成された上記他の時系列情報と上記仮想物体の動作データを各仮想3次元空間構築手段へ一斉同報通信し,上記再生手段が,上記合成手段により合成された上記他の時系列情報と上記仮想物体の動作データを分離する分離手段を備え,該分離手段により分離された上記仮想物体の動作データに基づいて上記仮想物体の動作を上記仮想3次元空間内で再生してなる請求項2に記載のデータ通信システム。 3. An intended the virtual three-dimensional space is constructed reproduced in synchronization with other time-series information, said broadcast communication means, and the operation data of the other time-series information and the virtual object comprising combining means for combining the, said combining means operating data of the synthesized above other time series information and the virtual object broadcasts simultaneously to each virtual three-dimensional space construction unit makes it the reproducing means, the synthetic comprising a separating means for separating the operation data of the other time-series information synthesized with the virtual object by means, said virtual operation of the virtual object on the basis of the operating data of the separated the virtual object by the separation unit the data communication system according to claim 2 comprising playing in a 3-dimensional space.
  4. 【請求項4】 上記同報通信手段が,上記仮想物体の動作データ及び他の時系列情報のうち,いずれかの情報を先行して各仮想3次元空間構築手段へ一斉同報通信してなる請求項3に記載のデータ通信システム。 Wherein said broadcasting means, among the operations data and other time-series information of the virtual object, formed by broadcast simultaneously in advance any information to the virtual 3-dimensional space construction unit the data communication system of claim 3.
  5. 【請求項5】 上記再生手段が,上記先行して通信された情報の一部が欠落した場合に,時間的に前後する情報に基づいて,欠落した情報を補間してなる請求項4に記載のデータ通信システム。 Wherein said reproducing means, when a missing part of the information communicated by the preceding, based on the information chronologically successive, wherein the missing information to Claim 4 obtained by interpolating data communication system.
  6. 【請求項6】 上記同報通信手段が,上記ネットワークの負荷状態を調査するための負荷調査手段を具備し,上記負荷調査手段により調査された上記ネットワークの負荷状態に基づいて,先行させる上記仮想物体の動作データ又は他の時系列情報の先行時間を定めてなる請求項4 Wherein said broadcasting means comprises a load checking means for checking the load state of the network, based on the load state of the investigated the network by the load checking means, preceded to the virtual claim comprising defining a lead time of operation data or other time-series information of the object 4
    又は5に記載のデータ通信システム。 Or data communication system as set forth in 5.
  7. 【請求項7】 各仮想3次元空間構築手段と上記同報通信手段とがネットワークにより接続されており,上記他の時系列情報及び上記仮想物体の動作データがRTP及びRTCPプロトコルを用いてマルチキャスト通信されてなる請求項3〜6のいずれか1項に記載のデータ通信システム。 7. are connected by the virtual 3-dimensional space construction means and said broadcasting means and a network, multicast communication operation data of the other time-series information and the virtual object using the RTP and RTCP protocols the data communication system according to any one of claims 3-6 is formed by a.
  8. 【請求項8】 上記仮想空間内に上記仮想物体が複数再生される場合,上記同報通信手段が,上記仮想物体の動作の速さに応じて,各仮想物体の動作データに対応したパケットの送信間隔を変化させてなる請求項7に記載のデータ通信システム。 8. If the virtual object on the virtual space is more reproduced, the broadcast communication means, according to the speed of operation of the virtual object, the packets corresponding to the operation data of each virtual object the data communication system of claim 7 comprising changing the transmission interval.
JP10439799A 1999-04-12 1999-04-12 Data communication system Granted JP2000299684A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10439799A JP2000299684A (en) 1999-04-12 1999-04-12 Data communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10439799A JP2000299684A (en) 1999-04-12 1999-04-12 Data communication system

Publications (1)

Publication Number Publication Date
JP2000299684A true JP2000299684A (en) 2000-10-24

Family

ID=14379608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10439799A Granted JP2000299684A (en) 1999-04-12 1999-04-12 Data communication system

Country Status (1)

Country Link
JP (1) JP2000299684A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003061297A1 (en) * 2002-01-09 2003-07-24 Matsushita Electric Industrial Co., Ltd. Motion vector coding method and motion vector decoding method
WO2004030375A1 (en) * 2002-09-27 2004-04-08 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, image data creation method, image data reproduction method, recording medium containing image data or image processing program, and image data recording device
WO2010001491A1 (en) * 2008-07-02 2010-01-07 Telefonaktiebolaget L M Ericsson (Publ) Local area streaming management method
JP2012230525A (en) * 2011-04-26 2012-11-22 Nippon Hoso Kyokai <Nhk> Content management device, client terminal, content management program, and content generation program
JP6314274B1 (en) * 2017-05-26 2018-04-18 株式会社ドワンゴ Data generation apparatus and application execution apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003061297A1 (en) * 2002-01-09 2003-07-24 Matsushita Electric Industrial Co., Ltd. Motion vector coding method and motion vector decoding method
WO2004030375A1 (en) * 2002-09-27 2004-04-08 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, image data creation method, image data reproduction method, recording medium containing image data or image processing program, and image data recording device
WO2010001491A1 (en) * 2008-07-02 2010-01-07 Telefonaktiebolaget L M Ericsson (Publ) Local area streaming management method
JP2012230525A (en) * 2011-04-26 2012-11-22 Nippon Hoso Kyokai <Nhk> Content management device, client terminal, content management program, and content generation program
JP6314274B1 (en) * 2017-05-26 2018-04-18 株式会社ドワンゴ Data generation apparatus and application execution apparatus
WO2018216759A1 (en) * 2017-05-26 2018-11-29 株式会社ドワンゴ Data generation device and application execution device

Similar Documents

Publication Publication Date Title
JP4584804B2 (en) Transmission methods and apparatus of the video bit stream
JP4417421B2 (en) Binocular / multi-view three-dimensional moving image processing system and method
CN1104691C (en) Distributed computer system
CN100473157C (en) System and method for internet broadcasting of mpeg-4-based stereoscopic video
US5864678A (en) System for detecting and reporting data flow imbalance between computers using grab rate outflow rate arrival rate and play rate
US7724780B2 (en) Synchronization of one or more source RTP streams at multiple receiver destinations
CN102356619B (en) Modified stream synchronization
EP2365450B1 (en) Embedding a session description message in a real-time control protocol (RTCP) message
US7530086B2 (en) Media program timing and identity delivery method and system
US20060195884A1 (en) Interactive multichannel data distribution system
US8015480B2 (en) System and method for media stream indexing and synchronization
US7356245B2 (en) Methods to facilitate efficient transmission and playback of digital information
US20050168630A1 (en) Multi-screen video playback system
JP4516082B2 (en) Streaming from the server to the client
US6230172B1 (en) Production of a video stream with synchronized annotations over a computer network
US20090106288A1 (en) Method and system for supporting media data of various coding formats
CN100578610C (en) Video processing
US7295548B2 (en) Method and system for disaggregating audio/visual components
US6173317B1 (en) Streaming and displaying a video stream with synchronized annotations over a computer network
US6944136B2 (en) Two-way audio/video conferencing system
US6795863B1 (en) System, device and method for combining streaming video with e-mail
US20030097408A1 (en) Communication method for message information based on network
US20020095460A1 (en) System and method for serving integrated streams of multimedia information
US20050080894A1 (en) Method and system for topology adaptation to support communication in a communicative environment
EP1564992A1 (en) Method and system for recording videoconference data

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040506

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080715