JP2000299684A - Data communication system - Google Patents
Data communication systemInfo
- Publication number
- JP2000299684A JP2000299684A JP10439799A JP10439799A JP2000299684A JP 2000299684 A JP2000299684 A JP 2000299684A JP 10439799 A JP10439799 A JP 10439799A JP 10439799 A JP10439799 A JP 10439799A JP 2000299684 A JP2000299684 A JP 2000299684A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- data
- dimensional space
- time
- communication system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は，データ通信システ
ムに係り，詳しくは，仮想３次元空間内で動作可能な例
えばキャラクタなどの仮想物体の動作データを通信する
ためのデータ通信システムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a data communication system, and more particularly to a data communication system for communicating operation data of a virtual object such as a character which can operate in a virtual three-dimensional space. .
【０００２】[0002]
【従来の技術】現在インターネット上では，３次元グラ
フィックスの記述言語の一つであるＶＲＭＬ（Virtual
Reality Modeling Language)を用いた仮想現実（Virtua
l Reality)の世界が構築され始めている。端末のディス
プレイ上などに表れる，この仮想的な３次元空間は，例
えばネットワークに接続したユーザのコミュニケーショ
ン手段の一つとして利用されており，各ユーザは，ユー
ザの分身であるアバターを仮想３次元空間に構築された
仮想都市内で歩行させ，他のユーザとチャットを行った
り，仮想都市の各所にある情報を集めたり，商品を購入
したりすることができる。ところで，上記のような３次
元グラフィックスを用いた仮想都市などのサービスを提
供する場合には，仮想３次元空間を時系列的に変化させ
る必要がある。例えば，他のユーザに歩行しているよう
に見せるには，アバターの足や腕を動作させる必要があ
るし，より臨場感を増すためには，アバターの歩行にと
もなって当該ユーザが見る仮想都市の風景も変化させる
必要がある。さらに，アバターの表情などを変化させれ
ば，喜怒哀楽をも表現することができる。このような仮
想３次元空間内における時系列的な変化の中で，特に複
雑なものが上記アバターなどのキャラクタの動作であ
る。このキャラクタの動作は，例えばモーションキャプ
チャ等の技術を用いてデータ化される。上記キャラクタ
は，この動作データを，上記キャラクタの形状やテクス
チャを表す形状データと組み合わせることにより，仮想
３次元空間内で動作可能となる。上記キャラクタの動作
データや形状データなどは，上記サービスを提供するた
めのサーバに保持されており，ユーザが用いる端末から
要求があると，その要求に応えて上記キャラクタのデー
タがネットワーク上に送信され，該データを基にユーザ
の端末に構築された仮想空間に上記キャラクタが生成さ
れ，その動作が再生される。2. Description of the Related Art At present, on the Internet, VRML (Virtual Machine), which is one of three-dimensional graphics description languages, is used.
Virtual reality (Virtua) using Reality Modeling Language
l Reality) world is beginning to be built. This virtual three-dimensional space that appears on the display of the terminal is used, for example, as one of communication means of users connected to a network, and each user displays an avatar, which is an alter ego of the user, in the virtual three-dimensional space. It is possible to walk in a virtual city constructed in the city, chat with other users, collect information at various places in the virtual city, and purchase products. By the way, when providing a service such as a virtual city using three-dimensional graphics as described above, it is necessary to change the virtual three-dimensional space in a time-series manner. For example, to make other users appear to be walking, it is necessary to move the avatar's feet and arms. To increase the sense of reality, the virtual city that the user sees as the avatar walks is required. It is necessary to change the scenery. Furthermore, by changing the expression of the avatar, emotions and emotions can be expressed. Among such time-series changes in the virtual three-dimensional space, particularly complicated is the action of the character such as the avatar. The motion of the character is converted into data using, for example, a technique such as motion capture. The character can move in the virtual three-dimensional space by combining the motion data with shape data representing the shape and texture of the character. The movement data and shape data of the character are stored in a server for providing the service, and when a request is received from a terminal used by a user, the data of the character is transmitted over a network in response to the request. Based on the data, the character is generated in a virtual space constructed in the user's terminal, and the operation is reproduced.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら，ユーザ
の要求に随時応えて当該ユーザにデータを送信する，即
ち１対１のデータ通信によってサーバからユーザの端末
にデータを伝送する場合，複数のユーザが当該サーバに
アクセスすると，複数のコネクションが同時に成立し，
サーバはそれぞれのコネクションに同じ内容のパケット
を送信することになるため，サーバの負荷が著しく増大
し，ネットワークの帯域も圧迫してしまう。特に，上記
仮想３次元空間に関するデータを伝送しようとする場
合，動作などを自然にしようとすると，非常に高い伝送
速度が必要となり，従って，サービスの質を抑えたり，
サービスを提供する人数を少数に制限したり，サーバや
ネットワークを増強するなどの必要が生じていた。この
ため，上記仮想３次元空間に関するデータを伝送する場
合には，予めユーザの端末側に時系列的に変化しない形
状データなどを保持させておき，時系列的に変化する動
作データなどをネットワークを介して通信することによ
り，サーバ及びネットワークの負荷の軽減を図る技術も
研究・開発が進められているが，この場合でも，１対１
のデータ通信によってサーバから複数のユーザにデータ
を配信されることに変わりなく，サービスの提供規模を
大きくするには限界があった。本発明は，このような従
来の技術における課題を解決するために，データ通信シ
ステムを改良し，仮想３次元空間に関する時系列データ
を，上記仮想３次元空間を構築するための仮想３次元空
間に一斉同報通信することにより，サーバ及びネットワ
ークの負荷を軽減して運用上のコストを削減すると共
に，良質のサービスを提供することのできるデータ通信
システムを提供することを主な目的とするものである。
また，上記動作データのような時系列情報を伝送する場
合には，パケットが受信される順番が時系列にならなか
ったり，ネットワークの途中で消失したりすると，コマ
落ちなど再生に問題が生じる。そこで，本発明のさらな
る目的は，時系列情報を伝送する際にパケットの受信順
序が時系列にならなかったり，消失した場合でも，好適
に補間を行い，自然な再生を行うことである。However, when data is transmitted to a user at any time in response to a request from the user, that is, when data is transmitted from a server to a user terminal by one-to-one data communication, a plurality of users are required to transmit data. When the server is accessed, multiple connections are established at the same time,
Since the server transmits packets of the same content to each connection, the load on the server is significantly increased, and the bandwidth of the network is reduced. In particular, when trying to transmit data related to the virtual three-dimensional space, an extremely high transmission speed is required if the operation is to be performed naturally, so that the quality of service can be suppressed,
There has been a need to limit the number of people who provide services to a small number, and to increase the number of servers and networks. For this reason, when transmitting the data relating to the virtual three-dimensional space, the user's terminal side stores shape data that does not change in time series in advance, and transmits operation data that changes in time series to the network. Research and development of technology to reduce the load on servers and networks by communicating over the Internet is also being conducted.
As a result, data is distributed from the server to a plurality of users by the data communication, and there is a limit to increasing the scale of service provision. The present invention improves a data communication system to solve such problems in the conventional technology, and converts time-series data relating to a virtual three-dimensional space into a virtual three-dimensional space for constructing the virtual three-dimensional space. Its main purpose is to provide a data communication system capable of providing high-quality services while reducing the load on servers and networks and reducing operational costs by simultaneous broadcast. is there.
Further, when transmitting time-series information such as the operation data, if the order in which the packets are received does not become time-series or the packets are lost in the middle of the network, there is a problem in reproduction such as dropped frames. Therefore, a further object of the present invention is to appropriately perform interpolation and perform natural reproduction even when the reception order of packets does not become time-series or is lost when transmitting time-series information.
【０００４】[0004]
【課題を解決するための手段】上記目的を達成するため
に，請求項１に係る発明は，仮想３次元空間を構築する
ための複数の仮想３次元空間構築手段と，上記仮想３次
元空間に関する時系列データを各仮想３次元空間構築手
段へ一斉同報通信する同報通信手段とを具備してなるデ
ータ通信システムとして構成されている。また，請求項
２に係る発明は，上記請求項１に記載のデータ通信シス
テムにおいて，上記同報通信手段が，上記仮想３次元空
間内で動作可能な仮想物体の動作データを各仮想３次元
空間構築手段へ一斉同報通信するものであって，上記仮
想３次元空間構築手段が，上記仮想物体の形状データを
予め取得する形状データ取得手段と，上記形状データ取
得手段により取得された上記仮想物体の形状データと上
記同報通信手段からの上記仮想物体の動作データとに基
づいて上記仮想物体の動作を上記仮想３次元空間内で再
生する再生手段とを具備してなることをその要旨とす
る。また，請求項３に係る発明は，上記請求項２に記載
のデータ通信システムにおいて，上記仮想３次元空間が
他の時系列情報と同期して構築再生されるものであっ
て，上記同報通信手段が，上記他の時系列情報と上記仮
想物体の動作データとを合成する合成手段を備え，該合
成手段により合成された上記他の時系列情報と上記仮想
物体の動作データを各仮想３次元空間構築手段へ一斉同
報通信し，上記再生手段が，上記合成手段により合成さ
れた上記他の時系列情報と上記仮想物体の動作データを
分離する分離手段を備え，該分離手段により分離された
上記仮想物体の動作データに基づいて上記仮想物体の動
作を上記仮想３次元空間内で再生してなることをその要
旨とする。また，請求項４に係る発明は，上記請求項３
に記載のデータ通信システムにおいて，上記同報通信手
段が，上記仮想物体の動作データ及び他の時系列情報の
うち，いずれかの情報を先行して各仮想３次元空間構築
手段へ一斉同報通信してなることをその要旨とする。ま
た，請求項５に係る発明は，上記請求項４に記載のデー
タ通信システムにおいて，上記再生手段が，上記先行し
て通信された情報の一部が欠落した場合に，時間的に前
後する情報に基づいて，欠落した情報を補間してなるこ
とをその要旨とする。In order to achieve the above object, the invention according to claim 1 relates to a plurality of virtual three-dimensional space construction means for constructing a virtual three-dimensional space, and the virtual three-dimensional space. It is configured as a data communication system including broadcast communication means for simultaneously broadcasting time-series data to each virtual three-dimensional space construction means. According to a second aspect of the present invention, in the data communication system according to the first aspect, the broadcasting means transmits operation data of a virtual object operable in the virtual three-dimensional space to each virtual three-dimensional space. The virtual three-dimensional space construction means broadcasts to the construction means, wherein the virtual three-dimensional space construction means acquires shape data of the virtual object in advance, and the virtual object acquired by the shape data acquisition means. And reproducing means for reproducing the operation of the virtual object in the virtual three-dimensional space based on the shape data of the virtual object and the operation data of the virtual object from the broadcast communication means. . According to a third aspect of the present invention, in the data communication system according to the second aspect, the virtual three-dimensional space is constructed and reproduced in synchronization with other time-series information. Means for synthesizing the other time-series information and the motion data of the virtual object; and combining the other time-series information and the motion data of the virtual object synthesized by the synthesizing means with each virtual three-dimensional data. Broadcasting is simultaneously performed to the space constructing means, and the reproducing means includes separating means for separating the other time-series information synthesized by the synthesizing means and the motion data of the virtual object, and is separated by the separating means. The gist is that the motion of the virtual object is reproduced in the virtual three-dimensional space based on the motion data of the virtual object. The invention according to claim 4 is the same as the above-mentioned claim 3.
3. The data communication system according to claim 1, wherein the broadcasting means broadcasts to the virtual three-dimensional space construction means prior to any of the motion data of the virtual object and other time-series information. The main point is to do. According to a fifth aspect of the present invention, in the data communication system according to the fourth aspect, the reproducing means is configured such that, when a part of the previously communicated information is lost, the information which is temporally delayed. The main point is that the missing information is interpolated based on the information.
【０００５】また，請求項６に係る発明は，上記請求項
４又は５に記載のデータ通信システムにおいて，上記同
報通信手段が，上記ネットワークの負荷状態を調査する
ための負荷調査手段を具備し，上記負荷調査手段により
調査された上記ネットワークの負荷状態に基づいて，先
行させる上記仮想物体の動作データ又は他の時系列情報
の先行時間を定めてなることをその要旨とする。また，
請求項７に係る発明は，上記請求項３〜６のいずれか１
項に記載のデータ通信システムにおいて，各仮想３次元
空間構築手段と上記同報通信手段とがネットワークによ
り接続されており，上記他の時系列情報及び上記仮想物
体の動作データがＲＴＰ及びＲＴＣＰプロトコルを用い
てマルチキャスト通信されてなることをその要旨とす
る。また，請求項８に係る発明は，上記請求項７に記載
のデータ通信システムにおいて，上記仮想空間内に上記
仮想物体が複数再生される場合，上記同報通信手段が，
上記仮想物体の動作の速さに応じて，各仮想物体の動作
データに対応したパケットの送信間隔を変化させてなる
ことをその要旨とする。上記請求項１〜８のいずれか１
項に記載のデータ通信システムによれば，仮想３次元空
間を構築するための例えばパーソナルコンピュータなど
の仮想３次元空間構築手段に，仮想３次元空間内で動作
可能なアバターなどの仮想物体の動作データが一斉同報
通信されるため，１対１の通信が複数行われる場合と比
べて，ネットワークやサーバの負荷を増大させることな
く，多数のユーザに仮想３次元空間を用いた良質のサー
ビスを提供することができる。さらに，請求項４に記載
のデータ通信システムによれば，上記仮想物体の動作デ
ータ及び他の時系列情報のうち，いずれかの情報が先行
して送信されるため，例えば動作データのパケットだけ
が，それに同期して再生される音声などのパケットより
も遅れて配信されるような場合でも，同期ずれを防止す
ることができる。また，先行させる時間は，例えば請求
項６に記載のように，上記同報通信手段が，上記ネット
ワークの負荷状態を調査するため負荷調査手段を具備す
ることによって，上記負荷調査手段により調査された上
記ネットワークの負荷状態に基づいて定めることができ
る。しかも，請求項５に記載のデータ通信システムによ
れば，時系列情報が再生側でリアルタイム再生される場
合に，パケットの受信順序が時系列にならなかったり，
パケットが欠落しても，時間的に前後するパケットによ
り上記動作データなどが補間されるため，コマ落ちなど
が生じて再生の品質が劣化するのを防止することができ
る。また，請求項８に記載のデータ通信システムによれ
ば，仮想空間内に上記仮想物体が複数再生される場合，
上記同報通信手段が，上記仮想物体の動作の速さに応じ
て，各仮想物体の動作データに対応したパケットの送信
間隔を変化させるため，ユーザには自然な再生を提供し
ながら，必要伝送容量を抑制して，ネットワークの帯域
を有効利用することができる。According to a sixth aspect of the present invention, in the data communication system according to the fourth or fifth aspect, the broadcasting means includes a load checking means for checking a load state of the network. The gist of the present invention is that the preceding time of the motion data or other time-series information of the preceding virtual object is determined based on the load state of the network investigated by the load investigating means. Also,
The invention according to claim 7 is the invention according to any one of claims 3 to 6 above.
In the data communication system described in the paragraph, each virtual three-dimensional space construction means and the broadcast communication means are connected by a network, and the other time-series information and the operation data of the virtual object conform to RTP and RTCP protocols. The gist is that the communication is performed using the multicast communication. According to an eighth aspect of the present invention, in the data communication system according to the seventh aspect, when a plurality of the virtual objects are reproduced in the virtual space, the broadcast communication means:
The gist is that the transmission interval of the packet corresponding to the operation data of each virtual object is changed according to the speed of the operation of the virtual object. Any one of claims 1 to 8 above.
According to the data communication system described in the paragraph, the virtual three-dimensional space construction means such as a personal computer for constructing a virtual three-dimensional space is provided with operation data of a virtual object such as an avatar operable in the virtual three-dimensional space. Is broadcast simultaneously, providing high-quality services using a virtual three-dimensional space to a large number of users without increasing the load on the network or server compared to when multiple point-to-point communications are performed. can do. Furthermore, according to the data communication system of the fourth aspect, since any one of the operation data of the virtual object and the other time-series information is transmitted in advance, for example, only the packet of the operation data is transmitted. Even in the case where a packet such as a sound reproduced in synchronization with the packet is delivered later than the packet, it is possible to prevent the synchronization deviation. Further, the preceding time is investigated by the load investigating means, for example, when the broadcast means has a load investigating means for investigating a load state of the network. It can be determined based on the load state of the network. In addition, according to the data communication system of the fifth aspect, when the time-series information is reproduced in real time on the reproducing side, the reception order of the packets does not become time-series,
Even if a packet is lost, the operation data and the like are interpolated by packets that are temporally delayed, so that it is possible to prevent a drop in frames or the like and a deterioration in reproduction quality. According to the data communication system of the eighth aspect, when a plurality of the virtual objects are reproduced in the virtual space,
The broadcast means changes the transmission interval of the packet corresponding to the operation data of each virtual object according to the speed of the operation of the virtual object. The capacity can be suppressed, and the bandwidth of the network can be used effectively.
【０００６】[0006]
【発明の実施の形態】以下，添付図面を参照して，本発
明の実施の形態につき説明し，本発明の理解に供する。
尚，以下の実施の形態は，本発明の具体的な一例であっ
て，本発明の技術的範囲を限定する性格のものではな
い。ここで，図１は本発明の一実施の形態に係るデータ
通信システムの概略構成を示す図，図２は仮想３次元コ
ンテンツの一例を示す図，図３は仮想３次元コンテンツ
同報通信装置の概略構成を示す図である。図１に示す如
く，本発明の一実施の形態に係るデータ通信システム
は，例えば仮想３次元空間内で動作可能な仮想３次元キ
ャラクタの動作データなどを保持するコンテンツサーバ
ＣＳから，ネットワークＮを介して，上記仮想３次元空
間が構築される複数のクライアント１，…，ｎに上記動
作データを通信するデータ通信システムとして具体化さ
れるものである。このために，上記データ通信システム
では，例えば上記ネットワークのアプリケーション層の
フレームワークが，ＲＴＰ(Real Time Protocol,Real-t
ime Transport Protocol) やＲＴＣＰ(Real Time Contr
ol Protocol)により提供され，ＲＴＰメッセージ又はＲ
ＴＣＰメッセージのペイロードに所定のフォーマットに
て格納された上記動作データが，上記コンテンツサーバ
ＣＳから各クライアント１，…，ｎにＩＰマルチキャス
ト送信される。Embodiments of the present invention will be described below with reference to the accompanying drawings to provide an understanding of the present invention.
The following embodiment is a specific example of the present invention and does not limit the technical scope of the present invention. Here, FIG. 1 is a diagram showing a schematic configuration of a data communication system according to an embodiment of the present invention, FIG. 2 is a diagram showing an example of virtual three-dimensional content, and FIG. It is a figure showing a schematic structure. As shown in FIG. 1, a data communication system according to an embodiment of the present invention uses a network N from a content server CS that stores, for example, motion data of a virtual three-dimensional character that can move in a virtual three-dimensional space. Thus, the present invention is embodied as a data communication system for communicating the operation data to a plurality of clients 1,..., N in which the virtual three-dimensional space is constructed. For this reason, in the data communication system, for example, the framework of the application layer of the network is based on RTP (Real Time Protocol, Real-t
ime Transport Protocol) or RTCP (Real Time Contr
ol Protocol) provided by the RTP message or R
The operation data stored in the payload of the TCP message in a predetermined format is transmitted by IP multicast from the content server CS to each of the clients 1,..., N.
【０００７】以下，上記データ通信システムの詳細につ
いて説明する。上記データ通信システムにおいて，コン
テンツサーバＣＳ（同報通信手段に相当）に保持される
データには，例えば図２に示すような仮想３次元キャラ
クタＶＣを，上記クライアント１，…，ｎ（仮想３次元
空間構築手段に相当）に構築される仮想３次元空間ＶＲ
内で動作させるための動作データがある。上記仮想３次
元キャラクタＶＣを生成するためのデータは，上記動作
データと上記仮想３次元キャラクタＶＣのテクスチャや
形状などを指定するための形状データとに分けられるこ
とが多いが，後記するように，本実施の形態に係るデー
タ通信システムでは，仮想３次元空間ＶＲ自体のデータ
を生成するためのデータや上記形状データは予めクライ
アント１，…，ｎにて取得されており，上記動作データ
のみがコンテンツサーバＣＳに保持される。上記動作デ
ータの他，上記コンテンツサーバＣＳには，音声データ
や動画像データなどの他の時系列情報も保持される。上
記音声データや動画像データは，例えば上記仮想３次元
キャラクタの動作と同期してクライアント１，…，ｎに
おいて再生され，上記仮想３次元空間内の臨場感を増し
たり，カラオケなどのサービスを提供するために用いら
れる。上記動作データ，音声データ，及び動画像データ
は，上記コンテンツサーバＣＳ上で実現される仮想３次
元コンテンツ同報通信装置を用いて入力される。ここ
で，図３に上記仮想３次元コンテンツ同報通信装置の概
略構成を示す。上記仮想３次元コンテンツ同報通信装置
は，上記動作データなどを取り込み，所定の手順に従っ
てネットワーク通信用ストリームに変換して，上記動作
データなどを各クライアント１，…，ｎにＩＰマルチキ
ャスト送信するための装置であり，例えば動作情報入力
装置Ｂ０１，動作データ生成装置Ｂ０２，動作データ合
成装置Ｂ０３（合成手段に相当），同報通信ストリーム
情報生成装置Ｂ０４，ネットワーク送出装置Ｂ０５など
を備える。例えば上記動作データは，腕を挙げる，足を
前に出すなどの動作毎にモーションキャプチャなどの動
作情報入力装置Ｂ０１を用いてデジタルデータ化され，
動作データ生成装置Ｂ０２により所定のフォーマットに
従って動作データに変換される。ここで，図４に上記動
作データ生成装置の概略構成を示す。上記動作データ生
成装置Ｂ０２は，上記動作情報入力装置Ｂ０１から供給
されたデジタルデータ量を算出する動作データ量算出部
Ｃ０１と，所定の送信モードに従って動作データ格納容
量を算出する動作データ格納容量算出部Ｃ０２と，上記
動作データの送信スケジュールを作成する送信スケジュ
ール作成部Ｃ０３と，上記送信スケジュール作成部Ｃ０
３により作成された送信スケジュールに基づいて上記デ
ジタルデータを分割する動作データ分割部Ｃ０４を具備
する。Hereinafter, the data communication system will be described in detail. In the data communication system, the data held in the content server CS (corresponding to the broadcasting means) includes, for example, a virtual three-dimensional character VC as shown in FIG. Virtual three-dimensional space VR constructed in space construction means)
There is operation data for operating within. The data for generating the virtual three-dimensional character VC is often divided into the motion data and the shape data for designating the texture, shape, and the like of the virtual three-dimensional character VC. In the data communication system according to the present embodiment, data for generating data of the virtual three-dimensional space VR itself and the shape data are obtained in advance by the clients 1,..., N, and only the operation data is content. It is held in the server CS. In addition to the operation data, the content server CS holds other time-series information such as audio data and moving image data. The audio data and the moving image data are reproduced in the clients 1,..., N in synchronization with the operation of the virtual three-dimensional character, for example, to increase the sense of reality in the virtual three-dimensional space, and to provide services such as karaoke. Used to The operation data, audio data, and moving image data are input using a virtual three-dimensional content broadcasting device realized on the content server CS. Here, FIG. 3 shows a schematic configuration of the virtual three-dimensional content broadcasting device. The virtual three-dimensional content broadcasting device takes in the operation data and the like, converts it into a network communication stream according to a predetermined procedure, and transmits the operation data and the like to each of the clients 1,. The device includes, for example, an operation information input device B01, an operation data generating device B02, an operation data synthesizing device B03 (corresponding to synthesizing means), a broadcast stream information generating device B04, a network transmitting device B05, and the like. For example, the operation data is converted into digital data using an operation information input device B01 such as a motion capture for each operation such as raising an arm or putting a leg forward.
The operation data is converted into operation data by the operation data generation device B02 according to a predetermined format. Here, FIG. 4 shows a schematic configuration of the operation data generation device. The operation data generation device B02 includes an operation data amount calculation unit C01 that calculates the amount of digital data supplied from the operation information input device B01, and an operation data storage capacity calculation unit that calculates an operation data storage capacity according to a predetermined transmission mode. C02, a transmission schedule creation unit C03 for creating a transmission schedule of the operation data, and a transmission schedule creation unit C0
3 is provided with an operation data division unit C04 that divides the digital data based on the transmission schedule created in Step 3.
【０００８】上記動作データ生成装置Ｂ０２において，
上記動作情報入力装置Ｂ０１から供給されるデジタルデ
ータは，例えば１００ｍｓｅｃ程度のサンプリング時間
で取り込まれた時系列デジタルデータであり，取り込み
時間と上記サンプリング時間などを基に上記デジタルデ
ータ全体の量が上記動作データ量算出部Ｃ０１により算
出される。次に，動作データ格納容量算出部Ｃ０２によ
り所定の送信モードに従って格納可能なデータ容量が算
出される。次に，上記動作データ格納容量算出部Ｃ０２
により算出された動作データ格納容量を基に上記動作デ
ータの送信スケジュールが上記動作データ送信スケジュ
ール作成部Ｃ０３により作成される。そして，上記動作
データ送信スケジュール作成部Ｃ０３により作成された
送信スケジュールを基に上記動作データ分割部Ｃ０４に
より上記デジタルデータが分割され，送信用動作データ
として動作データ合成装置Ｂ０３へ供給される。上記動
作データ生成装置Ｂ０２において分割された上記動作デ
ータは，上記動作データ合成装置Ｂ０３により，例えば
上記音声データや動画データなどの他の時系列情報の送
信用パケットにそれぞれ合成される。ここで，図５に上
記動作データ合成装置の概略構成を示す。図５に示すよ
うに，上記動作データ合成装置Ｂ０３は，合成モード切
替装置Ｄ０１，周波数変調装置Ｄ０２，データ合成装置
Ｄ０３，指定フォーマット内領域探索装置Ｄ０４，指定
フォーマット内領域記述装置Ｄ０５，電子透かし情報作
成装置Ｄ０６，電子透かし合成装置Ｄ０７などを備え
る。上記動作データ合成装置Ｂ０３では，まず，上記合
成モード切替装置Ｄ０１により上記動作データと，合成
対象となる音声データ，又は動画像データとの入力が所
定の合成モードに従って切り替えられる。例えば上記動
作データを上記音声データと合成する場合には，周波数
変調装置Ｄ０２により上記動作データが周波数変調さ
れ，上記データ合成装置Ｄ０３により上記音声データと
合成される。また，上記動作データを上記動画像データ
と合成する場合には，電子透かし情報作成装置Ｄ０６に
より上記動作データが電子透かし情報に変換され，上記
電子透かし合成装置Ｄ０７により上記動画像データに電
子透かしとして合成される。また，上記音声データや動
作データに上記動作データを合成する場合には，上記指
定フォーマット内領域探索装置Ｄ０４，及び指定フォー
マット内領域記述装置Ｄ０５により，送信するデータの
領域を探索して，探索した領域を分割し，分割した各領
域に上記音声データや動画像データ，及び上記動作デー
タを振り分けて記述するようにして上記音声データや動
画像データに上記動作データを合成するようにしてもよ
い。このようにして上記動作データ合成装置Ｂ０３によ
り上記動作データが合成された動作データ合成済データ
は，同報通信ストリーム情報生成装置Ｂ０４に供給され
る。In the operation data generation device B02,
The digital data supplied from the operation information input device B01 is time-series digital data captured at a sampling time of, for example, about 100 msec, and the total amount of the digital data is determined based on the capturing time and the sampling time. It is calculated by the data amount calculation unit C01. Next, an operation data storage capacity calculation unit C02 calculates a data capacity that can be stored according to a predetermined transmission mode. Next, the operation data storage capacity calculation unit C02
The operation data transmission schedule is created by the operation data transmission schedule creation unit C03 based on the operation data storage capacity calculated by the above. The digital data is divided by the operation data dividing section C04 based on the transmission schedule created by the operation data transmission schedule creating section C03, and is supplied to the operation data synthesizing apparatus B03 as operation data for transmission. The motion data divided by the motion data generating device B02 is synthesized by the motion data synthesizing device B03 into transmission packets of other time-series information such as the audio data and the moving image data. Here, FIG. 5 shows a schematic configuration of the operation data synthesizing apparatus. As shown in FIG. 5, the operation data synthesizing device B03 includes a synthesizing mode switching device D01, a frequency modulating device D02, a data synthesizing device D03, a specified format region searching device D04, a specified format region description device D05, digital watermark information. It includes a creating device D06, a digital watermark synthesizing device D07, and the like. In the motion data synthesizing device B03, first, the synthesizing mode switching device D01 switches the input between the motion data and the audio data or moving image data to be synthesized according to a predetermined synthesizing mode. For example, when synthesizing the operation data with the audio data, the operation data is frequency-modulated by the frequency modulation device D02 and is synthesized with the audio data by the data synthesis device D03. When synthesizing the operation data with the moving image data, the operation data is converted into electronic watermark information by the electronic watermark information creating device D06, and the electronic image data is converted into electronic watermark by the electronic watermark synthesizing device D07. Synthesized. When synthesizing the motion data with the voice data and the motion data, the specified format area search device D04 and the specified format area description device D05 search for the area of the data to be transmitted and search. The motion data may be combined with the audio data or the moving image data by dividing the region and dividing and describing the audio data, the moving image data, and the operation data in each of the divided regions. The operation data synthesized data obtained by synthesizing the operation data by the operation data synthesis device B03 in this manner is supplied to the broadcast stream information generation device B04.
【０００９】上記同報通信ストリーム情報生成装置Ｂ０
４では，上記動作データ合成済データがネットワーク上
でのストリーム情報に変換される。ここで，ＲＴＰ，Ｒ
ＴＣＰメッセージを用いた具体例を図６乃至図８を用い
て説明する。尚，図６はＲＴＰのメッセージフォーマッ
トの一例を示す図表であり，図７は上記動作データのフ
ォーマットの一例を示す図表であり，図８はＲＴＣＰの
メッセージフォーマットの一例を示す図表である。図６
に示す如く，ＲＴＰのメッセージフォーマットは，例え
ばＩＰ(InternetProtocol) ヘッダ，ＵＤＰ(Usr Datagr
am Protocol) ヘッダ，ＲＴＰメッセージに大きく分け
ることができる。このうち，上記ＲＴＰメッセージは，
ＲＴＰヘッダとアプリケーションデータとからなり，上
記ＲＴＰヘッダは，バージョン，ペイロードタイプ，シ
ーケンス番号，時刻印，同期送信元識別子などのフィー
ルドを備える。尚，ＲＴＰメッセージやそのフィールド
の詳細については，例えばRFC1889 PSH.Schulzrinne,S.
Casner,R.Frederick,V.Jacobson,"RTP:A Transport Pro
tocolfor Real-Time Applications"などを参照された
い。上記仮想３次元キャラクタＶＣの動作データは，例
えば上記音声データと合成されて上記アプリケーション
データ領域に格納される。図７に上記動作データのフォ
ーマットを示す。図７に示す如く，上記動作データのチ
ャンクは，データタイプ，同期時間，シリアル番号，ア
プリケーション番号，仮想３次元空間認識番号，動作デ
ータ，未使用予約領域，チェックサムなどのフィールド
を含む。上記フィールドのうち，データタイプ，及び仮
想３次元空間認識番号は，仮想３次元キャラクタＶＣの
動作の種類，及び適用オブジェクトを示すために用いら
れる。上記同期時間，及びシリアル番号は，分割された
動作データを時系列に配列するために必要とされるもの
であり，上記同期時間には再生開始を基準として当該動
作データが再生される相対的な時間が，シリアル番号に
は送出される順番が格納される。また，アプリケーショ
ン番号は，クライアント１，…，ｎにおいて，上記動作
を再生するために用いられるアプリケーションの種類を
指定するために用いられる。尚，上記未使用予約領域に
は，通常，値０が設定される。The broadcast stream information generating device B0
In step 4, the operation data synthesized data is converted into stream information on the network. Where RTP, R
A specific example using a TCP message will be described with reference to FIGS. 6 is a chart showing an example of the RTP message format, FIG. 7 is a chart showing an example of the format of the operation data, and FIG. 8 is a chart showing an example of the RTCP message format. FIG.
As shown in the figure, the RTP message format is, for example, an IP (Internet Protocol) header, a UDP (Usr Datagr).
am Protocol) header and RTP message. Among them, the above RTP message is
The RTP header includes an RTP header and application data. The RTP header includes fields such as a version, a payload type, a sequence number, a time stamp, and a synchronous transmission source identifier. For details of the RTP message and its fields, see, for example, RFC1889 PSH.Schulzrinne, S.
Casner, R. Frederick, V. Jacobson, "RTP: A Transport Pro
tocolfor Real-Time Applications. ”The motion data of the virtual three-dimensional character VC is combined with, for example, the voice data and stored in the application data area. FIG. 7 shows a format of the motion data. 7, the operation data chunk includes fields such as a data type, a synchronization time, a serial number, an application number, a virtual three-dimensional space identification number, operation data, an unused reserved area, and a checksum. Of the fields, the data type and the virtual three-dimensional space recognition number are used to indicate the type of motion of the virtual three-dimensional character VC and the applicable object. Are required to arrange the time-series The relative time at which the operation data is reproduced with respect to the beginning is stored in the serial number in the order of transmission, and the application number is used to reproduce the operation in the clients 1,. Is used to specify the type of application used in the non-use reserved area.
【００１０】また，例えば同じフォーマットの動作デー
タをＲＴＣＰメッセージフォーマットのＳＤＥＳ(Sourc
e Descprition)項目群に格納し，ＲＴＰメッセージに格
納された音声データや動画像データと同期させることも
できる。ここで，図８にＲＴＣＰの送信元記述パケット
のフォーマットを示す。上記ＲＴＣＰには，送信者報告
パケット，受信者報告パケット，送信元記述パケット，
退去メッセージパケットの４つのパケットタイプがあ
り，上記動作データが格納される上記送信元記述パケッ
トは，そのフォーマットに図８に示す如く，バージョ
ン，パッド有無，パケットタイプ，長さ，ＳＤＥＳ項目
群，同期又は貢献送信元識別子などのフィールドを備え
る。上記送信元記述パケットは，送信元についての情報
を提供するために使用されるパケットであり，上記パケ
ットタイプのフィールドには，そのことを示す２０２が
格納され，同期送信元識別子には，メッセージの元々の
送信元を示すための識別子が格納され，同一送信元から
のＲＴＰメッセージと対応させるために用いられる。ま
た，上記ＳＤＥＳ項目群には，少なくも送信元の身元を
確認するための標準名称(CNAME,Canonical NAME)が含ま
れ，このＳＥＤＳ項目群に上記動作データが格納され
る。このようなメッセージフォーマットを持つＲＴＰパ
ケット，動作データパケット，及びＲＴＣＰパケットを
用いることにより，ＲＴＰパケットで送られた音声デー
タや動画像のフレーム番号や時間情報をクライアント
１，…，ｎ側で一時的に保存し，その情報に基づいてＲ
ＴＣＰパケットで送信された動作情報を同期させること
によって，ダンスやカラオケ等の音楽に合わせた仮想３
次元キャラクタＶＣの動作の再生や，動画像の動きに合
わせた動作が可能となる。そして，上記ＲＴＰパケット
やＲＴＣＰパケットは，キャリーであるＵＤＰデータグ
ラムに複数まとめて格納され，例えば指定された所定の
日時に上記ネットワーク送出装置Ｂ０５により，上記ネ
ットワークに接続された複数のクライアント１，…，ｎ
にＩＰマルチキャスト送信される。[0010] For example, operation data of the same format is converted into an STCP (Sourc
e Descrition) item group, and can be synchronized with audio data and moving image data stored in the RTP message. Here, FIG. 8 shows the format of the source description packet of RTCP. The RTCP includes a sender report packet, a receiver report packet, a sender description packet,
There are four packet types of departure message packets, and the format of the source description packet storing the operation data is version, pad existence, packet type, length, SDES item group, synchronization as shown in FIG. Or a field such as a contribution sender identifier. The source description packet is a packet used to provide information about the source, and the packet type field stores 202 indicating that fact, and the synchronous source identifier contains the message An identifier for indicating the original transmission source is stored and used to correspond to an RTP message from the same transmission source. The SDES item group includes at least a standard name (CNAME, Canonical NAME) for confirming the identity of the transmission source, and the operation data is stored in the SEDS item group. By using the RTP packet, the operation data packet, and the RTCP packet having such a message format, the client 1,..., N temporarily stores the frame number and time information of the audio data and the moving image transmitted in the RTP packet. And based on that information,
By synchronizing the operation information transmitted in the TCP packet, virtual 3
Reproduction of the motion of the three-dimensional character VC and motion in accordance with the motion of the moving image can be performed. A plurality of RTP packets and RTCP packets are stored together in a UDP datagram that is a carry, and, for example, at a specified predetermined date and time, a plurality of clients 1,. , N
Is transmitted by IP multicast.
【００１１】ユニキャスト通信では，複数のクライアン
トがサーバに接続した場合，同じ内容のパケットをそれ
ぞれのクライアントに送信するため，サーバの負荷を増
大させ，ネットワークの帯域を圧迫するが，マルチキャ
スト通信では，サーバが，ある１つのパケットを送信す
れば，マルチキャストルータにより予め参加を希望した
全てのクライアントのグループにそれぞれ分配されるた
め，サーバ及びネットワークの負荷が大幅に軽減され
る。このために，クライアント１，…，ｎは，予め参加
しているグループのマルチキャストアドレス（２２４．
０．０．０〜２３９．２５５．２５５．２５５の範囲）
をマルチキャストルータに対して通知しており，コンテ
ンツサーバＣＳは，同じマルチキャストアドレスを上記
ＩＰヘッダ中で指定して上記動作データを含むパケット
を上記マルチキャストルータに送信する。上記のように
送信された動作データは，各クライアント１，…，ｎに
おいて構築される仮想３次元空間ＶＲ内の仮想３次元キ
ャラクタＶＣの動作として再生される。この再生には，
各クライアント１，…，ｎにおいて実現される例えば図
９に示すような仮想３次元コンテンツ再生装置（再生手
段に相当）が用いられる。図９に示す如く，上記仮想３
次元コンテンツ再生装置は，音声ストリーム受信装置Ｅ
０１，動画像ストリーム受信装置Ｅ０２，ストリーム制
御信号受信装置Ｅ０３，ストリーム情報再生装置Ｅ０
４，動作データ解析装置Ｅ０５，音声データ再生装置Ｅ
０６，画像データ再生装置Ｅ０７，動作データ再生装置
Ｅ０８，画像合成装置Ｅ０９などを備える。上記仮想３
次元コンテンツ再生装置において，音声ストリーム受信
装置Ｅ０１，動画像ストリーム受信装置Ｅ０２，ストリ
ーム制御信号受信装置Ｅ０３（分離手段に相当）によ
り，音声データ，動画像データ，動作データに対応した
ストリームがネットワークから分離受信される。これら
分離受信されたストリームは，ストリーム情報再生装置
Ｅ０４により所定の手順に従って再生され，上記音声デ
ータ，動画像データ，動作データが再構成される。上記
動作データ解析装置Ｅ０５では，上記ストリーム情報再
生装置Ｅ０４により再構成された上記動作データなどが
解析され，その解析結果が音声データ再生装置Ｅ０６，
画像データ再生装置Ｅ０７，動作データ再生装置Ｅ０８
に供給される。各再生装置Ｅ０６，Ｅ０７，Ｅ０８の出
力は，画像合成装置Ｅ０９に接続されており，上記画像
合成装置Ｅ０９において，仮想３次元空間ＶＲなどの画
像と合成される。ここで，上記クライアント１，…，ｎ
上に構築される仮想３次元空間ＶＲのデータや，仮想３
次元キャラクタＶＣの形状データは，記憶媒体や通信媒
体を用いて予め取得されており，上記画像合成装置Ｅ０
９では，上記仮想３次元空間ＶＲのデータを基に仮想３
次元空間ＶＲが構築され，上記形状データと動作データ
とに基づいて仮想３次元キャラクタＶＣの動作が再生さ
れ，さらにこれらに同期して音声データや動画像データ
が合成再生される。尚，本発明における形状データ取得
手段は，例えばハードディスクなどの記憶媒体とそのイ
ンターフェースなどにより実現されるものである。この
ように，本実施の形態に係るデータ通信システムでは，
動画像データや音声データに合成されて仮想３次元キャ
ラクタの動作データが，コンテンツサーバからクライア
ントにマルチキャスト送信され，クライアントにて予め
取得された仮想３次元空間のデータや上記仮想３次元キ
ャラクタの形状データと上記送信された動作データとに
基づいて仮想３次元空間が構築され，仮想３次元キャラ
クタの配信する場合と較べて，上記仮想３次元キャラク
タの動作データを通信する場合でも，ネットワークやサ
ーバの負荷を抑え，運用上又はサービス上のコストを低
下させるとともに良質のサービスを提供することができ
る。In the unicast communication, when a plurality of clients connect to the server, the same packet is transmitted to each client, so that the load on the server is increased and the bandwidth of the network is reduced. When a server transmits a certain packet, the packet is distributed to all groups of clients who have previously requested to participate by the multicast router, so that the load on the server and the network is greatly reduced. For this purpose, the clients 1,..., N are assigned multicast addresses (224.
0.0-239.255.255.255)
Is sent to the multicast router, and the content server CS specifies the same multicast address in the IP header and transmits a packet including the operation data to the multicast router. The motion data transmitted as described above is reproduced as the motion of the virtual three-dimensional character VC in the virtual three-dimensional space VR constructed in each of the clients 1,..., N. For this playback,
For example, a virtual three-dimensional content reproducing apparatus (corresponding to a reproducing means) as shown in FIG. As shown in FIG.
The three-dimensional content reproducing device is an audio stream receiving device E
01, moving image stream receiving device E02, stream control signal receiving device E03, stream information reproducing device E0
4, operation data analysis device E05, audio data reproduction device E
06, an image data reproducing device E07, an operation data reproducing device E08, an image synthesizing device E09, and the like. Virtual 3
In the three-dimensional content reproducing apparatus, a stream corresponding to audio data, moving image data, and operation data is separated from a network by an audio stream receiving device E01, a moving image stream receiving device E02, and a stream control signal receiving device E03 (corresponding to separating means). Received. These separated and received streams are reproduced by the stream information reproducing device E04 according to a predetermined procedure, and the audio data, moving image data, and operation data are reconstructed. In the operation data analysis device E05, the operation data and the like reconstructed by the stream information reproduction device E04 are analyzed, and the analysis result is transmitted to the audio data reproduction device E06.
Image data reproducing device E07, operation data reproducing device E08
Supplied to The output of each of the reproducing devices E06, E07, E08 is connected to an image synthesizing device E09, and is synthesized with an image such as a virtual three-dimensional space VR in the image synthesizing device E09. Here, the clients 1,..., N
The data of the virtual three-dimensional space VR constructed on
The shape data of the three-dimensional character VC is obtained in advance using a storage medium or a communication medium,
9, a virtual 3D space is created based on the data of the virtual 3D space VR.
A three-dimensional space VR is constructed, the motion of the virtual three-dimensional character VC is reproduced based on the shape data and the motion data, and audio data and moving image data are synthesized and reproduced in synchronism with these. Incidentally, the shape data acquisition means in the present invention is realized by a storage medium such as a hard disk and its interface. Thus, in the data communication system according to the present embodiment,
The motion data of the virtual three-dimensional character synthesized with the moving image data and the audio data is multicast-transmitted from the content server to the client, and the data of the virtual three-dimensional space and the shape data of the virtual three-dimensional character previously acquired by the client. A virtual three-dimensional space is constructed based on the transmitted motion data and the virtual three-dimensional character. Even when the virtual three-dimensional character motion data is communicated, the load on the network or the server is reduced as compared with the case where the virtual three-dimensional character is distributed. , The cost of operation or service can be reduced, and a high quality service can be provided.
【００１２】[0012]
【実施例】ところで，上記ネットワークの状態によって
は，上記動作データの一部が格納されたパケットが，受
信側のクライアント１，…，ｎに到達できない場合があ
る。このため，音声データと動画像データとの同期をと
った動作データの送受信を行う場合には，上記仮想３次
元キャラクタの動作再生時に上記音声データや動画像デ
ータと十分な同期ができない場合がある。そこで，図１
０に示す如く，上記音声データや動画像データよりも上
記動作データを先行送信時間ｔp だけ先行させて上記ネ
ットワーク上に送出するようにしてもよい。上記先行送
信時間ｔp は，例えば送信前のネゴシエーションや，ネ
ットワークの負荷状況等を基に設定調整される。受信側
では同期タイミングよりも先に動作データを受け取った
場合には，現在の動作データと先行した動作データとの
間で補間を行うことにより，より緻密な動作データを生
成することができる。さらに，先行させる時系列情報
は，上記動作データに限らず，音声データや動画像デー
タを先行させるようにしてもよい。また，例えば同期さ
せる音声データや動画像データの到着前に欠落した動作
データの次の動作データがクライアント１，…，ｎに到
達した場合には，先行して受信された動作データのうち
欠落した動作データの前後の動作データを用いて欠落し
た動作データが補間される。例えば図１１に示す如く，
時刻ｔ2 で同期させるデータが欠落し，時刻ｔ1 に同期
させるデータの後に時刻ｔ3 で同期させるデータが，時
刻ｔ2 で同期させるデータの再生前に到着した場合に
は，時刻ｔ1 で同期させるデータと時刻ｔ3 で同期させ
るデータとを用いて，その間の動作を表すベクトルが計
算され，時刻ｔ2 で同期させるデータが補間される。こ
れにより，コマ落ちなどの品質劣化を防止することがで
きる。尚，この補間の後に，時刻ｔ2 で同期させる本来
のデータが到着した場合には，破棄するようにしてもよ
いし，本来のデータを再生するようにしてもよい。ま
た，時刻ｔ2 で同期させるデータの再生前に上記時刻ｔ
3 で同期させるデータが到着しなかった場合には，例え
ば図１２に示す如く，時刻ｔ1 で同期させるデータｄ1
と時刻ｔ2 で同期させるデータｄ2 からその間の動作ベ
クトルを算出し，その算出した動作ベクトルを用いて時
刻ｔ2 で同期させるデータｄ3 の代わりのデータｄ′3
を作成する。そして，時刻ｔ3 ，ｔ4 で同期させるデー
タｄ3，ｄ4 が欠落して，その後に，時刻ｔ5 で同期さ
せるデータｄ5 が到着した時点でその時点のデータと上
記データｄ5 とを用いて補間を行い，上記データｄ4 の
代わりのデータｄ′4 を作成する。この場合には，上記
データｄ′3 ，ｄ′4 は本来のデータと異なる動作とな
ることもあるが，上記データｄ5 を受信した時点で正し
い動きになるように修正される。これにより，欠落が続
くなどして再生前に欠落したデータの次のデータも到着
しない場合でも，コマ落ちなどの品質劣化を防止するこ
とができる。このようなデータ通信システムも本発明に
おけるデータ通信システムの一例である。DESCRIPTION OF THE PREFERRED EMBODIMENTS In some cases, depending on the state of the network, a packet in which a part of the operation data is stored may not reach the receiving clients 1,..., N. Therefore, when transmitting and receiving motion data synchronized with the audio data and the moving image data, there is a case where sufficient synchronization with the audio data and the moving image data cannot be performed during the operation reproduction of the virtual three-dimensional character. . Therefore, FIG.
As shown in 0, it may be from the audio data or moving image data by preceding the operation data just preceding transmission time t p to be transmitted onto the network. The preceding transmission time t p is, for example, a prior transmission negotiation is set adjusted on the basis of the load status of the network. When the receiving side receives the operation data before the synchronization timing, more precise operation data can be generated by performing interpolation between the current operation data and the preceding operation data. Further, the time series information to be preceded is not limited to the above operation data, and audio data or moving image data may be preceded. Further, for example, when the operation data following the operation data missing before the arrival of the audio data or the moving image data to be synchronized arrives at the client 1,..., N, the operation data received earlier is lost. Missing operation data is interpolated using the operation data before and after the operation data. For example, as shown in FIG.
Missing data to be synchronized in time t 2, the data to be synchronized at time t 3 after the data to be synchronized to the time t 1 is, when you arrive before playback of the data to be synchronized in time t 2, the at time t 1 by using the data for synchronizing the data and time t 3 when synchronizing, is calculated vector representing therebetween operation, data to be synchronized is interpolated at time t 2. Thereby, quality deterioration such as dropped frames can be prevented. Incidentally, after this interpolation, if the original data to be synchronized at time t 2 has arrived, may be discarded, may be reproduced the original data. Before the data to be synchronized at time t 2 is reproduced, the time t 2
If the data to be synchronized is not arrived at 3, for example as shown in FIG. 12, data d 1 to be synchronized at time t 1
Calculating the intervening motion vectors from the data d 2 to be synchronized at time t 2 and, instead of the data d '3 data d 3 to be synchronized at time t 2 using the motion vector obtained by the calculation
Create Then, when the data d 3 and d 4 to be synchronized at time t 3 and t 4 are lost, and then when the data d 5 to be synchronized at time t 5 arrives, the data at that time and the data d 5 are replaced. using perform interpolation, to create a data d '4 instead of the data d 4. In this case, the data d '3, d' 4 is sometimes a different behavior from the original data is modified so as to correct motion upon receiving the data d 5. As a result, quality deterioration such as dropped frames can be prevented even when data following the missing data before reproduction does not arrive due to continued loss or the like. Such a data communication system is also an example of the data communication system in the present invention.
【００１３】また，上記実施の形態では，ＲＴＰ，ＲＴ
ＣＰパケットを用いて上記動作データをマルチキャスト
通信したが，これに限られるものではなく，他のプロト
コルを用いてマルチキャスト通信するようにしてもよ
い。さらに，上記ネットワーク自体は，既に構築されて
いる有線ネットワークを用いてもよいし，無線や衛生回
線を用いて構築されたネットワークを用いてもよい。こ
のようなデータ通信システムも本発明におけるデータ通
信システムの一例である。また，上記実施の形態では，
動作データを上記音声データや動画像データに合成して
マルチキャスト通信したが，これに限られるものではな
く，例えば上記動作データ及びこれに関する情報を記録
した付加情報をマルチキャスト通信するようにしてもよ
い。また，上記動作データが合成される時系列データも
音声データや動画像データに限られるものではない。こ
のようなデータ通信システムも本発明におけるデータ通
信システムの一例である。また，上記実施の形態では，
仮想３次元キャラクタの動作データをマルチキャスト通
信したが，これに限られるものではなく，仮想３次元空
間内の他のオブジェクトのデータを通信するようにして
もよい。このようなデータ通信システムも本発明におけ
るデータ通信システムの一例である。また，ネットワー
クを通じて送られる動作データを再生する上記クライア
ント１，…，ｎなどの受信装置には，様々なタイプが存
在し，その処理能力も多種多様である。そこで，上記動
作データに応じて表示するデータのポリゴン数を上記処
理能力に応じて増減するようにしてもよい。このような
データ通信システムも本発明におけるデータ通信システ
ムの一例である。また，上記仮想３次元空間ＶＲ内で動
作する仮想３次元キャラクタの中には，動きの激しいも
のもあれば，緩慢なものもある。例えば図１３に示す如
く，ユーザに提供される視野の中で比較的近い位置にあ
るキャラクタＡの動きは一般的に激しく，比較的遠い位
置にあるキャラクタＢの動きは一般的に緩慢である。と
ころで，動きが緩慢な仮想３次元キャラクタについて
は，動きの激しい仮想３次元キャラクタよりも低い時間
精度の動作データを用いても十分に自然な再生を行うこ
とができる。そこで，仮想３次元キャラクタの動作の速
度に応じて，図１４に示す如く，上記動作データの送出
間隔を変更するようにしてもよい。これにより，ネット
ワークの帯域をより有効に使用することができる。この
ようなデータ通信システムも本発明におけるデータ通信
システムの一例である。In the above embodiment, RTP, RT
Although the above operation data is multicast-communicated using the CP packet, the present invention is not limited to this, and multicast communication may be performed using another protocol. Further, as the network itself, a wired network that has already been established may be used, or a network that is established using wireless or satellite lines may be used. Such a data communication system is also an example of the data communication system in the present invention. In the above embodiment,
The operation data is combined with the audio data and the moving image data to perform the multicast communication. However, the present invention is not limited to this. For example, the operation data and additional information in which information relating to the operation data is recorded may be subjected to the multicast communication. Further, the time-series data in which the operation data is synthesized is not limited to audio data or moving image data. Such a data communication system is also an example of the data communication system in the present invention. In the above embodiment,
Although the motion data of the virtual three-dimensional character is multicast-communicated, the present invention is not limited to this, and data of another object in the virtual three-dimensional space may be communicated. Such a data communication system is also an example of the data communication system in the present invention. In addition, there are various types of receiving apparatuses such as the clients 1,..., N for reproducing the operation data transmitted through the network, and the processing capabilities thereof are also various. Therefore, the number of polygons of data to be displayed according to the operation data may be increased or decreased according to the processing capacity. Such a data communication system is also an example of the data communication system in the present invention. Further, among the virtual three-dimensional characters that operate in the virtual three-dimensional space VR, there are some that move rapidly and others that are slow. For example, as shown in FIG. 13, the movement of the character A at a relatively close position in the visual field provided to the user is generally strong, and the movement of the character B at a relatively far position is generally slow. By the way, for a virtual three-dimensional character that moves slowly, a sufficiently natural reproduction can be performed even by using motion data with lower time accuracy than a virtual three-dimensional character that moves rapidly. Therefore, the transmission interval of the motion data may be changed according to the speed of the motion of the virtual three-dimensional character, as shown in FIG. As a result, the bandwidth of the network can be used more effectively. Such a data communication system is also an example of the data communication system in the present invention.
【００１４】[0014]
【発明の効果】以上説明した通り，上記請求項１〜８の
いずれか１項に記載のデータ通信システムによれば，仮
想３次元空間を構築するための例えばパーソナルコンピ
ュータなどの仮想３次元空間構築手段に，仮想３次元空
間内で動作可能なアバターなどの仮想物体の動作データ
が一斉同報通信されるため，１対１の通信が複数行われ
る場合と比べて，ネットワークやサーバの負荷を増大さ
せることなく，多数のユーザに仮想３次元空間を用いた
良質のサービスを提供することができる。さらに，請求
項４に記載のデータ通信システムによれば，上記仮想物
体の動作データ及び他の時系列情報のうち，いずれかの
情報が先行して送信されるため，例えば動作データのパ
ケットだけが，それに同期して再生される音声などのパ
ケットよりも遅れて配信されるような場合でも，同期ず
れを防止することができる。また，先行させる時間は，
例えば請求項６に記載のように，上記同報通信手段が，
上記ネットワークの負荷状態を調査するため負荷調査手
段を具備することによって，上記負荷調査手段により調
査された上記ネットワークの負荷状態に基づいて定める
ことができる。しかも，請求項５に記載のデータ通信シ
ステムによれば，時系列情報が再生側でリアルタイム再
生される場合に，パケットの受信順序が時系列にならな
かったり，パケットが欠落しても，時間的に前後するパ
ケットにより上記動作データなどが補間されるため，コ
マ落ちなどが生じて再生の品質が劣化するのを防止する
ことができる。また，請求項８に記載のデータ通信シス
テムによれば，仮想空間内に上記仮想物体が複数再生さ
れる場合，上記同報通信手段が，上記仮想物体の動作の
速さに応じて，各仮想物体の動作データに対応したパケ
ットの送信間隔を変化させるため，ユーザには自然な再
生を提供しながら，必要伝送容量を抑制して，ネットワ
ークの帯域を有効利用することができる。As described above, according to the data communication system according to any one of claims 1 to 8, for constructing a virtual three-dimensional space such as a personal computer for constructing a virtual three-dimensional space. Since the operation data of a virtual object such as an avatar that can operate in a virtual three-dimensional space is broadcast to the means, the load on the network and the server is increased as compared with the case where a plurality of one-to-one communication is performed. Without providing the service, a high-quality service using the virtual three-dimensional space can be provided to many users. Furthermore, according to the data communication system of the fourth aspect, since any one of the operation data of the virtual object and the other time-series information is transmitted in advance, for example, only the packet of the operation data is transmitted. Even in the case where a packet such as a sound reproduced in synchronization with the packet is delivered later than the packet, it is possible to prevent the synchronization deviation. Also, the leading time is
For example, as set forth in claim 6, the broadcasting means includes:
By providing the load checking means for checking the load state of the network, the load can be determined based on the load state of the network checked by the load checking means. In addition, according to the data communication system of the fifth aspect, when the time-series information is reproduced in real time on the reproducing side, even if the reception order of the packets is not in the time series or the packets are lost, the time is not changed. Since the above operation data and the like are interpolated by the packets before and after the frame, it is possible to prevent a drop in frames and the like from deteriorating the reproduction quality. According to the data communication system of the eighth aspect, when a plurality of the virtual objects are reproduced in the virtual space, the broadcast communication means sets each virtual object in accordance with the operation speed of the virtual object. Since the transmission interval of the packet corresponding to the motion data of the object is changed, the natural transmission is provided to the user, the required transmission capacity is suppressed, and the bandwidth of the network can be effectively used.
【図１】 本発明の一実施の形態に係るデータ通信シス
テムの概略構成を示す図。FIG. 1 is a diagram showing a schematic configuration of a data communication system according to an embodiment of the present invention.
【図２】 仮想３次元空間内の仮想３次元キャラクタを
説明するための図。FIG. 2 is a view for explaining a virtual three-dimensional character in a virtual three-dimensional space.
【図３】 上記実施の形態における仮想３次元コンテン
ツ同報通信装置の概略構成を示す図。FIG. 3 is a diagram showing a schematic configuration of a virtual three-dimensional content broadcast communication device according to the embodiment.
【図４】 動作データ生成装置の概略構成を示す図。FIG. 4 is a diagram showing a schematic configuration of an operation data generation device.
【図５】 動作データ合成装置の概略構成を示す図。FIG. 5 is a diagram showing a schematic configuration of an operation data synthesis device.
【図６】 ＲＴＰのメッセージフォーマットを説明する
ための図。FIG. 6 is a view for explaining an RTP message format.
【図７】 動作データのフォーマットの一例を示す図。FIG. 7 is a diagram showing an example of a format of operation data.
【図８】 ＲＴＣＰの送信元記述パケットのフォーマッ
トを説明するための図。FIG. 8 is a view for explaining the format of an RTCP transmission source description packet.
【図９】 仮想３次元コンテンツ再生装置の概略構成を
示す図。FIG. 9 is a diagram showing a schematic configuration of a virtual three-dimensional content reproduction device.
【図１０】 動作データを音声データなどよりも先行さ
せて送信することを説明するための図。FIG. 10 is a diagram for explaining that operation data is transmitted prior to audio data or the like;
【図１１】 欠落した動作データを補間することを説明
するための図。FIG. 11 is a view for explaining interpolation of missing motion data.
【図１２】 欠落した動作データを補間することを説明
するための他の図。FIG. 12 is another diagram for explaining interpolation of missing motion data.
【図１３】 本発明の一実施例に係るデータ通信システ
ムを説明するための図。FIG. 13 is a diagram illustrating a data communication system according to an embodiment of the present invention.
【図１４】 上記一実施例に係るデータ通信システムに
おけるキャラクタに応じたデータ送出を説明するための
図。FIG. 14 is an exemplary view for explaining data transmission according to characters in the data communication system according to the embodiment.
１〜ｎ … クライアント ＣＳ … サーバ ＶＣ … 仮想３次元キャラクタ ＶＲ … 仮想３次元空間 1 to n: Client CS: Server VC: Virtual three-dimensional character VR: Virtual three-dimensional space
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA08 BA09 CA08 EA24 EA28 FA02 5C061 AA29 AB01 AB08 AB11 AB24 5K030 HA08 HB00 HC01 HC14 JT10 KA01 KA07 LD02 LE14 9A001 CC07 DZ12 HH29 HH30 JJ76 KK56 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B050 BA08 BA09 CA08 EA24 EA28 FA02 5C061 AA29 AB01 AB08 AB11 AB24 5K030 HA08 HB00 HC01 HC14 JT10 KA01 KA07 LD02 LE14 9A001 CC07 DZ12 HH29 HH30 JJ76 KK56
Claims (8)
仮想３次元空間構築手段と，上記仮想３次元空間に関す
る時系列データを各仮想３次元空間構築手段へ一斉同報
通信する同報通信手段とを具備してなるデータ通信シス
テム。1. A plurality of virtual three-dimensional space construction means for constructing a virtual three-dimensional space, and a broadcast for simultaneously broadcasting time-series data on the virtual three-dimensional space to each virtual three-dimensional space construction means. A data communication system comprising:
間内で動作可能な仮想物体の動作データを各仮想３次元
空間構築手段へ一斉同報通信するものであって，上記仮
想３次元空間構築手段が，上記仮想物体の形状データを
予め取得する形状データ取得手段と，上記形状データ取
得手段により取得された上記仮想物体の形状データと上
記同報通信手段からの上記仮想物体の動作データとに基
づいて上記仮想物体の動作を上記仮想３次元空間内で再
生する再生手段とを具備してなる請求項１に記載のデー
タ通信システム。2. The virtual three-dimensional broadcast means for simultaneously broadcasting operation data of a virtual object operable in the virtual three-dimensional space to each virtual three-dimensional space construction means, Space construction means for acquiring shape data of the virtual object in advance, shape data of the virtual object acquired by the shape data acquisition means, and operation data of the virtual object from the broadcast communication means 2. The data communication system according to claim 1, further comprising: reproducing means for reproducing the operation of the virtual object in the virtual three-dimensional space based on the above.
同期して構築再生されるものであって，上記同報通信手
段が，上記他の時系列情報と上記仮想物体の動作データ
とを合成する合成手段を備え，該合成手段により合成さ
れた上記他の時系列情報と上記仮想物体の動作データを
各仮想３次元空間構築手段へ一斉同報通信し，上記再生
手段が，上記合成手段により合成された上記他の時系列
情報と上記仮想物体の動作データを分離する分離手段を
備え，該分離手段により分離された上記仮想物体の動作
データに基づいて上記仮想物体の動作を上記仮想３次元
空間内で再生してなる請求項２に記載のデータ通信シス
テム。3. The virtual three-dimensional space is constructed and reproduced in synchronization with other time-series information. The broadcast communication means transmits the other time-series information and motion data of the virtual object. Synthesizing means for synthesizing the three-dimensional space, and synchronizing the other time-series information synthesized by the synthesizing means with the motion data of the virtual object to each virtual three-dimensional space construction means. Separating means for separating the other time-series information synthesized by the means from the motion data of the virtual object, wherein the motion of the virtual object is determined based on the motion data of the virtual object separated by the separation means. 3. The data communication system according to claim 2, wherein the data is reproduced in a three-dimensional space.
作データ及び他の時系列情報のうち，いずれかの情報を
先行して各仮想３次元空間構築手段へ一斉同報通信して
なる請求項３に記載のデータ通信システム。4. The broadcast means broadcasts one of the motion data of the virtual object and the other time-series information to each virtual three-dimensional space construction means in advance. The data communication system according to claim 3.
た情報の一部が欠落した場合に，時間的に前後する情報
に基づいて，欠落した情報を補間してなる請求項４に記
載のデータ通信システム。5. The information processing apparatus according to claim 4, wherein said reproducing means interpolates the missing information based on information which is temporally delayed when a part of the previously communicated information is lost. Data communication system.
の負荷状態を調査するための負荷調査手段を具備し，上
記負荷調査手段により調査された上記ネットワークの負
荷状態に基づいて，先行させる上記仮想物体の動作デー
タ又は他の時系列情報の先行時間を定めてなる請求項４
又は５に記載のデータ通信システム。6. The virtual communication means includes a load investigating means for investigating a load state of the network, and based on the load state of the network investigated by the load investigating means, the virtual communication means to precede the virtual load state. 5. A method according to claim 4, wherein the preceding time of the motion data of the object or other time-series information is determined.
Or the data communication system according to 5.
信手段とがネットワークにより接続されており，上記他
の時系列情報及び上記仮想物体の動作データがＲＴＰ及
びＲＴＣＰプロトコルを用いてマルチキャスト通信され
てなる請求項３〜６のいずれか１項に記載のデータ通信
システム。7. The virtual three-dimensional space construction means and the broadcasting means are connected by a network, and the other time-series information and the operation data of the virtual object are multicast-communicated using RTP and RTCP protocols. The data communication system according to any one of claims 3 to 6, which is performed.
生される場合，上記同報通信手段が，上記仮想物体の動
作の速さに応じて，各仮想物体の動作データに対応した
パケットの送信間隔を変化させてなる請求項７に記載の
データ通信システム。8. When the plurality of virtual objects are reproduced in the virtual space, the broadcasting means transmits a packet corresponding to the operation data of each virtual object in accordance with the operation speed of the virtual object. The data communication system according to claim 7, wherein a transmission interval is changed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10439799A JP2000299684A (en) | 1999-04-12 | 1999-04-12 | Data communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10439799A JP2000299684A (en) | 1999-04-12 | 1999-04-12 | Data communication system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000299684A true JP2000299684A (en) | 2000-10-24 |
Family
ID=14379608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10439799A Pending JP2000299684A (en) | 1999-04-12 | 1999-04-12 | Data communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000299684A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002158986A (en) * | 2000-11-16 | 2002-05-31 | Actyvision Co Ltd | Viewer participating broadcast system through internet |
| WO2003061297A1 (en) * | 2002-01-09 | 2003-07-24 | Matsushita Electric Industrial Co., Ltd. | Motion vector coding method and motion vector decoding method |
| WO2004030375A1 (en) * | 2002-09-27 | 2004-04-08 | Sharp Kabushiki Kaisha | Image data creation device, image data reproduction device, image data creation method, image data reproduction method, recording medium containing image data or image processing program, and image data recording device |
| WO2010001491A1 (en) * | 2008-07-02 | 2010-01-07 | Telefonaktiebolaget L M Ericsson (Publ) | Local area streaming management method |
| JP2012230525A (en) * | 2011-04-26 | 2012-11-22 | Nippon Hoso Kyokai <Nhk> | Content management device, client terminal, content management program, and content generation program |
| JP6314274B1 (en) * | 2017-05-26 | 2018-04-18 | 株式会社ドワンゴ | Data generation apparatus and application execution apparatus |
| WO2022209129A1 (en) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | Information processing device, information processing method and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10200600A (en) * | 1997-01-08 | 1998-07-31 | Xing:Kk | Data transmitter |
| JPH10222698A (en) * | 1997-02-12 | 1998-08-21 | Matsushita Electric Ind Co Ltd | Communication equipment of three-dimensional virtual space and communicating method |
| JPH10328416A (en) * | 1997-05-28 | 1998-12-15 | Sony Corp | Providing medium, shared virtual space providing device and its method |
| JPH1133230A (en) * | 1997-07-16 | 1999-02-09 | Sega Enterp Ltd | Communication game system |
-
1999
- 1999-04-12 JP JP10439799A patent/JP2000299684A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10200600A (en) * | 1997-01-08 | 1998-07-31 | Xing:Kk | Data transmitter |
| JPH10222698A (en) * | 1997-02-12 | 1998-08-21 | Matsushita Electric Ind Co Ltd | Communication equipment of three-dimensional virtual space and communicating method |
| JPH10328416A (en) * | 1997-05-28 | 1998-12-15 | Sony Corp | Providing medium, shared virtual space providing device and its method |
| JPH1133230A (en) * | 1997-07-16 | 1999-02-09 | Sega Enterp Ltd | Communication game system |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002158986A (en) * | 2000-11-16 | 2002-05-31 | Actyvision Co Ltd | Viewer participating broadcast system through internet |
| WO2003061297A1 (en) * | 2002-01-09 | 2003-07-24 | Matsushita Electric Industrial Co., Ltd. | Motion vector coding method and motion vector decoding method |
| WO2004030375A1 (en) * | 2002-09-27 | 2004-04-08 | Sharp Kabushiki Kaisha | Image data creation device, image data reproduction device, image data creation method, image data reproduction method, recording medium containing image data or image processing program, and image data recording device |
| WO2010001491A1 (en) * | 2008-07-02 | 2010-01-07 | Telefonaktiebolaget L M Ericsson (Publ) | Local area streaming management method |
| JP2012230525A (en) * | 2011-04-26 | 2012-11-22 | Nippon Hoso Kyokai <Nhk> | Content management device, client terminal, content management program, and content generation program |
| JP6314274B1 (en) * | 2017-05-26 | 2018-04-18 | 株式会社ドワンゴ | Data generation apparatus and application execution apparatus |
| WO2018216759A1 (en) * | 2017-05-26 | 2018-11-29 | 株式会社ドワンゴ | Data generation device and application execution device |
| CN110612519A (en) * | 2017-05-26 | 2019-12-24 | 多玩国株式会社 | Data generating device and application software operating device |
| US11691075B2 (en) | 2017-05-26 | 2023-07-04 | Dwango Co., Ltd. | Data generation device and application execution device |
| WO2022209129A1 (en) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | Information processing device, information processing method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6580756B1 (en) | Data transmission method, data transmission system, data receiving method, and data receiving apparatus | |
| Yang et al. | TEEVE: The next generation architecture for tele-immersive environments | |
| CN105491393A (en) | Method for implementing multi-user live video business | |
| JP4525935B2 (en) | Audio signal processing | |
| EP1690378B1 (en) | Apparatus and method for transmitting synchronized the five senses with a/v data | |
| US20130173826A1 (en) | Method of providing timing information using mmt signaling layer signaling for synchronizing mmt packet streams in mmt hybrid delivery service and method of synchronizing mmt packet streams in mmt hybrid delivery service | |
| CN111107299A (en) | Method and device for synthesizing multi-channel video | |
| CN109495713B (en) | Video conference control method and device based on video networking | |
| JP2004525545A (en) | Webcast method and system for synchronizing multiple independent media streams in time | |
| JP2003338830A (en) | Media transmitting method, media receiving method, media transmitter and media receiver | |
| CN112019877A (en) | Screen projection method, device and equipment based on VR equipment and storage medium | |
| JP7171929B2 (en) | Audio stream and video stream synchronous switching method and apparatus | |
| CN109246135B (en) | Method and system for acquiring streaming media data | |
| WO2022262858A1 (en) | Image transmission method, image display and processing device, and image transmission system | |
| Tang et al. | Audio and video mixing method to enhance WebRTC | |
| JP2000299684A (en) | Data communication system | |
| CN109544879B (en) | Alarm data processing method and system | |
| CN108965777B (en) | Echo cancellation method and device | |
| JP7377352B2 (en) | Multi-member instant messaging method, system, device, electronic device, and computer program | |
| CN110769179A (en) | Audio and video data stream processing method and system | |
| KR100763441B1 (en) | Synchronized multiplexing method, device therefor, demultiplexing method and device therefor | |
| Kovalick | Design elements for core IP media infrastructures | |
| CN110830185B (en) | Data transmission method and device | |
| CN109379553B (en) | Audio and video data display method and system | |
| CN109660595B (en) | Remote operation method and device for real-time street view |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040506 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060328 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080715 |