CN1310517C - 发送和接收表示3－维虚拟空间的数据流的装置和方法 - Google Patents

发送和接收表示3－维虚拟空间的数据流的装置和方法 Download PDF

Info

Publication number
CN1310517C
CN1310517C CNB981179126A CN98117912A CN1310517C CN 1310517 C CN1310517 C CN 1310517C CN B981179126 A CNB981179126 A CN B981179126A CN 98117912 A CN98117912 A CN 98117912A CN 1310517 C CN1310517 C CN 1310517C
Authority
CN
China
Prior art keywords
data stream
data
stream
data flow
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB981179126A
Other languages
English (en)
Other versions
CN1218241A (zh
Inventor
中俊弥
望月义幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1218241A publication Critical patent/CN1218241A/zh
Application granted granted Critical
Publication of CN1310517C publication Critical patent/CN1310517C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

这里公开了一种用于发送和接收表示3-维虚拟空间的数据流的装置(100)和方法，装置(100)包括：一个发送单元(PCS)；一个接收单元(PCC)；以及一个用于以双向方式连接发送单元(PCS)和接收单元(PCC)的传输装置(TR，2)；其中，分别表示3-DCG的骨架结构的形状和运动以及与运动同步的声音的形状数据流(Ss)、运动数据流(Sm)和音频数据流(Sa)从发送单元(PCS)发送给接收单元(PCC)，以使得接收单元(PCC)通过运动数据流(Sm)与音频数据流(Sa)的同步产生3-DCG。

Description

发送和接收表示3-维虚拟 空间的数据流的装置和方法
技术领域
本发明涉及基于网络例如Internet发送和接收用来形成由3-维计算机绘图(下文称之为“3-DCG”)显示的3-维虚拟空间的数据流的系统，特别地，涉及发送和接收表示3-维骨架结构的数据流的装置和方法，以便有效地发送和接收一个具有复杂骨架结构的特征(character)例如人体的自然运动。
背景技术
近年来，在Internet例如World-Wide Web(WWW)上的虚拟“仓库”(malls)、电子商业以及各种相关主页作为3-DCG的应用领域吸引了相当多的注意。特别地，由于Internet的迅速发展，在家容易地处理较高质量的3-DCG例如游戏和电影的趋势越来越明显。如图8所示，多个称作“客户机”的机器PCC1-PCCn、例如个人计算机通过在WWW中的Internet等连接到一个称作“服务器”的机器PCS、例如个人计算机或工作站等。通过根据需要对从服务器PCS下载的信息例如声音、文本和格式信息进行重新组织，客户机PCC1-PCCn可以获得从服务器PCS发送的信息。通常，在服务器PCS和客户机PCC1-PCCn之间的通信采用基于传输控制协议/互连网络协议(TCP/IP)的通信方法。
常规上，服务器PCS提供的数据主要局限于文本数据和图象数据。然而，近来虚拟现实模型建立语言(VRML)的标准化和VRML浏览器的发展促进了3-DCG本身例如形状和场景的传输。上面提到的VRML将在下面简要地说明。在已知的如超文本标记语言(HTML)中的主要包括图象和文本的数据格式中，传输图象数据、尤其是传输活动图象的数据需要大量的时间和花费。因此，在现有的设备中，网络的通信量受到限制。另一方面，在3-DCG中，所有包括形状、虚拟点信息和光源信息的信息以3-维数据来处理。近来计算机绘图(下文称之为“CG”)技术的发展使得由CG生成的图象质量有很大的提高。因此，从数据质量的出发点考虑，传输CG数据本身也是非常有效的。
通常，即使CG数据的数据量只是常规图象数据的1/100，CG数据能够显示出与常规图象数据质量相当的图象。换句话说，CG数据具有不少于常规图象数据的100倍的压缩比。因此，在图象数据通过网络的传输中，正尝试使用CG数据、尤其是3-DCG数据作为标准。作为这种尝试的一个例子，提出了上面提到的VRML(VRML Ver 2.0)。VRML Ver 2.0规定了被称作“图元(primitive)”的形状数据、光源数据、虚拟点数据、纹理数据等等的数据格式，以及如何指定一个刚体的位移。为了方便的缘故，这样的数据格式被称作“VR格式”(VRF)。
另一方面，在常规的CG中，近来注意力落在了用于在实时的基础上形成图象的动画制作技术。通过应用这种实时的动画制作技术，主要在商业信息和电影中，再现了CG特征的真实运动。例如，一个复杂形状例如人体由骨架结构来表现，而该骨架结构的复杂运动可以通过定义时刻变化的骨架关节的运动量来自然地再现。
在常规的Internet上的3-DCG模型建立语言中，主要是在VRML中，在实时的基础上向具有象人体这样的复杂结构的形状传递运动是不可能的。同时，在一个系统中，在包含一网络的虚拟空间中多个用户具有共同的虚拟3-维空间，以便在共同的虚拟3-维空间中相互影响地操作其化身(avatar)，用公式表示这样一个系统也是不可能的。此外，在实时的基础上与在共同的虚拟3-维空间中的化身的运动相同步地发送和接收声音或音乐也是不可能的。
技术领域
因此，本发明的主要目的是提供用于发送和接收表示3-维虚拟空间的数据流的装置和方法，其中运动可以在实时的基础上传递给具有象人体这样的复杂结构的形状，在包含一网络的虚拟空间中多个用户具有共同的虚拟3-维空间，以便在共同的虚拟3-维空间中可以相互影响地操作其化身，并且可以在实时的基础上与在共同的虚拟3-维空间中的化身的运动相同步地发送和接收声音或音乐。
为了实现本发明的这个目的，依据本发明，一种用于发送和接收表示3-维虚拟空间的数据流的装置包括：一个发送单元；一个接收单元；以及一个用于以双向方式连接发送单元和接收单元的传输装置；其中，分别表示3-DCG的骨架结构的形状和运动以及与运动同步的声音的形状数据流、运动数据流和音频数据流从发送单元发送给接收单元，以使得接收单元通过运动数据流与音频数据流的同步产生3-DCG；发送单元包括：一个发送装置，用于响应接收单元的请求，在实时的基础上根据预先确定的数据流的格式同时发送作为多个数据流的形状数据流、运动数据流和与运动数据流同步的音频数据流，以使得传输装置从发送单元向接收单元相互影响地传输数据流；接收单元包括：一个数据流接收装置，接收通过传输装置从发送单元发送的数据流，以便识别接收的数据流的种类与格式，在实时的基础上根据需要接收数据流，以便对识别出的数据流分别进行这些数据流所需的恢复处理；一个3-维虚拟空间产生装置，通过应用由接收单元接收到的数据流中的形状流或预先读出的3-维形状数据，产生在3-维虚拟空间中的骨架结构的形状或3-维虚拟空间，并通过应用数据流中的运动流移动该骨架结构的形状；以及一个声音产生装置，在数据流包含音频流的情况下，与运动流同步地再现音频流。
同时，依据本发明，有一种用于发送和接收表示3-维虚拟空间的数据流的方法，在该方法中，分别表示3-DCG的骨架结构的形状和运动以及与运动同步的声音的形状数据流、运动数据流和音频数据流从一发送单元发送给一接收单元，以使得接收单元通过运动数据流与音频数据流的同步产生3-DCG，该方法包括：第一步骤，响应接收单元的请求，在实时的基础上根据预先确定的数据流的格式同时发送作为多个数据流的形状数据流、运动数据流和与运动数据流同步的音频数据流；第二步骤，以双向方式连接发送单元和接收单元，以使得从发送单元向接收单元相互影响地传输数据流；第三步骤，接收传输的数据流，以便识别接收的数据流的种类与格式，在实时的基础上接收数据流，以便分别对识别出的数据流进行这些数据流的恢复处理；第四步骤，通过应用由接收单元接收到的数据流中的形状流或预先读出的3-维形状数据，产生在3-维虚拟空间中的骨架结构的形状或3-维虚拟空间，并通过应用数据流中的运动流移动该骨架结构的形状；以及第五步骤，在数据流包含音频流的情况下，与运动流同步地再现音频流。
利用上面提到的本发明的装置和方法，例如人体的骨架结构的形状数据作为形状数据流被传输，骨架的基本运动作为运动数据流被传送，以及伴随着骨架结构的运动的音频数据作为音频数据流与在每个数据流中的同步和压缩以及在数据流之间的对应一起被传输。
因此，依据本发明，在基于网络的发送和接收系统中的特征的平滑运动以及与运动同步的音频信息可以响应于用户的请求相互影响地发送和接收，并且可以极大地减少传输的数据量。
附图说明
通过下面参考附图结合最佳实施例进行的说明，本发明的目的和特点将变得明显，其中：
图1是显示依据本发明的一个实施例，用于发送和接收表示3-维虚拟空间的数据流的装置的最低配置的方框图；
图2是在图1的装置中采用的3-DCG数据流发送部分的方框图；
图3是在图1的装置中采用的3-DCG数据流接收部分的方框图；
图4是显示本发明中的3-DCG数据流格式的一个例子的示意图；
图5是显示本发明中的3-DCG数据流格式的另一个例子的示意图；
图6是作为本发明中的3-DCG数据流的动画数据流的分组的模拟图；
图7是作为本发明中的3-DCG数据流的运动数据流的分组的模拟图；
图8是显示图1中的装置的模拟图，在该装置中，多个客户机连接到一个服务器上；
图9是本发明中的3-DCG数据流的基本骨架结构的说明图；
图10是显示表示本发明中的3-DCG数据流中的化身的骨架结构的通用虚拟数据结构的模拟图；
图11是显示表示与图10的骨架结构相关的运动的数据流(初始值)的格式的模拟图；
图12是基于本发明中的3-维场景的虚拟显示模型建立语言(VRML)的说明例子的说明图；
图13是显示相应于图12的说明例子的场景结构的模拟图；
图14是本发明中的3-DCG数据流的同步方法的一个例子的说明图；
图15是显示图8的多用户网络中的3-维空间的共享的流程图；
图16是显示在图1的单用户网络中的3-维虚拟空间的发送和接收的流程图；
图17是显示在本发明中的3-DCG再现时3-DCG数据流的同步处理的流程图；
图18是一与用于记录程序的软盘一起使用的个人计算机的透视图，该程序用于使个人计算机执行本发明的具有在图15至17的流程图中的步骤的方法。
具体实施方式
在进行本发明的说明之前，需要注意的是，在附图的几个视图中的相似标号代表相似的部分。
下面，参考附图说明本发明的一个实施例。图1显示了依据本发明用于发送和接收表示3-维虚拟空间的数据流的装置的最低配置的一个实施例。装置100由放置在发送端的服务器PCS、放置在接收端的客户PCC和用于连接服务器PCS和客户PCC的传输部分TR组成。服务器PCS根据由用户通过一个数据流特许(authoring)装置输入的一个命令产生表示3-维虚拟空间的3-DCG数据流，其中该数据流特许装置通常由外部提供，其操作将在后面进行说明。
服务器PCS对一个用于形成包括用户的化身的3-维虚拟空间的3-DCG数据流DS进行编码(格式变换)，以产生编码的数据流DS1。同时，3-DCG数据流DS和编码的数据流DS1的格式VRF将在后面参考图4、5和11进行说明。以双向方式连接服务器PCS和客户PCC的传输部分TR不仅从服务器PCS向客户PCC传输编码的数据流DS1，还向服务器PCS传输从客户PCC输入的3-DCG数据的修正数据。也就是，服务器PCS通过重新变换输入的编码数据流DS1的格式，对3-DCG数据流DS进行解码(格式变换)，并再现表示3-维虚拟空间的3-DCG图象。同时，在用户通过在服务器PCS操作他自己的化身在3-维虚拟空间引起变化的情况下，服务器PCS产生表示这种变化的图象修正数据DM，并通过传输部分TR将图象修正数据DM传送到客户PCC。
通常，服务器PCS和客户PCC主要由计算机例如工作站或个人计算机中的软件来构成。服务器PCS包括一个3-DCG数据流发送部分1，传输部分TR包括一个3-DCG数据流传输部分2。同时，客户PCC包括一个3-DCG数据流接收部分3、一个3-维虚拟空间产生部分4和一个声音产生部分5。3-维虚拟空间产生部分4通过数据总线连接到3-DCG数据流接收部分3，以便接收从3-DCG数据流接收部分3输入的3-DCG数据流DS。3-维虚拟空间产生部分4不仅在3-DCG数据流DS的基础上产生3-DCG，还产生一个音频数据流Sa。声音产生部分5通过一个信号线连接到3-维虚拟空间产生部分4，响应于从3-维虚拟空间产生部分4输入的音频数据流Sa再现声音。
也就是说，装置100从3-DCG数据流发送部分1同时发送构成编码的数据流DS1的多个3-DCG数据流。在通过传输部分TR接收到的3-DCG数据流的基础上，客户PCC产生一个包括声音的3-维动画。
在这个例子中，描述了装置100的最小配置，其中，单个的客户PCC通过传输部分TR连接到单个的服务器PCS。然而，不必说明的是，多个客户PCCn(n＝自然数)可以通过传输部分TR连接到服务器PCS，如图8所示。
图2显示了在服务器PCS中的3-DCG数据流发送部分1的结构的一个例子。3-DCG数据流发送部分1通过一个双向信号线连接到3-维CG数据流传输部分2，以便交换由客户PCC和服务器PCS产生的请求信号Sr。3-DCG数据流发送部分1包括一个用于产生化身的骨架数据流Ss的骨架结构流发送部分11，一个用于产生化身的运动数据流Sm的运动流发送部分12，一个用于产生化身的音频数据流Sa的音频流发送部分13，一个用于执行将骨架数据流Ss、运动数据流Sm和音频数据流Sa变换到预定格式的编码的数据流变换器14，以及一个用于控制在装置100中的状态例如用户的身份(ID)和化身的状态的状态控制器15。
数据流变换器14以双向的方式连接到骨架结构流发送部分11和3-DCG数据流传输部分2，并将化身的骨架数据流Ss编码成骨架数据流Ss1，以便向3-DCG数据流传输部分2提供骨架数据流Ss1。相似地，数据流变换器14以双向的方式连接到运动流发送部分12和3-DCG数据流传输部分2，并将化身的运动数据流Sm编码成运动数据流Ss1，以便向3-维数据流传输部分2提供运动数据流Sm1。进一步地，数据流变换器14以双向的方式连接到音频流发送部分13和3-DCG数据流传输部分2，并将音频数据流Sa编码成音频数据流Sa1，以便向3-DCG数据流传输部分2提供音频数据流Sa1。
响应于客户PCC发送的请求信号Sr，3-DCG数据流发送部分1使骨架结构流发送部分11、运动流发送部分12和音频流发送部分13分别产生并向数据流变换器14输出骨架数据流Ss、运动数据流Sm和音频数据流Sa。骨架数据流Ss包括用于定义骨架结构的分级关系的分级数据和表示分级数据的初始状态、骨架的关节状态、相应于骨架的形状和相应于骨架结构的关系的信息。运动数据流Sm包括关于骨架结构的基本运动的信息。音频数据流Sa包括表示与由运动数据流Sm表示的运动信息同步的声音的信息。
数据流变换器14将特定的识别信息分别传递给数据流Ss、Sm和Sa，以产生不同格式的骨架数据流Ss1、运动数据流Sm1和音频数据流Sa1，并向3-DCG数据流传输部分2输出数据流Ss1、Sm1和Sa1。如前所述，虚拟现实模型建立语言(VRML)的格式或VRML的扩展格式可以用作为数据流Ss1、Sm1和Sa1的格式。VRML的格式在VRML版本2.0中已标准化。同时，不需要由数据流发送的CG形状数据可以应用普通的超文本排版语言(HTTP)通过网络提前传输，或者可以从一个本地机上的文件读出。
图3显示了3-维CG数据流接收部分3的详细结构。以与3-DCG数据流发送部分1相同的方式，3-DCG数据流接收部分3以双向方式连接到3-DCG数据流传输部分2，以便交换客户PCC和服务器PCS的请求信号Sr。3-DCG数据流接收部分3包括一个数据流变换器31、一个骨架结构流接收部分32、一个运动流接收部分33和一个音频流接收部分34。
数据流变换器31以双向方式连接到3-维CG数据流传输部分2和骨架结构流接收部分32。数据流变换器31将3-DCG数据流发送部分1通过3-DCG数据流传输部分2输入的骨架数据流Ss1进行再变换，以便将骨架数据流Ss1解码成原来的骨架数据流Ss，并将骨架数据流Ss提供给骨架结构流接收部分32。类似地，数据流变换器31以双向方式连接到3-DCG数据流传输部分2和运动流接收部分33，并将运动数据流Sm1解码成运动数据流Sm，从而将运动数据流Sm提供给运动流接收部分33。另外，数据流变换器31连接到3-DCG数据流传输部分2和音频流接收部分34，并将音频数据流Sa1解码成音频数据流Sa，从而将音频数据流Sa提供给音频流接收部分34。
也就是说，从3-DCG数据流发送部分1发送的骨架数据流Ss1、运动数据流Sm1和音频数据流Sa1通过3-DCG数据流传输部分2被输入到数据流变换器31。数据流变换器31根据需要将输入的数据流Ss1、Sm1和Sa1逆向地变换成原来的格式，以便将数据流Ss1、Sm1和Sa1分别解码成骨架数据流Ss、运动数据流Sm和音频数据流Sa，并将数据流Ss、Sm和Sa分别输出到骨架结构流接收部分32、运动流接收部分33和音频流接收部分34。如上所述，由3-DCG数据流传输部分2传输的编码3-DCG数据流DS1由数据流变换器31解码成3-DCG数据流DS，3-DCG数据流DS分别作为骨架数据流Ss、运动数据流Sm和音频数据流Sa由骨架结构流接收部分32、运动流接收部分33和音频流接收部分34分别接收。
下面简要地说明装置100的操作。响应于来自多个客户PCC的请求信号Sr，服务器PCS的3-DCG数据流发送部分1以数据流的形式发送用于定义化身的骨架结构的分级关系的分级数据和关于分级数据的初始状态、骨架关节的限制条件、相应于骨架的形状以及相应于骨架结构的关系的数据。数据流变换器14执行3-DCG数据流DS的格式变换和压缩，以产生编码数据流DS1。如果3-DCG数据流DS是混合类型的，则将3-DCG数据流DS分成分离的运动流或声音流，并根据需要将骨架数据流压缩。
同时，化身的骨架数据在由本申请的申请人在1997年4月17日申请的日本专利申请No.9-100453中已作了详细说明。然而，后面将参考图9和10简要地说明化身的骨架数据的结构。
下面将分别参考图4和5说明本发明中的3-DCG数据流DS的标准格式VRF的第一和第二个例子。在图4中的格式VRF的第一个例子中，每个数据流，例如骨架数据流Ss，由主标题MH、副标题SH和数据主体DB组成。数据的种类、数据的顺序、在压缩和非压缩之间的区分、数据流(或场数)的起始时间和停止时间、循环的存在与否、用于同步再现的时间标记的存在与否、在再现时的间距(pitch)等等，都写在主标题MH中。数据的大小等写在副标题SH中，副标题SH与数据主体DB一起形成一对。除非在下面的说明中特别指出，骨架数据流Ss、运动数据流Sm和音频数据流Sa就以这个格式VRF表示。
在图5的格式VRF的第二个例子中，对于一个混合类型数据流，在一个数据流中顺序地排列运动数据MD和音频数据AD，或者是运动数据MD和运动数据MD。在这种情况下，顺序排列的第一和第二数据在再现时通常应该相互同步。将运动数据MD或音频数据AD适当地分成多个称为“分组”的小单元，每个分组具有同步所需的长度，并将这些分组进行排列。数据的顺序在主标题MH中指定。图6显示了一个动画数据流的分组，图7显示了一个运动数据流的分组，这些都是上面所指分组的例子。
下面参考图9、10和11说明化身的骨架数据流Ss和运动数据流Sm的数据结构。首先，图9显示了一个基本骨架结构。为了方便的缘故，这里说明化身的肘部的骨架结构。即，两个连接LK1和LK2通过关节J以分级关系相互连接。例如，假设连接LK1是上臂，连接LK2是前臂，这样就形成了一种垂直的分级结构，其中，连接LK1是父连接，连接LK2是子连接。
然后，图10显示了整个化身的总体的分级结构。在图10中，每个由实线显示出的方框相应于图9中的关节J，每个由虚线显示出的方框表示每个分级系统的边界。即，在这个例子中，从主体的根部R导出三个系统R1、R2和R3。在初级系统R1中，右腿的腹股沟JR1-1、右膝JR1-2、右踝JR1-3和右脚尖JR1-4进行更深一级的分级，这样则形成连接到化身的根部R的右腿系统R1。与之相似，左腿系统R2由左腿的腹股沟JR2-1、左膝JR2-2、左踝JR2-3和左脚尖JR2-4形成。然而，由于系统R3表示上半部分身体，因此从骨盆JR3-1分出三个次级系统R31、R32和R33。次级系统R31形成右臂系统，由右颈背JR31-1、右肩JR31-2、右肘JR31-1、右腕JR31-4和右手JR31-5这样的分级结构组成。与之相似，次级系统R32形成左臂系统，由左颈背JR32-1、左肩JR32-2、左肘JR32-1、左腕JR32-4和左手JR32-5这样的分级结构组成。次级系统R33形成头部系统，由颈JR33-1和头顶JR33-2这样的分级结构组成。
同时，如果进一步加深每个系统的分级结构并将其分成更多层，以一种更接近实际人体的自由运动的程度表示化身是可能的。例如，如果给出右手和左手JR31-5和JR32-5的手指，则提供相应于每个手的关节的15个关节。
图11显示了在运动数据流Sm中的格式，其中，列出了相应于上述的骨架结构的运动数据(初始值)。基本运动数据是旋转角度的时间序列数据，其中，关于一个本地坐标系的X-轴、Y-轴和Z-轴的用于旋转每个关节J的角度随时间的变化进行表示。此外，基本运动数据是包括根部R的位置坐标X、Y和Z的三个分量和根部R在一个球坐标系中的位置的方向向量的三个分量的时间序列数据。以这种方式给出的数据被重复多次，其重复次数与时间序列所需的帧数相同，并将这些数据记录在运动数据流Sm中。
下面还参考图3说明在客户PCC中的处理。骨架结构流接收部分32、运动流接收部分33和音频流接收部分34分别接收从3-DCG数据流传输部分2传输的骨架数据流Ss、运动数据流Sm和音频数据流Sa。通常在放置在接收端的计算机PCC中，同时产生用于接收各个数据流的必需的多个处理(process)(或线索(thread))。这些放置在3-DCG数据流发送部分1的发送端的处理和状态控制器15(图2)通过请求信号Sr相互通信，并且随时监视各个数据流的数目和状态。
此外，在骨架结构流接收部分32、运动流接收部分33和音频流接收部分34中，通过多个用于接收每个数据流的处理，在一个公共存储器(或公共缓冲器)中随时进行数据流的缓冲。这些缓冲数据流通过在数据流中的时间的同步，将数据流Ss、Sm和Sa传送到3-维虚拟空间产生部分4。同时，骨架结构流在CG形状数据的基础上进行再现，如前所述，CG形状数据是使用一个普通HTTP通过网络预先传输过来的，或者是从本地机上的文件读出的。此外，将运动数据流Sm和音频数据流Sa在实时的基础上与上述的骨架结构流同步地传送到3-维虚拟空间产生部分4。
在3-维虚拟空间产生部分4中，在从3-DCG数据流接收部分3输入的数据流的基础上，在服务器PCS的3-DCG数据流发送部分1产生的3-DCG。也就是说，3-维虚拟空间产生部分4通过使用用于再现3-维虚拟空间的VRML浏览器或类似设备再现3-维虚拟空间。响应于来自3-维虚拟空间产生部分4的一个触发，在公共缓冲器中临时存储的数据流被同时从缓冲器发送到数据流接收部分32、33和34的处理，然后发送到由VRML定义的3-维虚拟空间的指定节点。在VRML的节点中，3-维形状、目标生成声音和估计关节的形状是预先指定的。
图12和13显示了由VRML版本2.0的表示法说明的3-维场景。图12显示了VRML的说明，图13显示了相应于该说明的场景结构。在图13中，圆圈称作“节点”，列举为“形状”的节点相应于在3-维空间中显示的物体。同时，列举为“变换”的节点相应于变换、旋转等等。此外，在3-维形状上的分级信息由用括号分开的嵌套关系表示。图12显示了一个例子，当“变换”和“旋转”的参数值改变时，两个目标“形状”根据改变的参数值被变换和旋转。
通过改变由图3的运动流接收部分33接收的一个特定3-维骨架结构的每个关节的在时间序列中的“旋转”值，骨架结构的每个关节的位置根据上述的基本构造被改变。也就是说，在3-维虚拟空间中的具有这种骨架结构的人体或类似物在实时的基础上由运动流的数据移动。关于音频流，相应于一个声源的目标节点“形状”设置在由图13显示的树形结构表示的3-维场景中。响应于用户的触发，将音频流从图3的音频流接收部分34传送到相应于声源的节点“形状”(图12和13)。通常使用VRML的传感器节点作为用户的触发。在一个普通的个人计算机的情况下，实际上将接收到的音频数据传送给声音产生部分5，以再现声音。声音产生部分5由一个用于声音再现的数字信号处理器(DSP)、声源等等组成。“Wav”、“Aiff”、“MIDI”等的格式一般用于音频数据，而PCM数据可以用于语音或类似声音。由于内部时间通常在3-维虚拟空间产生部分4中进行控制，运动流和音频流通常可以通过指定起始时间和结束时间来相互同步。
图14显示了在3-维虚拟空间产生部分4中的CG数据流在时间序列中的再现。如上所述，音频流由声音产生部分5产生，通过设置起始时间t0和结束时间t1来再现。运动流根据个人计算机在接收端的运行和3-维场景的复杂度而改变。因此，运动可以滞后或超前声音。为了消除这一点使声音和运动同步，在相互分开的运动数据流Sm和音频数据流Sa中预先设置时间标记TS。如果使用时间标记TS，则很容易将运动的再现与声音的再现在音频数据流Sa的时间标记TS的位置处同步起来。也就是说，如果在相应的时间标记TS的任一位置发现运动的再现滞后于声音的再现，则在3-维虚拟空间产生部分4中执行一个处理，跳过随后的在相应的时间标记TS位置处的运动的再现。同时，如果在相应的时间标记TS的一个位置运动的再现已经完成，则在3-维虚拟空间产生部分4中执行一个处理，重复运动的再现，直到在相应的时间标记TS的该位置处的声音的再现已经完成。或者，如果采用了一个混合类型CG数据流，如图14的下半部分所示，并且数据流被分成用于同步的最小的分组，声音和运动可以在这些分组中同步地再现。
下面参考图1简要地说明前面提到的数据流特许装置的基本操作。数据流特许装置将具有任意长度的骨架数据流Ss、运动数据流Sm和音频数据流Sa分成具有同步所需的任意长度的数据段，以便将数据流Ss、Sm和Sa变换成在图4和5中显示的分组。骨架数据流Ss的数据长度、运动数据流Sm的数据长度和音频数据流Sa的数据长度是分别由如下条件如关节的数目和自由的程度、运动的持续时间和声音的产生时间任意确定的。此外，将同步所需的时间标记TS上的信息加到每个数据流上，如图14所示。此外，数据流可以根据需要相互连接，以形成一个新的数据流。这样编辑好的数据流在服务器PCS中进行注册。
下面参考图15、16和17的流程图说明本发明的装置100的操作。图15显示了装置100中在一个称作多用户的网络中的3-维空间的共享，其中在多用户的网络中服务器PCS和多个客户PCC如图8所示相互连接。下面在图8中说明一种情况，当多个客户PCC2至PCCn连接到单个服务器PCS、3-维空间由服务器PCS和客户PCC2至PCCn共享时，客户PCC1新连接到服务器PCS上。在步骤S1，客户PCC1从服务器PCS要求一个ID。在步骤S3，服务器PCS发给客户PCC1一个ID。此时，客户PCC1的化身出现在客户PCC1和服务器PCS的3-维虚拟空间中。在步骤S5，判断用户是否操作了在客户PCC1的化身。在步骤S5为“是”的情况下，程序流进行到步骤S7。否则，重复地进行在步骤S5的判决。在步骤S7，运动数据流Sm的图象修正数据DM包括在化身的运动上的信息，该数据基于用户的操作，由客户PCC1的3-DCG数据流接收部分3产生，并由服务器PCS的3-DCG数据流发送部分1通过传输部分TR发送。同时，服务器PCS在与图象修正数据DM一起发送的ID的基础上识别用户，即客户PCC1。
在步骤S9，判断从客户PCC1向服务器PCS发送的图象修正数据DM和ID是否应被传送到客户PCC2至PCCn中的任何一个。同时，通常基于客户PCC1的请求信号Sr作出这个在步骤S9的判决，但可以预先在步骤S1从客户PCC1向服务器PCS给出。在步骤S11，向客户PCC1提出关于图象修改数据DM应该传送到当前连接到服务器PCS的客户PCC2至PCCn中的哪一个的查询，并且从客户PCC1接收到对这个查询的回答。然而，无需说明的是，在步骤S11的这个信息可以在客户PCC和服务器PCS提前确定。在关于客户PCC1的化身的运动的信息由图象修正数据DM在步骤S13向由客户PCC1在步骤S11指定的客户发送之后，程序流返回步骤S5，并且重复从步骤S5到步骤S13的处理，直到客户PCC1离开此网络。
然后，参考图16，说明在装置100中在一个称作单用户的网络中的3-维虚拟空间的发送和接收，其中在单用户的网络中单个客户PCC1如图1所示连接到服务器PCS。首先，在步骤S21，确定应从其读出表示3-维虚拟空间的3-DCG数据流DS的目标。例如，在3-DCG数据流DS存在于客户PCC1中的情况下，在步骤S21作出判决“否”，程序流进行到步骤S23。在步骤S23，从客户PCC1的存储器(未显示)读出3-DCG数据流DS并将其提供给PCC1的3-维虚拟空间产生部分4，在这里产生3-维虚拟空间图象。另一方面，在步骤S21为“是”的情况下，程序流进行到步骤S25。在步骤S25，从服务器PCS的存储器(未显示)读出3-DCG数据流DS1并将其提供给PCC1的3-维虚拟空间产生部分4，在这里产生3-维虚拟空间图象。在步骤S27客户PCC1向服务器PCS要求一个ID，在步骤S29服务器PCS将ID发给客户PCC1。
在步骤S31，确定客户PCC1从其读出化身的3-DCG数据流DS的目标。例如，在化身的3-DCG数据流DS存在于客户PCC1中的情况下，客户PCC1的请求信号Sr不要求化身的3-DCG数据流DS应从服务器PCS读出，因此在步骤S31作出判决“否”，于是程序流进行到步骤S33。在步骤S33，从客户PCC1的存储器读出化身的3-DCG数据流DS并将其提供给客户PCC1的3-维虚拟空间产生部分4。然后，在化身的3-DCG数据流DS的基础上在3-维虚拟空间产生化身的图象。与之相反，在步骤S31为“是”的情况下，程序流进行到步骤S35。在步骤S35，在客户PCC1的请求信号Sr的基础上，由PCS通过其所需的编码(格式变换)将化身的骨架数据流Ss和运动数据流Sm传输到客户PCC1。在步骤S37，由客户PCC1接收从服务器PCS传输的化身的骨架数据流Ss(Ss1)和运动数据流Sm(Sm1)。
在步骤S39，判断由客户PCC1接收的骨架数据流Ss(Ss1)和运动数据流Sm(Sm1)是否应该进行解码(逆格式变换)。在步骤S39为“否”的情况下，程序流进行到步骤S41。在步骤S41，通过骨架结构接收部分32和运动流接收部分33将骨架数据流Ss和运动数据流Sm提供给3-维虚拟空间产生部分4，而不需经过由数据流变换器31进行的逆格式变换。另一方面，在步骤S39为“是”的情况下，程序流进行到步骤S43。在步骤S43，由数据流变换器31将骨架数据流Ss1和运动数据流Sm1解码(逆格式变换)为骨架数据流Ss和运动数据流Sm，然后由骨架结构流接收部分32和运动流接收部分33分别将骨架数据流Ss和运动数据流Sm分成预定单元，以便提供给3-维虚拟空间产生部分4。于是，在3-维虚拟空间产生部分4产生化身的3-维虚拟空间图象反射运动变化。
然后，参考图17说明由客户PCC的3-维虚拟空间产生部分4进行的在3-DCG的再现时的3-DCG数据流DS的同步处理。在步骤S51，响应于开始描绘3-DCG场景的命令的发布，由3-维虚拟空间产生部分4对一个内部时钟(时间传感器)进行复位。也就是说，响应于服务器PCS的请求，各个客户PCC同时复位其内部时钟(时间传感器)。在步骤S53，判断用户是否已操作了在客户PCC1的化身。在步骤S53为“是”的情况下，程序流进行到步骤S5。否则，重复的进行在步骤S53的判决。在步骤S55，从3-维虚拟空间产生部分4的初级存储器(未显示)读出以VRML格式说明的骨架数据流Ss、运动数据流Sm和音频数据流Sa。在步骤S57，基于每个数据流的主标题MH中的说明，判断是否需要同步再现。在步骤S57为“否”的情况下，程序流进行到步骤S59。在步骤S59，在一个由内部时钟(时间传感器)以VRML格式指定的时间，不仅运动数据流Sm被再现，音频数据流Sa也由声音产生部分5再现。也就是说，当从3-维虚拟空间产生部分4向声音产生部分5与一个起始信号一起发送音频数据格式时，由声音产生部分5立即开始声音再现。
与之相反，在步骤S57为“是”的情况下，程序流进行到步骤S61。在步骤S61，判断3-DCG数据流DS的内容是否为音频数据流Sa。在步骤S61为“是”的情况下，程序流进行到步骤S63。在步骤S63，图14中显示的时间标记TS上的信息由声音产生部分5反馈给3-维虚拟空间产生部分4。另一方面，在3-DCG数据流DS的内容为CG数据的情况下，在步骤S61作出判决“否”，程序流进行到步骤S65。在步骤S65，从声音产生部分5反馈的时间标记TS上的信息作为同步信号输入到3-维虚拟空间产生部分4，或者在声音分组的情况下，终端信号作为同步信号输入到3-维虚拟空间产生部分4。在步骤S67，基于上面提到的时间标记TS，判断是否已经完成了CG数据的读取。在步骤S67为“是”的情况下，程序流进行到步骤S69。在步骤S69，立即中止CG的再现，程序流进行到步骤S71。同时，CG再现的计时由VRML的内部时钟(时间传感器)控制。在步骤S71，判断用于进一步描绘和再现CG的33-DCG数据流DS是否从服务器PCS输入到3-维虚拟空间产生部分4。在步骤S71为“是”的情况下，程序流返回到步骤S51。否则，重复地进行在步骤S71的判决。另一方面，在步骤S67为“否”的情况下，程序流进行到步骤S73。在步骤S73，CG的再现一直被延长到由下一个时间标记TS表示的同步时间，程序流进行到步骤S71。于是，再现数据流可以相互同步。
依据本发明，发送和接收表示3-维虚拟空间的数据流的方法具有图15至17的流程图的上述步骤，并且用于使计算机执行本发明的方法的程序可以记录在一个计算机可读的记录媒体中。为了这个目的，例如，可以与Internet连接的个人计算机PC和个人计算机PC可读的软盘FD可以分别用作计算机和记录媒体，如图18所示。
同时，在目前给出的说明中，本发明针对的是在Internet中的双向通信系统，而当传输系统与Internet一起使用时，本发明也可以非常相似地适用于一个传输系统，例如卫星广播系统，地面波广播系统或类似系统。
如同从本发明的前述说明可以清楚地看出的，骨架结构例如人体的骨架结构的形状数据作为形状数据流被传输，骨架的基本运动作为运动数据流被传送，伴随着骨架结构的运动的音频数据作为音频数据流与在每个数据流中的同步和压缩以及在数据流之间的对应一起被传输。
因此，依据本发明，在基于网络的发送和接收系统中的一个特征的光滑运动和与运动同步的音频信息可以响应于用户的请求相互影响地被发送和接收，并且可以极大地减少要传输的数据量。

Claims (4)

1、一种用于发送和接收表示3-维虚拟空间的数据流的设备(100)，包括：
一个发送单元(PCS)；
一个接收单元(PCC)；以及
一个用于以双向方式连接发送单元(PCS)和接收单元(PCC)的传输装置(TR，2)；
其中，分别表示3-DCG的骨架结构的形状和运动以及与运动同步的声音的形状数据流(Ss)、运动数据流(Sm)和音频数据流(Sa)从发送单元(PCS)发送给接收单元(PCC)，以使得接收单元(PCC)通过运动数据流(Sm)与音频数据流(Sa)的同步产生3-DCG；
发送单元(PCS)包括：
一个发送装置(1)，用于响应接收单元(PCC)的请求(Sr)，在实时的基础上根据预先确定的数据流(DS)的格式(VRF)同时发送作为多个编码数据流(DS 1)的形状数据流(Ss)、运动数据流(Sm)和与运动数据流(Sm)同步的音频数据流(Sa)，以使得传输装置(TR，2)从发送单元(PCS)向接收单元(PCC)相互影响地传输所述编码数据流(DS1)，所述多个编码数据流(DS1)包括一个编码形状数据流(Ss1)、编码运动数据流(Sm1)和一个编码音频数据流(Sa1)中的至少一个；
接收单元(PCC)包括：
一个数据流接收装置(3)，接收通过传输装置(TR)从发送单元(PCS)发送的编码数据流(DS1)，以便识别所接收的编码数据流(DS1)的种类与格式(VRML)，在实时的基础上根据需要接收所述编码运动数据流(Sm1)和编码音频数据流(Sa1)，以便对识别出的编码运动数据流(Sm1)和编码音频数据流(Sa1)分别进行这些数据流所需的恢复处理；
一个3-维虚拟空间产生装置(4)，通过应用由接收单元(PCC)接收到的编码数据流(DS1)中的编码形状流(Ss1)或预先读出的3-维形状数据(DS1，DS)，产生在3-维虚拟空间中的骨架结构的形状或3-维虚拟空间，并通过应用所述编码数据流(DS1)中的编码运动数据流(Sm1)移动该骨架结构的形状；以及
一个声音产生装置(5)，在所述编码数据流(DS1)包含编码音频数据流(Sa1)的情况下，与该编码运动数据流(Sm1)同步地再现该编码音频数据流(Sa1)。
2、如权利要求1所述的设备(100)，其特征在于：发送单元(PCS)通过传输装置(TR，2)连接到多个接收单元(PCCn)；
其中，3-维虚拟空间产生装置(4)响应于来自接收单元(PCCn)中的一个的请求(Sr)，指定在由数据流接收装置(3)恢复的数据流(DS)中的要发送的数据的种类和部分，并控制指定数据；
其中该发送装置(1)设置所述被控制的指定数据向接收装置(PCCn)中的一个的发送，这样发送装置(PCC，1)响应于请求(Sr)向接收单元(PCCn)中的一个传输所述被控制的指定数据。
3、一种用于发送和接收表示3-维虚拟空间的数据流的方法，在该方法中，分别表示3-DCG的骨架结构的形状和运动以及与运动同步的声音的形状数据流(Ss)、运动数据流(Sm)和音频数据流(Sa)从一发送单元(PCS)发送给一接收单元(PCC)，以使得接收单元(PCC)通过运动数据流(Sm)与音频数据流(Sa)的同步产生3-DCG，该方法包括：
第一步骤(S35)，响应接收单元(PCC)的请求(Sr)，在实时的基础上根据预先确定的数据流(DS)的格式(VRF)同时发送作为多个编码数据流(DS1)的形状数据流(Ss)、运动数据流(Sm)和与运动数据流(Sm)同步的音频数据流(Sa)，所述编码数据流包括编码形状数据流(Ss1)、编码运动数据流(Sm1)和编码音频数据流(Sa1)中的至少一个；
第二步骤(S21-S37)，以双向方式连接发送单元(PCS)和接收单元(PCC)，以使得从发送单元(PCS)向接收单元(PCC)相互影响地传输所述编码数据流(DS1)；
第三步骤(S39，S41，S43)，接收传输的编码数据流(DS1)，以便识别所接收的编码数据流(DS1)的种类与格式(VRML)，并在实时的基础上接收所述编码运动数据流(Sa1)和编码音频数据流(Sa1)，以便对识别出的编码运动数据流(Sa1)和编码音频数据流(Sa1)分别进行这些数据流的恢复处理；
第四步骤(S51-S73)，通过应用由接收单元(PCC)接收到的编码数据流(DS1)中的编码形状流(Ss1)或预先读出的3-维形状数据(DS1，DS)，产生在3-维虚拟空间中的骨架结构的形状或3-维虚拟空间，并通过应用所述编码数据流(DS1)中的编码运动数据流(Sm1)移动该骨架结构的形状；以及
第五步骤(S61，S63)，在所述编码数据流(DS1)包含编码音频数据流(Sa1)的情况下，与编码运动数据流(Sm1)同步地再现该编码音频数据流(Sa1)。
4、如权利要求3所述的方法，其特征在于：第四步骤(S51-S73)包括一个步骤，响应于来自在第一步骤(S35)连接的多个接收单元(PCCn)中的一个的请求(Sr)来指定在由第三步骤(S39，S41，S43)恢复的数据流(DS)中的要发送的数据的种类和部分，以控制指定的数据，并设置控制数据向接收装置(PCCn)中的一个的发送，这样则响应于请求(Sr)向接收单元(PCCn)中的一个传输控制数据。
CNB981179126A 1997-07-31 1998-07-31 发送和接收表示3－维虚拟空间的数据流的装置和方法 Expired - Fee Related CN1310517C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP20585797 1997-07-31
JP205857/97 1997-07-31

Publications (2)

Publication Number Publication Date
CN1218241A CN1218241A (zh) 1999-06-02
CN1310517C true CN1310517C (zh) 2007-04-11

Family

ID=16513870

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB981179126A Expired - Fee Related CN1310517C (zh) 1997-07-31 1998-07-31 发送和接收表示3－维虚拟空间的数据流的装置和方法

Country Status (5)

Country Link
US (1) US6512520B1 (zh)
EP (1) EP0899924B1 (zh)
KR (1) KR100294372B1 (zh)
CN (1) CN1310517C (zh)
DE (1) DE69837868T2 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9721664D0 (en) * 1997-10-14 1997-12-10 Philips Electronics Nv Data management within a virtual environment browser
EP0973129A3 (en) * 1998-07-17 2005-01-12 Matsushita Electric Industrial Co., Ltd. Motion image data compression system
US7007295B1 (en) * 1998-12-24 2006-02-28 B3D, Inc. System and method for Internet streaming of 3D animated content
US6559845B1 (en) 1999-06-11 2003-05-06 Pulse Entertainment Three dimensional animation system and method
JP4011327B2 (ja) * 2000-11-15 2007-11-21 株式会社レクサー・リサーチ 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
WO2002076058A2 (en) 2001-03-21 2002-09-26 Research In Motion Limited Method and apparatus for providing content to media devices
MXPA03008620A (es) * 2001-03-21 2007-06-25 Research In Motion Ltd Metodo y aparato para proporcionar contenido a dispositivos para medios.
KR100914636B1 (ko) * 2001-05-29 2009-08-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 비주얼 통신 신호를 전송하기 위한 방법, 비주얼 통신 신호를 전송하기 위한 송신기 및 비주얼 통신 신호를 수신하기 위한 수신기
US20040110490A1 (en) 2001-12-20 2004-06-10 Steele Jay D. Method and apparatus for providing content to media devices
EP1345179A3 (en) * 2002-03-13 2004-01-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for computer graphics animation
US7015826B1 (en) 2002-04-02 2006-03-21 Digital Angel Corporation Method and apparatus for sensing and transmitting a body characteristic of a host
JP4218336B2 (ja) * 2002-12-12 2009-02-04 ソニー株式会社 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びにプログラム
US8140698B2 (en) 2003-04-30 2012-03-20 International Business Machines Corporation Method and system for efficient data transmission in interactive networked environments
JP4559092B2 (ja) * 2004-01-30 2010-10-06 株式会社エヌ・ティ・ティ・ドコモ 携帯通信端末及びプログラム
KR20090002292A (ko) * 2007-06-26 2009-01-09 삼성전자주식회사 가상 캐릭터를 동기화하고 공유하는 장치 및 방법
US7809789B2 (en) * 2007-10-25 2010-10-05 Brian Mark Shuster Multi-user animation coupled to bulletin board
JP2010044736A (ja) * 2008-07-18 2010-02-25 Panasonic Electric Works Co Ltd 製品設計評価装置
KR20100073168A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 합성데이터 송/수신 장치 및 방법
JP2011039647A (ja) * 2009-08-07 2011-02-24 Sony Corp 情報提供装置および方法、端末装置および情報処理方法、並びにプログラム
ES2390298B1 (es) * 2010-04-16 2013-11-11 Telefónica, S.A. Procedimiento de transmisión de contenido visual.
US8943396B2 (en) 2011-07-18 2015-01-27 At&T Intellectual Property I, Lp Method and apparatus for multi-experience adaptation of media content
US9084001B2 (en) 2011-07-18 2015-07-14 At&T Intellectual Property I, Lp Method and apparatus for multi-experience metadata translation of media content with metadata
US9237362B2 (en) * 2011-08-11 2016-01-12 At&T Intellectual Property I, Lp Method and apparatus for multi-experience translation of media content with sensor sharing
US10628186B2 (en) * 2014-09-08 2020-04-21 Wirepath Home Systems, Llc Method for electronic device virtualization and management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07312750A (ja) * 1994-05-18 1995-11-28 Nippon Telegr & Teleph Corp <Ntt> 動画通信装置
JPH08331562A (ja) * 1995-05-31 1996-12-13 Kokusai Electric Co Ltd 画像通信方式
JPH0984021A (ja) * 1995-09-19 1997-03-28 Nec Corp 画像データ転送システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0735835A1 (en) * 1994-10-25 1996-10-09 Ronda Europa S.P.A. Multipurpose drawer for commercial furniture
US5793980A (en) * 1994-11-30 1998-08-11 Realnetworks, Inc. Audio-on-demand communication system
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JP3337938B2 (ja) 1996-04-25 2002-10-28 松下電器産業株式会社 ３次元骨格構造の動き送受信装置、および動き送受信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07312750A (ja) * 1994-05-18 1995-11-28 Nippon Telegr & Teleph Corp <Ntt> 動画通信装置
JPH08331562A (ja) * 1995-05-31 1996-12-13 Kokusai Electric Co Ltd 画像通信方式
JPH0984021A (ja) * 1995-09-19 1997-03-28 Nec Corp 画像データ転送システム

Also Published As

Publication number Publication date
DE69837868T2 (de) 2008-02-07
EP0899924B1 (en) 2007-06-06
EP0899924A2 (en) 1999-03-03
KR100294372B1 (ko) 2001-07-12
CN1218241A (zh) 1999-06-02
KR19990014233A (ko) 1999-02-25
US6512520B1 (en) 2003-01-28
EP0899924A3 (en) 2005-08-03
DE69837868D1 (de) 2007-07-19

Similar Documents

Publication Publication Date Title
CN1310517C (zh) 发送和接收表示3－维虚拟空间的数据流的装置和方法
KR100872732B1 (ko) 모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템
CN107835971B (zh) 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置
US6557041B2 (en) Real time video game uses emulation of streaming over the internet in a broadcast event
CN107438183A (zh) 一种虚拟人物直播方法、装置及系统
CN105637472B (zh) 具有广义屏幕描述的屏幕内容共享系统的框架
JP2005523827A (ja) 一組の可動部分を有するロボット用のアニメートシステム
WO2023051138A1 (zh) 沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
JP2002523156A (ja) 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム
KR100403942B1 (ko) 3차원 가상공간내에서 목적물 선택시 동영상을 구현하는시스템
JP3338382B2 (ja) ３次元仮想空間を表すデータストリームを送受信する装置及び方法
WO2022226502A1 (en) Anchoring a scene description to a user environment for streaming immersive media content
US20230007067A1 (en) Bidirectional presentation datastream
US20230007361A1 (en) Bidirectional presentation datastream using control and data plane channels
JP3428513B2 (ja) 多次元ストリームデータを用いた、送信装置、送信方法、受信装置、受信方法および通信システム
CN108271068A (zh) 一种基于流媒体技术的视频数据的处理方法及装置
KR100919589B1 (ko) 리치미디어 서버와 리치미디어 전송 시스템 및 리치미디어전송 방법
JP2000232632A (ja) データ伝送方法，データ伝送システム，データ受信方法，及びデータ受信装置
Alberti et al. On the Opera Theatre Simulation.
KR20000054150A (ko) 3차원 가상공간에서 애니메이션을 구현하는 시스템
JP2000348194A (ja) 仮想空間制御データ受信装置、仮想空間制御データ送受信システム、仮想空間制御データ受信方法、および仮想空間制御データ受信プログラム記録媒体
Hosseini An architecture for recording and playback of MPEG4-based collaborative virtual environments.

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070411

Termination date: 20100731