DE69837868T2 - Verfahren und Vorrichtung zur Übertragung von 3-dimensionalen virtuellen Raum darstellenden Datenströmen - Google Patents

Verfahren und Vorrichtung zur Übertragung von 3-dimensionalen virtuellen Raum darstellenden Datenströmen Download PDF

Info

Publication number
DE69837868T2
DE69837868T2 DE69837868T DE69837868T DE69837868T2 DE 69837868 T2 DE69837868 T2 DE 69837868T2 DE 69837868 T DE69837868 T DE 69837868T DE 69837868 T DE69837868 T DE 69837868T DE 69837868 T2 DE69837868 T2 DE 69837868T2
Authority
DE
Germany
Prior art keywords
data stream
stream
shape
streams
movements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69837868T
Other languages
English (en)
Other versions
DE69837868D1 (de
Inventor
Toshiya Joto-ku Osaka-shi Naka
Yoshiyuki Osaka-shi Mochizuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of DE69837868D1 publication Critical patent/DE69837868D1/de
Application granted granted Critical
Publication of DE69837868T2 publication Critical patent/DE69837868T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Description

  • Hintergrund der Erfindung
  • (Gebiet der Erfindung)
  • Die vorliegende Erfindung bezieht sich auf ein System zum Übermitteln und Empfangen von Datenströmen zum Bilden eines dreidimensionalen virtuellen Raums, der durch dreidimensionale Computergrafik (im Folgenden als „3-DCG", bezeichnet) dargestellt wird, auf Basis eines Netzes wie dem Internet und insbesondere auf eine Vorrichtung und ein Verfahren zum Übermitteln und Empfangen von Datenströmen, die für eine dreidimensionale Skelettstruktur repräsentativ sind, um so in effizienter Weise natürliche Bewegungen eines Charakters mit einer komplizierten Skelettstruktur beispielsweise eines Menschen, zu übermitteln und zu empfangen.
  • (Beschreibung des Standes der Technik)
  • In den letzten Jahren haben virtuelle Einkaufszentren, elektronischer Handel und verschiedene relevante Homepages im Internet wie dem World-Wide-Web (WWW) eine beträchtliche Aufmerksamkeit als ein Anwendungsgebiet von 3-DCG auf sich gezogen. Dank der schnellen Entwicklung des Internet hat insbesondere der Trend in Richtung einer einfachen Handhabung von relativ hochqualitativen 3-DCG wie Spielen und Filmen zu Haus an Schwung aufgenommen. Wie in 8 gezeigt, sind eine Mehrzahl von „Client" genannten Maschinen PCC1-PCCn, beispielsweise Personal Computer, mit einer „Server" genannten Maschine PCS, beispielsweise einem Personal Computer oder einer Workstation, über das Internet im WWW oder ähnlichem verbunden. Durch Restrukturieren von Information wie Tönen, Texten und Layout-Informationen, die von dem Server PCS bei Bedarf heruntergeladen werden, kann die von dem Server PCS übermittelte Information durch die Clients PCC1-PCCn erhalten werden. Üblicherweise wird ein Kommunikationsverfahren auf Basis des Transmission Control Protocol/Internet Protocol (TCP/IP) zur Kommunikation zwischen dem Server PCS und den Clients PCC1-PCCn verwendet.
  • Herkömmlich waren die von dem Server PCS bereitgestellten Daten im Wesentlichen auf Textdaten und Bilddaten beschränkt. Der jüngste Fortschritt der Standarisierung der Virtual Reality Modeling Language (VRML) und Browsern für die VRML haben einen Anstoß für die Übertragung von 3-DCG selbst als Formen und Szenen gegeben. Die oben angesprochene VRML wird im Folgenden kurz beschrieben. In einem bekannten Daten-Layout, das im Wesentlichen aus Bildern und Text besteht, wie in der Hypertext Markup Language (HTML), sind enorme Zeit und Kosten nötig, um Bilddaten zu übertragen, insbesondere Daten zu bewegten Bildern. Daher besteht in existierenden Vorrichtungen eine Grenze im Netzverkehr. Andererseits wird bei 3-DCG alle Information einschließlich von Formen, Blickpunktinformationen und Lichtquelleninformation in dreidimensionalen Daten verarbeitet. Ein jüngster Fortschritt in der Computergraphik-Technologie (im Folgenden als „CG" bezeichnet) hat eine rapide Verbesserung der Qualität von Bildern mit sich gebracht, die mittels CG hergestellt sind. Daher ist es von einem Standpunkt der Datenmenge aus gesehen recht effizient, die CG-Daten selbst zu übermitteln.
  • Auch wenn eine Menge von CG-Daten nicht mehr als ein Hundertstel der herkömmlichen Bilddaten beträgt, sind üblicherweise die CG-Daten dazu in der Lage, Bilder mit eine Qualität wiederzugeben, die äquivalent zu der von herkömmlichen Bilddaten ist. Mit anderen Worten haben die CG-Daten ein Kompressionsverhältnis das nicht weniger als 100 Mal größer als das von herkömmlichen Bilddaten ist. Daher wurde bei der Übermittlung von Bilddaten über ein Netz eine Anstrengung unternommen, CG-Daten zu verwenden, insbesondere 3-DCG Daten als ein Standard. Als ein Beispiel dieser Anstrengung wurde die oben erwähnte VRML vorgeschlagen (VRML Ver2.0). Die VRML Ver2.0 fordert ein Datenformat von Formdaten, das „primitiv" genannt wird, Lichtquellendaten, Blickpunktdaten, Texturdaten, etc. und wie eine Verschiebung eines festen Körpers spezifiziert wird. Ein solches Datenformat wird aus Gründen der Vereinfachung als „VR-Format" (VRF) bezeichnet.
  • Andererseits wurde bei herkömmlicher CG in letzter Zeit Aufmerksamkeit auf eine Animationstechnik zum Bilden von Bildern auf Echtzeitbasis gerichtet. Durch Verwenden dieser Echtzeitanimationstechnologie, werden reale Bewegungen eines CG-Charakters im Wesentlichen in Werbemitteilungen und Filmen wiedergegeben. Als ein Beispiel kann eine komplizierte Form wie ein Mensch, die durch eine Skelettstruktur und differenzierte Bewegungen der Skelettstruktur ausgedrückt wird, in natürlicher Weise durch Definieren von Bewegungsausmaßen an den Gelenken des Skeletts wiedergegeben werden, die sich momentan ändern.
  • Bei herkömmlichen 3-DCG Modellierungssprachen im Internet, im Wesentlichen der VRML, war es unmöglich, Bewegungen auf einer Echtzeitbasis an der Form mit der komplizierten Struktur wie dem Menschen zu vermitteln. Derweil war es ebenso unmöglich, ein System zu formulieren, in dem eine Mehrzahl von Benutzern einen gemeinsamen dreidimensionalen Raum in einem virtuellen Raum haben, wobei ein Netz involviert ist, so dass ihre Avatare interaktiv in dem gemeinsamen dreidimensionalen Raum bedient werden. Ferner war es unmöglich, Sprache oder Musik auf einer Echtzeitbasis synchron mit Bewegungen der Avatare in dem gemeinsamen dreidimensionalen Raum zu übermitteln und zu empfangen.
  • EP 0 753 835 offenbart ein System zur gemeinsamen Nutzung eines dreidimensionalen virtuellen Realitätsraums und ein entsprechendes Verfahren. Entsprechend dem in EP 0 753 835 offenbarten Konzept wird der Umfang der Kommunikation minimiert, die nötig ist, um bewegte Bilder darzustellen. Wenn ein Objekt an einem Client-Terminal bewegt wird, wird eine Nachricht, die die Bewegung des Objektes angibt, an ein Server-Terminal übermittelt. Das Server-Terminal übermittelt die Nachricht an die anderen Client-Terminals. Jeder der Client-Terminals speichert im Vorfeld eine Nachrichtentabelle, um die Nachricht auszuführen. Entsprechend der Nachrichtentabelle wird ein Bild zum lokalen Bewegen eines Objektes erzeugt und angezeigt. Dies erlaubt kooperativen Bewegungen der Mehrzahl von Unterobjekten, in einem dreidimensionalen virtuellen Realitätsraum glatt dargestellt zu werden, der von einer Mehrzahl von Benutzern geteilt wird.
  • Zusammenfassung der Erfindung
  • Entsprechend ist es eine wesentliche Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Übermitteln und Empfangen von Daten strömen, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, vorzustellen, bei denen Bewegungen auf einer Echtzeitbasis an einer Form mit einer komplizierten Struktur wie einem Menschen vorgenommen werden können, wobei eine Mehrzahl von Benutzern einen gemeinsamen dreidimensionalen Raum in einem virtuellen Raum haben, wobei ein Netz involviert ist, so dass deren Avatare interaktiv in dem gemeinsamen virtuellen dreidimensionalen Raum bedient und Sprache oder Musik auf Echtzeitbasis synchron mit Bewegungen der Avatare in dem gemeinsamen virtuellen dreidimensionalen Raum übermittelt und empfangen werden können.
  • Um diese Aufgabe der vorliegenden Erfindung zu lösen, umfasst eine Vorrichtung zum Übermitteln von Datenströmen gemäß Anspruch 1, eine Vorrichtung zum Empfangen von Datenströmen gemäß Anspruch 2 und eine Vorrichtung zum Übermitteln und Empfangen von Datenströmen ein Übermittlungselement, ein Empfangselement und ein Übermittlungsmittel zum Koppeln des Übermittlungselementes und des Empfangselementes in bidirektionaler Weise, wobei ein Formdatenstrom, ein Bewegungsdatenstrom und ein Audiodatenstrom, die für eine Form und eine Bewegung einer Skelettstruktur in 3-DCG und einem mit der Bewegung synchronen Ton repräsentativ sind, jeweils von dem Übermittlungselement an das Empfangselement übermittelt werden, sodass das Empfangselement die 3-DCG durch Synchronisation des Bewegungsdatenstroms und des Audiodatenstroms erzeugt, wobei das Übermittlungselement aufweist: ein Übermittlungsmittel, das ausgebildet ist, gleichzeitig auf Echtzeitbasis in Antwort auf eine Anforderung von dem Empfangselement den Formdatenstrom, den Bewegungsdatenstrom und den Audiodatenstrom synchron mit dem Bewegungsdatenstrom als eine Mehrzahl von Strömen entsprechend einem Format eines vorbestimmten Datenstroms zu übermitteln, so dass das Übertragungsmittel interaktiv die Ströme von dem Übermittlungselement an das Empfangselement übermittelt, wobei das Empfangselement aufweist: ein Datenstromempfangselement, das ausgebildet ist, die von dem Übermittlungselement über das Übertragungsmittel übermittelten Ströme zu empfangen, um so die Arten und Formate der empfangenen Ströme zu unterscheiden, und um die Ströme zu empfangen, gegebenenfalls auf einer Echtzeitbasis, um so die unterschiedenen Ströme jeweils den für die Ströme benötigten Wiederherstellungsverarbeitungen zu unterwerfen, ein Erzeugungs-mittel für dreidimensionalen virtuellen Raum, das ausgebildet ist, die Form der Skelettstruktur in dem dreidimensionalen virtuellen Raum oder den dreidimensionalen virtuellen Raum unter Verwendung eines Formstromes der von dem Empfangselement empfangenen Ströme oder von vorbereitend gelesenen dreidimensionalen Formdaten zu erzeugen, und das ausgebildet ist, die Form der Skelettstruktur unter Verwendung eines Bewegungsstromes der Ströme zu bewegen, und ein Tonerzeugungsmittel, das ausgebildet ist, im Fall das die Ströme einen Audiostrom enthalten, den Audiostrom synchron mit dem Bewegungsstrom wiederzugeben.
  • Derweil umfasst ein Verfahren zum Übermitteln und Empfangen von Datenströmen, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, entsprechend Anspruch 11 gemäß der vorliegenden Erfindung, bei dem ein Formdatenstrom, ein Bewegungsdatenstrom und ein Audiodatenstrom, die für eine Form oder eine Bewegung einer Skelettstruktur in 3-DCG und einen mit der Bewegung synchronen Ton repräsentativ sind und die jeweils von einem Übermittlungselement an ein Empfangselement übermittelt werden, sodass das Empfangselement ausgebildet ist, die 3-DCG durch Synchronisation des Bewegungsdatenstromes und des Audiodatenstromes zu erzeugen, die Schritte: einen ersten Schritt des simultanen Übermittelns des Formdatenstromes, des Bewegungsdatenstromes und des Audiodatenstromes synchron mit dem Bewegungsdatenstrom als eine Mehrzahl von Strömen entsprechend einem Format eines vorbestimmten Datenstromes auf einer Echtzeitbasis in Reaktion auf eine Anforderung von dem Empfangselement, einen zweiten Schritt des Koppelns des Übermittlungselementes und des Empfangselementes in bidirektionaler Weise, um so die Ströme von dem Übermittlungselement interaktiv an das Empfangselement zu übertragen, einen dritten Schritt des Empfangens der übertragenen Ströme, um die Arten und Formate der empfangenen Datenströme zu unterscheiden und dem Empfangens der Ströme auf einer Echtzeitbasis, um so die unterschiedenen Ströme den jeweiligen Wiederherstellungsverarbeitungen für die Ströme zu unterwerfen, einen vierten Schritt des Erzeugens der Form der Skelettstruktur in dem dreidimensionalen virtuellen Raum oder des dreidimensionalen virtuellen Raums unter Verwendung des Formdatenstroms der von dem Empfangselement empfangenen Ströme oder vorbereitend gelesener dreidimensionaler Formdaten und des Bewegens der Form der Skelettstruktur unter Verwendung eines Bewegungsdatenstromes der Ströme, und eines fünften Schritts des Wiedergebens des Audiodatenstromes synchron mit dem Bewegungsstrom, im Fall, dass die Ströme einen Audiostrom enthalten.
  • Mittels der oben erwähnten Anordnung der Vorrichtung und des Verfahrens der vorliegenden Erfindung werden die Formdaten der Skelettstruktur wie beispielsweise eines Menschens als der Formdatenstrom übermittelt, die grundsätzliche Bewegung des Skeletts als der Bewegungsdatenstrom geliefert und die Audiodaten, die die Bewegung der Skelettstruktur begleiten, als der Audiodatenstrom übermittelt, zusammen mit Information zur Synchronisation und Kompression in jedem der Datenströme und der Entsprechung zwischen den Datenströmen.
  • Weitere Ausführungsbeispiele der Erfindung sind in den abhängigen Ansprüchen definiert.
  • Daher können gemäß der vorliegenden Erfindung in Antwort auf eine Anforderung eines Benutzers glatte Bewegungen eines Charakters in einem Übermittlungs- und Empfangssystem auf Basis eines Netzes und Audioinformation synchron mit den Bewegungen interaktiv übermittelt und empfangen werden und die Quantität der zu übertragenden Daten deutlich reduziert werden.
  • Kurze Beschreibung der Zeichnungen
  • Diese Aufgabe und Merkmale der vorliegenden Erfindung werden anhand der folgenden Beschreibung offensichtlich, die mit Bezug auf deren bevorzugte Ausführungsformen mit Verweis auf die beiliegenden Zeichnungen ausgeführt wird, bei denen:
  • 1 ein Blockdiagramm ist, das eine Minimalkonfiguration einer Vorrichtung zum Übermitteln und Empfangen von Datenströmen, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, gemäß einer Ausführungsform der vorliegenden Erfindung zeigt,
  • 2 ein Blockdiagramm eines 3-DCG-Datenstromübermittlungsabschnitts ist, das in der Vorrichtung von 1 verwendet wird,
  • 3 ein Blockdiagramm eines 3-DCG-Datenstromempfangsabschnitts ist, der in der Vorrichtung von 1 verwendet wird,
  • 4 eine Ansicht ist, die ein Beispiel eines Formats eines 3-DCG-Datenstroms in der vorliegenden Erfindung zeigt,
  • 5 eine Ansicht ist, die ein anderes Beispiel des Formats des 3-DCG-Datenstroms in der vorliegenden Erfindung zeigt,
  • 6 ein nachahmendes Diagramm von Paketen eines Animationsstroms ist, der als der 3-DCG-Datenstrom in der vorliegenden Erfindung auftritt,
  • 7 ein nachahmendes Diagramm von Paketen eines Bewegungsstromes ist, der als der 3-DCG-Datenstrom in der vorliegenden Erfindung auftritt,
  • 8 ein nachahmendes Diagramm ist, das die Vorrichtung von 1 zeigt, bei der eine Mehrzahl von Klienten mit einem einzelnen Server gekoppelt sind,
  • 9 eine Ansicht ist, die erläuternd für eine grundsätzliche Skelettstruktur des 3-DCG-Datenstroms in der vorliegenden Erfindung ist,
  • 10 ein nachahmendes Diagramm ist, das eine allgemeine virtuelle Datenstruktur zeigt, die für eine Skelettstruktur eines Avatars in dem 3-DCG-Datenstrom in der vorliegenden Erfindung repräsentativ ist,
  • 11 ein nachahmendes Diagramm ist, das ein Format eines Datenstroms zeigt, der für eine Bewegung relativ zu der Skelettstruktur (Ausgangswert) von 10 ist,
  • 12 eine Ansicht ist, die erläuternd für ein beschreibendes Beispiel auf Basis der Virtual Reality Modeling Language (VRML) einer dreidimensionalen Szene in der vorliegenden Erfindung ist,
  • 13 ein nachahmendes Diagramm ist, das eine Szenenstruktur entsprechend dem beschreibenden Beispiel von 12 zeigt,
  • 14 eine Ansicht ist, die erläuternd für ein Beispiel eines synchronen Verfahrens des 3-DCG-Datenstroms in der vorliegenden Erfindung ist,
  • 15 ein Ablaufdiagramm ist, das ein gemeinsames Nutzen von dreidimensionalem Raum in einem Multi-User-Netz von 8 zeigt,
  • 16 ein Ablaufdiagramm ist, das eine Übermittlung und ein Empfang von dreidimensionalen virtuellem Raum in einem Einzel-User-Netz von 1 zeigt,
  • 17 ein Ablaufdiagramm ist, das eine synchrone Bearbeitung der 3-DCG-Daten zum Zeitpunkt der Wiedergabe der 3-DCG in der vorliegenden Erfindung zeigt, und
  • 18 eine perspektivische Ansicht eines Personal Computers zur Verwendung mit einer Floppy-Disk zum Aufzeichnen von Programmen zum Veranlassen des Personal Computers zum Ausführen eines Verfahrens der vorliegenden Erfindung mit den Schritten der Ablaufdiagramme von 15 bis 17 ist.
  • Bevor die Beschreibung der vorliegenden Erfindung fortschreitet, ist zu bemerken, dass ähnliche Elemente mit ähnlichen Bezugszeichen durch verschiedene Ansichten der beiliegenden Zeichnungen hinweg bezeichnet sind.
  • Detaillierte Beschreibung der Erfindung
  • Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung mit Bezug auf die beiliegenden Zeichnungen beschrieben. 1 zeigt eine Minimalkonfiguration einer Vorrichtung 100 zum Übermitteln und Empfangen von Datenströmen, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, entsprechend einer Ausführungsform der vorliegenden Erfindung. Die Vorrichtung 100 wird von einem Server PCS, der an einer Übermittlungsseite angeordnet ist, einem Client PCC, der an einer Empfangsseite angeordnet ist, und einem Über mittlungsabschnitt TR zum Koppeln des Servers PCS und des Clients PCC gebildet. Der Server PCS erzeugt 3-DCG-Datenströme, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, entsprechend einem Befehl, der von dem Benutzer mit einem Stromautorenmittel eingegeben wird, das üblicherweise außerhalb vorgesehen ist. Der Betrieb dieses Stromautorenmittels wird später beschrieben.
  • Der Server PCS kodiert (Formatumsetzung) einen 3-DCG-Datenstrom DS zum Bilden des dreidimensionalen virtuellen Raums einschließlich eines Avatars des Benutzers, um so den kodierten Datenstrom DS1 zu erzeugen. Derweil werden ein Format VRF des 3-DCG-Datenstroms DS und der kodierte Datenstrom DS1 später mit Bezug auf die 4, 5 und 11 beschrieben werden. Der Übertragungsabschnitt TR, der den Server PCS und den Client PCC in bidirektionaler Weise koppelt, überträgt nicht nur den kodierten Datenstrom DS1 vom Server PCS zum Client PCC, sondern überträgt auch modifizierte Daten bezüglich der 3-DCG-Daten, die von dem Client PCC eingegeben wurden, an den Server PCS. Der Server PCS dekodiert (Formatumsetzung) nämlich den 3-DCG-Datenstrom DS durch ein Zurückübersetzen eines Formats des eingegebenen kodierten Datenstroms DS1 und gibt ein 3-DCG-Bild wieder, das für den dreidimensionalen virtuellen Raum repräsentativ ist. Derweil, im Fall, dass der Benutzer eine Änderung an dem dreidimensionalen virtuellen Raum durch Bedienen seines eigenen Avatars am Server PCS verursacht hat, erzeugt der Server PCS Modifikationsdaten DM, die für die Änderung repräsentativ sind, und übermittelt die Bildmodifikationsdaten DM über den Übertragungsabschnitt TR an den Client PCC.
  • Üblicherweise werden der Server PCS und der Client PCC im Wesentlichen durch Software in einem Computer wie einer Workstation oder einem Personal Computer formuliert. Der Server PCS schließt einen 3-DCG-Datenstrom-Übermittlungsabschnitt 1 ein, während der Übertragungsabschnitt TR einen 3-DCG-Datenstrom-Übertragungsabschnitt 2 einschließt. Derweil umfasst der Client PCC einen 3-DCG-Datenstrom-Empfangsabschnitt 3, einen Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum und einen Tonerzeugungsabschnitt 5. Der Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum ist mit dem 3-DCG-Datenstrom-Empfangsabschnitt 3 über einen Datenbus gekop pelt, um so eine Eingabe des 3-DCG-Datenstroms DS von dem 3-DCG-Datenstrom-Empfangsabschnitt 3 zu empfangen. Der Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum erzeugt nicht nur 3-DCG auf Basis des 3-DCG-Datenstroms DS, sondern erzeugt auch einen Audiodatenstrom Sa. Der Tonerzeugungsabschnitt 5 ist mit dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum über eine Signalleitung gekoppelt und gibt Ton in Antwort auf die Eingabe des Audiodatenstroms Sa von dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum wieder.
  • Die Vorrichtung 100 übermittelt nämlich simultan über den Übermittlungsabschnitt 1 für dreidimensionalen Datenstrom eine Mehrzahl von 3-DCG-Datenströmen, die den kodierten Datenstrom DS1 bilden. Auf Basis der über den Übertragungsabschnitt TR empfangenen 3-DCG-Datenströme erzeugt der Client PCC eine dreidimensionale Animation einschließlich Ton.
  • In diesem Beispiel ist die Minimalkonfiguration der Vorrichtung 100 beschrieben, bei der der einzelne Client PCC mit dem einzelnen Server PCS über den Übertragungsabschnitt TR gekoppelt ist. Es ist jedoch unnötig zu sagen, dass eine Mehrzahl der Clients PCCn (n = natürliche Zahl) mit dem Server PCS mittels des Übertragungsabschnitts TR gekoppelt werden kann, wie in 8 gezeigt.
  • 2 zeigt ein Beispiel einer Konfiguration des 3-DCG-Datenstrom-Übermittlungsabschnitts 1 im Server PCS. Der 3-DCG-Datenstrom-Übermittlungsabschnitt 1 ist mit dem Übertragungsabschnitt 2 für dreidimensionalen CG-Datenstrom über eine bidirektionale Signalleitung gekoppelt, um so Anforderungssignale Sr auszutauschen, die von dem Client PCC und dem Server PCS erzeugt werden. Der 3-DCG-Datenstrom-Übermittlungsabschnitt 1 umfasst einen Skelettstruktur-Strom-Übermittlungsabschnitt 11 zum Erzeugen eines Skelett-Datenstroms Ss des Avatars, einen Bewegungsstrom-Übermittlungsabschnitt 12 zum Erzeugen eines Bewegungsdatenstroms Sm des Avatars, einen Audiostrom-Übermittlungsabschnitt 13 zum Erzeugen des Audiodatenstroms Sa des Avatars, einen Stromumsetzer 14 zum Durchführen einer Kodierung zum Umsetzen des Skelett-Datenstroms Ss, des Bewegungsdatenstroms Sm und des Audiodatenstroms Sa des Avatars in ein vorbestimmtes For mat und einen Zustandskontroller 15 zum Steuern von Zuständen wie einer Identität (ID) des Clients und eines Zustandes des Avatars in der Vorrichtung 100.
  • Der Stromumsetzer 14 ist mit dem Skelett-Strukturstrom-Übermittlungsabschnitt 11 und dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 in bidirektionaler Weise gekoppelt und kodiert den Skelett-Datenstrom Ss des Avatars in einen Skelett-Datenstrom Ss1, um so den Skelett-Datenstrom Ss1 dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 zuzuführen. In ähnlicher Weise ist der Stromumsetzer 14 mit dem Bewegungsstrom-Übermittlungsabschnitt 12 und dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 in bidirektionaler Weise gekoppelt und kodiert den Bewegungsdatenstrom Sm des Avatars in einen Bewegungsdatenstrom Sm1, um so den Bewegungsdatenstrom Sm1 dem Übertragungsabschnitt 2 für dreidimensionalen Datenstrom zuzuführen. Ferner ist der Stromumsetzer 14 mit dem Audiostrom-Übermittlungsabschnitt 13 und dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 in bidirektionaler Weise gekoppelt und kodiert den Audiodatenstrom Sa in einen Audiodatenstrom Sa1, um so den Audiodatenstrom Sa1 dem 3-DCG-Daten-Übertragungsabschnitt 2 zuzuführen.
  • In Antwort auf das von dem Client PCC übermittelte Anforderungssignal Sr veranlasst der 3-DCG-Datenstrom-Übermittlungsabschnitt 1 den Skelett-Strukturstrom-Übermittlungsabschnitt 11, den Bewegungsstrom-Übermittlungsabschnitt 12 und den Audiostrom-Übermittlungsabschnitt 13, den Skelett-Datenstrom Ss, den Bewegungsdatenstrom Sm und den Audiodatenstrom Sa jeweils zu erzeugen und an den Stromumsetzer 14 auszugeben. Der Skelett-Datenstrom Ss umfasst hierarchische Daten zur Definition einer hierarchischen Beziehung einer Skelettstruktur und Information, die für einen Ausgangszustand der hierarchischen Daten, Zustände von Gelenken eines Skeletts, eine Form, die dem Skelett entspricht, und eine Beziehung entsprechend der Skelettstruktur repräsentativ ist. Der Bewegungsdatenstrom Sm umfasst Information zu grundsätzlichen Bewegungen der Skelettstruktur. Der Audiodatenstrom Sa umfasst Information, die für einen Ton repräsentativ ist, der synchron mit einer Bewegungsinformation ist, die durch den Bewegungsdatenstrom Sm ausgedrückt ist.
  • Der Stromumsetzer 14 vermittelt spezifische Identifikationsinformation jeweils zu den Datenströmen Ss, Sm und Sa, um so den Skelett-Datenstrom Ss1, den Bewegungsdatenstrom Sm1 und den Audiodatenstrom Sa1 eines unterschiedlichen Formats zu erzeugen, und gibt die Datenströme Ss1, Sm1 und Sa1 an den 3-DCG-Datenstrom-Übertragungsabschnitt 2 aus. Wie zuvor beschrieben, können vorzugsweise ein Format der Virtual Reality Modeling Language (VRML) oder ein erweitertes Format der VRML vorzugsweise als das Format der Datenströme Ss1, Sm1 und Sa1 verwendet werden. Das Format der VRML ist in der VRML Ver.2.0 standardisiert. Derweil können CG-Formdaten, die nicht über einen Strom übermittelt werden müssen, zuvor mittels eines Netzes unter Verwendung der gewöhnlichen Hypertext Markup Language (HTTP) übermittelt werden oder aus Dateien auf einer lokalen Maschine gelesen werden.
  • 3 zeigt einen detaillierten Aufbau des Empfangsabschnitts 3 für dreidimensionalen CG-Datenstrom. In der gleichen Weise wie der 3-DCG-Datenstrom-Übermittlungsabschnitt 1, ist der 3-DCG-Datenstrom-Empfangsabschnitt 2 mit dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 in bidirektionaler Weise gekoppelt, um so die Anforderungssignale Sr des Clients PCC und des Servers PCS auszutauschen. Der 3-DCG-Datenstrom-Empfangsabschnitt 3 umfasst einen Stromumsetzer 31, einen Skelett-Strukturstrom-Empfangsabschnitt 32, einen Bewegungsstrom-Empfangsabschnitt 33 und einen Audiostrom-Empfangsabschnitt 34.
  • Der Stromumsetzer 31 ist mit dem Übertragungsabschnitt 2 für dreidimensionalen CG-Datenstrom und dem Skelett-Strukturstrom-Empfangsabschnitt 32 in bidirektionaler Weise gekoppelt. Der Stromumsetzer 31 wandelt ein Format des Skelett-Datenstroms Ss, das von dem 3-DCG-Datenstrom-Übermittlungsabschnitt 1 über den 3-DCG-Datenstrom-Übertragungsabschnitt 2 eingegeben wurde, zurück, um so den Skelett-Datenstrom Ss1 in den originalen Skelett-Datenstrom Ss zu dekodieren, und führt den Skelett-Datenstrom Ss dem Skelett-Strukturstrom-Empfangsabschnitt 32 zu. Ebenso ist der Stromumsetzer 31 mit dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 und dem Bewegungsstrom-Empfangsabschnitt 33 in bidirektionaler Weise gekoppelt und dekodiert den Bewegungsdatenstrom Sm1 in den Bewegungsdatenstrom Sm, um so den Bewegungsdatenstrom Sm dem Bewegungsstrom-Empfangsabschnitt 33 zuzuführen. Zusätzlich ist der Stromumsetzer 31 mit dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 und dem Audiostrom-Empfangsabschnitt 34 gekoppelt und dekodiert den Audiodatenstrom Sa1 in den Audiodatenstrom Sa, um so den Audiodatenstrom Sa dem Audiostrom-Empfangsabschnitt 34 zuzuführen.
  • Der Skelett-Datenstrom Ss1, der Bewegungsdatenstrom Sm1 und der Audiodatenstrom Sa1, die von dem 3-DCG-Datenstrom-Übermittlungsabschnitt 1 übermittelt werden, werden nämlich dem Stromumsetzer 31 mittels des 3-DCG-Datenstrom-Übertragungsabschnitts 2 eingegeben. Der Stromumsetzer 31 setzt die eingegebenen Datenströme Ss1, Sm1 und Sa1 in das originale Format bei Bedarf zurück, um so die Datenströme Ss1, Sm1 und Sa1 jeweils in den Skelett-Datenstrom Ss, den Bewegungsdatenstrom Sm und den Audiodatenstrom Sa zu dekodieren, und gibt die Datenströme Ss, Sm und Sa jeweils an den Skelett-Strukturstrom-Empfangsabschnitt 32, den Bewegungsstrom-Empfangsabschnitt 33 und den Audiostrom-Empfangsabschnitt 34 aus. Wie oben beschrieben, wird der kodierte 3-DCG-Datenstrom DS1, der von dem 3-DCG-Übertragungsabschnitt 2 übertragen wird, in den 3-DCG-Datenstrom DS durch den Stromumsetzer 31 dekodiert und der 3-DCG-Datenstrom DS wird als der Skelett-Datenstrom Ss, der Bewegungsdatenstrom Sm und der Audiodatenstrom Sa jeweils von dem Skelett-Strukturstrom-Empfangsabschnitt 32, dem Bewegungsstrom-Empfangsabschnitt 33 und dem Audiostrom-Empfangsabschnitt 34 empfangen.
  • Im Folgenden wird der Betrieb der Vorrichtung 100 kurz beschrieben. In Antwort auf die Anforderungssignale Sr von einer Mehrzahl der Clients PCC übermittelt der 3-DCG-Datenstrom-Übermittlungsabschnitt 1 des Servers PCS die hierarchischen Daten zur Definition der hierarchischen Beziehung der Skelettstruktur des Avatars und Daten zum Ausgangszustand der hierarchischen Daten, beschränkende Bedingungen der Gelenke des Skeletts, eine Form entsprechend dem Skelett und eine Beziehung entsprechend der Skelettstruktur als den Strom. Der Stromumsetzer 14 führt eine Formatumsetzung und Kompression des 3-DCG-Datenstroms DS aus, um so den kodierten Datenstrom DS1 zu erzeugen. Wenn der 3-DCG-Datenstrom DS von einem zusammengesetzten Typ ist, wird der 3-DCG-Datenstrom DS in den separaten Strom für Bewegung oder Ton aufgeteilt und der Skelett-Datenstrom Ss wird bei Bedarf komprimiert.
  • Derweil sind Skelett-Daten des Avatars im Detail in der japanischen Patentanmeldung No. 9-100453 beschrieben, die am 17. April 1997 von dem vorliegenden Anmelder eingereicht wurde. Die Struktur von Skelettdaten des Avatars wird jedoch mit Bezug auf die 9 und 10 später kurz beschrieben werden.
  • Erste und zweite Beispiele des Standartformats VRF des 3-DCG-Datenstroms DS der vorliegenden Erfindung sind im Folgenden jeweils mit Bezug auf die 4 und 5 beschrieben. Im ersten Beispiel des Formats VRF in 4 wird jeder Datenstrom, beispielsweise der Skelett-Datenstrom Ss, von einem Haupt-Datenkopf MH, einem Unter-Datenkopf SH und einem Datenkörper DB gebildet. Die Art der Daten, die Reihenfolge der Daten, eine Unterscheidung zwischen Kompression und Nicht-Kompression, eine Startzeit und eine Stopzeit des Stroms (oder eine Bild-Nummer), ein Vorliegen oder ein Nicht-Vorliegen einer Schleife, ein Vorliegen oder ein Nicht-Vorliegen eines Zeitstempels, der für eine synchrone Wiedergabe verwendet wird, ein Versatz zum Zeitpunkt der Wiedergabe, usw. werden in den Haupt-Datenkopf MH geschrieben. Die Größe der Daten usw. werden in den Unter-Datenkopf SH geschrieben, der mit dem Datenkörper DB ein Paar bildet. Außer wenn es in der folgenden Beschreibung anderweitig angegeben ist, werden der Skelett-Datenstrom Ss, der Bewegungsdatenstrom Sm und der Audiodatenstrom Sa in diesem Format VRF ausgedrückt.
  • Im zweiten Beispiel des Formats VRF in 5, das auf einen Datenstrom von zusammengesetztem Typ gerichtet ist, werden entweder Bewegungsdaten MD und Audiodaten AD oder Bewegungsdaten MD und Bewegungsdaten MD nacheinander in einem Strom angeordnet. In diesem Fall sollten die ersten und zweiten Daten, die nacheinander angeordnet sind, üblicherweise miteinander zum Zeitpunkt der Wiedergabe synchronisiert sein. Die Bewegungsdaten MD oder die Audiodaten AD sind in geeigneter Weise in kleine Einheiten unterteilt, die „Pakete" genannt werden und jeweils eine Länge haben, die zur Synchronisation nötig ist, wobei die Pakete angeordnet sind. Diese Reihenfolge der Daten wird in dem Haupt-Datenkopf MH bestimmt. Als Beispiele der oben angeführten Pakete zeigt 6 Pakete eines Animationsstroms und 7 zeigt Pakete eines Bewegungsstroms.
  • Im Folgenden wird die Datenstruktur des Skelett-Datenstroms Ss und des Bewegungsdatenstroms Sm des Avatars mit Bezug auf die 9, 10 und 11 beschrieben. Zunächst zeigt 9 eine grundsätzliche Skelettstruktur. Aus Gründen der Übersichtlichkeit wird eine Skelettstruktur des Ellenbogens des Avatars beschrieben. Es sind nämlich zwei Glieder LK1 und LK2 miteinander in hierarchischer Beziehung durch ein Gelenk J verbunden. Unter beispielsweise der Annahme, dass das Glied LK1 ein Oberarm und das Glied LK2 ein Unterarm ist, wird eine solche vertikale hierarchische Struktur gebildet, bei der das Glied LK1 ein Elternteil und das Glied LK2 ein Kind ist.
  • Dann zeigt 10 eine allgemeine hierarchische Struktur eines Ganzes eines Avatars. In 10 entspricht jeder Block, der in durchgezogenen Linien gezeigt ist, dem Gelenk J von 9 und jeder Block, der mit einer durchgezogenen Linie gezeigt ist, steht für eine Grenze eines jeden hierarchischen Systems. In diesem Beispiel sind nämlich drei Systeme R1, R2 und R3 von einer Wurzel R eines Hauptkörpers geführt. In dem primären System R1 schreiten die Leiste JR1-1 des rechten Beins, das rechte Knie JR1-2, der rechte Knöchel JR1-3 und die rechte Zehenspitze JR1-4 hierarchisch tiefer fort, so dass das rechte Beinsystem R1, das mit der Wurzel R des Avatars verbunden ist, gebildet wird. In ähnlicher Weise wird das linke Beinsystem R2 von der Leiste JR2-1 des linken Beins, dem linken Knie JR2-2, dem linken Knöchel JR2-3 und der linken Zehenspitze JR2-4 gebildet. Da jedoch das System R3 eine obere Körperhälfte repräsentiert, zweigen drei sekundäre Systeme R31, R32 und R33 von der Hüfte JR3-1 ab. Das sekundäre System R31 bildet ein rechtes Armsystem, das von einer Hierarchie des rechten Nackens JR31-1, der rechten Schulter JR31-2, dem rechten Ellenbogen JR31-3, dem rechten Handgelenk JR31-4 und der rechten Hand JR31-5 gebildet wird. In ähnlicher Weise bildet das sekundäre System R32 ein linkes Armsystem, das von einer Hierarchie des linken Nacken JR32-1, der linken Schulter JR32-2, dem linken Ellenbogen JR32-3, dem linken Handgelenk JR32-4 und der linken Hand JR32-5 gebildet wird. Das sekundäre System R33 bildet ein Kopfsystem, das von einer Hierarchie des Halses JR33-1 und des Scheitels JR33-2 gebildet wird.
  • Wenn die Hierarchie jedes Systems weiter vertieft und in weitere Schichten aufgeteilt wird, ist es derweil möglich, den Avatar mit einem Freiheitsgrad der Bewegung zu repräsentieren, der sich mehr dem eines tatsächlichen Menschen annähert. Wenn Finger für die rechte und linke Hand JR31-5 und JR32-5 vorgesehen sind, können beispielsweise 15 Gelenke, die den Gelenken jeder Hand entsprechen, vorgesehen werden.
  • 11 zeigt ein Format, bei dem Bewegungsdaten, die der oben erwähnten Skelettstruktur (Ausgangswert) entsprechen, in dem Bewegungsdatenstrom Sm aufgelistet sind. Die grundlegenden Bewegungsdaten sind zeitliche Reihendaten eines Rotationswinkels, bei denen ein Winkel zum Drehen eines jeden Gelenks um eine X-Achse, eine Y-Achse und eine Z-Achse eine lokalen Koordinatensystems mit dem Ablauf von Zeit ausgedrückt sind. Darüber hinaus sind die grundlegenden Bewegungsdaten zeitliche Reihendaten, die drei Elemente von Positionskoordinaten X, Y und Z der Wurzel R und drei Elemente von Richtungsvektoren der Position der Wurzel R in einem globalen Koordinatensystem aufweisen. Die auf diese Weise angegebenen Daten werden zu einer Mehrzahl von Zeiten, die der Anzahl von Bildern entspricht, die für eine zeitliche Serie nötig ist, wiederholt und in dem Bewegungsdatenstrom Sm aufgezeichnet.
  • Die Verarbeitung im Client PCC wird mit erneutem Bezug auf 3 beschrieben. Der Skelett-Strukturstrom-Empfangsabschnitt 32, der Bewegungsstrom-Empfangsabschnitt 33 und der Audiostrom-Empfangsabschnitt 34 empfangen jeweils den Skelett-Datenstrom Ss, den Bewegungsdatenstrom Sm und den Audiodatenstrom Sa, der von dem 3-DCG-Datenstrom-Übertragungsabschnitt 2 übertragen wird. Üblicherweise werden in dem Computer PCC, der an der Empfangsseite angeordnet ist, eine nötige Anzahl von Prozessen (oder Threads) zum Empfangen der jeweiligen Ströme gleichzeitig erzeugt. Diese Prozesse und der Zustandscontroller 15 (2), der an der Übermittlungsseite des 3-DCG-Datenstrom-Übermittlungsabschnitts 1 angeordnet ist, kommunizieren miteinander mittels der Anforderungssignale SR und überwachen die Anzahl und den Zustand der jeweiligen Ströme zu jedem Zeitpunkt.
  • Darüberhinaus wird in dem Skelett-Strukturstrom-Empfangsabschnitt 32, dem Bewegungsstrom-Empfangsabschnitt 33 und dem Audiostrom-Empfangsabschnitt 34 zu jedem Zeitpunkt ein Puffern der Ströme in einem Speicher (oder gemeinsamem Puffer) durch eine Mehrzahl der Prozesse zum Emp fangen jedes Stroms durchgeführt. Diese gepufferten Ströme liefern die Datenströme Ss, Sm und Sa zu dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum durch eine Synchronisation in der Zeit zwischen den Strömen. Derweil wird der Skelett-Strukturstrom auf Basis der CG-Formdaten reproduziert, die zuvor über ein Netz unter Verwendung des herkömmlichen HTTP übertragen wurden oder von Dateien aus einer lokalen Maschine gelesen wurden, wie zuvor beschrieben. Darüberhinaus werden der Bewegungsdatenstrom Sm und der Audiodatenstrom Sa auf einer Echtzeitbasis synchron mit dem oben erwähnten Skelett-Strukturstrom an den Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum geliefert.
  • In dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum wird 3-DCG, die in dem 4-DCG-Datenstrom-Übermittlungsabschnitt 1 des Servers PCS auf Basis des Stroms, der von dem 3-DCG-Datenstrom-Empfangsabschnitt 3 eingegeben wurde, erzeugt wurde. Der Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum gibt nämlich einen dreidimensionalen virtuellen Raum unter Verwendung eines VRML-Browsers zum Wiedergeben eines dreidimensionalen virtuellen Raums oder ähnlichem wieder. In Antwort auf einen Auslöser von dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum, werden die temporär in den gemeinsamen Puffern gespeicherten Datenströme simultan von den Puffern an die Prozesse der Stromverarbeitungsabschnitte 32, 33 und 34 gesendet und dann an die bestimmten Knoten des dreidimensionalen virtuellen Raums, die durch die VRML definiert sind. In den Knoten des VRML sind zuvor der dreidimensionale Raum, Objekte, die Töne erzeugen, und eine Form von Skelettgelenken bestimmt.
  • 12 und 13 zeigen eine dreidimensionale Szene, die in der Notation der VRML Ver.2.0 beschrieben ist. 12 zeigt eine Beschreibung der VRML und 13 zeigt eine Szenenstruktur, die dieser Beschreibung entspricht. In 13 sind Kreise als „Knoten" benannt und die als „Form" bezeichneten Knoten entsprechen Objekten, die im dreidimensionalen Raum vorhanden sind. Der als „Umformen" bezeichnete Knoten entspricht derweil Translation, Rotation usw. Darüberhinaus wird eine hierarchische Information zu der dreidimensionalen Form durch eine Schachtelbeziehung ausgedrückt, die durch Klammern getrennt ist. 12 zeigt ein Beispiel, bei dem Werte von Parametern, die auf „Translati on" und „Rotation" folgen, geändert sind, wobei die zwei Objekte „Form" entsprechend den geänderten Werten der Parameter translatiert und rotiert werden.
  • Durch Ändern des Werts von „Rotation" eines jeden Gelenks einer spezifischen dreidimensionalen Skelettstruktur in zeitlicher Reihenfolge, der von dem Bewegungsstrom-Empfangsabschnitt 33 von 3 empfangen wird, wird die Position jedes Gelenks der Skelettstruktur entsprechend der oben angeführten grundsätzlichen Konfiguration geändert. Ein Mensch oder ähnliches mit der Skelettstruktur in dem dreidimensionalen virtuellen Raum wird nämlich auf Echtzeitbasis durch Daten des Bewegungsstroms bewegt. Bezüglich des Audiostroms wird ein Objektknoten „Form" entsprechend einer Tonquelle in die dreidimensionale Szene gesetzt, die durch eine in 13 gezeigte Baumstruktur ausgedrückt ist. In Antwort auf ein Auslöseereignis des Benutzers, wird der Audiostrom von dem Audiostrom-Empfangsabschnitt 34 von 3 an den Knoten „Form" (12 und 13) entsprechend der Tonquelle geliefert. Ein Sensorknoten des VRML wird üblicherweise als Auslöser des Benutzers verwendet. Im Fall eines gewöhnlichen Personal Computers werden die Audiodaten an den Tonerzeugungsabschnitt 5 so wie sie sind geliefert, um ausgegeben zu werden. Der Tonerzeugungsabschnitt 5 wird von einem digitalen Signalprozessor (DSP) zur Tonwiedergabe, einer Tonquelle, usw. gebildet. Formate des „Wav", „Aiff", „MIDI", usw. werden im Allgemeinen für die Audiodaten verwendet. Allerdings können PCM-Daten für Sprache oder ähnliches verwendet werden. Da die interne Zeit üblicherweise in dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum kontrolliert wird, können der Bewegungsstrom und der Audiostrom üblicherweise miteinander durch Bezeichnen einer Startzeit und Stopzeit synchronisiert werden.
  • 14 zeigt eine Wiedergabe des CG-Stroms in dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum in zeitlicher Reihenfolge. Wie oben beschrieben, wird der Audiostrom von dem Tonerzeugungsabschnitt 5 erzeugt und durch Setzen einer Startzeit T0 und einer Stopzeit Ti wiedergegeben. Der Bewegungsstrom ändert sich entsprechend der Leistung des Personal Computers an der Empfangsseite und der Schwierigkeit der dreidimensionalen Szene. Daher kann die Bewegung hinter dem Ton zurückbleiben oder ihm vorauseilen. Um den Ton und die Bewegung durch dessen Eliminieren zu synchronisieren, wer den Zeitstempel TS in dem Bewegungsdatenstrom Sm und dem Audiodatenstrom Sa zuvor gesetzt, die voneinander getrennt sind. Wenn die Zeitstempel TS verwendet werden, wird es einfach, die Wiedergabe von Bewegung mit der Wiedergabe von Ton an Positionen der Zeitstempel TS des Audiodatenstroms Sa zu synchronisieren. Wenn nämlich gefunden wird, dass die Wiedergabe der Bewegung hinter der Wiedergabe des Tons an einer beliebigen Position der entsprechenden Zeitstempel TS zurückbleibt, wird eine Verarbeitung in dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum durchgeführt, in der eine folgende Wiedergabe von Bewegung bis zu der Position der entsprechenden Zeitstempel TS übersprungen wird. Wenn derweil eine Wiedergabe von Bewegungen an einer Position von entsprechenden Zeitstempeln TS abgeschlossen wurde, wird in dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum eine Verarbeitung durchgeführt, bei der eine Wiedergabe von Bewegung wiederholt wird, bis eine Wiedergabe von Ton an der Position der entsprechende Zeitstempel TS abgeschlossen ist. Wenn alternativ ein CG-Datenstrom von zusammengesetztem Typ wie in einem unteren Bereich von 14 dargestellt verwendet wird und der Datenstrom in minimale Pakete zur Synchronisation unterteilt ist, können Ton und Bewegung synchron zwischen den Paketen wiedergegeben werden.
  • Der grundsätzliche Betrieb des Stromautorenmittels, auf das zuvor mit Bezug auf 1 verwiesen wurde, wird im Folgenden kurz beschrieben. Das Stromautorenmittel teilt den Skelett-Datenstrom Ss, den Bewegungsdatenstrom Sm und den Audiodatenstrom Sa, die jeweils eine beliebige Datenlänge aufweisen, in Datensegmente auf, die beliebige Längen aufweisen, die zur Synchronisation nötig sind, um so die Datenströme Ss, Sm und Sa in die in 4 und 5 gezeigten Pakete umzusetzen. Die Datenlänge des Skelett-Datenstroms Ss, die Datenlänge des Bewegungsdatenstroms Sm und die Datenlänge des Audiodatenstroms Sa sind jeweils beliebig durch solche Bedingungen bestimmt, wie die Anzahl von Gelenken und dem Freiheitsgrad, durch das Anhalten einer Bewegung und durch die Erzeugungszeit eines Tons. Darüberhinaus werden Informationen zu den Zeitstempeln TS, die für eine Synchronisation benötigt werden, zu jedem Strom hinzugefügt, wie in 14 gezeigt. Darüber hinaus können die Ströme miteinander bei Bedarf verbunden werden, um so einen neuen Strom zu bilden. Die so editierten Ströme werden in dem Server PCS aufgenommen.
  • Im Folgenden wird ein Betrieb der Vorrichtung 100 der vorliegenden Erfindung mit Bezug auf die Ablaufdiagramme der 15, 16 und 17 beschrieben. 15 zeigt ein Teilen eines dreidimensionalen Raums in einem sogenannten Multi-User-Netz, in dem der Server PCS und eine Mehrzahl der Clienten PCC miteinander wie in 8 in der Vorrichtung 100 gekoppelt sind. In 8 ist im Folgenden ein Fall beschrieben, bei dem der Client PCC1 neu mit dem Server PCCS gekoppelt ist, während eine Mehrzahl der Clients PCC2 bis PCCn mit dem einzelnen Server PCS gekoppelt sind und ein dreidimensionaler Raum durch den Server PCS und die Clients PC2 bis PCCn geteilt wird. In Schritt S1 fordert der Client PCC1 eine ID von dem Server PCS an. In Schritt S3 gibt der Server PCS die ID an den Client PCC1 aus. Zu diesem Zeitpunkt erscheint ein Avatar des Clients PCC1 im dreidimensionalen virtuellen Raum des Clients PCC1 und des Servers PCS. In Schritt S5 wird beurteilt, ob der Benutzer den Avatar am Client PCC1 bedient hat. Im Fall des „JA" in Schritt S5 schreitet der Programmfluss zu Schritt S7 fort. Andernfalls wird die Entscheidung in Schritt S5 wiederholt ausgeführt. In Schritt S7 werden Bildmodifikationsdaten DM des Bewegungsdatenstroms Sm einschließlich Informationen zur Bewegung des Avatars, die auf der Bedienung des Users basieren, von dem 3-DCG-Datenstrom-Empfangsabschnitt 3 des Clients PCC1 erzeugt und über den Übertragungsabschnitt TR an den 3-DCG-Datenstrom-Übermittlungsabschnitt 1 des Servers PCCs übermittelt. Derweil identifiziert der Server PCS den Benutzer, d. h. den Client PCC1, auf Basis der ID, die zusammen mit den Bildmodifikationsdaten DM übermittelt wird.
  • In Schritt S9 wird beurteilt, ob die Bildmodifikationsdaten DM und die ID, die von dem Client PCC1 an den Server PCS übermittelt wurden, an irgendeinen der Clients PC2 bis PCCn geliefert werden sollen. Derweil wird diese Entscheidung in Schritt S9 üblicherweise auf Basis des Anforderungssignals Sr vom Client PCC1 durchgeführt. Sie kann allerdings auch zuvor vom Client PCC1 an den Server PCS in Schritt S1 gegeben worden sein. In Schritt S11 wird eine Anfrage, an welchen der Clients PCC2 bis PCCn, die derzeit mit dem Server PCS gekoppelt sind, die Bildmodifikationsdaten DM geliefert werden sollen, an den Client PCC1 gerichtet und eine Antwort auf die Anfrage wird von dem Client PCC1 empfangen. Es ist jedoch unnötig zu sagen, dass eine solche Information in Schritt S11 sowohl beim Client PCC als auch bei Server PCS zuvor bestimmt werden kann. Nachdem Informationen zur Bewegung des Avatars des Clients Pool mittels der Bildmodifikationsdaten DM in Schritt S13 an den Client übermittelt wurden, die der durch den Client PCC1 in Schritt S11 bezeichnet wurde, kehrt der Programmfluss zu Schritt S5 zurück und die eine Verarbeitung der Schritte von Schritt S5 bis S13 wird wiederholt, bis der Client PCC1 das Netz verlässt.
  • Unter Bezug auf 16 wird dann eine Übermittlung und ein Empfang von Daten zu einem dreidimensionalen virtuellen Raum in einem sogenannten Einzel-User-Netz, in dem der einzelne Client PCC1 mit dem Server PCS wie in 1 gezeigt gekoppelt ist, in der Vorrichtung 100 beschrieben. Zu Beginn wird in Schritt S21 ein Objekt, von dem der 3-DCG-Datenstrom DS, der für einen dreidimensionalen virtuellen Raum repräsentativ ist, gelesen werden soll, bestimmt. Im Fall, dass der 3-DCG-Datenstrom DS in dem Client PCC1 existiert, wird beispielsweise in Schritt S21 eine „NEIN"-Entscheidung getroffen und der Programmfluss schreitet zu Schritt S23 fort. In Schritt S23 wird der 3-DCG-Datenstrom DS aus einem Speicher (nicht gezeigt) des Clients PCC1 gelesen und dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum des PCC1 zugeführt, in dem ein dreidimensionales virtuelles Raumbild erzeugt wird. Andererseits, im Fall des „JA" in Schritt S21, schreitet der Programmfluss zu Schritt S25 fort. In Schritt S25 wird der 3-DCG-Datenstrom DS1 aus einem Speicher (nicht gezeigt) des Servers PCS gelesen und dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum des Pool zugeführt, in dem ein dreidimensionales virtuelles Raumbild erzeugt wird. Der Client PCC1 fordert einen ID von dem Server PCS in Schritt S27 an und der Server PCS gibt den ID an den Client PCC1 in Schritt S29 aus.
  • In Schritt S31 wird ein Objekt bestimmt, von dem der Client PCC1 den 3-DCG-Datenstrom DS des Avatars liest. Im Fall, dass der 3-DCG-Datenstrom DS des Avatars in dem Client PCC1 existiert, fordert beispielsweise das Anforderungssignal Sr von dem Client PCC1 nicht, dass der 3-DCG-Datenstrom DS des Avatars von dem Server PCS gelesen werden soll, so dass eine „NEIN"-Entscheidung in Schritt S31 getroffen wird, und daher der Programmfluss zu Schritt S33 fortschreitet. In Schritt S33 wird der 3-DCG-Datenstrom DS des Avatars aus dem Speicher des Clients PCC1 gelesen und dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum des Clients PCC1 zugeführt. Dann wird ein Bild des Avatars in dem dreidimensionalen virtuellen Raum auf Basis des 3-DCG-Datenstroms DS des Avatars erzeugt. Im Gegensatz dazu, im Fall des „JA" in Schritt S31, schreitet der Programmfluss zu Schritt S35 weiter. In Schritt S35 werden der Skelett-Datenstrom Ss und der Bewegungsdatenstrom Sm des Avatars auf Basis des Anforderungssignals Sr von dem Client PCC1 an den Client PCC1 durch den PCS übertragen, wobei sie bei Bedarf kodiert werden (Formatumsetzung). In Schritt S37 werden der Skelettdatenstrom Ss (Ss1) und der Bewegungsdatenstrom Sm (Sm1) des Avatars, die von dem Server PCS übertragen sind, von dem Client PCC1 empfangen.
  • In Schritt S39 wird beurteilt, ob der Skelett-Datenstrom Ss (Ss1) und der Bewegungsdatenstrom Sm (Sm1), die von dem Client PCC1 empfangen wurden, einem Dekodieren unterworfen werden sollen (rückwärtige Formatumsetzung). Im Fall des „NEIN" in Schritt S39 schreitet der Programmfluss zu Schritt S41 fort. In Schritt S41 werden der Skelettdatenstrom Ss und der Bewegungsdatenstrom Sm dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum über den Skelett-Struktur-Empfangsabschnitt 32 und den Bewegungsstrom-Empfangsabschnitt 33 zugeführt, ohne dass sie einer rückwärtigen Formatumsetzung durch den Stromumsetzer 31 unterworfen wären. Andererseits, im Fall des „JA" in Schritt S39, schreitet der Programmfluss zu Schritt S43 fort. In Schritt S43 werden der Skelett-Datenstrom Ss1 und der Bewegungsdatenstrom Sm1 einem Dekodieren (rückwärtigem Formatumsetzen) in den Skelett-Datenstrom Ss und den Bewegungsdatenstrom Sm durch den Stromumsetzer 31 unterworfen und dann werden der Skelett-Datenstrom Ss und der Bewegungsdatenstrom Sm jeweils in ihre vorbestimmten Einheiten durch den Skelett-Struktur-Stromempfangabschnitt 32 und den Bewegungsstrom-Empfangsabschnitt 33 unterteilt, um dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum zugeführt zu werden. Auf diese Weise wird ein dreidimensionales virtuelles Raumbild, das Bewegungsänderungen des Avatars wiedergibt, in dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum erzeugt.
  • Dann wird eine synchrone Verarbeitung des 3-DCG-Datenstroms DS zum Zeitpunkt der Wiedergabe der 3-DCG durch den Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum des Clients PCC mit Bezug auf 17 beschrieben. In Schritt 51 wird eine interne Uhr (Zeitsensor) durch den Erzeugungsab schnitt 4 für dreidimensionalen virtuellen Raum in Antwort auf ein Ausgeben eines Befehls zum Starten eines Zeichnens einer 3-DCG-Szene zurückgesetzt. Die jeweiligen Clients PCC setzen ihre internen Uhren (Zeitsensoren) nämlich in Antwort auf eine Anforderung von dem Server PCS simultan zurück. In Schritt S53 wird beurteilt, ob der Benutzer den Avatar am Client PCC1 bedient hat. Im Fall des „JA" in Schritt S53 schreitet der Programmfluss zu Schritt S5 fort. Andernfalls wird die Entscheidung in Schritt S53 wiederholt durchgeführt. In Schritt S55 werden der Skelett-Datenstrom Ss, der Bewegungsdatenstrom Sm und der Audiodatenstrom Sa, die in dem VRML-Format beschrieben sind, aus einem primären Speicher (nicht gezeigt) des Erzeugungsabschnitts 4 für dreidimensionalen virtuellen Raum gelesen. In Schritt S57 wird beurteilt, auf Basis einer Beschreibung in dem Haupt-Datenkopf MH eines jeden Datenstroms, ob eine synchrone Wiedergabe notwendig ist. Im Fall des „NEIN" in Schritt S57 schreitet der Programmfluss zu Schritt S59 fort. Zu einem Zeitpunkt, der in dem VRML-Format durch die interne Uhr (Zeitsensor) bestimmt ist, wird nicht nur der Bewegungsdatenstrom Sm wiedergegeben, sondern auch der Audiodatenstrom Sa von dem Tonerzeugungsabschnitt 5 in Schritt S59 wiedergegeben. Wenn ein Audiodatenformat zusammen mit einem Startsignal von dem Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum an das Tonerzeugungsabschnitt 5 gesandt wird, wird nämlich eine Tonwiedergabe sofort durch das Tonerzeugungsabschnitt 5 gestartet.
  • Im Gegensatz dazu, im Fall des „JA" in Schritt S57, schreitet der Programmfluss zu Schritt S61 fort. In Schritt S61 wird beurteilt, ob Inhalte des 3-DCG-Datenstrom DS den Audiostrom Sa darstellen. Im Fall des „JA" in Schritt S61 schreitet der Programmfluss zu Schritt S63 fort. In Schritt S63 wird Information zu den Zeitstempeln TS, die in 14 gezeigt sind, durch den Tonerzeugungsabschnitt 5 zurück in den Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum gegeben. Andererseits, im Fall, dass Inhalte des 3-DCG-Datenstroms DS CG-Daten sind, wird in Schritt S61 eine „NEIN"-Entscheidung getroffen und der Programmfluss schreitet zu Schritt S65 fort. In Schritt S65 wird die Information zu den Zeitstempeln TS, die von dem Tonerzeugungsabschnitt 5 zurückgeführt wurden, in den Erzeugungsabschnitt 4 für dreidimensionalen virtuellen Raum als ein synchrones Signal eingegeben, oder, im Fall von Tonpaketen, es wird das Endsignal in den Erzeugungsabschnitt 4 für dreidimensionalen virtu ellen Raum als ein synchrones Signal eingegeben. In Schritt S67 wird auf Basis der oben erwähnten Zeitstempel TS beurteilt, ob ein Lesen von CG-Daten abgeschlossen ist. Im Fall des „JA" in Schritt S67 schreitet der Programmfluss zu Schritt S69 fort. In Schritt S69 wird die Wiedergabe von CG sofort ausgesetzt und der Programmfluss schreitet zu Schritt S71 fort. Derweil wird ein Wiedergabe-Timing der CG durch die interne Uhr (Zeitsensor) des VRML geregelt. In Schritt S71 wird beurteilt, ob ein 3-DCG-Datenstrom DS zum weiteren Zeichnen und Wiedergeben von CG vom Server PCS den Erzeugungsabschnitt für dreidimensionalen virtuellen Raum eingegeben wird. Im Fall des „JA" in Schritt S71 kehrt der Programmfluss zu Schritt S51 zurück. Andernfalls wird die Entscheidung in Schritt S71 wiederholt durchgeführt. Andererseits, im Fall des „NEIN" in Schritt S67, schreitet der Programmfluss zu Schritt S73 fort. In Schritt S73 wird eine Wiedergabe von CG bis zu einem Synchronisationszeitpunkt verlängert, der von dem nächsten Zeitstempel TS angegeben wird, und der Programmfluss schreitet zu Schritt S71 fort. Auf diese Weise können die Wiedergabeströme miteinander synchronisiert werden.
  • Ein Verfahren zum Übermitteln und Empfangen der Datenströme, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, entsprechend der vorliegenden Erfindung weist die oben erwähnten Schritte der Ablaufdiagramme der 15 bis 17 auf. Programme zum Veranlassen eines Computers zum Ausführen des Verfahrens der vorliegenden Erfindung können in einem Aufzeichnungsmedium aufgezeichnet sein, das durch den Computer lesbar ist. Dazu können ein Personal Computer PC, der mit dem Internet koppelbar ist, und eine Floppy-Disk FD, die von dem Personal Computer PC lesbar ist, beispielsweise jeweils als der Computer und das Auszeichnungsmedium wie in 18 gezeigt verwendet werden.
  • Derweil ist die vorliegende Erfindung in der bisher gegebenen Beschreibung auf ein bidirektionales Kommunikationssystem im Internet gerichtet, sie kann allerdings in recht ähnlicher Weise auf ein Übermittlungssystem wie ein Satellitenübertragungssystem, ein terrestrisches Wellenübertragungssystem oder ähnliches angewendet werden, wenn das Übermittlungssystem zusammen mit dem Internet genutzt wird.
  • Wie anhand der vorstehenden Beschreibung der vorliegenden Erfindung klar ist, werden Formdaten der Skelettstruktur wie einer menschlichen Skelettstruktur als der Formdatenstrom übertragen, die grundsätzliche Bewegung des Skeletts als der Bewegungsdatenstrom geliefert und die Audiodaten werden, die die Bewegung der Skelettstruktur begleiten, als der Audiodatenstrom übertragen, zusammen mit Information zur Synchronisation und Kompression in jedem dieser Datenströme und zur Entsprechung zwischen diesen Datenströmen.
  • Daher können gemäß der vorliegenden Erfindung in Antwort auf die Anforderung des Benutzers glatte Bewegungen eines Charakters in dem Übermittlungs- und Empfangssystem basierend auf dem Netz und die Audioinformationen synchron mit den Bewegungen interaktiv übermittelt und empfangen werden und die Menge an Daten, die zu übertragen ist, kann deutlich reduziert werden.

Claims (19)

  1. Übermittlungselement (PCS) zur Verwendung in einer Vorrichtung (100) zum Übermitteln und Empfangen von Datenströmen, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, wobei die Vorrichtung (100) ein Empfangselement (PCC) und ein Übertragungsmittel (TR, 2) zum Koppeln des Übermittlungselementes (PCS) und des Empfangselementes (PCC) in bidirektionaler Weise aufweist, wobei ein Formdatenstrom (Ss), ein Bewegungsdatenstrom (Sm) und ein Audiodatenstrom (Sa), die für eine Form und eine Bewegung einer Skelettstruktur in dreidimensionaler Computergrafik, im Folgenden als 3-DCG bezeichnet, und einen mit der Bewegung synchronen Ton repräsentativ sind, jeweils von dem Übermittlungselement (PCS) an das Empfangselement (FCC) übermittelt werden, sodass das Empfangselement (PCC) die 3-DCG durch Synchronisation des Bewegungsdatenstroms (Sm) und des Audiodatenstroms (Sa) erzeugt; wobei das Übermittlungselement (PCS) gekennzeichnet ist durch: ein Übermittlungsmittel (1), das ausgebildet ist, auf einer Echtzeitbasis in Reaktion auf eine Anforderung (Sr) von dem Empfangselement (PCC) simultan den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) synchron mit dem Bewegungsdatenstrom (Sm) als eine Mehrzahl von Strömen (Ss1, Sm1, Sa1; DS1) entsprechend einem Format, insbesondere einem Virtuelle-Realität-Format, im Folgenden als VRF bezeichnet, eines vorbestimmten Datenstroms (DS) zu übermitteln, sodass das Übertragungsmittel (TR, 2) interaktiv die Ströme (Ss1, Sm1, Sa1; DS1) von dem Übermittlungselement (PCS) an das Empfangselement (FCC) übermittelt.
  2. Empfangselement (PCC) zur Verwendung in einer Vorrichtung (100) zum Übermitteln und Empfangen von Datenströmen, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, wobei die Vorrichtung (100) ein Übermittlungselement (PCS) und ein Übertragungsmittel (TR, 2) zum Koppeln des Übermittlungselementes (PCS) und des Empfangselementes (FCC) in bidirektionaler Weise aufweist, wobei ein Formdatenstrom (Ss), ein Bewegungsdatenstrom (Sm) und ein Audiodatenstrom (Sa), die für eine Form und eine Bewegung einer Skelettstruktur in 3-DCG und einen mit der Bewegung synchronen Ton repräsentativ sind, jeweils von dem Übermittlungselement (PCS) an das Empfangselement (PCC) übermittelt werden, sodass das Empfangselement (PCC) die 3-DCG durch Synchronisation des Bewegungsdatenstroms (Sm) und des Audiodatenstroms (Sa) erzeugt, wobei das Empfangselement (PCC) gekennzeichnet ist durch: ein Datenstromempfangsmittel (3), das ausgebildet ist, die von dem Übermittlungselement (PCS) über das Übertragungsmittel (TR) übermittelten Ströme zu empfangen, um so die Arten und Formate, insbesondere die Beschreibungssprache der virtuellen Realität, im Folgenden als VRML bezeichnet, der empfangenen Ströme (DS1) zu unterscheiden, und um die Ströme (Sm1, Sa1) zu empfangen, gegebenenfalls auf einer Echtzeitbasis, um die unterschiedenen Ströme (Sm1, Sa1) jeweils den für die Ströme (Sm1, Sa1) benötigten Wiederherstellungsverarbeitungen zu unterwerfen, ein Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum, das ausgebildet ist, die Form der Skelettstruktur in dem dreidimensionalen virtuellen Raum oder den dreidimensionalen virtuellen Raum unter Verwendung eines Formstromes (Ss1) der von dem Empfangselement (PCC) empfangene Ströme (DS1) oder von vorbereitend gelesenen dreidimensionalen Formdaten (DS1, DS) zu erzeugen und die Form der Skelettstruktur unter Verwendung eines Bewegungsstromes (Sm1) der Ströme (DS1) zu bewegen, und ein Tonerzeugungsmittel (5), das ausgebildet ist, im Fall dass die Ströme (DS1) einen Audiostrom (Sa1) enthalten, den Audiostrom (Sa1) synchron mit dem Bewegungsstrom (Sm1) auszugeben.
  3. Vorrichtung (100) zum Übermitteln und Empfangen von Datenströmen, die für einen dreidimensionalen virtuellen Raum repräsentativ sind, gekennzeichnet durch: ein Übermittlungselement (PCS) nach Anspruch 1, ein Empfangselement (PCC) nach Anspruch 2, und ein Übertragungsmittel (TR, 2) zum Koppeln des Übermittlungselementes (PCS) und des Empfangselementes (PCC) in bidirektionaler Weise.
  4. Vorrichtung (100) nach Anspruch 3, wobei das Übermittlungselement (PCS) über das Übertragungsmittel (TR, 2) an eine Mehrzahl von Empfangselemente (PCCn) gekoppelt ist, wobei das Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum ausgebildet ist, in Reaktion auf eine Anforderung (Sr) von einem der Empfangselemente (PCCn) eine Art und einen Abschnitt zu übermittelnder Daten zu bezeichnen, in dem von dem Datenstromempfangselement (3) wiederhergestellten Datenstrom (DS), um so die bezeichneten Daten zu steuern, wobei die Vorrichtung ferner umfasst: ein Mittel (1), das ausgebildet ist, um eine Übermittlung der gesteuerten Daten an eines der Empfangselemente (PCCn) zu setzen, sodass das Übermittlungselement (PCS, 1) die gesteuerten Daten zu dem einen der Empfangselemente (PCCn) in Reaktion auf die Anforderung (Sr) überträgt.
  5. Vorrichtung (100) nach Anspruch 3, wobei das Übermittlungsmittel (1) ein Mittel (14) aufweist, das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem zu übermittelnden Datenstrom (DS) zu unterscheiden, um so den Datenstrom (DS) auf nicht weniger als einen Datenstrom (DS) zu setzen, und den Datenstrom (DS) in vorbestimmte Teileinheiten (Pakete) zu komprimieren oder zu teilen, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei das Datenstromempfangsmittel (3) ein Mittel (31) aufweist, das ausgebildet ist, den Formstrom (Ss1), den Bewegungsstrom (Sm1) und den Audiostrom (Sa1) voneinander in den übermittelten Strömen (DS1) zu unterscheiden und den originalen Datenstrom (DS) durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis des Unterscheidungsmittels (ID, MH) wiederherzustellen, wobei das Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) zu unterscheiden, wobei die Vorrichtung (100) ferner umfasst: ein Mittel (3), das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) auf Basis des Unterscheidungsmittels (ID, MH) wiederzugeben.
  6. Vorrichtung (100) nach Anspruch 4, wobei das Übermittlungsmittel (1) ein Mittel (14) aufweist, das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem zu übermittelnden Datenstrom (DS) zu unterscheiden, um so den Datenstrom (DS) auf nicht weniger als einen Datenstrom (DS) zu setzen, und den Datenstrom (DS) in vorbestimmte Teileinheiten (Pakete) zu komprimieren oder zu teilen, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei das Datenstromempfangsmittel (3) ein Mittel (31) aufweist, das ausgebildet ist, den Formstrom (Ss1), den Bewegungsstrom (Sm1) und den Audiostrom (Sa1) voneinander in den übermittelten Strömen (DS1) zu unterscheiden und den originalen Datenstrom (DS) durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis des Unterscheidungsmittels (ID, MH) wiederherzustellen, wobei das Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) zu unterscheiden, wobei die Vorrichtung (100) ferner umfasst: ein Mittel (3), das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) auf Basis des Unterscheidungsmittels (ID, MH) wiederzugeben.
  7. Vorrichtung nach Anspruch 3, wobei das Übermittlungsmittel (1) ein Mittel (14) aufweist, das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem zu übermittelnden Datenstrom (DS) zu unterscheiden, um so für eine Mehrzahl von Bewegungen den Datenstrom (DS) auf nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen, einer Form einer ent sprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen und den Datenstrom (DS) in vorbestimmte Teileinheiten (Pakete) zu komprimieren oder zu teilen, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei das Datenstromempfangsmittel (3) ein Mittel (31) aufweist, das ausgebildet ist, den Formstrom (Ss1), den Bewegungsstrom (Sm1) und den Audiostrom (Sa1) voneinander in den übermittelten Strömen (DS1) zu unterscheiden und den originalen Datenstrom (DS) für eine Mehrzahl der Bewegungen durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederherzustellen, wobei das Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) zu unterscheiden, wobei die Vorrichtung (100) ferner umfasst: ein Mittel (4), das ausgebildet ist, für eine Mehrzahl der Bewegungen Bewegungen der Form der bezeichneten Skelettstruktur auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederzugeben.
  8. Vorrichtung (100) nach Anspruch 3, wobei das Übermittlungsmittel (1) ein Mittel (14) aufweist, das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem zu übermittelnden Datenstrom (DS) zu unterscheiden, um so für eine Mehrzahl von Bewegungen den Datenstrom (DS) auf nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen, einer Form einer entsprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen und den Datenstrom (DS) in vorbestimmte Teileinheiten (Pakete) zu komprimieren oder zu teilen, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei das Datenstromempfangsmittel (3) ein Mittel (31) aufweist, das ausgebildet ist, den Formstrom (Ss1), den Bewegungsstrom (Sm1) und den Audiostrom (Sa1) voneinander in den übermittelten Strömen zu unterscheiden und den originalen Datenstrom für eine Mehrzahl der Bewegungen durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederherzustellen, wobei das Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) zu unterscheiden, wobei die Vorrichtung ferner umfasst: ein Mittel (4), das ausgebildet ist, für eine Mehrzahl der Bewegungen Bewegungen der Form der bezeichneten Skelettstruktur basierend auf den Arten und den Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederzugeben.
  9. Vorrichtung (100) nach Anspruch 3, wobei das Übermittlungsmittel (1) ein Mittel (14) aufweist, das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem zu übermittelnden Datenstrom (DS) zu unterscheiden, um so für eine Mehrzahl von Bewegungen und Tönen den Datenstrom (DS) in nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen und der Töne, einer Form einer entsprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen und den Datenstrom (DS) in vorbestimmte Teileinheiten (Pakete) zu komprimieren oder zu teilen, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) und mit Synchroninformation (TS) des Formdatenstroms (Ss), des Bewegungsdatenstroms (Sm) und des Audiodatenstroms (Sa) zu übermitteln, wobei das Datenstromempfangsmittel (3) ein Mittel (31) aufweist, das ausgestaltet ist, den Formstrom (Ss1), den Bewegungsstrom (Sm1) und den Audiodatenstrom (Sa1) voneinander in den übermittelten Strömen (DS1) zu unterscheiden und den originalen Datenstrom für eine Mehrzahl der Bewegungen und Töne durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) oder simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederherzustellen, wobei das Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) unterscheidet, wobei die Vorrichtung (100) ferner umfasst: ein Mittel (4), das ausgebildet ist, für eine Mehrzahl der Bewegungen und der Töne Bewegungen der Form der bezeichneten Skelettstruktur auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederzugeben, und ein Mittel (4), das ausgebildet ist, den Audiodatenstrom (Sa) und den Bewegungsdatenstrom (Sm) synchron zueinander wiederzugeben.
  10. Vorrichtung (100) nach Anspruch 4, wobei das Übermittlungsmittel (1) ein Mittel (14) aufweist, das ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem zu übermittelnden Datenstrom (DS) zu unterscheiden, um so für eine Mehrzahl von Bewegungen und Tönen den Datenstrom (DS) in nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen und der Töne, einer Form einer entsprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen und den Datenstrom (DS) in vorbestimmte Teileinheiten (Pakete) zu komprimieren oder zu teilen, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) und mit Synchroninformation (TS) des Formdatenstroms (Ss), des Bewegungsdatenstroms (Sm) und des Audiodatenstroms (Sa) zu übermitteln, wobei das Datenstromempfangsmittel (3) ein Mittel (31) aufweist, das ausgestaltet ist, den Formstrom (Ss1), den Bewegungsstrom (Sm1) und den Audiodatenstrom (Sa1) voneinander in den übermittelten Strömen (DS1) zu unterscheiden und den originalen Datenstrom für eine Mehrzahl der Bewegungen und Töne durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) oder simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form, der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederherzustellen, wobei das Erzeugungsmittel (4) für dreidimensionalen virtuellen Raum ausgebildet ist, den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) zu unterscheiden, wobei die Vorrichtung (100) ferner umfasst: ein Mittel (4), das ausgebildet ist, für eine Mehrzahl der Bewegungen und der Töne Bewegungen der Form der bezeichneten Skelettstruktur auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen wiederzugeben, und ein Mittel (4), das ausgebildet ist, den Audiodatenstrom (Sa) und den Bewegungsdatenstrom (Sm) synchron zueinander wiederzugeben.
  11. Verfahren zum Übermitteln und Empfangen von Datenströmen, die für dreidimensionalen virtuellen Raum repräsentativ sind, wobei ein Formdatenstrom (Ss), ein Bewegungsdatenstrom (Sm) und Audiodatenstrom (Sa), die für eine Form und eine Bewegung einer Skelettstruktur in 3-DCG und einen mit der Bewegung synchronen Ton repräsentativ sind, jeweils von einem Übermittlungselement (PCS) an ein Empfangselement (PCC) übermittelt werden, sodass das Empfangselement (PCC) die 3-DCG durch Synchronisation des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) erzeugt, wobei das Verfahren umfasst: einen ersten Schritt (S35) des simultanen Übermittelns des Formdatenstroms (Ss), des Bewegungsdatenstroms (Sm) und des Audiodatenstrom (Sa) synchron mit dem Bewegungsdatenstrom (Sm) als eine Mehrzahl von Strömen (Ss1, Sm1, Sa1; DS1) entsprechend einem Format VRF eines vorbestimmten Datenstroms (DS) auf einer Echtzeitbasis in Reaktion auf eine Anforderung (Sr) von dem Empfangselement (PCC), einen zweiten Schritt (S21–S37) des Koppelns des Übermittlungselementes (PCS) und des Empfangselementes (PCC) in bidirektionaler Weise, um so die Ströme (Ss1, Sm1, Sa1; DS1) von dem Übermittlungselement (PCS) interaktiv an das Empfangselement (PCC) zu übertragen, einen dritten Schritt (S39, S41, S43) des Empfangens der übertragenen Ströme (DS1), um die Arten und Formate VRML der empfangenen Datenströme (DS1) zu unterscheiden und des Empfanges der Ströme (Sm1, Sa1) auf einer Echtzeitbasis, um so die unterschiedenen Ströme (Sm1, Sa1) den jeweiligen Wiederherstellungsverarbeitungen für die Ströme (Sm1, Sa1) zu unterwerfen, einem vierten Schritt (S51–S73) des Erzeugens der Form der Skelettstruktur in dem dreidimensionalen virtuellen Raum oder des dreidimensionalen virtuellen Raumes unter Verwendung eines Formstromes (Ss1) der von dem Empfangselement (PCC) empfangenen Ströme (DS1) oder vorbereitend gelesener dreidimensionaler Formdaten (DS1, DS) und des Bewegens der Form der Skelettstruktur unter Verwendung eines Bewegungsstromes (Sm1) der Ströme (DS1), und einem fünften Schritt (S61, 363) des Wiedergebens des Audiostroms (Sa1) synchron mit dem Bewegungsstrom (Sm1), im Fall, dass die Ströme (DS1) einen Audiostrom (Sa1) enthalten.
  12. Verfahren nach Anspruch 11, wobei der vierte Schritt (S51–S73) einen Schritt (S35) des Bezeichnens umfasst, in Reaktion auf eine Anforderung (Sr) von einem einer Mehrzahl der Empfangselemente (PCCn), die in dem ersten Schritt (S35) angekoppelt wurden, einer Art und eines Abschnitt zu übermittelnder Daten in dem von dem dritten Schritt (S39, S41, S43) wiederhergestellten Datenstrom (DS), um so die bezeichneten Daten zu steuern, und eine Übermittlung der gesteuerten Daten an eines der Empfangselemente (PCCn) zu setzen, sodass das Übermittlungselement (PCS) die gesteuerten Daten zu einem der Empfangselemente (PCCn) in Reaktion auf die Anforderung (Sr) überträgt.
  13. Verfahren nach Anspruch 11, wobei der erste Schritt (S35) einen Schritt (S35) des Unterscheidens des Formdatenstroms (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem zu übermittelnden Datenstrom (DS), um so den Datenstrom (DS) in nicht weniger als einen Datenstrom (DS) zu setzen, und des Komprimierens oder Teilens des Datenstroms (DS) in vorbestimmte Teileinheiten (Pakete) aufweist, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdaten strom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei der dritte Schritt (S39, S41, S43) einen Schritt (S43) des Unterscheidens des Formstromes (Ss1), des Bewegungsstromes (Sm1) und des Audiostroms (Sa1) voneinander in den übermittelten Strömen (DS1) und des Wiederherstellens des originalen Datenstromes (DS) durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis des Unterscheidungsmittels (ID, MH) aufweist, wobei der vierte Schritt (S51–S73) einen Schritt (S59) des Unterscheidens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) und des Wiedergebens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) auf Basis des Unterscheidungsmittels (ID, MH) aufweist.
  14. Verfahren nach Anspruch 12, wobei der erste Schritt (S35) einen Schritt (S35) des Unterscheidens des Formdatenstroms (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem zu übermittelnden Datenstrom (DS), um so den Datenstrom (DS) in nicht weniger als einen Datenstrom (DS) zu setzen, und des Komprimierens oder Teilens des Datenstroms (DS) in vorbestimmte Teileinheiten (Pakete) aufweist, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei der dritte Schritt (S39, S41, S43) einen Schritt (S43) des Unterscheidens des Formstromes (Ss1), des Bewegungsstromes (Sm1) und des Audiostroms (Sa1) voneinander in den übermittelten Strömen (DS1) und des Wiederherstellens des originalen Datenstromes (DS) durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis des Unterscheidungsmittels (ID, MH) aufweist, wobei der vierte Schritt (S51–S73) einen Schritt (S59) des Unterscheidens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) und des Wiedergebens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) auf Basis des Unterscheidungsmittels (ID, MH) aufweist.
  15. Verfahren nach Anspruch 11, wobei der erste Schritt (S35) einen Schritt (S35) des Unterscheidens des Formdatenstroms (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem zu übermittelnden Datenstrom (DS), um so den Datenstrom (DS) für eine Mehrzahl von Bewegungen auf nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen, einer Form einer entsprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen, und des Komprimierens oder Teilens des Datenstroms (DS) in vorbestimmte Teileinheiten (Pakete) aufweist, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei der dritte Schritt (S39, S41, S43) einen Schritt (S43) des Unterscheidens des Formstromes (Ss1), des Bewegungsstromes (Sm1) und des Audiostroms (Sa1) voneinander in den übermittelten Strömen (DS1) und des Wiederherstellens des originalen Datenstromes (DS) für eine Mehrzahl der Bewegungen durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen aufweist, wobei der vierte Schritt (S51–S73) einen Schritt (S41) des Unterscheidens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) und des Wiedergebens von Bewegungen der Form der bezeichneten Skelettstruktur auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen für eine Mehrzahl der Bewegungen aufweist.
  16. Verfahren nach Anspruch 12, wobei der erste Schritt (S35) einen Schritt (S35) des Unterscheidens des Formdatenstroms (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem zu übermittelnden Datenstrom (DS), um so den Datenstrom (DS) für eine Mehrzahl von Bewegungen auf nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen, einer Form einer entsprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen, und des Komprimierens oder Teilens des Datenstroms (DS) in vorbestimmte Teileinheiten (Pakete) aufweist, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) zu übermitteln, wobei der dritte Schritt (S39, S41, S43) einen Schritt (S43) des Unterscheidens des Formstromes (Ss1), des Bewegungsstromes (Sm1) und des Audiostroms (Sa1) voneinander in den übermittelten Strömen (DS1) und des Wiederherstellens des originalen Datenstromes (DS) für eine Mehrzahl der Bewegungen durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) und simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen aufweist, wobei der vierte Schritt (S51–S73) einen Schritt (S41) des Unterscheidens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) und des Wiedergebens von Bewegungen der Form der bezeichneten Skelettstruktur auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen für eine Mehrzahl der Bewegungen aufweist.
  17. Verfahren nach Anspruch 11, wobei der erste Schritt (S35) einen Schritt (S35) des Unterscheidens des Formdatenstroms (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem zu übermittelnden Datenstrom (DS), um so den Datenstrom (DS) für eine Mehrzahl von Bewegungen und Tönen auf nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen und der Töne, einer Form einer entsprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen, und des Komprimierens oder Teilens des Datenstroms (DS) in vorbestimmte Teileinheiten (Pakete) aufweist, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) und mit Synchroninforma tion (TS) des Formdatenstroms (Ss), des Bewegungsdatenstroms (Sm) und des Audiodatenstroms (Sa) zu übermitteln, wobei der dritte Schritt (S39, S41, S43) einen Schritt (S43) des Unterscheidens des Formstromes (Ss1), des Bewegungsstromes (Sm1) und des Audiostroms (Sa1) voneinander in den übermittelten Strömen (DS1) und des Wiederherstellens des originalen Datenstromes (DS) für eine Mehrzahl der Bewegungen der Töne durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) oder simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen aufweist, wobei der vierte Schritt (S51–S73) einen Schritt (S59) des Unterscheidens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) und des Wiedergebens von Bewegungen der Form der bezeichneten Skelettstruktur auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen für eine Mehrzahl der Bewegungen und der Töne und einen Schritt (S61–S67) des simultanen Wiedergebens des Audiodatenstroms (Sa) und des Bewegungsdatenstroms (Sm) synchron zueinander aufweist.
  18. Verfahren nach Anspruch 12, wobei der erste Schritt (S35) einen Schritt (S35) des Unterscheidens des Formdatenstroms (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem zu übermittelnden Datenstrom (DS), um so den Datenstrom (DS) für eine Mehrzahl von Bewegungen und Tönen auf nicht weniger als einen Datenstrom (DS) zusammen mit Arten und Kombinationen der Bewegungen und der Töne, einer Form einer entsprechenden dreidimensionalen Skelettstruktur und Wiedergabebedingungen zu setzen, und des Komprimierens oder Teilens des Datenstroms (DS) in vorbestimmte Teileinheiten (Pakete) aufweist, um so die Ströme (DS1) zusammen mit einem Unterscheidungsmittel (ID, MH) für den Formdatenstrom (Ss), den Bewegungsdatenstrom (Sm) und den Audiodatenstrom (Sa) und mit Synchroninformation (TS) des Formdatenstroms (Ss), des Bewegungsdatenstroms (Sm) und des Audiodatenstroms (Sa) zu übermitteln, wobei der dritte Schritt (S39, S41, S43) einen Schritt (S43) des Unterscheidens des Formstromes (Ss1), des Bewegungsstromes (Sm1) und des Audiostroms (Sa1) voneinander in den übermittelten Strömen (DS1) und des Wiederherstellens des originalen Datenstromes (DS) für eine Mehrzahl der Bewegungen der Töne durch Wiederherstellen der Ströme (DS1) in nicht weniger als einen Strom (DS1) oder simultanes Koppeln der Teileinheiten (Pakete) miteinander auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen aufweist, wobei der vierte Schritt (S51–S73) einen Schritt (S59) des Unterscheidens des Formdatenstromes (Ss), des Bewegungsdatenstromes (Sm) und des Audiodatenstromes (Sa) voneinander in dem wiederhergestellten Datenstrom (DS) und des Wiedergebens von Bewegungen der Form der bezeichneten Skelettstruktur auf Basis der Arten und der Kombinationen der Bewegungen, der Form der entsprechenden dreidimensionalen Skelettstruktur und der Wiedergabebedingungen für eine Mehrzahl der Bewegungen und der Töne und einen Schritt (S61–S67) des simultanen Wiedergebens des Audiodatenstroms (Sa) und des Bewegungsdatenstroms (Sm) synchron zueinander aufweist.
  19. Aufzeichnungsmedium (FD), das von einem mit dem Internet koppelbaren Computer (PC) lesbar ist, zum Aufzeichnen eines Programms zum Veranlassen des Computers (PC), ein Verfahren nach Anspruch 11 auszuführen.
DE69837868T 1997-07-31 1998-07-16 Verfahren und Vorrichtung zur Übertragung von 3-dimensionalen virtuellen Raum darstellenden Datenströmen Expired - Fee Related DE69837868T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP20585797 1997-07-31
JP20585797 1997-07-31

Publications (2)

Publication Number Publication Date
DE69837868D1 DE69837868D1 (de) 2007-07-19
DE69837868T2 true DE69837868T2 (de) 2008-02-07

Family

ID=16513870

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69837868T Expired - Fee Related DE69837868T2 (de) 1997-07-31 1998-07-16 Verfahren und Vorrichtung zur Übertragung von 3-dimensionalen virtuellen Raum darstellenden Datenströmen

Country Status (5)

Country Link
US (1) US6512520B1 (de)
EP (1) EP0899924B1 (de)
KR (1) KR100294372B1 (de)
CN (1) CN1310517C (de)
DE (1) DE69837868T2 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9721664D0 (en) * 1997-10-14 1997-12-10 Philips Electronics Nv Data management within a virtual environment browser
EP0973129A3 (de) * 1998-07-17 2005-01-12 Matsushita Electric Industrial Co., Ltd. Kompressionssystem von bewegten Bilddaten
US7007295B1 (en) * 1998-12-24 2006-02-28 B3D, Inc. System and method for Internet streaming of 3D animated content
US6559845B1 (en) * 1999-06-11 2003-05-06 Pulse Entertainment Three dimensional animation system and method
JP4011327B2 (ja) * 2000-11-15 2007-11-21 株式会社レクサー・リサーチ 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
JP2005507098A (ja) * 2001-03-21 2005-03-10 リサーチ イン モーション リミテッド コンテンツをメディアデバイスに提供するための方法および装置
WO2002076058A2 (en) 2001-03-21 2002-09-26 Research In Motion Limited Method and apparatus for providing content to media devices
EP1407612A2 (de) * 2001-05-29 2004-04-14 Koninklijke Philips Electronics N.V. Videokommunikationssignal für 3d bilder
US20040110490A1 (en) 2001-12-20 2004-06-10 Steele Jay D. Method and apparatus for providing content to media devices
EP1345179A3 (de) * 2002-03-13 2004-01-21 Matsushita Electric Industrial Co., Ltd. Vorrichtung und Verfahren zur Animation von Computergrafiken
US7015826B1 (en) * 2002-04-02 2006-03-21 Digital Angel Corporation Method and apparatus for sensing and transmitting a body characteristic of a host
JP4218336B2 (ja) * 2002-12-12 2009-02-04 ソニー株式会社 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びにプログラム
US8140698B2 (en) 2003-04-30 2012-03-20 International Business Machines Corporation Method and system for efficient data transmission in interactive networked environments
JP4559092B2 (ja) * 2004-01-30 2010-10-06 株式会社エヌ・ティ・ティ・ドコモ 携帯通信端末及びプログラム
KR20090002292A (ko) * 2007-06-26 2009-01-09 삼성전자주식회사 가상 캐릭터를 동기화하고 공유하는 장치 및 방법
US7809789B2 (en) 2007-10-25 2010-10-05 Brian Mark Shuster Multi-user animation coupled to bulletin board
JP2010044736A (ja) * 2008-07-18 2010-02-25 Panasonic Electric Works Co Ltd 製品設計評価装置
KR20100073168A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 합성데이터 송/수신 장치 및 방법
JP2011039647A (ja) * 2009-08-07 2011-02-24 Sony Corp 情報提供装置および方法、端末装置および情報処理方法、並びにプログラム
ES2390298B1 (es) * 2010-04-16 2013-11-11 Telefónica, S.A. Procedimiento de transmisión de contenido visual.
US8943396B2 (en) 2011-07-18 2015-01-27 At&T Intellectual Property I, Lp Method and apparatus for multi-experience adaptation of media content
US9084001B2 (en) 2011-07-18 2015-07-14 At&T Intellectual Property I, Lp Method and apparatus for multi-experience metadata translation of media content with metadata
US9237362B2 (en) * 2011-08-11 2016-01-12 At&T Intellectual Property I, Lp Method and apparatus for multi-experience translation of media content with sensor sharing
US10628186B2 (en) * 2014-09-08 2020-04-21 Wirepath Home Systems, Llc Method for electronic device virtualization and management

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07312750A (ja) * 1994-05-18 1995-11-28 Nippon Telegr & Teleph Corp <Ntt> 動画通信装置
EP0735835A1 (de) * 1994-10-25 1996-10-09 Ronda Europa S.P.A. Mehrzweck-schublade für handelsübliche möbel
US5793980A (en) * 1994-11-30 1998-08-11 Realnetworks, Inc. Audio-on-demand communication system
JPH08331562A (ja) * 1995-05-31 1996-12-13 Kokusai Electric Co Ltd 画像通信方式
JPH0984021A (ja) * 1995-09-19 1997-03-28 Nec Corp 画像データ転送システム
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JP3337938B2 (ja) 1996-04-25 2002-10-28 松下電器産業株式会社 ３次元骨格構造の動き送受信装置、および動き送受信方法

Also Published As

Publication number Publication date
EP0899924A2 (de) 1999-03-03
EP0899924B1 (de) 2007-06-06
US6512520B1 (en) 2003-01-28
DE69837868D1 (de) 2007-07-19
EP0899924A3 (de) 2005-08-03
CN1310517C (zh) 2007-04-11
CN1218241A (zh) 1999-06-02
KR100294372B1 (ko) 2001-07-12
KR19990014233A (ko) 1999-02-25

Similar Documents

Publication Publication Date Title
DE69837868T2 (de) Verfahren und Vorrichtung zur Übertragung von 3-dimensionalen virtuellen Raum darstellenden Datenströmen
DE69928642T2 (de) Emulation von strömung über internet in einer rundfunkanwendung
DE60105995T2 (de) Animation von personen
DE69826167T2 (de) Verfahren und Gerät zur Graffitianimation
Doenges et al. MPEG-4: Audio/video and synthetic graphics/audio for mixed media
DE69815695T2 (de) Netzwerkübermittlung interaktiver unterhaltung zur ergänzung von audio-aufzeichnungen
CN107170030A (zh) 一种虚拟主播直播方法及系统
DE602005004439T2 (de) Gerät und Verfahren zur Übermittlung und Ausgabe von Daten beispielsweise zum Musikunterricht
DE69836369T2 (de) Gerät, Verfahren und Speichermedium zur Bewegungsdatenerzeugung
WO1999057900A1 (en) Videophone with enhanced user defined imaging system
JP2004013918A (ja) 三次元アニメーションシステム及び方法
DE60102730T2 (de) System zur Erzeugung und Wiedergabe von mit Anmerkungen versehenen Multimediapräsentationen
CN107194979A (zh) 一种虚拟角色的场景合成方法及系统
WO2024012459A1 (zh) 一种vr端端云结合的虚拟演唱会渲染方法及系统
US6757432B2 (en) Apparatus for transmitting and/or receiving stream data and method for producing the same
DE60110804T2 (de) Kommunikationssystem mit Programmerzeugungsmitteln
CN110335331A (zh) 教学动画制作方法
JP2004005265A (ja) 画像合成方法、画像合成装置、画像合成システム
Wang A Brief Analysis of the Development of Chinese Virtual Idol Industry Empowered by 5G+ Motion Capture Technology——Taking the Virtual Idol Group A-SOUL as an Example
US20090153551A1 (en) Method and apparatus for transferring pose of 3-dimensional characters
DE60125674T2 (de) Informationsanzeige
US6753863B1 (en) System and method for streaming real time animation data file
JP3338382B2 (ja) ３次元仮想空間を表すデータストリームを送受信する装置及び方法
JP2002176638A (ja) データ通信システムおよび装置、データ通信方法、記録媒体
JPH10222698A (ja) ３次元仮想空間の通信装置、および通信方法

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: PANASONIC CORP., KADOMA, OSAKA, JP

8339 Ceased/non-payment of the annual fee