DE60103373T2 - Verfahren und vorrichtung zur anzeige von musikdateien im dreidimensionalen raum - Google Patents

Verfahren und vorrichtung zur anzeige von musikdateien im dreidimensionalen raum Download PDF

Info

Publication number
DE60103373T2
DE60103373T2 DE60103373T DE60103373T DE60103373T2 DE 60103373 T2 DE60103373 T2 DE 60103373T2 DE 60103373 T DE60103373 T DE 60103373T DE 60103373 T DE60103373 T DE 60103373T DE 60103373 T2 DE60103373 T2 DE 60103373T2
Authority
DE
Germany
Prior art keywords
music data
spatial
music
display
along
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60103373T
Other languages
English (en)
Other versions
DE60103373D1 (de
Inventor
Greg Lopiccolo
Jonathon Bell
Eran Egozy
Ryan Lesser
Joshua Randall
Alexander Rigopulos
Dan Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harmonix Music Systems Inc
Original Assignee
Harmonix Music Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=24031350&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE60103373(T2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Harmonix Music Systems Inc filed Critical Harmonix Music Systems Inc
Application granted granted Critical
Publication of DE60103373D1 publication Critical patent/DE60103373D1/de
Publication of DE60103373T2 publication Critical patent/DE60103373T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/95—Storage media specially adapted for storing game information, e.g. video game cartridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206—Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A63F2300/305—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display for providing a graphical or textual hint to the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/638—Methods for processing data by generating or executing the game program for controlling the execution of the game in time according to the timing of operation or a time limit
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6684—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dynamically adapting its position to keep a game object in its viewing frustrum, e.g. for tracking a character or a ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft Anzeigetechniken und insbesondere Techniken zum Anzeigen von Musikinformationen in einer dreidimensionalen Umgebung.
  • Allgemeiner Stand der Technik
  • Musik wird häufig als „in der Zeit organisierte Klänge" definiert. Allgemein gesagt, ist eine Musikkomposition im wesentlichen eine spezifizierte Menge von Musikdatenparametern und ihrer Variation mit der Zeit. Musiknotation gibt einem Komponisten die Möglichkeit, diese zeitlich veränderlichen Musikdaten visuell zu repräsentieren, so daß ein Musiker die Daten als Anweisung interpretieren und die Komposition als hörbare Musik darbieten kann.
  • Es gibt mehrere Systeme zur visuellen Anzeige von Musikdaten. Ein solches System ist als „common practice notation (übliche Notation)" oder „CPN" bekannt. 1A zeigt ein Beispiel für Musik, die mit der CPN-Notation angezeigt wird. Die Musik-Zeitachse wird als ein räumlicher Weg dargestellt, der von links nach rechts über die Seite voranschreitet. Die Musikdaten werden als graphische Notensymbole dargestellt, die auf Notenlinien entlang diesem Weg aufgetragen werden. Diese Notensymbole geben das individuelle Timing, die Dauer und die Tonhöhe von jedem einer Reihe von Musiktönen an. Das Timing und die Dauer einer Note werden durch ihre horizontale Position auf den Notenlinien sowie durch ihren Typ von Notenkopf und Stamm angegeben. Die Tonhöhe einer Note wird durch ihre vertikale Position auf den Notenlinien angegeben. CPN enthält außerdem viele (in 1A nicht gezeigt) zusätzliche Symbole zur Angabe verschiedener anderer musikalischer Eigenschaften, wie zum Beispiel Lautstärke, Artikulation, usw.
  • Ein anderes Notationssystem ist als „Pianorollennotation" oder „PRN" bekannt. 1B zeigt ein Beispiel für in Pianorollennotation angezeigte Musik. Die Musik-Zeitachse wird als ein räumlicher Weg dargestellt, der von oben nach unten entlang der Seite voranschreitet. Musikdaten werden als entlang diesem Weg aufgetragene graphische Notensymbole dargestellt. Die Notensymbole (im allgemeinen vertikale Balken) geben das Timing, die Dauer und die Tonhöhe von jedem einer Reihe von Musiktönen an. Das Timing wird durch die vertikale Position am unteren Rand einer Note angegeben. Die vertikale Länge einer Note gibt die Dauer an. Die Tonhöhe wird durch die horizontale Position einer Note angegeben. Die Pianorollennotation kann auch in horizontalem Format (anstatt vertikalem Format) abgebildet werden.
  • Es gibt viele andere Systeme zur visuellen Anzeige von Musikdaten. Eine allen solchen Systemen gemeinsame Eigenschaft besteht darin, daß sie naturgemäß zweidimensional sind, d.h. der räumliche Weg, der die Musik-Zeitachse darstellt, liegt ausschließlich in der im wesentlichen zweidimensionalen Ebene der AnzeigeFläche (die durchweg als „Bildebene" bezeichnet wird). Obwohl diese zweidimensionalen Systeme zur Anzeige von Musikdaten für herkömmliche Anwendungen, wie zum Beispiel die Anleitung von Musikern, ausreichen, sind zweidimensionale Systeme im Kontext einer interaktiven Spielumgebung nicht ideal für die Anzeige von Musikdaten, weil im Stand der Technik für interaktive Spiele dreidimensionale graphische Umgebungen zur Norm geworden sind.
  • Kurze Darstellung der Erfindung
  • Die vorliegende Erfindung liefert ein Verfahren und eine Vorrichtung zur Anzeige von Musikdaten in einer dreidimensionalen Umgebung, wobei der räumliche Weg, der der Musik-Zeitachse entspricht, nicht in der zweidimensionalen Bildebene liegt, auf die die dreidimensionale Umgebung gerendert wird. Bei einer Ausführungsform ist die Wahrnehmung des Betrachters die einer Bewegung entlang einem Weg in der dreidimensionalen Umgebung. Der Weg kann gerade oder gekrümmt sein, und bei bestimmten Ausführungsformen umfaßt der Weg mehrere gekrümmte Segmente. Dieses Verfahren zur Anzeige von Musikdaten gibt einem Betrachter den Anschein einer Navigation durch einen dreidimensionalen Raum, was für interaktive Unterhaltungssoftware, wie zum Beispiel Spielsoftware, ein sehr häufiges Beispiel ist. Die vorliegende Erfindung liefert somit eine Möglichkeit zur Darstellung von Musikdaten auf eine für Unterhaltungszwecke geeignete Weise.
  • In einem Aspekt betrifft die vorliegende Erfindung ein Verfahren zum Anzeigen von Musikdaten auf der Bildebene einer bereitgestellten Anzeige. Musikdaten werden so in einer dreidimensionalen graphischen Umgebung angezeigt, daß ein räumlicher Weg, der der Musik-Zeitachse entspricht, die den Musikdaten zugeordnet ist, nicht in der im wesentlichen zweidimensionalen Bildebene der bereitgestellten Anzeige liegt. Bei bestimmten Ausführungsformen ist dieser räumliche Weg linear, gekrümmt, stetig oder unstetig. Musikdaten können auf mit dem räumlichen Weg ausgerichteten graphischen Flächen angezeigt werden. Die graphischen Flächen bilden bei bestimmten Ausführungsformen einen Tunnel, durch den die den Musikdaten zugeordnete Zeitachse verläuft. Bei anderen Ausführungsformen bilden die graphischen Flächen eine Straße, auf der die den Musikdaten zugeordnete Zeitachse abläuft. Die die Musikdaten darstellenden graphischen Symbole können manipuliert werden, um dem Betrachter den Anschein einer Bewegung entlang der den Musikdaten zugeordneten Zeitachse zu geben. Als Alternative kann die der dreidimensionalen Umgebung zugeordnete virtuelle „Kamera" entlang der den Musikdaten zugeordneten Zeitachse bewegt werden, um dem Benutzer den Anschein einer Bewegung zu geben.
  • In einem anderen Aspekt betrifft die vorliegende Erfindung die Vorrichtung zur Anzeige von Musikdaten mit einer Anzeige mit einer Bildebene und einer Graphik-Engine, die Musikdaten so auf der Anzeige anzeigt, daß ein räumlicher Weg, der einer Musik-Zeitachse entspricht, die den Musikdaten zugeordnet ist, nicht in der Bildebene der Anzeige liegt. Bei bestimmten Ausführungsformen speichert ein Speicherelement die Musikdaten zur Anzeige. Die Graphik-Engine kann Musikdaten entlang einem räumlichen Weg anzeigen, der linear, nichtlinear, stetig oder unstetig ist. Bei anderen Ausführungsformen manipuliert die Graphik-Engine die den Musikdaten zugeordneten graphischen Symbole, um dem Betrachter den Anschein einer Bewegung entlang der den Musikdaten zugeordneten Zeitachse zu geben. Als Alternative kann die Graphik-Engine die Position einer Kamera ändern, um dem Betrachter den Anschein einer Bewegung zu geben.
  • In einem weiteren Aspekt betrifft die vorliegende Erfindung ein Verfahren zum Anzeigen von Musikdaten auf einer Anzeige mit einer Bildebene. Eine Anzeige mit einer Bildebene ist bereitgestellt. Eine Musikdaten zugeordnete Zeitachse wird als ein räumlicher Weg durch einen dreidimensionalen Raum dargestellt. Den Musikdaten zugeordnete graphische Symbole werden entlang der räumlichen Achse aufgetragen und die graphischen Symbole werden auf die Bildebene der Anzeige gerendert. Bei bestimmten Ausführungsformen werden die anzuzeigenden Musikdaten aus einem Speicherelement abgerufen. Bei bestimmten Ausführungsformen ist dieser räumliche Weg linear, gekrümmt, stetig oder unstetig. Musikdaten können auf mit dem räumlichen Weg ausgerichteten graphischen Flächen angezeigt werden. Die graphischen Flächen bilden bei bestimmten Ausführungsformen einen Tunnel, durch den die den Musikdaten zugeordnete Zeitachse verläuft. Bei anderen Ausführungsformen bilden die graphischen Flächen eine Straße, auf der die den Musikdaten zugeordnete Zeitachse abläuft. Die graphischen Symbole, die die Musikdaten darstellen, können manipuliert werden, um dem Betrachter den Anschein einer Bewegung entlang der den Musikdaten zugeordneten Zeitachse zu geben. Als Alternative kann eine die Position des Benutzers in der dreidimensionalen Umgebung darstellende Kamera bewegt werden, um dem Benutzer den Anschein einer Bewegung zu geben.
  • Kurze Beschreibung der Zeichnungen
  • Die Erfindung wird im Einzelnen in den angefügten Ansprüchen definiert. Die oben beschriebenen Vorteile der Erfindung zusammen mit weiteren Vorteilen werden durch Bezugnahme auf die folgende Beschreibung in Verbindung mit den beigefügten Zeichnungen besser verständlich. In den Zeichnungen beziehen sich gleiche Bezugszeichen im allgemeinen über alle der verschiedenen Ansichten hinweg auf dieselben Teile. Außerdem sind die Zeichnungen nicht unbedingt maßstabsgetreu, wobei allgemein betont wird, die Prinzipien der Erfindung zu veranschaulichen.
  • 1A–1B zeigen Musikdaten, die in der CPN-Notation bzw. Pianorollennotation dargestellt sind.
  • 2 ist ein vereinfachtes Blockschaltbild eines Computersystems, in dem die vorliegende Erfindung realisiert werden kann.
  • 3 ist eine perspektivische Ansicht einer Ausführungsform eines dreidimensionalen Raums zur Anzeige von Musikdaten.
  • 3A ist eine perspektivische Ansicht eines dreidimensionalen Raums zur Anzeige von Musikdaten, in dem sich die den Musikdaten zugeordnete Zeitachse schräg von der der Anzeige zugeordneten Bildebene erstreckt.
  • 4A ist eine perspektivische Ansicht eines dreidimensionalen Raums, der Musikdaten in der CPN-Notation anzeigt.
  • 4B ist eine perspektivische Ansicht eines dreidimensionalen Raums, der Musikdaten als mehrere Balken anzeigt.
  • 5 ist ein Flußdiagramm der Schritte zur Darstellung von Musikdaten in einem dreidimensionalen Raum.
  • Ausführliche Beschreibung der Erfindung
  • Wenn die folgende Beschreibung auf die Anzeige von Musikdaten in einer dreidimensionalen Umgebung Bezug nimmt, versteht sich, daß auf die Illusion eines dreidimensionalen „virtuellen" Raums Bezug genommen wird, der auf einem zweidimensionalen Anzeigeschirm angezeigt wird. Dieser Effekt wird durch mathematisches „Rendern" von zweidimensionalen Bildern aus Objekten in einem dreidimensionalen „virtuellen Raum" unter Verwendung einer „virtuellen Kamera" erreicht, genauso wie eine physische Kamera optisch eine zweidimensionale Ansicht realer dreidimensionaler Objekte wiedergibt. Eine Animation wird durch Anzeigen einer Reihe zweidimensionaler Ansichten in schneller Abfolge erreicht, ähnlich wie bei Spielfilmen, die mehrere Standbilder pro Sekunde anzeigen.
  • Jedes Objekt in einem dreidimensionalen Raum wird in der Regel als ein oder mehrere Polygone modelliert, denen jeweils visuelle Merkmale, wie zum Beispiel Textur, Transparenz, Beleuchtung, Schattierung, Anti-Alias, Z-Pufferung und viele andere graphische Attribute zugeordnet sind. Die Kombination aller Polygone mit ihren zugeordneten visuellen Merkmalen kann zur Modellierung einer dreidimensionalen Szene verwendet werden. Eine virtuelle Kamera kann an einem beliebigen Ort in der Szene positioniert und orientiert werden. In vielen Fällen befindet sich die Kamera unter der Kontrolle des Betrachters, so daß der Betrachter Objekte scannen kann. Eine Bewegung der Kamera durch den dreidimensionalen Raum führt zu der Erzeugung von Animationen, die den Anschein einer Navigation durch den Benutzer durch die dreidimensionale Umgebung geben.
  • Nunmehr mit Bezug auf 2 ist ein vereinfachtes Blockschaltbild eines Computersystems 14 gezeigt. Ein Computersystem 14 enthält in der Regel einen Zentralprozessor 20, eine Hauptspeichereinheit 22 zum Speichern von Programmen und Daten, einer Eingangs/Ausgangs-(E/A-)Steuerung 24, ein Anzeigegerät 26 und einen Datenbus 28, der diese Komponenten koppelt, um eine Kommunikation zwischen ihnen zu ermöglichen. Das Anzeigegerät 26 weist eine Bildebene auf, die einem Betrachter Bilder anzeigt. Zum Beispiel ist die Bildebene einer Anzeige der Schirm des Monitors. Der Speicher 22 enthält Chips mit Direktzugriffsspeicher (RAM) und Nur-Lese-Speicher (ROM). Der Computer 14 enthält in der Regel außerdem ein oder mehrere Eingabegeräte 30, wie zum Beispiel eine Tastatur 32, eine Maus 34 oder einen Joystick 12. Andere Eingabegeräte, die vorhanden sein können, sind Mauszeigegeräte, Tracballs, Schieber, Schieberregler, Game-Pads oder Infrarotsender/-empfänger.
  • Der Computer 14 besitzt in der Regel außerdem eine Festplatte 36 und ein Diskettenlaufwerk 38 zum Aufnehmen von Disketten, wie zum Beispiel 3,5-Zoll-Disketten. Außerdem können andere Geräte 40 Teil des Computers 14 sein, darunter Ausgabegeräte (z.B. Drucker oder Plotter) und/oder optische Plattenlaufwerke zum Empfangen und Lesen von digitalen Daten auf einer CD-ROM. Diese Programme können über das Diskettenlaufwerk 38 auf die Festplatte 36 und/oder in den Speicher 22 des Computers 14 geladen werden. Im allgemeinen werden das steuernde Softwareprogramme bzw. die steuernden Softwareprogramme und alle von dem Programm bzw. Programmen verwendeten Daten auf einem oder mehreren der Speichermedien des Computers gespeichert, wie zum Beispiel der Festplatte 36, der CD-ROM 40 usw. Im allgemeinen implementieren die Programme die Erfindung auf dem Computer 14 und die Programme enthalten entweder die notwendigen Daten zur Implementierung der gesamten Funktionalität der Erfindung auf dem Computer 14 oder greifen auf diese zu.
  • Als Alternative kann eine Software-Graphik-Engine bereitgestellt werden, die eine Erzeugung und Manipulation einer dreidimensionalen Szene unterstützt. Eine Graphik-Engine enthält im allgemeinen eines oder mehrere Softwaremodule, die die notwendigen mathematischen Operationen zum „Rendern" der dreidimensionalen Umgebung durchführen, das heißt, die Graphik-Engine wendet Textur, Transparenz und andere Attribute auf die Polygone an, aus denen eine Szene besteht. Graphik-Engines, die in Verbindung mit der vorliegenden Erfindung verwendet werden können, sind zum Beispiel Realimation, hergestellt von der Realimation Ltd. in Großbritannien und die Unreal Engine, hergestellt von Epic Games. Obwohl eine Graphik-Engine unter ausschließlicher Verwendung der Elemente eines oben angeführten Computersystems ausgeführt werden kann, ist bei vielen Ausführungsformen ein Graphik-Hardware-Beschleuniger 42 vorgesehen, um die Leistung zu verbessern. Bei der in 2 gezeigten Ausführungsform kommuniziert der Graphik-Beschleuniger 42 über den Systembus mit dem Zentralprozessor 20. Bei bestimmten Ausführungsformen kommuniziert der Graphik-Beschleuniger 42 direkt durch Verwendung eines Prozessorports mit dem Zentralprozessor 20. Im allgemeinen enthält eine Graphik-Beschleuniger 42 einen Videospeicher, mit dem Bild- und Umgebungsdaten gespeichert werden, während sie durch den Beschleuniger 42 manipuliert werden.
  • Für die Verwendung in Verbindung mit der vorliegenden Erfindung geeignete Graphik-Beschleuniger sind zum Beispiel: die von der 3dfx Interactive, Inc. in San Jose, Kalifornien, hergestellte Linie von Graphikkarten des Typs VOODOO 3; die von ATI Technologies, Inc. in Thornhill, Ontario, Kanada, hergestellte RAGE-Linie von Graphikkarten; die von S3, Inc. in Santa Clara, Kalifornien, hergestellten VIPER-, STEALTH- und SPEEDSTAR-Linien von Graphikkarten; die von Matrox Electronic Systems, Ltd. in Dorval, Quebec, Kanada, hergestellte MILLENIUM-Linie von Graphikkarten; und die von der NVIDIA Corporation, in Santa Clara, Kalifornien, hergestellten Graphikkartenlinien TNT, TNT2, RIVA, VANTA und GEFORCE256.
  • Die speziellen Fähigkeiten des Graphiksystems werden Programmen über eine Anwendungsprogammschnittstelle (API) zur Verfügung gestellt. DIRECT3D, eine von der Microsoft Corporation in Redmond, Washington, hergestellte Standard-API kann verwendet werden und liefert einen gewissen Grad an Hardwareunabhängigkeit. Durch die API kann ein Programm die Position, Anordnung, Ausrichtung und visuellen Merkmale von Polygonen, aus denen eine dreidimensionale Szene besteht, spezifizieren. Außerdem ermöglicht die API ein Steuern und Ändern der einer virtuellen Kamera zugeordneten Parameter.
  • Obwohl verschiedene Vorrichtungen in Verbindung mit Vielzweckcomputern besprochen wurden, ist für Durchschnittsfachleute offensichtlich, daß Spezialhardware, die dieselben Funktionen durchführt, auch verwendet werden kann.
  • Nunmehr mit Bezug auf 3 ist eine Ausführungsform eines dreidimensionalen „Tunnels" zur Anzeige von Musik gezeigt. Bei der in 3 gezeigten Ausführungsform erstreckt sich der räumliche Weg, der der Zeitachse 100 entspricht, die Musik zugeordnet ist, direkt vorwärts von der Bildebene. Jede der Seiten 102, 104, 106, 108, 110, 112, 114, 116 bilden eine Fläche, entlang derer Musikdaten entsprechende graphische Symbole angezeigt werden können. Diese Daten können Informationen über Timbre, Tonhöhe, Lautstärke, Dauer, Artikulation und beliebige andere zeitveränderliche Aspekte von angezeigten Musikkompositionen enthalten. Die Graphik-Engine kann auf das Speicherelement 22 zugreifen, um anzuzeigende Daten abzurufen. Dem Speicherelement 22, auf das die Graphik-Engine zugreift, können Musikdaten auf einer auf der Festplatte 36 gespeicherten MIDI-Datei zugeführt werden. Bei anderen Ausführungsformen werden dem Speicherelement 22 Musikdaten direkt aus einem Instrument, wie zum Beispiel einer Gitarre oder einem Keyboard, zugeführt. Bei anderen Ausführungsformen werden der Graphik-Engine Daten zugeführt, die aus einem Netzwerk empfangen oder durch eine Musikerzeugungs-Engine, wie zum Beispiel den in den eigenen US-Patenten 5,627,335 und 5,763,804 beschriebenen, erzeugt werden.
  • Obwohl in 3 ein oktagonaler Tunnel gezeigt wird, kann der dreidimensionalen Tunnel eine beliebige Anzahl von Seiten aufweisen. Bei bestimmten konkreten Ausführungsformen kann die zu verwendende Anzahl von Seiten auf der Anzahl von Betrachtern der Anzeige basieren. Bei weiteren Ausführungsformen basiert die Anzahl von Seiten auf der Anzahl von Spuren von anzuzeigenden Musikinformationen. Zum Beispiel wäre ein dreidimensionaler Tunnel mit quadratischer Form ausreichend zur Anzeige von vier Spuren von Musikinformationen, wenn jeder Fläche eine einzige Spur zugewiesen wird.
  • Bei weiteren Ausführungsformen bilden die Seiten keine geschlossene Form. Die Seiten können eine Straße, einen Graben oder eine bestimmte andere komplexe Form bilden, deren Enden nicht verbunden sein müssen, um eine geschlossene Form zu bilden.
  • Bei anderen Ausführungsformen erstreckt sich der räumliche Weg, der der Musik-Zeitachse entspricht, nicht senkrecht von der Bildebene der Anzeige. 3A zeigt eine Ausführungsform eines dreidimensionalen Raums, bei der sich die den Musikdaten zugeordnete Zeitachse 100 schräg von der Bildebene der Anzeige erstreckt. Bei weiteren Ausführungsformen kann der Tunnel gekrümmt oder eine bestimmte Kombination von gekrümmten Teilen und geraden Teilen sein. Bei weiteren Ausführungsformen kann der Tunnel eine geschlossene Schleife bilden, durch die hindurch sich der Betrachter bewegen kann, wie zum Beispiel eine kreisförmige oder ellipsoide Schleife.
  • Wie in 3 und 3A gezeigt, kann jede Fläche in mehrere Segmente unterteilt werden. Jedes Segment kann einer bestimmten Einheit der musikalischen Zeit, wie zum Beispiel einem Schlag, mehreren Schlägen, einem Takt oder mehreren Takten entsprechen. Obwohl die in 3 und 3A gezeigten Ausführungsformen gleich große Segmente zeigen, kann jedes Segment abhängig von den konkreten anzuzeigenden Musikdaten verschieden lang sein. Zusätzlich zu Musikdaten kann jedes Segment texturiert oder gefärbt werden, um die Interaktivität der Anzeige zu verbessern.
  • Bei bestimmten Ausführungsformen wird ein Cursor bereitgestellt, um anzuzeigen, welche Fläche „aktiv" ist, das heißt, mit welcher Fläche sich ein Betrachter als musikalisch in Wechselwirkung tretend betrachten kann. Bei diesen Ausführungsformen kann der Betrachter ein Eingabegerät 30 verwenden, um den Cursor von einer Fläche zu anderen zu verschieben. Bei weiteren Ausführungsformen wird die Anzeige für ein Spiel mit mehreren Spielern verwendet. Bei diesen Ausführungsformen kann eine Fläche gefärbt oder texturiert werden, um zu identifizieren, welcher Benutzer die Musikdaten erzeugt hat, die den graphischen Symbolen entsprechen, die auf dieser Fläche aufgetragen werden.
  • 4A zeigt einen dreidimensionalen Tunnel, der Musikdaten in der CPN-Notation auf zwei Flächen des dreidimensionalen Tunnels anzeigt. Obwohl 4A Musikdaten in CPN-Notation abbildet, können Musikdaten in mehreren Formaten angezeigt werden. In 4B werden Musikdaten durch graphische Balken 130 dargestellt. Jeder der in dem dreidimensionalen Tunnel angezeigte Balken kann ein Musikereignis anzeigen, wie zum Beispiel dem Beginn einer Note oder einer Reihe von Noten.
  • Wie aus den obigen Figuren zu sehen ist, kann durch Bewegen der Kamera entlang der Zeitachse 100 der graphischen Anzeige unter Verwendung der API der Graphik-Engine der Anschein einer Bewegung durch den dreidimensionalen Raum simuliert werden. Jede den oben erwähnten Graphik-Engines zugeordnete API erlaubt eine Steuerung verschiedener Parameter der virtuellen Kamera, darunter Position, Orientierung und Brennweite. Um dem Benutzer den Anschein einer Bewegung durch eine dreidimensionale Umgebung zu geben, wird die Graphik-Engine also angewiesen, die virtuelle Kamera durch die Umgebung zu bewegen.
  • Bei einer Ausführungsform kann die Position des Betrachters in dem dreidimensionalen Raum und somit der zeitliche Ort des Benutzers in der Partitur durch ein graphisches Element angezeigt werden. Als Alternative kann die Position des Benutzers durch graphisches Verändern der die Musikdaten darstellenden graphischen Symbole angezeigt werden. Zum Beispiel können die Graphiksymbole blinken, wenn der Betrachter an ihnen vorbei oder über diese geht, oder sie können ihre Farbe ändern oder hervorgehoben werden.
  • Während sich der Betrachter entlang dem der Musik-Zeitlinie zugeordneten räumlichen Weg durch den dreidimensionalen Raum bewegt, werden die durch zugeordnete graphische Symbole dargestellten Musikdaten im wesentlichen gleichzeitig als hörbare Musik abgespielt. Bei bestimmten Ausführungsformen beobachtet ein Betrachter also sowohl die visuelle musikalische Ausgabe als auch die hörbare musikalische Ausgabe synchron.
  • Nunmehr mit Bezug auf 5 ist ein Flußdiagramm der Schritte zur Anzeige von Musikdaten auf einer Anzeige gezeigt. Als kurze Übersicht enthält das Verfahren die folgenden Schritte: Darstellen einer den Musikdaten zugeordneten Zeitachse als einen Weg durch einen dreidimensionalen Raum (Schritt 502), Auftragen von den Musikdaten zugeordneten graphischen Symbolen entlang dem räumlichen Weg (Schritt 504) und Rendern des dreidimensionalen Raums zur Anzeige (Schritt 506).
  • Bei bestimmten Ausführungsformen wird eine Anzeige bereitgestellt (Schritt nicht gezeigt). Die bereitgestellte Anzeige ist jede beliebige Anzeige, die das Zeichnen mehrerer Einzelbilder pro Sekunde unterstützt, wie zum Beispiel eine Kathodenstrahlröhre, eine Flüssigkristallanzeige, eine Plasmaanzeige oder eine Leuchtdiodenanzeige. Bei bevorzugten Ausführungsformen unterstützt die Anzeige Einzelbildraten von mehr als 24 Einzelbildern pro Sekunde, um die Bewegung entlang der Zeitachse auf flüssige Weise zu rendern.
  • Eine Musikdaten zugeordnete Zeitachse wird als ein Weg durch den dreidimensionalen Raum dargestellt (Schritt 502). Die Musikdaten können in einem Speicherelement gespeichert oder können auf einer Netzwerkverbindung oder einem zugeordneten Eingabegerät empfangen werden.
  • Den Musikdaten zugeordnete graphische Symbole werden entlang dem räumlichen Weg aufgetragen (Schritt 504). Zum Beispiel sind bei einer Ausführungsform die graphischen Elemente Noten, so wie sie bei der CPN-Notation verwendet werden. Bei anderen Ausführungsformen sind die graphischen Elemente rechteckig, die die Pianorollennotation darstellen. Bei weiteren Ausführungsformen sind die graphischen Elemente geometrische Formen, die Musikereignisse signalisieren. Bei weiteren Ausführungsformen, die Spiele mit mehreren Benutzern betreffen, können die graphischen Elemente alphanumerisch sein oder können die Identität des „Eigentümers" dieses Elements angeben.
  • Die Musikdaten werden als eine zweidimensionale Ansicht einer dreidimensionalen Umgebung gerendert, die durch die gespeicherten Musikdaten und den räumlichen Weg definiert wird (Schritt 506). Eine Graphik-Engine kann zum Rendern der Daten als Reaktion auf durch ein Anwendungsprogramm an sie ausgegebene API-Befehle dienen, wie oben beschrieben. Bei alternativen Ausführungsformen kann die Ausgabe an einen Netzwerkport oder an einen Drucker 40 gerichtet werden.
  • Bei bestimmten Ausführungsformen wird kein Prozeß des Renderns verwendet. Statt dessen wird mit zweidimensionalen graphischen Formen, die so gewählt und angeordnet werden, um die Illusion von Tiefe zu erzeugen, eine dreidimensionale Umgebung simuliert. Diese Technik des Simulierens von drei Dimensionen mit zweidimensionalen Graphiken wird manchmal als „2.5D" bezeichnet. Es versteht sich, daß die 2.5D-Technik bei der vorliegenden Erfindung verwendet werden kann, die auch ein wahres Dreidimensionales rendern. Die vorliegende Erfindung kann als ein oder mehrere computerlesbare Programme bereitgestellt werden, die auf oder in einem oder mehreren Herstellungsartikeln realisiert werden. Der Herstellungsartikel kann eine Diskette, eine Festplatte, eine CD-ROM, eine Flash-Speicherkarte, ein PROM, ein RAM, ein ROM oder ein Magnetband sein. Im allgemeinen können die computerlesbaren Programme in einer beliebigen Programmiersprache implementiert werden, wie zum Beispiel LISP, PERL, C, C++ oder PROLOG. Die Softwareprogramme können auf oder in einem oder mehreren Herstellungsartikeln als Objektcode gespeichert werden.
  • Obwohl die Erfindung konkret mit Bezug auf spezifische bevorzugte Ausführungsformen gezeigt und beschrieben wurde, ist für Fachleute erkennbar, daß verschiedene Änderungen der Form und Einzelheiten daran vorgenommen werden können, ohne vom Schutzumfang der Erfindung abzuweichen, der durch die angefügten Ansprüche definiert wird.

Claims (22)

  1. Verfahren zum Anzeigen von Musikdaten mit einer Musik-Zeitachse auf einer Anzeige mit einer Bildebene, mit den folgenden Schritten: (a) Darstellen der Musik-Zeitachse als ein räumlicher Weg, der nicht in einer Bildebene einer Anzeige liegt; (b) Rendern des räumlichen Weges auf die Bildebene; und (c) Rendern mindestens einer nach dem räumlichen Weg ausgerichteten graphischen Fläche, wobei die mindestens eine graphische Fläche eine zu dem räumlichen Weg, entlang dem Musikdaten graphisch aufgetragen werden, orthogonale Achse aufweist.
  2. Verfahren nach Anspruch 1, ferner mit dem Schritt des Bereitstellens einer Anzeige mit einer Bildebene.
  3. Verfahren nach Anspruch 1, wobei Schritt (a) einen stetigen räumlichen Weg umfaßt.
  4. Verfahren nach Anspruch 1, wobei Schritt (a) einen unstetigen räumlichen Weg umfaßt.
  5. Verfahren nach Anspruch 1, wobei Schritt (a) einen linearen räumlichen Weg umfaßt.
  6. Verfahren nach Anspruch 1, wobei Schritt (a) einen nichtlinearen räumlichen Weg umfaßt.
  7. Verfahren nach Anspruch 1, ferner mit dem Schritt des Anzeigens graphischer Symbole, die Musikdaten entsprechen, entlang dem der Musik-Zeitachse entsprechenden räumlichen Weg.
  8. Verfahren nach Anspruch 7, ferner mit dem Schritt des Manipulierens der räumlichen Positionen der Musikdaten zugeordneten graphischen Symbole, um den Anschein einer Bewegung entlang dem räumlichen Weg zu erzielen.
  9. Verfahren nach Anspruch 1, wobei die mit dem räumlichen Weg ausgerichteten graphischen Flächen einen Tunnel bilden.
  10. Verfahren nach Anspruch 9, wobei Musiktakte graphisch in Schritten entlang dem räumlichen Weg abgegrenzt werden.
  11. Verfahren nach Anspruch 1, ferner mit dem Schritt des Veränderns der Position einer virtuellen Kamera, um den Anschein einer Bewegung im wesentlichen entlang dem räumlichen Weg zu erzielen.
  12. Verfahren nach Anspruch 1, ferner mit dem Schritt des Abrufens von Musikdaten zur Anzeige aus einem Speicherelement.
  13. Verfahren nach Anspruch 1, ferner mit dem Schritt des visuellen Darstellens der Position des Betrachters entlang der Musik-Zeitachse.
  14. Verfahren nach Anspruch 1.3, ferner mit dem Schritt des hörbaren Ausgebens von der visuellen Position des Betrachters zugeordneten Musikdaten.
  15. Vorrichtung zum Anzeigen von Musikdaten, umfassend: ein Speicherelement, das Musikdaten speichert; und eine Graphik-Engine, die mit dem Speicherelement kommuniziert und die Musikdaten so rendert, daß ein räumlicher Weg, der einer den Musikdaten zugeordneten Musik-Zeitachse entspricht, nicht in einer Bildebene einer Anzeige liegt, wobei mindestens eine nach dem räumlichen Weg ausgerichtete graphische Fläche eine zu dem räumlichen Weg, entlang dem Musikdaten graphisch aufgetragen werden, orthogonale Achse aufweist.
  16. Vorrichtung nach Anspruch 15, ferner mit einer Anzeige mit einer Bildebene.
  17. Vorrichtung nach Anspruch 15, wobei der räumliche Weg nichtlinear ist.
  18. Vorrichtung nach Anspruch 15, wobei der räumliche Weg unstetig ist.
  19. Vorrichtung nach Anspruch 15, wobei die Graphik-Engine die Position einer virtuellen Kamera verändert, um den Anschein einer Bewegung entlang dem räumlichen Weg zu erzeugen.
  20. Vorrichtung nach Anspruch 15, ferner mit einem Audioausgabegerät.
  21. Verfahren zum Anzeigen von Musikdaten auf einer Anzeige mit einer Bildebene, mit den folgenden Schritten: (a) Bereitstellen einer Anzeige mit einer Bildebene; (b) Darstellen einer Musikdaten zugeordneten Zeitachse als ein Weg durch einen dreidimensionalen Raum; (c) Auftragen mindestens einer nach dem räumlichen Weg ausgerichteten graphischen Fläche, wobei diese mindestens eine graphische Fläche eine zu dem Weg, entlang dem Musikdaten als den Musikdaten zugeordnete graphische Symbole entlang dem räumlichen Weg aufgetragen werden, orthogonale Achse aufweist; und (d) Rendern der Zeitachse und aufgetragenen Symbole auf der Bildebene der bereitgestellten Anzeige.
  22. Verfahren nach Anspruch 21, ferner mit dem Schritt des Abrufens von Musikdaten zur Anzeige aus einem Speicherelement.
DE60103373T 2000-02-22 2001-02-20 Verfahren und vorrichtung zur anzeige von musikdateien im dreidimensionalen raum Expired - Lifetime DE60103373T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US510590 2000-02-22
US09/510,590 US6429863B1 (en) 2000-02-22 2000-02-22 Method and apparatus for displaying musical data in a three dimensional environment
PCT/US2001/005350 WO2001063592A2 (en) 2000-02-22 2001-02-20 Method and apparatus for displaying musical data in a three dimensional environment

Publications (2)

Publication Number Publication Date
DE60103373D1 DE60103373D1 (de) 2004-06-24
DE60103373T2 true DE60103373T2 (de) 2005-06-23

Family

ID=24031350

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60103373T Expired - Lifetime DE60103373T2 (de) 2000-02-22 2001-02-20 Verfahren und vorrichtung zur anzeige von musikdateien im dreidimensionalen raum

Country Status (7)

Country Link
US (1) US6429863B1 (de)
EP (1) EP1257996B1 (de)
JP (1) JP2003524216A (de)
AT (1) ATE267441T1 (de)
AU (1) AU2001241579A1 (de)
DE (1) DE60103373T2 (de)
WO (1) WO2001063592A2 (de)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176372B2 (en) * 1999-10-19 2007-02-13 Medialab Solutions Llc Interactive digital music recorder and player
US9818386B2 (en) 1999-10-19 2017-11-14 Medialab Solutions Corp. Interactive digital music recorder and player
US7078609B2 (en) 1999-10-19 2006-07-18 Medialab Solutions Llc Interactive digital music recorder and player
US6392133B1 (en) 2000-10-17 2002-05-21 Dbtech Sarl Automatic soundtrack generator
US6389467B1 (en) * 2000-01-24 2002-05-14 Friskit, Inc. Streaming media search and continuous playback system of media resources located by multiple network addresses
US7281034B1 (en) 2000-01-24 2007-10-09 Friskit, Inc. System and method for media playback over a network using links that contain control signals and commands
US6519648B1 (en) * 2000-01-24 2003-02-11 Friskit, Inc. Streaming media search and continuous playback of multiple media resources located on a network
US20030097640A1 (en) * 2001-07-25 2003-05-22 International Business Machines Corporation System and method for creating and editing documents
US7076035B2 (en) * 2002-01-04 2006-07-11 Medialab Solutions Llc Methods for providing on-hold music using auto-composition
EP1326228B1 (de) * 2002-01-04 2016-03-23 MediaLab Solutions LLC Verfahren und Vorrichtung zur Erzeugung, zur Veränderung, zur Wechselwirkung und zum Spielen von Musikstücken
US6977335B2 (en) 2002-11-12 2005-12-20 Medialab Solutions Llc Systems and methods for creating, modifying, interacting with and playing musical compositions
US9065931B2 (en) * 2002-11-12 2015-06-23 Medialab Solutions Corp. Systems and methods for portable audio synthesis
US7169996B2 (en) * 2002-11-12 2007-01-30 Medialab Solutions Llc Systems and methods for generating music using data/music data file transmitted/received via a network
US7928310B2 (en) * 2002-11-12 2011-04-19 MediaLab Solutions Inc. Systems and methods for portable audio synthesis
US7806759B2 (en) * 2004-05-14 2010-10-05 Konami Digital Entertainment, Inc. In-game interface with performance feedback
US7561160B2 (en) * 2004-07-15 2009-07-14 Olympus Corporation Data editing program, data editing method, data editing apparatus and storage medium
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
WO2006078597A2 (en) * 2005-01-18 2006-07-27 Haeker Eric P Method and apparatus for generating visual images based on musical compositions
US7563975B2 (en) * 2005-09-14 2009-07-21 Mattel, Inc. Music production system
KR100689849B1 (ko) * 2005-10-05 2007-03-08 삼성전자주식회사 원격조정제어장치, 영상처리장치, 이를 포함하는 영상시스템 및 그 제어방법
WO2007053687A2 (en) * 2005-11-01 2007-05-10 Vesco Oil Corporation Audio-visual point-of-sale presentation system and method directed toward vehicle occupant
US20070163427A1 (en) * 2005-12-19 2007-07-19 Alex Rigopulos Systems and methods for generating video game content
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
US20080200224A1 (en) 2007-02-20 2008-08-21 Gametank Inc. Instrument Game System and Method
US8907193B2 (en) * 2007-02-20 2014-12-09 Ubisoft Entertainment Instrument game system and method
US20080229200A1 (en) * 2007-03-16 2008-09-18 Fein Gene S Graphical Digital Audio Data Processing System
JP4957329B2 (ja) * 2007-03-29 2012-06-20 ヤマハ株式会社 演奏情報表示装置およびプログラム
US8326442B2 (en) * 2007-05-25 2012-12-04 International Business Machines Corporation Constrained navigation in a three-dimensional (3D) virtual arena
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
EP2206539A1 (de) 2007-06-14 2010-07-14 Harmonix Music Systems, Inc. System und Verfahren zur Simulierung eines Rock Band-Erlebnisses
US8138409B2 (en) 2007-08-10 2012-03-20 Sonicjam, Inc. Interactive music training and entertainment system
JP2009047860A (ja) * 2007-08-17 2009-03-05 Sony Corp 演奏支援装置、演奏支援方法及びプログラム
US8017857B2 (en) 2008-01-24 2011-09-13 745 Llc Methods and apparatus for stringed controllers and/or instruments
EP3654271A1 (de) 2008-02-20 2020-05-20 JAMMIT, Inc. System zum lernen und mischen von musik
EP2136356A1 (de) * 2008-06-16 2009-12-23 Yamaha Corporation Elektronische Musikvorrichtung und Tonsteuerverfahren
US8294015B2 (en) * 2008-06-20 2012-10-23 Randy Lawrence Canis Method and system for utilizing a gaming instrument controller
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
US9120016B2 (en) 2008-11-21 2015-09-01 Ubisoft Entertainment Interactive guitar game designed for learning to play the guitar
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8158873B2 (en) * 2009-08-03 2012-04-17 William Ivanich Systems and methods for generating a game device music track from music
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US8702485B2 (en) 2010-06-11 2014-04-22 Harmonix Music Systems, Inc. Dance game and tutorial
US8636572B2 (en) 2010-03-16 2014-01-28 Harmonix Music Systems, Inc. Simulating musical instruments
US8371940B1 (en) 2010-05-05 2013-02-12 Activision Publishing, Inc. Multi-player music game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8847053B2 (en) 2010-10-15 2014-09-30 Jammit, Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
US9033795B2 (en) 2012-02-07 2015-05-19 Krew Game Studios LLC Interactive music game
US9857934B2 (en) 2013-06-16 2018-01-02 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
JP6390112B2 (ja) * 2014-02-12 2018-09-19 ヤマハ株式会社 音楽情報処理装置及びプログラム並びに方法
US11110355B2 (en) * 2015-06-19 2021-09-07 Activision Publishing, Inc. Videogame peripheral security system and method
JP7141093B2 (ja) * 2018-07-17 2022-09-22 株式会社アルファコード タイミングゲーム装置およびタイミングゲーム用プログラム
US11922910B1 (en) 2020-04-02 2024-03-05 Tonestone, Inc. System for organizing and displaying musical properties in a musical composition

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5812688A (en) 1992-04-27 1998-09-22 Gibson; David A. Method and apparatus for using visual images to mix sound
US5496179A (en) * 1993-07-21 1996-03-05 Hoffman; Christine System for teaching music reading
US5616876A (en) 1995-04-19 1997-04-01 Microsoft Corporation System and methods for selecting music on the basis of subjective content
JP3058051B2 (ja) * 1995-04-27 2000-07-04 ヤマハ株式会社 音楽的アミューズメントシステム
US5792971A (en) * 1995-09-29 1998-08-11 Opcode Systems, Inc. Method and system for editing digital audio information with music-like parameters
JPH09274488A (ja) * 1996-04-05 1997-10-21 Casio Comput Co Ltd 楽音発生装置
WO1997050076A1 (en) 1996-06-24 1997-12-31 Van Koevering Company Musical instrument system
US5864078A (en) 1996-06-24 1999-01-26 Van Koevering Company Electronic piano having an integrated music stand and touch screen interfaced display
DE19716937A1 (de) 1996-07-03 1998-03-26 Tobias Waehneldt Spektral-harmonisches Interpretationsverfahren
US5728960A (en) * 1996-07-10 1998-03-17 Sitrick; David H. Multi-dimensional transformation systems and display communication architecture for musical compositions
US5900564A (en) 1996-10-19 1999-05-04 Yamaha Corporation Music data processing apparatus with communication interface and graphic user interface
US5952599A (en) 1996-12-19 1999-09-14 Interval Research Corporation Interactive music generation system making use of global feature control by non-musicians
WO1999013455A1 (en) 1997-09-05 1999-03-18 The Board Of Trustees Of The University Of Illinois System and method for interfacing sound synthesis to movement
JP3728942B2 (ja) 1998-03-24 2005-12-21 ヤマハ株式会社 楽音および画像生成装置
US6307573B1 (en) * 1999-07-22 2001-10-23 Barbara L. Barros Graphic-information flow method and system for visually analyzing patterns and relationships

Also Published As

Publication number Publication date
US6429863B1 (en) 2002-08-06
EP1257996B1 (de) 2004-05-19
ATE267441T1 (de) 2004-06-15
JP2003524216A (ja) 2003-08-12
WO2001063592A3 (en) 2002-01-03
EP1257996A2 (de) 2002-11-20
AU2001241579A1 (en) 2001-09-03
DE60103373D1 (de) 2004-06-24
WO2001063592A2 (en) 2001-08-30

Similar Documents

Publication Publication Date Title
DE60103373T2 (de) Verfahren und vorrichtung zur anzeige von musikdateien im dreidimensionalen raum
Brooks Jr Walkthrough—a dynamic graphics system for simulating virtual buildings
DE60225933T2 (de) Tragbare virtuelle realität
DE60300788T2 (de) Bild mit Feldtiefe aus Z-Pufferbilddaten und Alphamischung
DE112007002991B4 (de) Computergraphikschattenvolumen unter Verwendung von hierarchischem Okklusions-Culling
DE60302063T2 (de) Graphische benutzeroberfläche für einen flugsimulator basierend auf einer client-server-architektur
DE69731715T2 (de) Bild-prozessor, bildverarbeitungsverfahren, spielcomputer und aufzeichnungsmedium
DE60031664T2 (de) Computerverfahren und vorrichtung zum schaffen von sichtbarer graphik unter verwendung von graph algebra
DE4225872C2 (de) Verfahren zum Kennzeichnen und Identifizieren ausgewählter Gebiete in Bildern
DE69919145T2 (de) Stochastiches detailniveau in einer rechneranimation
DE69632578T2 (de) Computer-grafiksystem zum schaffen und verbessern von texturabbildungssystemen
DE69631947T2 (de) Positionierung eines Eingabezeigers
DE112005003043T5 (de) Verfahren und Vorrichtung, zum Ermöglichen von Änderungen einer Audiodatei durch einen Benutzer
DE19654807A1 (de) System und Verfahren zum Erzeugen von Haar unter Verwendung texturierter unscharfer Segmente in einem Computergrafiksystem
DE19654809A1 (de) System und Verfahren zum Erzeugen von Haar mit einem Computergrafiksystem
DE60112016T2 (de) Unterhaltungsvorrichtung, speichermedium und verfahren zur wetterbestimmung
DE19708679A1 (de) Bilddarstellungsverfahren und Vorrichtung zur Durchführung des Verfahrens
DE102006023633A1 (de) Gleichzeitige Projektion von mehrfach verzweigten Gefäßen und ihrer Umgebung auf einem einzigen Bild
DE102017118580A1 (de) Quadrangulierte geschichtete Tiefenbilder
DE60108564T2 (de) Dreidimensionale Bildverarbeitungseinheit
DE69837165T2 (de) Verfahren und gerät für automatische animation von dreidimensionalen grafischen szenen für verbesserte 3-d visualisierung
DE102019005884A1 (de) Schnittstellen und Techniken zum Einpassen von 2D-Anleitungsvideos in 3D-Tutorials in der virtuellen Realität
DE60308976T2 (de) System und Methode zur Choreographie von Videosequenzen
DE102022112888A1 (de) Benutzerschnittstellen und Verfahren zum Erzeugen eines neuen Artefakts auf der Grundlage vorhandener Artefakte
DE60030401T2 (de) Anzeigetechniken für dreidimensionale virtuelle Realität

Legal Events

Date Code Title Description
8364 No opposition during term of opposition