DE102005038876B4 - User input device with user input review procedure - Google Patents

User input device with user input review procedure

Info

Publication number
DE102005038876B4
DE102005038876B4 DE200510038876 DE102005038876A DE102005038876B4 DE 102005038876 B4 DE102005038876 B4 DE 102005038876B4 DE 200510038876 DE200510038876 DE 200510038876 DE 102005038876 A DE102005038876 A DE 102005038876A DE 102005038876 B4 DE102005038876 B4 DE 102005038876B4
Authority
DE
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE200510038876
Other languages
German (de)
Other versions
DE102005038876A1 (en )
Inventor
Claas Derboven
Andreas Merz
Markus Cremer
Michael Saupe
Original Assignee
Andreas Merz
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/02Accessories
    • A63F13/06Accessories using player-operated means for controlling the position of a specific area display
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/814Musical performances, e.g. by evaluating the player's ability to follow a notation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/38Chord
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625Emitting sound, noise or music
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00Sports without balls
    • A63B2244/22Dancing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/0028Training appliances or apparatus for special sports for running, jogging or speed-walking
    • A63B69/0035Training appliances or apparatus for special sports for running, jogging or speed-walking on the spot
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/0051Training appliances or apparatus for special sports not used, see subgroups and A63B69/00
    • A63B69/0053Apparatus generating random stimulus signals for reaction-time training involving a substantial physical effort
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/63Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/638Methods for processing data by generating or executing the game program for controlling the execution of the game in time according to the timing of operation or a time limit
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047Music games
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/341Floor sensors, e.g. platform or groundsheet with sensors to detect foot position, balance or pressure, steps, stepping rhythm, dancing movements or jumping
    • G10H2220/346Hopscotch sensing mats, i.e. including several step sensing zones, e.g. for detection of rhythmic dancing in time to background music according to stepping indications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format

Abstract

Benutzereingabevorrichtung mit Benutzereingabebewertung, mit User input device with user input rating, with
einer Bereitstellungseinrichtung (16) zum Bereitstellen eines Audiosignals; a deployment device (16) for providing an audio signal;
einer Wiedergabeeinrichtung (20) zum Wiedergeben des Audiosignals; reproducing means (20) for reproducing the audio signal;
einer Eingabeeinrichtung (12) zum Erfassen von Benutzereingaben; input means (12) for detecting user input;
einer Melodieuntersuchungseinrichtung (22) zum Unterziehen des Audiosignals einer Melodieerkennung, um Melodieinformationen mit Rhythmusinformationen zu erhalten; a melody examination means (22) for subjecting the audio signal of a melody recognition to obtain melody information with rhythm information;
einer Ansteuereinrichtung (24) zum, begleitend zu der Wiedergabe, Ansteuern einer visuellen Anzeige (14) abhängig von den Rhythmusinformationen, um visuell eine Vorgabeweise anzuzeigen, auf die Benutzereingaben an der Eingabeeinrichtung (12) vorgenommen werden sollen; a driving means (24) for, adjunct to the playback controlling a visual display (14) depending on the rhythm information to indicate visually a preset manner, that should be made to the user input to the input means (12); und and
einer Vergleichseinrichtung (26) zum Vergleichen der Benutzereingabe mit der Vorgabeweise, um eine Benutzereingabebewertung zu erhalten, a comparison device (26) for comparing the user input with the default way to obtain a user input evaluation,
wobei die Melodieuntersuchungseinrichtung (22) ausgebildet ist, aus dem Audiosignal Notenanfangszeitpunkte einer dem Audiosignal zugrundeliegenden Melodie als zumindest ein Teil der Rhythmusinformationen zu extrahieren, wherein the melody analysis means (22) is designed to extract from the audio signal Score start times of an underlying the audio signal melody as at least a part of the rhythm information,
wobei die Melodieuntersuchungseinrichtung eine Melodieerkennungseinrichtung (152) zum Extrahieren einer Notenfolge aus dem Audiosignal und eine Harmonieerkennungseinrichtung (153) zum Erkennen von auftretenden Akkorden in dem Audiosignal aufweist, und die Ansteuereinrichtung (24) ausgebildet... wherein the melody analysis means includes a melody detection means (152) for extracting a sequence of notes from the audio signal and a harmony detecting means (153) for detecting chords appearing in the audio signal, and said driving means (24) formed ...

Description

  • [0001]
    Die vorliegende Erfindung bezieht sich auf eine Benutzereingabevorrichtung mit Benutzereingabebewertung. The present invention relates to a user input device with user input review. Solche Benutzereingabevorrichtungen werden beispielsweise als Spielgeräte in der Unterhaltungsindustrie eingesetzt. Such user input devices are used for example as a play area in the entertainment industry.
  • [0002]
    Im Bereich der Unterhaltungsindustrie und dort insbesondere im Bereich der Unterhaltungssoftware erfreuen sich seit einigen Jahren Videospiele einer großen Beliebtheit, die auf der rhythmusbasierten Auslösung bestimmter Sensoren, die in Eingabegeräte eingebaut sind, basieren. In the area of ​​the entertainment industry and there especially in the field of entertainment software, video games great popularity, which, based on the rhythm-based triggering of certain sensors that are built into input devices are enjoying for some years. Insbesondere existiert eine Vielzahl von Spielen, die diese Abfrage über sog. Tanzmatten, die eine Vielzahl von Drucksensoren umfasst, realisieren. In particular, a variety of games that realize this query via so-called. Tanzmatten, comprising a plurality of pressure sensors exist. Dabei ist eine auf dem Fußboden liegende Tanzmatte vor einem Bildschirm angeordnet. Here, a dance mat lying on the floor is disposed in front of a screen. Passend zum Takt einer gleichzeitig abgespielten Musik werden Symbole auf dem Monitor eingeblendet, die dem in der Mitte der Tanzmatte stehenden Spieler mitteilen, welchen Sensor er aktivieren soll. In keeping with the rhythm of a simultaneously played music icons on the monitor displays that tell the standing in the middle of the dance mat player, which sensor it should activate. In der Tanzmatte sind Folienschalter als Sensoren eingebaut, die überprüfen, ob der Benutzer die vorgegebenen ”Tanzschritte” „taktgemäß”, dh zu den geforderten Zeitpunkten, durchgeführt hat. In the dance mat slide switches are installed as sensors that check if the user has ie the required times, performed the predetermined "dance steps" "clock according to". Es gibt eine Vielzahl anderer Spiele, die mit ähnlichen Prinzipien und/oder anderer Hardware arbeiten. There are a variety of other games that use similar principles and / or other hardware. So sind in einem anderen Spiel die Sensoren beispielsweise in Trommeln untergebracht. Thus, the sensors are located for example in drums in another game.
  • [0003]
    Damit die Muster, die am Bildschirm angezeigt werden, zu der gleichzeitig abgespielten Musik passen, werden die Muster bzw. Pattern von musikalisch vorgebildeten ”Pattern-Kreierern” manuell und individuell an die Musikstücke angepasst erstellt, wobei dieselben dabei alle musikalischen Eigenschaften der Musikstücke in die Patterns mit einfließen lassen können. In order for the pattern to be displayed on the screen, fit the same music being played, the pattern or patterns of musical preformed "Pattern Kreierern" be created manually and individually adapted to the music, and the same while all the musical qualities of the music in the Patterns can to incorporate.
  • [0004]
    Alle bisher auf dem Markt befindlichen Spiele haben die Gemeinsamkeit, dass der Nutzer die Spiele nicht um seine eigene Musik erweitern kann. All previously available on the market games have in common that the user can not expand his own music the games. Er ist immer auf die Musikstücke angewiesen, die auf der zugehörigen Spiele-CD oder -DVD enthalten oder per Download-Dienst beispielsweise vom Spielevertreiber verfügbar sind. He is always dependent on the pieces of music included on the accompanying Games CD or DVD or available via download service, for example, from games distributors. Die bisher erhältlichen Varianten dieser Spiele sind im Bezug auf die Musikauswahl folglich limitiert, was einen durchaus großen Nachteil darstellt. The variants previously available these games are therefore limited in terms of music selection, which is a quite big disadvantage. Die Akzeptanz unter den Spielern für Spiele der oben genannten Art wäre sicherlich größer, wenn die Musikauswahl nicht eingeschränkt wäre. The acceptance among the players for games of the type mentioned above would certainly be greater if the music selection would not be restricted.
  • [0005]
    O'Keeffe, K. „Dancing Monkeys” (Automated creation of step files for Dance Dance Revolution), Meng Individual Project Report, 18.06.2003 beschreibt für ein Spielautomatenspiel, das ausschließlich durch die Füße des Spieles gesteuert wird, die Extraktion von Merkmalen aus Musik, die die Erzeugung neuer Schrittnachführungen für beliebige Lieder ohne Intervention ermöglichen. O'Keeffe, K. "Dancing Monkeys" (Automated creation of step files for Dance Dance Revolution), Meng Individual Project Report, 18.06.2003, describes a slot machine game that is controlled exclusively by the feet of the game, the extraction of features from music that enable the creation of new Schrittnachführungen for any songs without intervention. Das Ergebnis ist ein Programm, das, wenn ein Lied eingegeben wird, automatisch eine spielbare Schrittnachführung erzeugt, die für dieses Lied einmalig ist. The result is a program that when a song is entered automatically generates a playable Schrittnachführung that is unique for this song.
  • [0006]
    Die The US 2004/0266227 A1 US 2004/0266227 A1 beschreibt ein Verfahren zum Spielen eines Spiels basierend auf Ereignissen in einer Musikdatei. describes a method for playing a game based on events in a music file. Das Verfahren umfasst das Bereitstellen einer ersten Benutzerschnittstelle, um es einem Benutzer zu ermöglichen, eine Musikdatei auszuwählen, die in dem Spiel zu spielen ist, wobei die ausgewählte Musikdatei eine Mehrzahl von Spuren umfasst, die gleichzeitig zu spielen sind, wenn die gewählte Musikdatei gespielt wird; The method includes providing a first user interface to enable a user to select a music file, which is to play in the game, wherein the selected music file comprises a plurality of tracks are to be played simultaneously, if the selected music file is played ; Bereitstellen einer zweiten Benutzerschnittstelle, um es dem Benutzer zu ermöglichen, eine Spur von der Mehrzahl von Spuren in der ausgewählten Musikdatei auszuwählen; Providing a second user interface to allow the user to select a track from the plurality of tracks in the selected music file; Berechnen von Ereigniszeiten, die Notenereignissen in der ausgewählten Spur zugeordnet sind, wobei jedes Notenereignis einer Note in der ausgewählten Spur entspricht; Calculating event times, the note events in the selected track are assigned, each note event of a note in the selected track corresponds; Spielen der ausgewählten Musikdatei; Play the selected music file; und Bestimmen, ob eine geeignete Taste innerhalb einer vorbestimmten Zeitperiode vor oder nach jedem Notenereignis der ausgewählten Spur gedrückt wird. and determining whether an appropriate key is pressed within a predetermined time period before or after each note event of the selected track.
  • [0007]
    Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, eine Benutzereingabevorrichtung mit Benutzereingabebewertung und ein Verfahren zur Benutzereingabe mit Benutzerbewertung zu schaffen, die eine flexiblere Anwendung ermöglichen. The object of the present invention is to provide a user input device with user input review, a process for user input of user evaluation, enabling a more flexible application.
  • [0008]
    Diese Aufgabe wird durch eine Benutzereingabevorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 9 sowie ein Computer-Programm gemäß Anspruch 10 gelöst. This object is achieved by a user input device according to claim 1 and a method according to claim 9 and a computer program according to claim 10 degrees.
  • [0009]
    Der Kerngedanke der vorliegenden Erfindung besteht darin, dass eine flexiblere Anwendbarkeit einer Benutzereingabevorrichtung mit Benutzereingabebewertung, die begleitend zu einer Musikwiedergabe eine visuelle Anzeige ansteuert, um visuell eine Vorgabeweise anzuzeigen, auf die ein Benutzer Benutzereingaben an einer Eingabeeinrichtung vornehmen soll, dadurch erzielt werden kann, dass über eine Melodieerkennung an dem Audiosignal Melodieinformationen mit Rhythmusinformationen aus dem Audiosignal erhalten werden, die dann verwendet werden, um die visuelle Anzeige anzusteuern, nämlich auf eine Art und Weise, die zu dem Audiosignal passt. The core idea of ​​the present invention is that a more flexible application of a user input device with user input rating which drives an adjunct to a music reproducing a visual display to visually indicate a default way in which a user is to perform user input to an input device, can be achieved by will receive a melody recognition to the audio signal melody information with rhythm information from the audio signal, which is then used to control the visual display, namely a way that matches the audio signal. Diese Vorgehensweise ermöglicht es insbesondere, jegliches Audiosignal in die Benutzereingabevorrichtung eingeben zu können. This approach makes it possible in particular to be able to enter any audio signal into the user input device. Mit anderen Worten ausgedrückt, ist das System nicht auf einen vorbestimmten Satz von Audiosignalen eingeschränkt. In other words, the system is not limited to a predetermined set of audio signals.
  • [0010]
    Gemäß einem speziellen Ausführungsbeispiel der vorliegenden Erfindung werden aus der Melodieerkennung Tempoinformationen erhalten, die für jeden vorbestimmten Zeitpunkt der Audiodatei ein zugehöriges Tempo definieren. According to a specific embodiment of the present invention tempo information obtained from the melody recognition that define a corresponding speed for every predetermined time of the audio file. Mit einer Geschwindigkeit, die von diesen Tempoinformationen abhängt, wird dann eine Folge von visuellen Mustern abgespielt, die beispielsweise im Vorhinein erzeugt worden ist. At a speed that depends on this tempo information, a sequence will be played of visual patterns that has been generated, for example, in advance.
  • [0011]
    Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Folge von visuellen bzw. graphischen Mustern zufällig erzeugt. According to a further aspect of the present invention, the result of visual or graphic patterns is randomly generated. Die Erzeugung der Folge von Mustern kann jedoch auch abhängig von Melodie- bzw. Songaufbau-Informationen durchgeführt werden, die aus dem Audiosignal extrahiert werden können. However, the generation of the sequence of patterns may also be performed depending on melody or song structure information that can be extracted from the audio signal.
  • [0012]
    Gemäß einem speziellen Ausführungsbeispiel der vorliegenden Erfindung umfasst die Benutzereingabevorrichtung als Eingabeeinrichtung eine Tanzmatte, als Ausgabeeinrichtung einen Monitor, als Wiedergabeeinrichtung einen Lautsprecher und als Bereitstellungseinrichtung einen CD-, DVD- oder MP3-Spieler, wobei die Benutzereingabevorrichtung als Spielgerät fungiert und einen Vergleich zwischen den Benutzereingaben und der durch die visuelle Anzeige definierten Vorgabeweise anstellt, um eine Benutzereingabebewertung zu erhalten. According to a specific embodiment of the present invention, the user input device includes as an input means a dance mat, as the output means comprises a monitor, as a reproducing means comprises a loudspeaker and as a deployment means comprises a CD, DVD or MP3 player, wherein the user input device functions as a game machine and a comparison between the user input and the default manner defined by the visual display hires to get user input rating.
  • [0013]
    Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezugnehmend auf die beiliegenden Zeichnungen näher erläutert. Preferred embodiments of the present invention are explained in detail below with reference to the accompanying drawings. Es zeigen: Show it:
  • [0014]
    1 1 eine schematische Darstellung einer Benutzereingabevorrichtung gemäß der vorliegenden Erfindung; a schematic representation of a user input device according to the present invention;
  • [0015]
    2 2 eine exemplarische Momentaufnahme des Inhalts, der auf dem Bildschirm der Vorrichtung von an exemplary snapshot of the content of the screen of the device 1 1 angezeigt wird; is shown;
  • [0016]
    3 3 ein Flussdiagramm zur Veranschaulichung des grundsätzlichen Spielablaufs bei der Vorrichtung nach a flow chart of illustrating the basic game play with the device 1 1 ; ;
  • [0017]
    4 4 ein Flussdiagramm zur Veranschaulichung des eigentlichen Spielablaufs bei der Vorrichtung von a flow diagram illustrating the actual game process in the apparatus of 1 1 ; ; und and
  • [0018]
    5 5 ein Flussdiagramm zur Veranschaulichung des grundsätzlichen Spielverlaufs bei der Vorrichtung nach a flow chart of illustrating the basic course of the game in the apparatus 1 1 gemäß einem alternativen Ausführungsbeispiel. according to an alternative embodiment.
  • [0019]
    Es wird darauf hingewiesen, dass sich die folgenden, bezugnehmend auf die Figuren beschriebenen Ausführungsbeispiele auf ein spezielles Spielgerät beziehen, bei dem die vorliegende Erfindung implementierbar ist. It should be noted that the following described with reference to the figures, exemplary embodiments relate to a specific game device to which the present invention is implemented. Die vorliegende Erfindung ist jedoch nicht auf dieses Spielgerät mit Tanzmatte begrenzt. However, the present invention is not limited to this game device with dance mat. Zudem können Eingabevorrichtungen gemäß der vorliegenden Erfindung nicht nur im Unterhaltungssektor eingesetzt werden. In addition, input devices can be used according to the present invention not only in the entertainment sector. Denkbar wäre es ferner, Benutzereingabevorrichtungen mit Benutzereingabebewertung auch zu medizinischen Zwecken einzusetzen, wie z. It would be possible also to use user input devices with user input rating also for medical purposes such. B. zur Untersuchung der Konzentrationsfähigkeit, der motorischen Fähigkeit oder der Reaktionsfähigkeiten eines Patienten, oder zur therapeutischen Behandlung von Patienten bezüglich dieser Fähigkeiten. B. to study the concentration, the motor ability or the response capabilities of a patient or for therapeutic treatment of patients with respect to these skills.
  • [0020]
    1 1 zeigt ein Spielgerät shows a gaming device 10 10 , in welchem die vorliegende Erfindung implementiert ist. , In which the present invention is implemented. Das Spielgerät The game device 10 10 umfasst als Eingabeeinrichtung eine Tanzmatte as input means comprises a dance mat 12 12 , als visuelle Anzeige einen Bildschirm As a visual display screen 14 14 , zur Audiobereitstellung eine Audiobereitstellungseinrichtung , For providing an audio Audio provision means 16 16 und zu Auswerte- und Steuerzwecken einen Computer and evaluation and control purposes a computer 16 16 , der sowohl mit der Tanzmatte With which both the dance mat 12 12 , dem Monitor , The monitor 14 14 als auch mit der Bereitstellungseinrichtung as well as the provision device 16 16 verbunden ist. connected is. Zudem umfasst der Monitor The monitor also includes 14 14 vorliegend exemplarisch integrierte Lautsprecher present exemplary integrated speakers 20 20 als Wiedergabeeinrichtung. as a playback device.
  • [0021]
    Auf dem Computer On the computer 18 18 laufen bestimmte Prozesse ab, die im folgenden näher erläutert werden. running from certain processes, which are explained in more detail below. Insbesondere ist der Computer In particular, the computer 18 18 programmiert bzw. fähig, einen Rhythmuserkennungsprozess programmed and capable of a rhythm recognizing process 22 22 , einen Mustererzeugungsprozess , A pattern forming process 24 24 und einen Vergleichs/Bewertungsprozess and a comparison / evaluation process 26 26 auszuführen. perform. Anders ausgedrückt sind auf den Computer In other words, are on the computer 18 18 eine Rhythmuserkennungseinrichtung a rhythm detection device 22 22 zur rhythmischen Untersuchung des Audiosignals, ein Mustererzeuger for rhythmic investigation of the audio signal, a pattern generator 24 24 zur Mustererzeugung abhängig von dem Ergebnis der Rhythmusuntersuchung durch die Einrichtung depending on the pattern generation on the result of investigation by the rhythm device 22 22 und zur entsprechenden Ansteuerung des Monitors and for corresponding control of the monitor 14 14 und eine Vergleichs/Bewertungseinrichtung and a comparison / judgment means 26 26 zur schließlichen Eingabebewertung implementiert. implemented for eventual input rating.
  • [0022]
    Während der Computer While the computer 18 18 an jedwedem Ort angeordnet sein kann, ist die Tanzmatte may be located at whatsoever place is the dance mat 12 12 auf einem Fußboden vor dem Monitor on a floor in front of the monitor 14 14 so angeordnet, dass ein Spieler, der auf der Tanzmatte arranged such that a player who is on the dance mat 12 12 steht bzw. spielt, den Monitor stands and plays the Monitor 28 28 bequem einsehen kann. can easily see.
  • [0023]
    Die Bereitstellungseinrichtung The provision means 16 16 kann als reiner Speicher fungieren, in welchem eine vorbestimmte Mehrzahl von Audiosignalen bzw. Audiodateien, die jeweilige Musikstücke repräsentieren, gespeichert sind. can act as a pure memory in which a predetermined plurality of audio signals and audio files, the respective pieces of music represent, are stored. In diesem Fall kann die Bereitstellungseinrichtung ebenso wie der Computer In this case, the deployment means may like the computer 18 18 an jedwedem Ort angeordnet oder sogar in dem Computer disposed at whatsoever place or even in the computer 18 18 integriert sein. be integrated. Es kann jedoch ferner sein, dass die Bereitstellungseinrichtung However, it may be further understood that the delivery device 16 16 fähig ist, Audiodateien von tragbaren Datenträgern zu lesen, die von dem Spieler mitgebracht werden, wie z. is able to read audio files from portable data carriers that are brought by the player such. B. CDs, DVDs oder Speicherkarten, oder eine Schnittstelle aufweist, die es einem Spieler ermöglicht, eine Audiodatei von der Bereitstellungseinrichtung has as CDs, DVDs or memory cards, or an interface that allows a player to an audio file of the provision device 16 16 einlesen zu lassen, wie z. read to make such. B. eine Infrarotschnittstelle. As an infrared interface. Hierdurch wird es einem Benutzer ermöglicht, selbst mitgebrachte Audiodateien in den im Folgenden dargelegten Spielablauf einzubinden. This makes it allows a user to integrate itself brought audio files to set out below gameplay. In diesem Fall ist es natürlich vorteilhaft, wenn die Bereitstellungseinrichtung In this case it is of course advantageous if the supply device 16 16 in der Nähe von Tanzmatte near dance mat 12 12 und Monitor and monitor 14 14 angeordnet ist. is arranged.
  • [0024]
    2 2 zeigt exemplarisch eine Momentaufnahme eines Inhalts, der auf dem Bildschirm exemplarily shows a snapshot of a content screen on the 28 28 während des eigentlichen Spielablaufs angezeigt wird. is displayed during the actual game play. Wie es im Folgenden noch näher erläutert werden wird, werden auf dem Bildschirm As will be explained in more detail below, are on the screen 28 28 während des Spielablaufs passend zum Takt der Musik Symbole eingeblendet, die dem Spieler mitteilen, auf welche Weise er sich auf der Tanzmatte appropriately displayed during game play to the beat of the music icons that tell the player how he is on the dance mat 12 12 bewegen soll. should move. Einem vorliegenden exemplarischen Ausführungsbeispiel nach sind die Symbole Pfeile A present exemplary embodiment, after the symbols are the arrows 30 30 , der entweder nach links, unten, oben oder rechts zeigen. Either to the left, below, show the top or right. Den vier verschiedenen Möglichkeiten bzw. möglichen Pfeilrichtungen für die Pfeile The four different options or possible arrows indicate the arrows 30 30 auf dem Bildschirm on the screen 28 28 entsprechen bestimmten Feldern der Tanzmatte correspond to specific fields of the dance mat 12 12 . , In dem vorliegenden Ausführungsbeispiel ist die Tanzmatte In the present embodiment, the dance mat 12 12 für den Spieler sichtbar in neun Felder bzw. neun Teilbereiche for the player visible in nine fields and nine sub-areas 32 32 untergliedert, die zusammen ein 3 × 3-Feld ergeben. divided that together form a 3 x 3 field. Auf dem mittleren Feld, auf der in In the middle field, on the in 1 1 exemplarisch Fußabdrücke exemplary footprints 34 34 abgebildet sind, steht der Spieler während des Spieles vornehmlich bzw. von diesem Feld aus agiert er. are displayed, the player is mainly during the game or from this field he acts. Auf dem Feld vor ihm ist ein Pfeil On the field in front of him is an arrow 36 36 abgebildet, der nach vorne bzw. in Richtung des Monitors depicted, the forward or in the direction of the monitor 14 14 zeigt, auf dem rechten mittleren Feld neben ihm ist ein Pfeil shows on the right central field next to him is an arrow 38 38 dargestellt, der nach rechts relativ zu der Blickrichtung nach vorn zum Monitor shown, the right relative to the line of sight to the front to monitor 14 14 zeigt, auf dem mittleren hinteren Feld ist ein Pfeil shows, on the middle rear panel is an arrow 40 40 dargestellt, der nach hinten zeigt, und auf dem linken mittleren Feld ist ein Pfeil shown pointing to the rear, and the left middle field is an arrow 42 42 gezeigt, der nach links zeigt. shown pointing to the left. Es sind die Felder mit den Pfeilen There are the fields with the arrows 36 36 - 42 42 , die den Pfeilen That the arrows 30 30 auf dem Bildschirm on the screen 28 28 entsprechen. correspond. Im Bereich dieser Felder mit den Pfeilen In the area of ​​these fields with the arrows 36 36 - 42 42 sind Folienschalter (nicht gezeigt) in der Matte are membrane switch (not shown) in the mat 12 12 angeordnet, um es dem Computer arranged to allow the computer 18 18 zu ermöglichen, beispielsweise per Abfrage festzustellen, ob der Spieler gerade auf die Felder mit den Pfeilen to enable to determine, for example, by asking if the player just to the fields with the arrows 36 36 - 42 42 tritt. occurs. Insbesondere wird es dem Computer auf diese Weise ermöglicht, festzustellen, ob und falls ja, mit welcher zeitlichen Genauigkeit, der Spieler die Felder mit den Pfeilen In particular, it is possible for the computer in this way, to determine whether and if so, with which chronological accuracy, the player in the fields with the arrows 36 36 - 42 42 auf die Art und Weise trifft, wie sie durch die Pfeile meets the manner as indicated by the arrows 30 30 auf dem Bildschirm on the screen 28 28 angezeigt werden. are displayed. Dabei scrollen die Pfeile The arrows scroll 30 30 auf dem Bildschirm on the screen 28 28 von unten nach oben. from bottom to top. In dem Moment, indem ein Pfeil The moment by an arrow 30 30 eine dazugehörige Pfeilschablone an associated arrow template 32 32 am oberen Rand des Bildschirms at the top of the screen 28 28 erreicht, muss der Spieler, um Punkte zu erlangen, auf den entsprechenden Pfeil reached, the player has to gain points, the appropriate arrow 36 36 - 42 42 der Tanzmatte treten. join the dance mat. Der Spieler sieht also schon einige Sekunden vor der eigentlichen Aktion, welche Pfeile The player therefore already seen a few seconds before the actual action which arrows 30 30 als nächstes kommen bzw. relevant werden. come next and are relevant.
  • [0025]
    Nachdem im Vorhergehenden im Wesentlichen lediglich der Aufbau des Spielgeräts von After above essentially only the structure of the game device from 1 1 beschrieben worden ist, wird im Folgenden unter gemeinsamer Bezugnahme auf die has been described, is described below with joint reference to 1 1 - 3 3 der grobe Ablauf des Spiels des Spielgeräts the general course of the game of the gaming device 10 10 beschrieben. described. Der Ablauf des Spiels wird durch ein Spielprogramm gesteuert, das auf dem Computer The running of the game is controlled by a game program on the computer 18 18 abläuft und die Funktionalitäten expires and the functionalities 22 22 , . 24 24 und and 26 26 beinhaltet. includes.
  • [0026]
    Das Spiel beginnt mit der Bereitstellung einer Audiodatei in Schritt The game begins with the provision of an audio file in step 50 50 . , Die in Schritt In step 50 50 bereitgestellte Audiodatei ist dazu vorgesehen, während des eigentlichen Spiels über die Lautsprecher provided audio file is provided for during the actual game from the speakers 20 20 wiedergegeben zu werden. to be reproduced. Die Audiodatei The audio file 50 50 kann auf jedwede Weise bereitgestellt werden, wie z. can be provided in any manner such. B. durch eine zufällige Auswahl aus einem vorbestimmten festen Satz von Audiodateien oder dadurch, dass der Spieler unter einem vorbestimmten festen Satz von Audiodateien auswählt. For example, by a random selection from a predetermined fixed set of audio files or in that the player selects at a predetermined fixed set of audio files. Um die Auswahl treffen zu können, kann der Spieler beispielsweise eine in der Bereitstellungseinrichtung To make the selection, the player can, for example, one in the supply device 16 16 vorgesehene Eingabevorrichtung, wie z. provided input device such. B. eine Tastatur verwenden. B. Use a keyboard. Ferner ist es aber möglich, dass in der Tanzmatte But further, it is possible that in the dance mat 12 12 freie Felder, dh diejenigen ohne Pfeile, als Funktionseingabefelder verwendet werden. Ie those who are used without arrows as a function of input fields empty fields. In In 1 1 sind exemplarisch die vorderen beiden Eckfelder rechts und links vorn mit Zeichen versehen, nämlich einem Kreuz und einem Kreis, und sind ferner mit Folienschaltern bestückt. the two front corner panels are exemplary front provided right and left with sign, namely, a cross and a circle, and are further equipped with film switches. Mittels dieser beiden Felder könnte sich der Spieler beispielsweise vor dem eigentlichen Spielbeginn durch ein Menü navigieren, das auf dem Monitor By means of these two fields, the player could navigate for example, before the actual start of the game through a menu on the monitor 14 14 angezeigt wird, um die Auswahl aus zu Verfügung stehenden Audiodateien zu treffen. appears to make the selection from standing to available audio files. In dem Fall, dass die Bereitstellungseinrichtung In the event that the supply device 16 16 das Einschieben von tragbaren Datenträgern, wie z. the insertion of portable data carriers such. B. CDs, DVDs oder Speicherkarten, ermöglicht, kann der Spieler die ohnehin von dem Spielgerät aus bereitgestellten Audiodateien um eigene Audiodateien oder eine eigene Audiodatei ergänzen, so dass diese zusätzlich zur Verfügung stehen, um ausgewählt zu werden. As CDs, DVDs or memory cards allows the player can complement any case of the game device provided audio files to audio files or a separate audio file, so these are additionally available to be selected. Natürlich ist es ferner möglich, dass das Spielgerät Of course it is also possible that the gaming device 10 10 an sich keine vorgespeicherten Audiodateien aufweist und der Spieler somit auf seine eigenen Audiodateien angewiesen ist. se has no pre-stored audio files and the player therefore has to rely on his own audio files.
  • [0027]
    Nachdem auf diese Weise bei Start des Spielprogramms der Nutzer seine Audiodatei ausgewählt hat, unterzieht der Computer Once selected in this way at the start of the game program, the user's audio file subjected to the computer 18 18 bzw. die Rhythmuserkennungseinrichtung or the rhythm detection device 22 22 im Rahmen des Spielprogramms diese Audiodatei einer Tempoanalyse bzw. Tempoerkennung in the context of the game program this audio file of a pace or tempo detection analysis 52 52 . , Die Tempoerkennung wird beispielsweise basierend auf einem Verfahren von Jan Rohden durchgeführt, das in dem Patent The speed detection is performed, for example, based on a method of Jan Rohden, in Patent DE 10123281 C1 DE 10123281 C1 mit dem Titel ”Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion” beschrieben ist. is described with the title "Apparatus for analyzing an audio signal with regard to rhythm information of the audio signal by using an autocorrelation function." Vorzugsweise führt die Tempoerkennung Preferably, the tempo detection results 52 52 zu der Erzeugung einer Liste, die Tempi bzw. Tempuswerte des durch die Audiodatei präsentierten Songs zwischen allen ¼-Noten-Paaren bzw. für alle Zeitintervalle zwischen solchen Paaren enthält. includes the generation of a list, the tempos and Tempus values ​​presented by the audio file between all songs ¼-note pairs and for all time intervals between such pairs. Auf diese Weise können auch mögliche Tempowechsel innerhalb des Songs berücksichtigt werden. In this way, possible tempo changes can be considered within the song.
  • [0028]
    Im Rahmen des ablaufenden Spielprogramms führt der Computer As part of the running game program, the computer 18 18 bzw. der Mustererzeuger or the pattern generator 24 24 daraufhin eine Pattern- bzw. Mustergenerierung then a Pattern or pattern generation 54 54 durch. by. Bei dieser Mustergenerierung In this pattern generation 54 54 werden Muster im Sinne von Symbol- bzw. Pfeilfolgen generiert, zu denen der Spieler tanzen soll. Patterns are generated within the meaning of symbol and arrow consequences to which the player is dancing. Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden die kompletten Abfolgen für einen Song bzw. für eine Audiodatei vor dem Beginn des eigentlichen Spielgeschehen generiert. According to a preferred embodiment of the present invention, the complete sequences for a song or an audio file before the start of the actual players are generated.
  • [0029]
    In dem vorliegenden Ausführungsbeispiel können die Muster beispielsweise aus vielen Einzelpattern zusammengesetzt sein, die ihrerseits jeweils aus vier oder acht oder einer anderen Anzahl von Zeilen bestehen. In the present embodiment, the pattern may be composed for example of many individual pattern, which in turn each consist of four or eight or some other number of lines. In einer Zeile befinden sich ein oder zwei Pfeile. In a row there are one or two arrows. Anders ausgedrückt, kann die Pattergenerierung In other words, the can Pattergenerierung 54 54 beispielsweise darin bestehen, durch Auswahl aus einem vorbestimmten festen Satz von möglichen Einzelpatterns mit jeweils einer vorbestimmten Anzahl an Zeilen zu je einem oder zwei Pfeilen for example, consist by selecting from a predetermined fixed set of possible individual patterns each having a predetermined number of lines of one or two arrows 30 30 eine Folge von Einzelpatterns und damit eine Folge von Zeilen zu erzeugen. a sequence of individual patterns and thereby generate a sequence of lines. In dem Fall von zwei Pfeilen in einer Zeile weisen diese natürlich in unterschiedliche Richtungen, da ja nach dem Beispiel von In the case of two arrows in a row this course pointing in different directions, since following the example of 2 2 Pfeile arrows 30 30 mit einer unterschiedlichen Pfeilrichtung in unterschiedlichen Spalten angezeigt bzw. entlang der Spaltenrichtung gescrollt werden. displayed with a different direction of the arrow in different columns or be scrolled along the column direction. Befinden sich in einer Zeile zwei Pfeile, so bedeutet dies, dass der Spieler zwei Felder Are located in one line two arrows, it means that the player two fields 32 32 der Tanzmatte the dance mat 12 12 gleichzeitig betreten muss. must enter the same time. Dieser Fall tritt in This is the case in 2 2 beispielsweise in der Zeile auf, die sich direkt unter dem ”55 compo”-Schriftzug befindet. For example, in the row on the "compo 55" is located directly below the lettering.
  • [0030]
    Die Pattergenerierung bzw. die Auswahl unter den Einzelpattern bzw. Mustern kann zufallsgesteuert sein. The Pattergenerierung or choosing between the single pattern or patterns may be randomly. Die Pattergenerierung oder Patternauswahl kann aber auch vom Songaufbau und melodischen Aspekten abhängig gemacht werden. but the Pattergenerierung or Pattern selection can be made dependent on song structure and melodic aspects. So könnten beispielsweise mittels einer Filterbank im Computer That is why, for example by means of a filter bank in the computer 18 18 Melodie- oder Basslinien untersucht und die Pattern an diese angepasst werden. Melody or bass lines examined, and the Patterns are adapted to this. Auch könnte der Rhythmus des der Audiodatei zugrundeliegenden Songs zur Pattergenerierung herangezogen werden. The rhythm of the underlying audio file songs could be used to Pattergenerierung.
  • [0031]
    Nachdem die Tempoerkennung Once the tempo detection 52 52 durch die Rhythmuserkennung by the rhythm detection 22 22 und die Patterngenerierung and the pattern generation 54 54 durch den Mustererzeuger by the pattern generator 24 24 durchgeführt worden sind, startet in einem Schritt have been made, starts in a step 56 56 das eigentliche Spiel, dessen eigentlicher Spielablauf bezugnehmend auf the actual game, its actual gameplay reference to 4 4 detaillierter erörtert werden wird. will be discussed in more detail.
  • [0032]
    Am Ende des Spiels, das beispielsweise durch das Erreichen des Endes der Audiodatei bestimmt ist, findet eine Auswertung At the end of the game, which is determined, for example by reaching the end of the audio file is an evaluation 58 58 bzw. eine Zusammenfassung in Form einer Statistik über die einzelnen Bewertungen der Tanzschritte des Spielers bzw. Benutzers statt. or a summary rather than in the form of statistics on the individual evaluations of the player or user of the dance steps. Außerdem wird beispielsweise ein Gesamtranking ermittelt, dh eine Auflistung der besten Spiele an dem Spielgerät In addition, an overall ranking is determined, for example, which is a collection of the best games on the gaming machine 10 10 . ,
  • [0033]
    4 4 zeigt detaillierter den eigentlichen Spielablauf shows in more detail the actual gameplay 56 56 . , Wie bereits erwähnt, beginnt der eigentliche Spielablauf As mentioned above, the actual gameplay begins 56 56 nach der Patterngenerierung Pattern generation by the 54 54 und der Tempoerkennung and the tempo detection 52 52 . , Der eigentliche Spielablauf The actual gameplay 56 56 beginnt insbesondere mit einer Initialisierung in einem Schritt begins with an initialization in particular in a step 100 100 . , Bei der Initialisierung At initialization 100 100 wird beispielsweise der Bildschirm For example, the screen 28 28 vorbereitet, dh es werden beispielsweise die Pfeilschablonen prepared, that is, for example, the arrow stencils 32 32 gezeichnet usw. Die Initialisierung drawn, etc. The initialization 100 100 kann ferner dazu vorgesehen sein, die Sensoren in der Tanzmatte may further be provided to the sensors in the dance mat 12 12 zu aktivieren, oder um eine Synchronisation der folgenden Prozessschritte sicherzustellen. To enable or to synchronize the following process steps ensure.
  • [0034]
    Nachdem der Computer After the computer 18 18 alle notwendigen Initialisierungsmaßnahmen all necessary initialization measures 100 100 vollzogen hat, steuert er die Lautsprecher has taken place, it controls the speaker 20 20 an, um die Audiodatei bzw. Musik abzuspielen. on to play the audio file or music. Es kann ferner sein, dass der Computer It may also be that the computer 18 18 das Abspielen playing 102 102 der Musik auch lediglich auslöst, wie z. Music also only triggers such. B. durch einen Befehl bzw. ein Auslösesignal an die Bereitstellungseinrichtung For example, by a command and a trigger signal to the deployment device 16 16 , um direkt das Audiosignal an die Lautsprecher To direct the audio signal to the speakers 20 20 weiterzuleiten – ohne Umweg über den Computer forward - without going through a computer 18 18 . ,
  • [0035]
    Während des Abspielens During playback 102 102 der Musik führt der Computer the music leads the computer 18 18 einzelne Prozesse aus, nämlich eine Abfrage individual processes, namely a query 104 104 der Sensoren the sensors 36 36 - 42 42 der Tanzmatte the dance mat 12 12 , eine graphische Patterndarstellung , A graphical representation Pattern 106 106 bzw. eine Ansteuerung des Monitors or an activation of the monitor 14 14 , einen Vergleich A comparison 108 108 der Muster mit dem Abfrageergebnis bzw. den Sensorsignalen von der Sensormatte the pattern with the query result or the sensor signals of the sensor mat 12 12 und eine Bewertung and review 110 110 . , Die Musikwiedergabe The music playback 102 102 , die graphische Darstellung , The graphical representation 106 106 der Pfeile the arrows 30 30 , die Abfrage The query 104 104 der Tanzmatte the dance mat 12 12 bzw. des Patts und die Überprüfung or the stalemate and checking 108 108 , ob die Eingabe mit den Pfeilen übereinstimmt, laufen synchron ab. Whether the input with the arrows matches take place synchronously. Insbesondere werden vorliegend exemplarisch von dem Computer In particular, the present example of the computer 18 18 die Prozesse the processes 104 104 und and 106 106 parallel ausgeführt, um in einem schließenden Prozess running parallel to a closing process 108 108 die Ergebnisse dieser Prozesse, nämliche das tatsächliche Tanzverhalten und die Sollvorgabe, miteinander zu vergleichen, und das Vergleichsergebnis daraufhin einer Bewertung in dem Bewertungsprozess the results of these processes, the actual same dance behavior and target specification to compare with each other, and the comparison result then an assessment in the evaluation process 110 110 zu unterziehen. to undergo. Nach dem Prozess After the process 110 110 werden die Prozesse the processes 104 104 und and 106 106 wieder ausgeführt, wodurch die Prozesse re-exported, making the processes 104 104 - 110 110 zyklisch durchlaufen werden, während die Musik abgespielt cycling through while the music played 102 102 wird. becomes.
  • [0036]
    Im Rahmen des Abfrageprozesses As part of the interrogation process 104 104 erhält der Computer the computer will 18 18 beispielsweise zu bestimmten Zeitpunkten mit kurzen Zeitintervallen zwischen denselben Informationen darüber, ob der Spieler gerade auf ein bestimmtes der Felder For example, at certain times with short time intervals between the same information on whether the player just to a particular fields 32 32 mit den Pfeilen with the arrows 36 36 - 42 42 tritt oder nicht, um für jedes dieser Felder eine Folge von binären Werten zu erhalten. does not occur, or to obtain a sequence of binary values ​​for each of these fields.
  • [0037]
    Im Rahmen der graphischen Patterndarstellung As part of the graphical representation Pattern 106 106 steuert der Computer controls the computer 18 18 den Monitor the monitor 14 14 an, um die Folge von Mustern bzw. die Zeilen mit Pfeilen to order the sequence of patterns or lines with arrows 30 30 anzuzeigen und dabei dieselben zeilenweise auf dem Bildschirm and thereby indicate the same line by line on the screen 28 28 nach oben zu scrollen. to scroll upward. Die Geschwindigkeit des Scrollens hängt dabei von dem Tempo des Musikstücks ab, das ja gleichzeitig in dem Prozess The speed of the scrolling depends on the tempo of the song from which so simultaneously in the process 102 102 abgespielt wird, und zwar insbesondere abhängig von dem Tempo an derjenigen Stelle des Musikstücks, die gerade abgespielt wird. is played, in particular depending on the tempo at the location of the music piece that is being played.
  • [0038]
    Wie bereits im Vorhergehenden erwähnt, definiert ein Zeitpunkt, zu dem ein Pfeil As mentioned above, defines a time at which an arrow 30 30 auf dem Bildschirm on the screen 28 28 seine zugeordnete Pfeilschablone its associated arrow template 32 32 am oberen Rand des Bildschirms at the top of the screen 28 28 erreicht, den Sollzeitpunkt, zu dem der Spieler das entsprechende Feld mit dem Pfeil achieved the desired point in time at which the player the appropriate box with an arrow 36 36 , . 38 38 , . 40 40 bzw. or. 42 42 betreten soll. should enter. Mit diesen Sollzeitpunkten vergleicht der Computer With these set times, the computer compares 18 18 in dem Prozess in the process 108 108 die Zeitpunkte, zu denen der Spieler tatsächlich auf das entsprechende Feld getreten ist, dh beispielsweise den Anfangszeitpunkt eines ”Tretens”, das sich beispielsweise durch eine Folge von binären Einsen in dem Abfragesignal des entsprechenden Folienschalters bemerkbar macht. the timings at which the player actually stepped on the corresponding field, that is, for example, the start time of a "kicking", which manifests itself, for example, by a sequence of binary ones in the interrogation signal of the corresponding membrane switch. Genauer ausgedrückt kann es vorgesehen sein, dass das Überstreichen der Schablonen More specifically, it may be provided that the sweeping over the stencil 32 32 durch die Pfeile by the arrows 30 30 nicht nur Anfangszeitpunkte festlegt, zu denen ein entsprechendes Feld durch den Benutzer betätigt bzw. betreten werden soll, sondern auch Endzeitpunkte, zu denen die Betätigung bzw. das Betreten dieses Feldes beendet sein soll. not just the first few times sets to which a corresponding field is to be operated by the user or enter, but also end times at which the operation or entering this field should be completed. Anders ausgedrückt würde gemäß dieser Alternative mit jedem Pfeil In other words, according to this alternative would with any arrow 30 30 nicht nur ein Sollzeitpunkt festgelegt werden, sondern sogar ein durch zwei Sollzeitpunkte, nämlich einen Anfangszeitpunkt und einen Endzeitpunkt, festgelegtes Zeitintervall, innerhalb welches das Feld durchgehend betätigt bzw. betreten werden soll. not only a target time point are determined, but also a target by two points in time, namely, a start time and an end time, fixed time interval within which the field is to be continuously operated or foot.
  • [0039]
    In dem Prozess In the process 110 110 nimmt der Computer takes the computer 118 118 für jede Zeile eine Bewertung vor, die beschreibt, ob und falls ja, wie zeitlich genau, der Nutzer das richtige Feld for each line of an assessment in describing whether and if so, how precisely time, the user the correct field 32 32 auf dem Eingabegerät on the input device 12 12 getroffen hat, wobei, wie oben bereits erwähnt, gegebenenfalls die Bewertung auf der Grundlage des Zeitunterschiedes eines durch das Überstreichen der Pfeile über die entsprechende Schablone met, wherein, as mentioned above, if the evaluation on the basis of a time difference by the sweep of the arrows on the corresponding template 32 32 festgelegten Zeitpunktes mit dem tatsächlichen Betätigungs- bzw. Auftrittszeitpunkt, auf der Grundlage der Überprüfung, ob der tatsächliche Betätigungs- bzw. Auftrittszeitpunkt in einem durch das Überstreichen einer jeweiligen Schablone fixed time point with the actual actuating or occurrence time, on the basis of the verification that the actual actuating or occurrence time in a by sweeping a respective template 32 32 durch den jeweiligen Pfeil by the respective arrow 30 30 festgelegten Zeitintervall auftritt, auf der Grundlage einer Überschneidung des tatsächlichen Zeitintervalls einer Betätigung- bzw. eines Betretens eines Feldes mit einem Sollzeitintervall, das durch das Überstreichen einer Schablone fixed time interval occurs, on the basis of an intersection of the actual time interval or a Betätigung- a Betretens a field with a nominal time interval by the sweep of a template 32 32 durch den zugehörigen Pfeil festgelegt ist, oder auf der Grundlage ähnlicher Vergleiche der erfassten Betätigungen mit den Überstreichungen der Schablonen is defined by the associated arrow, or based on similar comparisons of the detected actuations with the scannings of the stencil 32 32 durch die Pfeile by the arrows 30 30 stattfindet. takes place. Die Bewertungen werden beispielsweise in Stufen ähnlich Schulnoten, wie z. The reviews, for example, in steps similar grades such. B. sehr gut, befriedigend, usw. bzw. 1, 2, 3, usw., eingeteilt und pro Stufe oder Zeile gezählt. B. very good, satisfactory, etc. or 1, 2, 3, etc., classified and counted per stage or row. Wie bereits erwähnt erhält der Spieler dann am Ende des Spiels eine Zusammenfassung As mentioned above, the player then at the end of the game summary 58 58 in Form einer Statistik über die einzelnen Bewertungen. in the form of statistics on the individual reviews.
  • [0040]
    Im Gegensatz zu den in der Beschreibungseinleitung beschriebenen Spielen, die nicht die Möglichkeit bieten, eigene Musik in das Spiel einzubinden oder zu diesen spielen, ermöglicht das Spielgerät In contrast to those described in the introduction to the games that do not offer the ability to integrate their own music in the game or play to them, allowing the game device 10 10 , das Spiel hinsichtlich der Musikauswahl freier zu gestalten, indem der Spieler seine eigene Musik frei auswählen kann. To make the game in terms of music selection free by the player can select his own music free.
  • [0041]
    Bezugnehmend auf die vorhergehende Beschreibung wird darauf hingewiesen, dass das Spielgerät Referring to the above description should be noted that the game device 10 10 nicht auf den gezeigten Aufbau eingeschränkt ist. is not limited to the illustrated construction. Anstatt einer Tanzmatte als Eingabeeinrichtung könnte auch eine Trommel oder eine Mehrzahl von Trommeln oder ein Keyboard dienen. Instead of a dance mat as an input device, a drum or a plurality of drums or keyboard could be used. Je nach dem kommen also auch andere Sensoren zum Einsatz als Folienschalter. Depending on the So come, other sensors for use as a membrane switch.
  • [0042]
    Bei dem vorhergehenden Ausführungsbeispiel führte die Rhythmuserkennungseinrichtung In the foregoing embodiment, the rhythm recognizer led 22 22 lediglich eine Tempoanalyse durch. only a tempo analysis. Es ist jedoch ferner möglich, dass dieselbe weitere Rhythmusinformationen aus dem Audiosignal extrahiert, wie z. However, it is also possible that the same rhythm additional information extracted from the audio signal, such. B. Takte bzw. Taktgrenzen und dergleichen. As clocks or clock boundaries and the like. Diese weiteren Informationen könnten dann ebenfalls in die Geschwindigkeitssteuerung einbezogen werden. This additional information could then also be included in the speed control. Umgekehrt könnte die Rhythmuserkennungseinrichtung auch lediglich Notenanfangszeitpunkte der Noten der dem Audiosignal zugrundeliegenden Melodie bzw. Hauptmelodie aus dem Audiosignal extrahieren, aus denen inhärent natürlich auch die Tempoinformation hervorgeht. Conversely, the rhythm detection device could also extract only note start times of the grades of the underlying audio signal melody or main melody from the audio signal from which inherently naturally emerges the tempo information. In diesem Fall enthielten die Rhythmusinformationen lediglich die Notenanfangszeitpunkte. In this case, the rhythm information contained only the note start times. Diese stellten dann die Sollzeitpunkte zur Betätigung der Tanzmatte dar. Dabei würden die Pfeilzeilen bzw. -muster mit einer derartigen variablen Geschwindigkeit gescrollt werden, dass die Überstreichungen der Schablonen This then set the target time points is to actuate the dance mat. The arrow lines or patterns would be scrolled with such a variable speed that sweeps the template 32 32 durch die Pfeile by the arrows 30 30 mit den Notenanfangszeitpunkten synchronisiert sind. synchronized with the note start times. Die Rhythmuserkennungseinrichtung könnte die Notenanfangszeitpunkte aus einem transienten Audiosignal oder einem bereits transkribierten Audiosignal – nämlich durch automatische Transkription – zusammenstellen. The rhythm recognition means could the note start times of a transient audio signal or an already transcribed audio signal - namely through automatic transcription - put together. Zudem könnte sie die einzelnen Notenanfangszeitpunkte auch einzelnen Feldern der Matte zuordnen, beispielsweise abhängig von der zugeordneten Notenhöhe oder dergleichen. They also could assign each note start times and individual fields of the mat, for example depending the like from the assigned grade level or. Ein weiteres Ausführungsbeispiel, das eine Melodieerkennung verwendet, wird im folgenden noch bezugnehmend auf Another embodiment which uses a melody recognition is, in the following Still referring to 5 5 beschrieben. described.
  • [0043]
    Ferner könnte das im Vorhergehenden beschriebene Spielgerät auch insofern verbessert werden, als dass die erstellten Patterns nicht nur rhythmisch zur Musik passen, sondern auch vom Songaufbau und melodischen Aspekten abhängen. Furthermore, could the gaming device described above also be improved insofar as the patterns created not only fit rhythmically to the music, but also on song structure and melodic aspects depend. So könnten beispielsweise mittels einer Filterbank, die beispielsweise in dem Computer That is why, for example by means of a filter bank, for example, in the computer 18 18 realisiert wird, Melodie- oder Basslinien untersucht und die Patterns an diese angepasst werden bzw. die oben erwähnte Auswahl unter den Patterns abhängig von diesen Linien getroffen werden. is realized examined melody and bass lines and the patterns are adapted to this or the above-mentioned selection can be made among the patterns depend on these lines. Auch eine Extraktion der Rhythmen und nicht nur des Tempos wäre möglich, wobei die Rhythmusinformationen ebenfalls zur Patternerzeugung bzw. -auswahl verwendet werden könnten. Also extraction of rhythms and not only the tempo would be possible, with the rhythm information could also be used for pattern generation or selection.
  • [0044]
    Das vorhergehende erwähnte Spielprogramm, das auf dem Computer The previous mentioned game program on the computer 18 18 abläuft, kann somit als eine rhythmusbasierte Unterhaltungssoftware unter Einbindung von Spezialperipherie bezeichnet werden, nämlich Spezialperipherie in Form der Tanzmatte. expires, thus can be referred to as a rhythm-based entertainment software with the involvement of special peripherals, namely, special peripherals in the form of the dance mat.
  • [0045]
    Bezugnehmend auf Referring to 3 3 wird noch explizit darauf hingewiesen, dass es weder erforderlich ist, dass die Tempoerkennung will be explicitly pointed out that it is not necessary that the tempo detection 52 52 und die Patterngenerierung and the pattern generation 54 54 zeitlich getrennt von dem eigentlichen Spielablauf separated in time from the actual gameplay 56 56 vor dem eigentlichen Spielablauf before the actual gameplay 56 56 durchgeführt werden, noch dass dieselben untereinander hintereinander ausgeführt werden. be carried out, nor that the same are performed in succession after the other. Vielmehr wäre es ferner möglich, diese Prozesse gleichzeitig zum eigentlichen Spielablauf ablaufen zu lassen. Rather, it would also be possible to allow these processes to the actual gameplay simultaneously.
  • [0046]
    Im Vorhergehenden wurde bereits darauf hingewiesen, dass als Eingabeeinrichtung auch etwas anderes verwendet werden könnte als eine Tanzmatte. Above has already been pointed out that something else could be used as an input device as a dance mat. Auf ähnliche Weise ist es natürlich ebenfalls möglich, zur visuellen Anzeige eine andere Anzeigeeinrichtung zu verwenden als den Monitor Similarly, it is of course also possible to use for visual display other display device as the monitor 14 14 . , So könnten beispielsweise lediglich ein/ausschaltbare Leuchten, wie z. That is why, for example, only on / off switchable lights such. B. LEDs, dazu verwendet werden, um anzuzeigen, auf welche Art und Weise und wann ein Spieler eine bestimmte Eingabe bzw. Betätigung vornehmen soll. As LEDs, are used to indicate in what way and when a player is to perform a particular input or activity. In dem Fall der Tanzmatte von In the case of the dance mat 1 1 könnten diese LEDs beispielsweise an den Ecken einer Raute angeordnet sein, um in intuitiver Weise den Feldern these LEDs could be arranged, for example, at the corners of a rhombus, for example in the fields intuitive 36 36 - 42 42 zu entsprechen. correspond to. Dementsprechend könnte die Vorgabeweise der Benutzereingabe auch anders als durch eine Folge von Pfeilzeilen dargestellt werden. Accordingly, the default, the user input could be other than by a sequence of arrow lines are displayed.
  • [0047]
    Eine mögliche Verallgemeinerung besteht beispielsweise darin, dass im Rahmen der Mustererzeugung abhängig von den Rhythmusinformationen für jede einzelne Teilbenutzereingabevorrichtung – in A possible generalization is, for example, that under the pattern generation depends on the rhythm information for each part of user input device - in 1 1 also für jeden Folienschalter – ein Signal, wie z. So for each slide switch - a signal such. B. ein digitales oder binäres Signal, erzeugt wird, dass eine Folge von Signalereignissen, wie z. B. a digital or binary signal is generated, that a sequence of signal events, such. B. Signalpulse, aufweist. B. signal pulses having. Diese einzelnen Signale werden auf unterschiedlichen visuellen Ausgabevorrichtungen visuell angezeigt, wie z. These individual signals are visually displayed on different visual output devices such. B. durch das Aufleuchten einer LED bei Auftreten eines Signalereignisses. For instance by lighting a LED when a signal event. Der Zeitpunkt der visuellen Anzeige eines Signalereignisses legt dann in vorbestimmter Weise einen Sollzeitpunkt fest, zu dem der Spieler die dieser visuellen Anzeige entsprechende einzelne Teilbenutzereingabevorrichtung aktivieren soll. The timing of the visual display of a signal event then placed in a predetermined manner set a target time point at which the players of this visual display is to enable appropriate individual partial user input device. Der Sollzeitpunkt liegt beispielsweise eine bestimmte Zeitdauer nach dem Beginn der Anzeige des Signalereignisses, also beispielsweise eine Sekunde nach Beginn des Leuchtens der entsprechenden LED, oder am Ende der visuellen Anzeige des Signalereignisses, also beispielsweise bei Erreichen der Pfeilschablone The set time is, for example a certain time period after the beginning of the display of the signal event, so for example, one second after the beginning of lighting of the corresponding LED, or at the end of the visual display of the signal event, so for example when reaching the arrow template 32 32 durch den entsprechenden Pfeil. by the corresponding arrow. Die Sollzeitpunkte werden dann mit den tatsächlichen Betätigungszeitpunkten der jeweils entsprechenden Teilbenutzereingabevorrichtungen vergleichen. The set times are then compared with the actual operation times of the respective corresponding partial user input devices. Ein durch den Mustererzeuger erzeugte Folge von Mustern entspräche in diesem Fall dem visuellen Eindruck der visuellen Anzeigen für alle Teilbenutzereingabevorrichtungen, also z. A sequence generated by the pattern generator of patterns correspond in this case, the visual impression of the visual display for all sub user input devices, ie for. B. aller LEDs, zu aufeinanderfolgenden Zeitpunkten. B. all LEDs, at successive time points. Die Bildung der Signale könnte in diesem Fall ähnlich zweistufig vorgenommen werden, wie im vorhergehenden beschrieben, nämlich durch beispielsweise zufällig Bildung der Signale, und anschließendes „Abspielen” bzw. visuelles Anzeigen der Signale mit einer Geschwindigkeit, die von den Rhythmusinformationen abhängt. The formation of the signals could be carried out in two stages similar in this case, as described above, namely by, for example, random formation of the signals, and then "play" or visual displays of the signals at a rate which depends on the rhythm information. Ebenso wäre es aber möglich, die Rhythmusinformationen gleich in den Prozess der Bildung der den einzelnen Teilbenutzereingabevorrichtungen zugeordneten Signalen einzubeziehen, beispielsweise dadurch, dass Teilbänder des Audiosignals unterschiedlichen Teilbenutzereingabevorrichtungen zugeordnet und getrennt voneinander rhythmisch untersucht werden, um die Signalereignisse der einzelnen Signal in den einzelnen Signalen getrennt voneinander abhängig von den zu den jeweiligen Teilband erhaltenen Rhythmusinformationen zu setzen. but it would also be possible to include the rhythm information of the same in the process of formation of the individual partial user input devices associated signals, for example in that sub-bands of the audio signal associated with different sub-user input devices and examined separately rhythmically to the signal events of each signal separated into the individual signals to set interdependent from those obtained for the respective sub-band rhythm information.
  • [0048]
    Ferner wäre es möglich, eine andere Wiedergabeeinrichtung als die integrierten Lautsprecher It would also be possible to have a playback device other than the built-in speakers 20 20 zu verwenden, wie z. to use such. B. einen Kopfhörer. B. headphones.
  • [0049]
    Bezugnehmend auf die von der Bereitstellungseinrichtung 16 bereitgestellte Audiodatei bzw. das von derselben bereitgestellte Audiosignal wird noch darauf hingewiesen, dass es nicht wesentlich ist, in welchem Format dieselbe bzw. dasselbe vorliegt. Referring to the information provided by the provision means 16 audio file or provided by the same audio signal is also pointed out that it is not essential, in which format the same or the same present. Es kann in komprimierter oder unkomprimierter Form vorliegen. It can be in compressed or uncompressed form. Auf jeden Fall sollte vorzugsweise die Rhythmuserkennung In any case, the rhythm detection should preferably 22 22 derart ausgebildet sein, dass nicht erforderlich ist, dass das bereitgestellte Audiosignal in einer notenartigen bzw. transscribierten Darstellung, wie z. be designed such that it is not necessary that the supplied audio signal into a note-type or transscribierten representation, such. B. in einem MIDI-Format, vorliegt. As in a MIDI format exists. Der Grund dafür besteht darin, dass ein Benutzer selten eine Metadarstellung solcher Art von seinen Lieblingsmusikstücken besitzt. The reason for this is that a user often has a Metadarstellung such kind of his favorite pieces of music. Vielmehr sollte die Rhythmusinformationsgewinnung vorzugsweise direkt aus PCM-codierten oder allgemein gesagt digital vorliegenden Audiosignaldaten möglich sein oder aus komprimierten Daten, wie z. Rather, the rhythm information extraction should preferably be directly from the PCM encoded or, generally speaking, the present digital audio signal data is possible or from compressed data such. B. MP3-Daten, bei denen die digitalen Audioabtastwerte beispielsweise in einen Zeit/Frequenz-Bereich transformiert bzw. ein Teilbänder zerlegt sind. As MP3 data in which the digital audio samples transformed, for example, in a time / frequency region or a sub-bands are decomposed.
  • [0050]
    Im vorhergehenden wurde bereits erwähnt und kurz skizziert, dass bzw. wie zur Muster- bzw. Patternerzeugung auch eine Melodieerkennung verwendet werden kann. Above was already mentioned and briefly outlined that or how a melody recognition can be used to pattern or pattern generation. 5 5 zeigt ein weiteres Ausführungsbeispiel der vorliegenden Erfindung, das eine solche Melodieerkennung verwendet. shows a further embodiment of the present invention, using such a recognition melody. Nach dem Ausführungsbeispiel von According to the embodiment of 5 5 beginnt der Spielablauf in einem Schritt the game play begins in a step 150 150 mit der Bereitstellung der Audiodatei, die während des eigentlichen Spiels über die Lautsprecher with providing the audio file during the actual game from the speakers 20 20 wiedergegeben wird. is reproduced. Die Audiodatei The audio file 150 150 wird in einem Schritt in a step 152 152 daraufhin einer Melodieerkennung unterzogen. then a melody recognition subjected. Die Melodieerkennung unterzieht die in Schritt The melody recognition subjecting the in step 150 150 bereitgestellte Audiodatei einer Autotransskription, um aus der Audiodatei eine vorzugsweise monophone Melodie in Notendarstellung zu extrahieren, in welcher die dem Musikstück der Audiodatei zugrunde liegende Melodie in einem Format beschrieben wird, aus dem die Notenfolge der Melodie hervorgeht, und für jede Note der Melodie beispielsweise Notenanfangszeitpunkt, Notenhöhe und Notenlänge vorgesehen ist. provided audio file a Autotransskription to extract from the audio file, a preferably monophonic melody in music notation in which the melody to the music piece of the audio file is based is described in a format from which the sequence of notes of the melody is apparent, and for each note of the melody, for example, note initial point of time , note pitch and note length is provided. Daneben wird die Audiodatei einer Harmonieerkennung In addition, the audio file is a harmony recognition 153 153 unterzogen, die dazu vorgesehen ist, in der Audiodatei bzw. dem durch dieselbe dargestellten Musikstück Akkorde zu erkennen. subjected, which is intended to recognize in the audio file or through the same piece of music represented chords. Die Harmonieerkennung The harmony recognition 153 153 kann hierzu eine Tonarterkennung durchführen, um die Anzahl möglicher zu erkennender Akkorde auf einen bestimmten Teilsatz einzugrenzen, der der erkannten Tonart zugeordnet ist. this can perform a key recognition to narrow the number of possible to be recognized chords to a particular subset associated with the identified key. Das Ergebnis der Harmonieerkennung The result of the harmony recognition 153 153 sind Akkordinformationen, die die in dem durch die Audiodatei dargestellten Musikstück auftretenden Akkorde zusammen mit deren Auftrittszeitpunkten angeben. are chord information indicative of the chords occurring in the image represented by the audio file piece of music together with their times of occurrence. Wie es durch einen gestrichelten Pfeil zwischen den Blöcken As indicated by a dotted arrow between blocks 152 152 und and 153 153 angezeigt ist, kann die Harmonieerkennung beispielsweise unter Verwendung der durch die Melodieerkennung is displayed, the harmony recognition can, for example, using the recognition by the melody 152 152 erhaltene Notenfolge stattfinden. Note sequence obtained take place. Beispielsweise kann in einem abschließenden Schritt die Notenfolge der Melodieerkennung in a final step For example, the sequence of notes of the melody recognition 152 152 dazu verwendet werden, im Rahmen der Harmonieerkennung be used as part of the harmony recognition 153 153 die Folge von Akkorden und ihre Auftrittszeitpunkte noch einmal auf ihre Stimmigkeit bzw. das Zusammenpassen mit der durch die Notenfolge dargestellten Melodie zu überprüfen, um bei Diskrepanzen eine Modifikation bzw. Anpassung der erkannten Akkorde bzw. der Akkorderkennungsinformationen durchzuführen, wie sie schließlich von der Harmonieerkennung to verify the sequence of chords and their times at once on their coherence and matching with the direction shown by the note sequence melody to carry out a modification or adaptation of the recognized chords or the chord recognition information on discrepancies, as finally the harmony recognition 153 153 ausgegeben werden. be issued. Alternativ kann auch das Ergebnis der Harmonieerkennung dazu verwendet werden, um die Melodieerkennung zu verbessern oder korrigieren. Alternatively, the result of harmony recognition can be used to enhance the melody recognition or correct. Die Notenfolgeinformationen und die Akkordinformationen der Schritte The note sequence information and the chord information of the steps 152 152 und and 153 153 werden daraufhin in einem Schritt are then, in a step 154 154 zur Patterngenerierung verwendet. used for pattern generation. Dabei kann beispielsweise die Patterngenerierung Here, for example, the pattern generation 154 154 zunächst sich wiederholende bzw. in dem Musikstück der Audiodatei wiederkehrende Akkorde oder Akkordabfolgen auf der Basis der Akkordinformationen von der Harmonieerkennung first repeating or in the piece of music of the audio file recurring chords or chord progressions based on the chord information of the detection harmony 153 153 ausfindig machen. locate. Daraufhin wird im Rahmen der Patterngenerierung Then, as part of the pattern generation 154 154 eine Abfolge von Pfeilzeilen wie im vorhergehenden beschrieben, erzeugt, die dann beim Spielen zusammen mit der Wiedergabe der Audiodatei abgespielt wird, wobei gemäß dem Ausführungsbeispiel von a sequence of arrow lines as described in the preceding generated, which is then played back while playing along with the playback of the audio file, wherein, according to the embodiment of 5 5 beispielsweise das Tempo, in welchem die Pfeilabfolge gescrolled wird, immer die gleiche ist, jedoch die Pfeillängen, die ja die Zeitdauer bzw. die Zeitintervalle des Überstreichens der Pfeile über die Schablonen festlegen, von der Patterngenerierung , For example, the rate at which the arrow sequence is scrolled always the same, but the arrow lengths, the yes set the time or the time intervals of the sweep of the arrows on the stencil, the pattern generation 154 154 abhängig von den Notenlängen aus der Notenfolge der Melodieerkennung depending on the note lengths from the note sequence of melody recognition 152 152 eingestellt werden, und wobei bei der Patterngenerierung be adjusted, and wherein in the Pattern Generation 154 154 zudem die Abfolge von Pfeilzeilen derart festgelegt wird, dass die durch dieselbe beim Abspielen festgelegten Sollzeitpunkte bzw. der Sollzeitintervalle für die Eingangs des Schrittes In addition, the sequence of the arrow line is set such that the set by the same when playing set time points and the set time intervals for the input of the step 154 154 erkannten Zeitabschnitte gleichen Akkords bzw. gleicher Akkordabfolge gleich sind. detected periods same chord or the same chord progression are the same. Ferner wird der Schritt der Patterngenerierung Further, the step of the pattern generation is 154 154 so durchgeführt, dass die entstehenden Sollzeitpunkte bzw. Sollintervalle, die durch die Überstreichung der Schablonen carried out so that the desired time points or intervals resulting set by the sweep of the template 32 32 durch die Pfeile by the arrows 30 30 festgelegt werden, mit den Notenanfangszeitpunkten der Notenfolge synchronisiert sind. are set, synchronized with the music starting instants of the note sequence. Durch die Einbeziehung des Ergebnisses der Suche nach gleichen Stellen mit gleichen Akkorden oder gleichen Akkordfolgen wird bei der automatischen Patterngenerierung im Schritt By including the result of the search according to the same sites with the same chords or chord is the same in automatic pattern generation in step 154 154 dem Songaufbau im gesamten besser Rechnung getragen. the song structure throughout better taken into account. Die Mustergenerierung kann ansonsten auf die im Vorhergehenden beschriebene Weise stattfinden, wie z. The pattern generation can otherwise take place in the manner described above such. B. eine zufällige Zusammenstellung der Pfeile in den Zeilen aufweisen. For example, have a random assortment of arrows in the rows. Bei der Mustererzeugung können die Notenhöhen ferner zur Erzeugung der Pfeilzeilen bzw. zur Auswahl der zu betätigenden Felder In pattern formation, the note heights may further for generating the arrow rows or to select the fields to be actuated 32 32 verwendet werden. be used. Darauf hin erfolgt in den Schritten Out occurs in steps 156 156 und and 158 158 das eigentliche Spiel mit anschließender Auswertung, wobei diese Schritte in gleicher Weise ausgeführt werden, wie die zuvor beschriebenen Schritte 156 und the actual game with subsequent evaluation, wherein these steps are performed in the same manner as the previously described steps 156 and 158 158 aus out 3 3 , abgesehen davon, dass gemäß dem vorliegenden Ausführungsbeispiel exemplarisch das Tempo des Scrollens des Pfeilmusters konstant ist und lediglich die Pfeillängen variiert wurden. , Except that in accordance with the present embodiment, the speed of scrolling of the arrow pattern is constant and only the exemplary arrow lengths were varied.
  • [0051]
    Explizit wird noch mal darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema zur Generierung polyphoner Melodien in Software implementiert sein kann. Explicitly is again noted that the inventive scheme for generating polyphonic melodies can be implemented in software depending on the circumstances. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. The implementation may be on a digital storage medium, particularly a floppy disk or a CD having electronically readable control signals, which can cooperate with a programmable computer system such that the respective method is performed. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner und/oder einem entsprechenden Digital- oder Analogbaustein abläuft. Generally, the invention thus also consists in a computer program product stored on a machine-readable carrier, the program code for performing the inventive method when the computer program product runs on a computer and / or a corresponding digital or analog element. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft. In other words, the invention can be realized as a computer program with a program code for performing the method when the computer program runs on a computer.

Claims (10)

  1. Benutzereingabevorrichtung mit Benutzereingabebewertung, mit einer Bereitstellungseinrichtung ( User input device with user input evaluation (with a delivery device 16 16 ) zum Bereitstellen eines Audiosignals; ) For providing an audio signal; einer Wiedergabeeinrichtung ( (A reproduction device 20 20 ) zum Wiedergeben des Audiosignals; ) For reproducing the audio signal; einer Eingabeeinrichtung ( (An input device 12 12 ) zum Erfassen von Benutzereingaben; ) For detecting user input; einer Melodieuntersuchungseinrichtung ( (A melody examination device 22 22 ) zum Unterziehen des Audiosignals einer Melodieerkennung, um Melodieinformationen mit Rhythmusinformationen zu erhalten; ) For subjecting the audio signal of a melody recognition to obtain melody information with rhythm information; einer Ansteuereinrichtung ( (A drive device 24 24 ) zum, begleitend zu der Wiedergabe, Ansteuern einer visuellen Anzeige ( ) (For, accompany playing, driving a visual display 14 14 ) abhängig von den Rhythmusinformationen, um visuell eine Vorgabeweise anzuzeigen, auf die Benutzereingaben an der Eingabeeinrichtung ( ) Depending on the rhythm information to visually indicate a default manner (on the user input to the input means 12 12 ) vorgenommen werden sollen; ) Are to be made; und einer Vergleichseinrichtung ( and a comparator ( 26 26 ) zum Vergleichen der Benutzereingabe mit der Vorgabeweise, um eine Benutzereingabebewertung zu erhalten, wobei die Melodieuntersuchungseinrichtung ( ) For comparing the user input with the default way to obtain a user input rating, the melody inspection apparatus ( 22 22 ) ausgebildet ist, aus dem Audiosignal Notenanfangszeitpunkte einer dem Audiosignal zugrundeliegenden Melodie als zumindest ein Teil der Rhythmusinformationen zu extrahieren, wobei die Melodieuntersuchungseinrichtung eine Melodieerkennungseinrichtung ( is formed) to extract from the audio signal Score start times of an underlying the audio signal melody as at least a part of the rhythm information, said melody examination means a melody detection means ( 152 152 ) zum Extrahieren einer Notenfolge aus dem Audiosignal und eine Harmonieerkennungseinrichtung ( ) (For extracting a sequence of notes from the audio signal and a harmony detecting device 153 153 ) zum Erkennen von auftretenden Akkorden in dem Audiosignal aufweist, und die Ansteuereinrichtung ( ) For detecting chords appearing in the audio signal, and said driving means ( 24 24 ) ausgebildet ist, um das Ansteuern der visuellen Anzeige ( is formed) for driving the visual display ( 14 14 ) abhängig von der Notenfolge und den erkannten Akkorden derart durchzuführen, dass die visuell angezeigte Vorgabeweise Zeitdauern, zu denen Benutzereingaben vorzunehmen sind, abhängig von Notenlängen der Notenfolge und synchronisiert zu den Notenanfangszeitpunkten anzeigt, und sich die Vorgabeweise zu Zeitabschnitten des Audiosignals, in denen gleiche Akkorde oder Akkordabfolgen vorliegen, wiederholt. ) Depending perform such of the note sequence and the detected chords that the visually displayed preset manner periods of time for which user inputs are to be made, depending on grade lengths of the note sequence and synchronized indicating to the touch start times, and the default way to time segments of the audio signal, in which like chords or chord progressions be repeated.
  2. Benutzereingabevorrichtung gemäß Anspruch 1, bei der die Eingabeeinrichtung ( User input device according to claim 1, wherein (the input means 12 12 ) eine Mehrzahl von Teileingabeeinrichtungen ( ) A plurality of partial input devices ( 32 32 , . 34 34 , . 36 36 , . 38 38 , . 40 40 , . 42 42 ) zum Erfassen von unterschiedlichen Benutzereingaben aufweist, bei der die Melodieuntersuchungseinrichtung ( ), For sensing of different user input in the (melody of examination device 22 22 ) ausgebildet ist, um aus dem Audiosignal Notenhöhen einer dem Audiosignal zugrundeliegenden Melodie zu extrahieren, und bei der die Ansteuereinrichtung ( ) Is configured to extract from the audio signal note heights of an underlying the melody audio signal, and in which (the driving means 24 24 ) derart ausgebildet ist, dass die Vorgabeweise Teileingabeeinrichtungen ( ) Is constructed such that the setting manner (part of input devices 32 32 , ..., , ..., 42 42 ), an denen eine Benutzereingabe vorgenommen werden soll, in Abhängigkeit von den Notenhöhen anzeigt. ) At which a user input is to be made, indicating a function of the note heights.
  3. Benutzereingabevorrichtung gemäß Anspruch 1 oder 2, bei der die Ansteuereinrichtung ( User input device according to claim 1 or 2, wherein the (driving means 24 24 ) ausgebildet ist, die Vorgabeweise mit den Notenanfangszeitpunkten zu synchronisieren. is formed) to synchronize the default way with the touch start times.
  4. Benutzereingabevorrichtung gemäß einem der Ansprüche 1 bis 3, bei der die Ansteuereinrichtung ( User input device according to one of claims 1 to 3, wherein the (driving means 24 24 ) ausgebildet ist, um eine Folge von visuellen Mustern ( ) Is formed to a sequence (of visual patterns 30 30 ) zu erzeugen, und die visuelle Anzeige ( to produce), and (the visual display 14 14 ) derart anzusteuern, dass dieselbe diese Folge von visuellen Mustern ( to drive) such that this same result (of visual patterns 30 30 ) in einer Geschwindigkeit abspielt, die von den Rhythmusinformationen abhängt. ) Takes place at a rate which depends on the rhythm information.
  5. Benutzereingabevorrichtung gemäß Anspruch 4, bei der die Ansteuereinrichtung ( User input device according to claim 4, wherein the (driving means 24 24 ) ausgebildet ist, um die Erzeugung der Folge von visuellen Mustern ( is formed) to the generation of the sequence (of visual patterns 30 30 ) vollständig vor dem Abspielen derselben durchzuführen. ) Completely before playing the same conduct.
  6. Benutzereingabevorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Ansteuereinrichtung ( User input device according to one of the preceding claims, in which (the driving means 24 24 ), die Eingabeeinrichtung ( (), The input means 12 12 ), die Wiedergabeeinrichtung ( (), The reproducing device 20 20 ) und die Vergleichseinrichtung ( ) And the comparing means ( 26 26 ) ausgebildet sind, um synchron zu arbeiten. ) are formed to operate synchronously.
  7. Benutzereingabevorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Eingabeeinrichtung ( User input device according to one of the preceding claims, in which (the input means 12 12 ) eine Tanzmatte ( ) A dance mat ( 12 12 ), ein Keyboard oder eine Trommel umfasst. ), A keyboard or a drum covers.
  8. Benutzereingabevorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Benutzereingabevorrichtung einen Monitor ( User input device according to one of the preceding claims, wherein the user input device (a monitor 14 14 ) als visuelle Anzeige umfasst, wobei die Ansteuereinrichtung ( ) As a visual display, said driving means ( 24 24 ) ausgebildet ist, um ein Scrollen des Bildschirms des Monitors ( is formed) to scroll the screen of the monitor ( 14 14 ) mit einer Geschwindigkeit durchzuführen, die von den Rhythmusinformationen abhängt. ) Perform at a speed which depends on the rhythm information.
  9. Verfahren zur Benutzereingabe mit Benutzereingabebewertung, mit folgenden Schritten: Bereitstellen ( A method for user input from user input evaluation method comprising: (providing 50 50 ) eines Audiosignals; ) Of an audio signal; Wiedergeben ( Playing ( 102 102 ) des Audiosignals; ) Of the audio signal; Erfassen ( Capture ( 104 104 ) von Benutzereingaben; ) User input; Unterziehen ( Subjecting ( 52 52 ) des Audiosignals einer Melodieerkennung, um Melodieinformationen mit Rhythmusinformationenu erhalten; ) Of the audio signal of a melody detection to receive melody information with Rhythmusinformationenu; Begleitend zu der Wiedergabe, Ansteuern ( Accompanying (to play, driving 106 106 ) einer visuellen Anzeige abhängig von den Rhythmusinformationen, um visuell eine Vorgabeweise anzuzeigen, auf die Benutzereingaben vorgenommen werden sollen; ) Of a visual display, depending on the rhythm information to indicate visually a preset manner, that should be made to the user input; und Vergleichen ( (And comparing 108 108 ) der Benutzereingaben mit der Vorgabeweise, um eine Benutzereingabebewertung zu erhalten, wobei die Unterziehung einer Melodieerkennung durchgeführt wird, um aus dem Audiosignal Notenanfangszeitpunkte einer dem Audiosignal zugrundeliegenden Melodie als zumindest ein Teil der Rhythmusinformationen zu extrahieren, wobei der Schritt des Unterziehens des Audiosignals einer Melodieerkennung den Schritt des Extrahierens einer Notenfolge aus dem Audiosignal und einen Schritt des Erkennens von auftretenden Akkorden in dem Audiosignal aufweist, wobei das Ansteuern der visuellen Anzeige abhängig von der Notenfolge und den erkannten Akkorden derart durchgeführt wird, dass die visuell angezeigte Vorgabeweise Zeitdauern, zu denen Benutzereingaben vorzunehmen sind, abhängig von Notenlängen der Notenfolge und synchronisiert zu den Notenanfangszeitpunkten anzeigt, und sich die Vorgabeweise zu Zeitabschnitten des Audiosignals, in denen gleiche Akkorde oder Akkordabfolgen vorliegen, wiederholt. ), The user inputs the default way to obtain a user input rating, wherein the subjecting of a melody detection is performed in order to extract from the audio signal Score start times of an underlying the audio signal melody as at least a part of the rhythm information, wherein the step of subjecting the audio signal of a melody recognition the comprising the step of extracting a sequence of notes from the audio signal, and a step of recognizing occurring chords in the audio signal, wherein the activation of the visual display is performed such depends on the sequence of notes and the detected chords that the visually displayed preset manner periods of time, which can configure the user inputs are, depending on the lengths of notes and note sequence synchronized to the music start times indicating and the default way to time segments of the audio signal, in which like chords or chord progressions be repeated.
  10. Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 9, wenn das Computer-Programm auf einem Computer abläuft. Computer program having a program code for performing the method of claim 9 when the computer program runs on a computer.
DE200510038876 2005-08-17 2005-08-17 User input device with user input review procedure Expired - Fee Related DE102005038876B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200510038876 DE102005038876B4 (en) 2005-08-17 2005-08-17 User input device with user input review procedure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200510038876 DE102005038876B4 (en) 2005-08-17 2005-08-17 User input device with user input review procedure

Publications (2)

Publication Number Publication Date
DE102005038876A1 true DE102005038876A1 (en) 2007-03-01
DE102005038876B4 true DE102005038876B4 (en) 2013-03-14

Family

ID=37715284

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200510038876 Expired - Fee Related DE102005038876B4 (en) 2005-08-17 2005-08-17 User input device with user input review procedure

Country Status (1)

Country Link
DE (1) DE102005038876B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2972835A1 (en) * 2011-03-17 2012-09-21 Mxp4 Method to generate a scenario from a music game and systems comprising means for the implementation of such a process.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10123281C1 (en) * 2001-05-14 2002-10-10 Fraunhofer Ges Forschung Device for analyzing audio signal with respect to rhythm information divides signal into sub-band signals, investigates sub-band signal(s) for periodicity with autocorrelation function
US20040206227A1 (en) * 2003-04-15 2004-10-21 Wen-Ni Cheng Method of playing a game according to events in a selected track of a music file
WO2006018299A1 (en) * 2004-08-19 2006-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. User input device including user input evaluation and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10123281C1 (en) * 2001-05-14 2002-10-10 Fraunhofer Ges Forschung Device for analyzing audio signal with respect to rhythm information divides signal into sub-band signals, investigates sub-band signal(s) for periodicity with autocorrelation function
US20040206227A1 (en) * 2003-04-15 2004-10-21 Wen-Ni Cheng Method of playing a game according to events in a selected track of a music file
WO2006018299A1 (en) * 2004-08-19 2006-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. User input device including user input evaluation and method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
O’KEEFFE, K.: Dancing Monkeys. Automated creation of step files for Dance Dance Revolution. Meng Individual Project Report. 18. Juni 2003. Master Thesis, Imperial College London
O'KEEFFE, K.: Dancing Monkeys. Automated creation of step files for Dance Dance Revolution. Meng Individual Project Report. 18. Juni 2003. Master Thesis, Imperial College London *

Also Published As

Publication number Publication date Type
DE102005038876A1 (en) 2007-03-01 application

Similar Documents

Publication Publication Date Title
London Hearing in time: Psychological aspects of musical meter
Clark Spreading the joy? Why the machinery of consciousness is (probably) still in the head
Fraisse Rhythm and tempo
US6541692B2 (en) Dynamically adjustable network enabled method for playing along with music
Hunter et al. Mixed affective responses to music with conflicting cues
US5399799A (en) Method and apparatus for retrieving pre-recorded sound patterns in synchronization
US6482087B1 (en) Method and apparatus for facilitating group musical interaction over a network
DE3700861C2 (en) Coin-operated game machine
Baddeley Human memory: Theory and practice
Kim et al. Moodswings: A collaborative game for music mood label collection.
Bigand et al. Are we “experienced listeners”? A review of the musical capacities that do not depend on formal musical training
Brodsky et al. Auditory imagery from musical notation in expert musicians
US6267379B1 (en) Electronically interactive location-based multimedia game system and method
DE19600787C2 (en) Coin-operated entertainment apparatus and method for operating such a Unterhaltungsgeätes
Dowling et al. Aiming attention in pitch and time in the perception of interleaved melodies
Keller et al. Can auditory memory for tone pitch be rehearsed?
Dowling The perception of interleaved melodies
Hébert et al. Recognition of music in long-term memory: Are melodic and temporal patterns equal partners?
Jones et al. Evidence for rhythmic attention.
US5630754A (en) Method and apparatus for disclosing a target pattern for identification
Katz Groove music: The art and culture of the hip-hop DJ
Kuhn Instrumentation for the measurement of music attitudes
DE3822636A1 (en) Coin-operated entertainment machine
JPH05314186A (en) Automatic information source selector
DE3839361A1 (en) Flat screen note display

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130615

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A63F0013020000

Ipc: A63F0013814000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140301

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A63F0013020000

Ipc: A63F0013814000

Effective date: 20140414