DE102005038876B4 - User input device with user input rating and method - Google Patents
User input device with user input rating and method Download PDFInfo
- Publication number
- DE102005038876B4 DE102005038876B4 DE102005038876A DE102005038876A DE102005038876B4 DE 102005038876 B4 DE102005038876 B4 DE 102005038876B4 DE 102005038876 A DE102005038876 A DE 102005038876A DE 102005038876 A DE102005038876 A DE 102005038876A DE 102005038876 B4 DE102005038876 B4 DE 102005038876B4
- Authority
- DE
- Germany
- Prior art keywords
- audio signal
- user input
- melody
- note
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/0053—Apparatus generating random stimulus signals for reaction-time training involving a substantial physical effort
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0686—Timers, rhythm indicators or pacing apparatus using electric or electronic means
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0625—Emitting sound, noise or music
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2244/00—Sports without balls
- A63B2244/22—Dancing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/0028—Training appliances or apparatus for special sports for running, jogging or speed-walking
- A63B69/0035—Training appliances or apparatus for special sports for running, jogging or speed-walking on the spot
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
- A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
- A63F2300/638—Methods for processing data by generating or executing the game program for controlling the execution of the game in time according to the timing of operation or a time limit
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8047—Music games
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/341—Floor sensors, e.g. platform or groundsheet with sensors to detect foot position, balance or pressure, steps, stepping rhythm, dancing movements or jumping
- G10H2220/346—Hopscotch sensing mats, i.e. including several step sensing zones, e.g. for detection of rhythmic dancing in time to background music according to stepping indications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/056—MIDI or other note-oriented file format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Benutzereingabevorrichtung mit Benutzereingabebewertung, mit einer Bereitstellungseinrichtung (16) zum Bereitstellen eines Audiosignals; einer Wiedergabeeinrichtung (20) zum Wiedergeben des Audiosignals; einer Eingabeeinrichtung (12) zum Erfassen von Benutzereingaben; einer Melodieuntersuchungseinrichtung (22) zum Unterziehen des Audiosignals einer Melodieerkennung, um Melodieinformationen mit Rhythmusinformationen zu erhalten; einer Ansteuereinrichtung (24) zum, begleitend zu der Wiedergabe, Ansteuern einer visuellen Anzeige (14) abhängig von den Rhythmusinformationen, um visuell eine Vorgabeweise anzuzeigen, auf die Benutzereingaben an der Eingabeeinrichtung (12) vorgenommen werden sollen; und einer Vergleichseinrichtung (26) zum Vergleichen der Benutzereingabe mit der Vorgabeweise, um eine Benutzereingabebewertung zu erhalten, wobei die Melodieuntersuchungseinrichtung (22) ausgebildet ist, aus dem Audiosignal Notenanfangszeitpunkte einer dem Audiosignal zugrundeliegenden Melodie als zumindest ein Teil der Rhythmusinformationen zu extrahieren, wobei die Melodieuntersuchungseinrichtung eine Melodieerkennungseinrichtung (152) zum Extrahieren einer Notenfolge aus dem Audiosignal und eine Harmonieerkennungseinrichtung (153) zum Erkennen von auftretenden Akkorden in dem Audiosignal aufweist, und die Ansteuereinrichtung (24) ausgebildet...A user input device with user input rating, comprising: provision means (16) for providing an audio signal; a reproducing device (20) for reproducing the audio signal; an input device (12) for detecting user inputs; a melody searcher (22) for subjecting the audio signal to melody recognition to obtain melody information having rhythm information; a drive means (24) for, in accompaniment with the playback, driving a visual display (14) in response to the rhythm information to visually indicate a default manner in which user inputs to the input device (12) are to be made; and comparing means (26) for comparing the user input with the default manner to obtain a user input score, the melody screening means (22) adapted to extract from the audio signal note start times of a melody underlying the audio signal as at least a part of the rhythm information, the melody review means a melody recognition device (152) for extracting a note sequence from the audio signal and a harmonic recognition device (153) for recognizing occurring chords in the audio signal, and the drive device (24) is formed ...
Description
Die vorliegende Erfindung bezieht sich auf eine Benutzereingabevorrichtung mit Benutzereingabebewertung. Solche Benutzereingabevorrichtungen werden beispielsweise als Spielgeräte in der Unterhaltungsindustrie eingesetzt.The present invention relates to a user input device with user input rating. Such user input devices are used, for example, as game devices in the entertainment industry.
Im Bereich der Unterhaltungsindustrie und dort insbesondere im Bereich der Unterhaltungssoftware erfreuen sich seit einigen Jahren Videospiele einer großen Beliebtheit, die auf der rhythmusbasierten Auslösung bestimmter Sensoren, die in Eingabegeräte eingebaut sind, basieren. Insbesondere existiert eine Vielzahl von Spielen, die diese Abfrage über sog. Tanzmatten, die eine Vielzahl von Drucksensoren umfasst, realisieren. Dabei ist eine auf dem Fußboden liegende Tanzmatte vor einem Bildschirm angeordnet. Passend zum Takt einer gleichzeitig abgespielten Musik werden Symbole auf dem Monitor eingeblendet, die dem in der Mitte der Tanzmatte stehenden Spieler mitteilen, welchen Sensor er aktivieren soll. In der Tanzmatte sind Folienschalter als Sensoren eingebaut, die überprüfen, ob der Benutzer die vorgegebenen ”Tanzschritte” „taktgemäß”, d. h. zu den geforderten Zeitpunkten, durchgeführt hat. Es gibt eine Vielzahl anderer Spiele, die mit ähnlichen Prinzipien und/oder anderer Hardware arbeiten. So sind in einem anderen Spiel die Sensoren beispielsweise in Trommeln untergebracht.In the entertainment industry, and particularly in the field of entertainment software, video games have been enjoying great popularity for some years, based on the rhythm-based triggering of certain sensors built into input devices. In particular, there is a multiplicity of games that realize this query via so-called dance mats, which comprises a multiplicity of pressure sensors. In this case, a dance mat lying on the floor is arranged in front of a screen. Matching the beat of a music being played at the same time, symbols are displayed on the monitor which tell the player in the middle of the dance mat which sensor to activate. In the dance mat foil switches are installed as sensors, which check whether the user the predetermined "dance steps" "in time", d. H. at the required times. There are a variety of other games that work with similar principles and / or hardware. For example, in another game the sensors are housed in drums.
Damit die Muster, die am Bildschirm angezeigt werden, zu der gleichzeitig abgespielten Musik passen, werden die Muster bzw. Pattern von musikalisch vorgebildeten ”Pattern-Kreierern” manuell und individuell an die Musikstücke angepasst erstellt, wobei dieselben dabei alle musikalischen Eigenschaften der Musikstücke in die Patterns mit einfließen lassen können.In order for the patterns displayed on the screen to match the music being played at the same time, the patterns of musically preformed "pattern creators" are manually and individually tailored to the pieces of music, incorporating all the musical characteristics of the pieces Patterns can be included.
Alle bisher auf dem Markt befindlichen Spiele haben die Gemeinsamkeit, dass der Nutzer die Spiele nicht um seine eigene Musik erweitern kann. Er ist immer auf die Musikstücke angewiesen, die auf der zugehörigen Spiele-CD oder -DVD enthalten oder per Download-Dienst beispielsweise vom Spielevertreiber verfügbar sind. Die bisher erhältlichen Varianten dieser Spiele sind im Bezug auf die Musikauswahl folglich limitiert, was einen durchaus großen Nachteil darstellt. Die Akzeptanz unter den Spielern für Spiele der oben genannten Art wäre sicherlich größer, wenn die Musikauswahl nicht eingeschränkt wäre.All games previously on the market have the commonality that the user can not expand the games to its own music. He is always dependent on the pieces of music that are included on the associated game CD or DVD or by download service available, for example, from the game driver. The previously available variants of these games are therefore limited in terms of music selection, which is quite a disadvantage. The acceptance among the players for games of the above kind would certainly be greater if the music selection were not restricted.
O'Keeffe, K. „Dancing Monkeys” (Automated creation of step files for Dance Dance Revolution), Meng Individual Project Report, 18.06.2003 beschreibt für ein Spielautomatenspiel, das ausschließlich durch die Füße des Spieles gesteuert wird, die Extraktion von Merkmalen aus Musik, die die Erzeugung neuer Schrittnachführungen für beliebige Lieder ohne Intervention ermöglichen. Das Ergebnis ist ein Programm, das, wenn ein Lied eingegeben wird, automatisch eine spielbare Schrittnachführung erzeugt, die für dieses Lied einmalig ist.O'Keeffe, K. "Dancing Monkeys", Meng Individual Project Report, 18.06.2003 describes the extraction of features for a slot machine game controlled solely by the feet of the game Music that allows the creation of new step trackers for any songs without intervention. The result is a program that, when a song is entered, automatically generates a playable step track that is unique to that song.
Die
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, eine Benutzereingabevorrichtung mit Benutzereingabebewertung und ein Verfahren zur Benutzereingabe mit Benutzerbewertung zu schaffen, die eine flexiblere Anwendung ermöglichen.The object of the present invention is therefore to provide a user input device with user input rating and a user input method with user rating, which allow a more flexible application.
Diese Aufgabe wird durch eine Benutzereingabevorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 9 sowie ein Computer-Programm gemäß Anspruch 10 gelöst.This object is achieved by a user input device according to claim 1 and a method according to claim 9 and a computer program according to
Der Kerngedanke der vorliegenden Erfindung besteht darin, dass eine flexiblere Anwendbarkeit einer Benutzereingabevorrichtung mit Benutzereingabebewertung, die begleitend zu einer Musikwiedergabe eine visuelle Anzeige ansteuert, um visuell eine Vorgabeweise anzuzeigen, auf die ein Benutzer Benutzereingaben an einer Eingabeeinrichtung vornehmen soll, dadurch erzielt werden kann, dass über eine Melodieerkennung an dem Audiosignal Melodieinformationen mit Rhythmusinformationen aus dem Audiosignal erhalten werden, die dann verwendet werden, um die visuelle Anzeige anzusteuern, nämlich auf eine Art und Weise, die zu dem Audiosignal passt. Diese Vorgehensweise ermöglicht es insbesondere, jegliches Audiosignal in die Benutzereingabevorrichtung eingeben zu können. Mit anderen Worten ausgedrückt, ist das System nicht auf einen vorbestimmten Satz von Audiosignalen eingeschränkt.The gist of the present invention is that a more flexible applicability of a user input device with user input rating that accompanies a music display to display a visual indication to visually indicate a default manner in which a user is to make user input to an input device can be achieved by: via melody recognition to the audio signal, melody information with rhythm information is obtained from the audio signal, which is then used to drive the visual display, in a manner that matches the audio signal. This procedure makes it possible in particular to be able to input any audio signal into the user input device. In other words, the system is not limited to a predetermined set of audio signals.
Gemäß einem speziellen Ausführungsbeispiel der vorliegenden Erfindung werden aus der Melodieerkennung Tempoinformationen erhalten, die für jeden vorbestimmten Zeitpunkt der Audiodatei ein zugehöriges Tempo definieren. Mit einer Geschwindigkeit, die von diesen Tempoinformationen abhängt, wird dann eine Folge von visuellen Mustern abgespielt, die beispielsweise im Vorhinein erzeugt worden ist.According to a specific embodiment of the present invention will become apparent from the Melody Detection Receive tempo information defining an associated tempo for each predetermined time of the audio file. At a speed which depends on these tempo information, a sequence of visual patterns, for example generated in advance, is then played back.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Folge von visuellen bzw. graphischen Mustern zufällig erzeugt. Die Erzeugung der Folge von Mustern kann jedoch auch abhängig von Melodie- bzw. Songaufbau-Informationen durchgeführt werden, die aus dem Audiosignal extrahiert werden können.In accordance with another aspect of the present invention, the sequence of visual patterns is generated randomly. However, the generation of the sequence of patterns may also be performed depending on melody or song structure information that can be extracted from the audio signal.
Gemäß einem speziellen Ausführungsbeispiel der vorliegenden Erfindung umfasst die Benutzereingabevorrichtung als Eingabeeinrichtung eine Tanzmatte, als Ausgabeeinrichtung einen Monitor, als Wiedergabeeinrichtung einen Lautsprecher und als Bereitstellungseinrichtung einen CD-, DVD- oder MP3-Spieler, wobei die Benutzereingabevorrichtung als Spielgerät fungiert und einen Vergleich zwischen den Benutzereingaben und der durch die visuelle Anzeige definierten Vorgabeweise anstellt, um eine Benutzereingabebewertung zu erhalten.According to a specific embodiment of the present invention, the user input device comprises a dance mat as input device, a monitor as output device, a loudspeaker as reproduction device and a CD, DVD or MP3 player as providing device, wherein the user input device functions as a game device and a comparison between the user inputs and hiring the default way defined by the visual display to obtain a user input score.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezugnehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:Preferred embodiments of the present invention will be explained below with reference to the accompanying drawings. Show it:
Es wird darauf hingewiesen, dass sich die folgenden, bezugnehmend auf die Figuren beschriebenen Ausführungsbeispiele auf ein spezielles Spielgerät beziehen, bei dem die vorliegende Erfindung implementierbar ist. Die vorliegende Erfindung ist jedoch nicht auf dieses Spielgerät mit Tanzmatte begrenzt. Zudem können Eingabevorrichtungen gemäß der vorliegenden Erfindung nicht nur im Unterhaltungssektor eingesetzt werden. Denkbar wäre es ferner, Benutzereingabevorrichtungen mit Benutzereingabebewertung auch zu medizinischen Zwecken einzusetzen, wie z. B. zur Untersuchung der Konzentrationsfähigkeit, der motorischen Fähigkeit oder der Reaktionsfähigkeiten eines Patienten, oder zur therapeutischen Behandlung von Patienten bezüglich dieser Fähigkeiten.It should be noted that the following embodiments described with reference to the figures relate to a specific gaming machine in which the present invention is implementable. However, the present invention is not limited to this dance mat game machine. In addition, input devices according to the present invention can be used not only in the entertainment sector. It would also be conceivable to use user input devices with user input evaluation for medical purposes, such. For examining a patient's ability to concentrate, motor skills, or responsiveness, or to therapeutically treat patients for these capabilities.
Auf dem Computer
Während der Computer
Die Bereitstellungseinrichtung
Nachdem im Vorhergehenden im Wesentlichen lediglich der Aufbau des Spielgeräts von
Das Spiel beginnt mit der Bereitstellung einer Audiodatei in Schritt
Nachdem auf diese Weise bei Start des Spielprogramms der Nutzer seine Audiodatei ausgewählt hat, unterzieht der Computer
Im Rahmen des ablaufenden Spielprogramms führt der Computer
In dem vorliegenden Ausführungsbeispiel können die Muster beispielsweise aus vielen Einzelpattern zusammengesetzt sein, die ihrerseits jeweils aus vier oder acht oder einer anderen Anzahl von Zeilen bestehen. In einer Zeile befinden sich ein oder zwei Pfeile. Anders ausgedrückt, kann die Pattergenerierung
Die Pattergenerierung bzw. die Auswahl unter den Einzelpattern bzw. Mustern kann zufallsgesteuert sein. Die Pattergenerierung oder Patternauswahl kann aber auch vom Songaufbau und melodischen Aspekten abhängig gemacht werden. So könnten beispielsweise mittels einer Filterbank im Computer
Nachdem die Tempoerkennung
Am Ende des Spiels, das beispielsweise durch das Erreichen des Endes der Audiodatei bestimmt ist, findet eine Auswertung
Nachdem der Computer
Während des Abspielens
Im Rahmen des Abfrageprozesses
Im Rahmen der graphischen Patterndarstellung
Wie bereits im Vorhergehenden erwähnt, definiert ein Zeitpunkt, zu dem ein Pfeil
In dem Prozess
Im Gegensatz zu den in der Beschreibungseinleitung beschriebenen Spielen, die nicht die Möglichkeit bieten, eigene Musik in das Spiel einzubinden oder zu diesen spielen, ermöglicht das Spielgerät
Bezugnehmend auf die vorhergehende Beschreibung wird darauf hingewiesen, dass das Spielgerät
Bei dem vorhergehenden Ausführungsbeispiel führte die Rhythmuserkennungseinrichtung
Ferner könnte das im Vorhergehenden beschriebene Spielgerät auch insofern verbessert werden, als dass die erstellten Patterns nicht nur rhythmisch zur Musik passen, sondern auch vom Songaufbau und melodischen Aspekten abhängen. So könnten beispielsweise mittels einer Filterbank, die beispielsweise in dem Computer
Das vorhergehende erwähnte Spielprogramm, das auf dem Computer
Bezugnehmend auf
Im Vorhergehenden wurde bereits darauf hingewiesen, dass als Eingabeeinrichtung auch etwas anderes verwendet werden könnte als eine Tanzmatte. Auf ähnliche Weise ist es natürlich ebenfalls möglich, zur visuellen Anzeige eine andere Anzeigeeinrichtung zu verwenden als den Monitor
Eine mögliche Verallgemeinerung besteht beispielsweise darin, dass im Rahmen der Mustererzeugung abhängig von den Rhythmusinformationen für jede einzelne Teilbenutzereingabevorrichtung – in
Ferner wäre es möglich, eine andere Wiedergabeeinrichtung als die integrierten Lautsprecher
Bezugnehmend auf die von der Bereitstellungseinrichtung 16 bereitgestellte Audiodatei bzw. das von derselben bereitgestellte Audiosignal wird noch darauf hingewiesen, dass es nicht wesentlich ist, in welchem Format dieselbe bzw. dasselbe vorliegt. Es kann in komprimierter oder unkomprimierter Form vorliegen. Auf jeden Fall sollte vorzugsweise die Rhythmuserkennung
Im vorhergehenden wurde bereits erwähnt und kurz skizziert, dass bzw. wie zur Muster- bzw. Patternerzeugung auch eine Melodieerkennung verwendet werden kann.
Explizit wird noch mal darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema zur Generierung polyphoner Melodien in Software implementiert sein kann. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner und/oder einem entsprechenden Digital- oder Analogbaustein abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.It is explicitly pointed out that, depending on the circumstances, the inventive scheme for generating polyphonic melodies can be implemented in software. The implementation may be on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which may cooperate with a programmable computer system such that the corresponding method is executed. In general, the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer and / or a corresponding digital or analog module. In other words, the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005038876A DE102005038876B4 (en) | 2005-08-17 | 2005-08-17 | User input device with user input rating and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005038876A DE102005038876B4 (en) | 2005-08-17 | 2005-08-17 | User input device with user input rating and method |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102005038876A1 DE102005038876A1 (en) | 2007-03-01 |
DE102005038876B4 true DE102005038876B4 (en) | 2013-03-14 |
Family
ID=37715284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102005038876A Expired - Fee Related DE102005038876B4 (en) | 2005-08-17 | 2005-08-17 | User input device with user input rating and method |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102005038876B4 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2972835A1 (en) * | 2011-03-17 | 2012-09-21 | Mxp4 | METHOD FOR GENERATING A SCENARIO FROM A MUSIC, GAME AND SYSTEMS COMPRISING MEANS FOR IMPLEMENTING SUCH A METHOD |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10123281C1 (en) * | 2001-05-14 | 2002-10-10 | Fraunhofer Ges Forschung | Device for analyzing audio signal with respect to rhythm information divides signal into sub-band signals, investigates sub-band signal(s) for periodicity with autocorrelation function |
US20040206227A1 (en) * | 2003-04-15 | 2004-10-21 | Wen-Ni Cheng | Method of playing a game according to events in a selected track of a music file |
WO2006018299A1 (en) * | 2004-08-19 | 2006-02-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | User input device including user input evaluation and method |
-
2005
- 2005-08-17 DE DE102005038876A patent/DE102005038876B4/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10123281C1 (en) * | 2001-05-14 | 2002-10-10 | Fraunhofer Ges Forschung | Device for analyzing audio signal with respect to rhythm information divides signal into sub-band signals, investigates sub-band signal(s) for periodicity with autocorrelation function |
US20040206227A1 (en) * | 2003-04-15 | 2004-10-21 | Wen-Ni Cheng | Method of playing a game according to events in a selected track of a music file |
WO2006018299A1 (en) * | 2004-08-19 | 2006-02-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | User input device including user input evaluation and method |
Non-Patent Citations (2)
Title |
---|
O’KEEFFE, K.: Dancing Monkeys. Automated creation of step files for Dance Dance Revolution. Meng Individual Project Report. 18. Juni 2003. Master Thesis, Imperial College London |
O'KEEFFE, K.: Dancing Monkeys. Automated creation of step files for Dance Dance Revolution. Meng Individual Project Report. 18. Juni 2003. Master Thesis, Imperial College London * |
Also Published As
Publication number | Publication date |
---|---|
DE102005038876A1 (en) | 2007-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69720706T2 (en) | INTERACTIVE SYSTEM FOR SYNCHRONIZING AND SIMULTANEOUSLY PLAYING PRESET MUSIC SEQUENCES | |
DE69732311T2 (en) | Method for generating musical tones | |
Fink et al. | The relentless pursuit of tone: Timbre in popular music | |
WO2002056292A2 (en) | Automatic recognition and matching of tempo and phase of pieces of music, and an interactive music player based thereon | |
DE3242890A1 (en) | Coin-operated gaming machine with a plurality of revolving symbol carriers | |
DE2834124A1 (en) | ELECTRONIC GAME DEVICE | |
EP1415297A2 (en) | Automatic generation of musical scratching effects | |
DE69908846T2 (en) | Device for sound and image generation | |
DE60215750T2 (en) | Apparatus and method for displaying chords | |
DE3248144A1 (en) | DEVICE FOR THE AUTOMATIC GENERATION OF ACCOMPANYING | |
DE2539950C3 (en) | Automatic bass chord | |
DE3035750A1 (en) | TALKING ELECTRONIC GAME | |
DE60223104T2 (en) | Method for the electronic reproduction of an accordion sound | |
DE102005038876B4 (en) | User input device with user input rating and method | |
DE60006131T2 (en) | METHOD AND DEVICE FOR GENERATING IMPROVISED MUSIC | |
DE1949313C3 (en) | Electronic organ | |
CH649857A5 (en) | Signal transfer device with adjustable beat frequency. | |
DE102004040281A1 (en) | User input device with user input rating and method | |
CA2720404A1 (en) | Apparatus, system and method for music enjoyment and ability testing and rehabilitation retraining with cochlear implants | |
DE3940078A1 (en) | ELECTRONIC MUSIC INSTRUMENT WITH AN IMPROVISATION FUNCTION | |
DE19833989A1 (en) | Electronic harmony simulation method for acoustic rhythm instrument; involves associating individual harmony tones with successive keyboard keys, which are activated by operating switch function key | |
EP0045502B1 (en) | Metronome with optical and or acoustical indication | |
DE60022343T2 (en) | LANGUAGE-CONTROLLED ELECTRONIC MUSICAL INSTRUMENT | |
DE102021200208A1 (en) | ACCOMPANYING SOUND GENERATING DEVICE, ELECTRONIC MUSICAL INSTRUMENT, ACCOMPANYING SOUND GENERATION METHOD AND ACCOMPANYING SOUND GENERATION PROGRAM | |
DE19542625A1 (en) | Coin operated gambling machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |
Effective date: 20130615 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: A63F0013020000 Ipc: A63F0013814000 |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: A63F0013020000 Ipc: A63F0013814000 Effective date: 20140414 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20140301 |