-
Gebiet der Erfindung
-
Die vorliegende Offenbarung betrifft Systeme, Verfahren und Vorrichtungen zum Steuern von Audiovorrichtungen.
-
Stand der Technik
-
Die vorliegende Offenbarung betrifft die Steuerung einer Audiovorrichtung, insbesondere einer Audiovorrichtung in einem Fahrzeug.
-
US20190246936A1 bespricht ein System und ein Verfahren zum Zuordnen von Musik zu Gehirnzustandsdaten.
-
CN105740420A betrifft ein Verfahren zum Umschalten von Liedern zur Steuerung einer Audiovorrichtung. Das Verfahren umfasst das Erkennen einer Melodie, z. B. einer von einem Benutzer gesungenen Melodie.
CN105740420A betrifft jedoch nicht das Erkennen eines akustischen Musters.
-
CN101499268A betrifft ein Gerät zur automatischen Erzeugung von strukturellen Musikschnittstelleninformationen.
-
Kurzdarstellung
-
Hierin werden Systeme, Verfahren und Vorrichtungen zum Steuern von Audiovorrichtungen beschrieben und beansprucht.
-
Ein erster Aspekt der vorliegenden Offenbarung betrifft ein Verfahren zum Steuern einer Audiovorrichtung. Das Verfahren umfasst die folgenden Schritte:
- • Empfangen einer Eingabe, die ein akustisches oder haptisches Muster darstellt;
- • Bestimmen einer Audiodatei, die das Muster enthält;
- • Steuern der Audiovorrichtung zum Anzeigen, Wiedergeben oder Speichern der Audiodatei.
-
Die durch das Verfahren empfangene Eingabe stellt ein akustisches oder haptisches Muster dar, d. h. eine regelmäßige Veränderung eines Geräuschs oder einer Berührung im Laufe der Zeit. Die Eingabe kann von einem Benutzer empfangen und durch einen Sensor erkannt werden. Das Muster wird dann verwendet, um eine Audiodatei zu bestimmen, die das Muster enthält. Die Audiodatei kann entweder in einer Datenbank gesucht werden oder so erstellt werden, dass sie das unten beschriebene Muster enthält. Die Audiodatei wird dann wiedergegeben.
-
Dieses Verfahren ermöglicht es einem Benutzer, eine Audiovorrichtung einfach durch das Trommeln eines Musters zu steuern, was intuitiver ist als die Auswahl einer Audiodatei, z. B. durch Auswahl eines Titels.
-
Ein haptisches Muster ist ein Muster, das durch haptische Mittel erzeugt wird, z. B. durch Berühren oder Drücken einer Fläche, ohne dass dabei notwendigerweise ein (hörbares) akustisches Muster erzeugt wird. Beispielsweise kann ein Benutzer, der ein Lenkrad festhält und dadurch eine Kraft auf das Lenkrad ausübt, dies in einer Weise tun, dass sich die Kraft im Laufe der Zeit ändert, und zwar in einem Muster, das einen Rhythmus umfassen kann. Dieses Muster kann durch einen Kraft- oder Berührungssensor erkannt werden. Unter Verwendung dieser Eingabe kann eine Audiodatei bestimmt werden, die ein entsprechendes Muster umfasst, das ein akustisches Muster, wie beispielsweise einen Rhythmus, anzeigt, der hörbar wird, wenn die Audiodatei wiedergegeben wird.
-
In einer Ausführungsform umfasst das Muster einen Rhythmus. Dabei kann die Audiodatei ein Lied umfassen, das den Rhythmus enthält. Dies ermöglicht es einem Benutzer, eine Audiodatei auch dann auszuwählen, wenn er (typischerweise) unbewusst einen Rhythmus trommelt.
-
In einer weiteren Ausführungsform wird der Schritt des Empfangs einer Eingabe durch mindestens einen Sensor ausgeführt, der einen oder mehrere von einem Audiosensor, einem Beschleunigungsmesser, einem Kraftmesser und/oder einem Berührungssensor umfasst. Ein Audiosensor kann ein Mikrofon umfassen, um die erzeugten Schallwellen zu erkennen, z. B. wenn ein Benutzer auf einer festen Fläche einen Rhythmus trommelt. Ein Beschleunigungsmesser, der sich auf einer für den Benutzer zugänglichen Fläche befindet, kann mechanische Bewegungen erkennen, die durch Berührung oder Trommeln verursacht werden. Ein Kraftmesser kann ein Objekt umfassen, das ein Benutzer greifen kann, sodass die rhythmische Bewegung beim Greifen des Objekts erkannt werden kann. Ein Berührungssensor, z. B. ein kapazitives Touchpad, kann erkennen, ob ein Benutzer ein Objekt berührt oder nicht. Diese Sensoren können allein oder in Kombination verwendet werden.
-
In einer weiteren Ausführungsform ist der Sensor in einem Fahrzeug angeordnet. Ein Fahrer eines Fahrzeugs muss sich typischerweise auf den Verkehr konzentrieren, und der Betrieb eines Audiosystems kann eine potenziell gefährliche Ablenkung sein. Das vorliegende Eingabeverfahren erfordert kein Entfernen der Hände von dem Lenkrad und führt nur zu einer begrenzten Erhöhung der kognitiven Belastung des Fahrers. Die Verwendung des Verfahrens in einem Fahrzeug ermöglicht somit eine intuitivere Bedienung eines Auto-Audiosystems, wodurch die Verkehrssicherheit erhöht wird.
-
In einer weiteren Ausführungsform ist der Sensor an einem oder mehreren von einem Lenkrad, einem Armaturenbrett, einer Armlehne oder einer Tür des Fahrzeugs angebracht oder in diesen umfasst. Bei diesen Objekten handelt es sich um typische Positionen, an denen Fahrer und Insassen eines Fahrzeugs ihre Hände ablegen. Dies ermöglicht es, ein Muster zu erkennen, das ein Fahrer unbewusst erzeugt oder erzeugt, wenn er die größte Aufmerksamkeit auf die Verkehrssituation richtet.
-
In einer weiteren Ausführungsform umfasst das Verfahren ferner das Empfangen einer zweiten Eingabe, die eine Melodie darstellt. Die zweite Eingabe kann eine Anzeige sein, dass der Benutzer einen Teil eines Liedes summt oder singt. Dies ermöglicht in Kombination mit dem akustischen Muster eine zuverlässigere Erkennung der Audiodatei.
-
In einer weiteren Ausführungsform umfasst das Verfahren ferner ein Anlegen eines Rauschfilters an die Eingabe. Ein Rauschfilter entfernt einen stochastischen (unregelmäßigen) oder regelmäßigen Teil der Audiodatei, z. B. Straßengeräusche, den hörbaren Teil von Störungen, die auf das Auto einwirken, Motorengeräusche usw. Dies führt zu einem aussagekräftigeren Signal.
-
In einer weiteren Ausführungsform umfasst das Verfahren ferner ein Speichern der Eingabe in einer Speichervorrichtung. Dadurch kann eine Aufzeichnung vergangener Eingaben geführt werden, um eine Analyse der Präferenzen des Benutzers zu ermöglichen. Ferner erlaubt das Speichern der Eingabe ein Zwischenspeichern der Eingabe, falls die Netzwerkverbindung verloren geht und Teile des Verfahrens auf einem Netzwerkserver ausgeführt werden.
-
In einer weiteren Ausführungsform umfasst das Bestimmen einer Audiodatei das Suchen einer dem Muster zugeordneten Audiodatei in einer Datenbank. In dieser Ausführungsform erlaubt das Verfahren dem Benutzer, eine wiederzugebende Audiodatei, z. B. ein Lied, durch ein in der Audiodatei enthaltenes akustisches Muster zu wählen. Dadurch kann ein Lied mit einem bestimmten Rhythmus angegeben werden. Wenn eine Melodie als zweite Eingabe hinzukommt, kann die Auswahl genau getroffen werden. Wenn keine zweite Eingabe gewählt wird, kann die Auswahl auch absichtlich ungenau sein, sodass zum Teil zufällig ein Lied gewählt wird, das einen bestimmten Rhythmus umfasst. Dies kann ein gewünschtes Merkmal sein. Sofern der Benutzer ein Fahrzeug fährt, wird die Ablenkung verringert und die Verkehrssicherheit erhöht. Diese Datenbank kann lokal, d. h. in einem der Vorrichtungen im Fahrzeug gespeichert, oder entfernt, d. h. außerhalb des Fahrzeugs gespeichert und über verfügbare Wege zur Datenfernübertragung zugänglich sein.
-
In einer weiteren Ausführungsform umfasst das Bestimmen einer Audiodatei ferner das Klassifizieren der gefundenen Audiodateien, die dem Muster zugeordnet sind, basierend auf einer Zuordnung der Audiodateien zu der Melodie, Metadaten, die sich auf die Audiodateien beziehen, und/oder Nutzungsstatistiken. Die Klassifizierung kann es ermöglichen, eine Audiodatei durch ihre Melodie zu unterscheiden, um die Audiodatei genau zu bestimmen. Die Metadaten umfassen, sind aber nicht darauf beschränkt, einen Fingerabdruck der Melodie und/oder des Rhythmus oder Informationen über das Genre oder den Künstler, der in der Aufnahme zu hören ist. Die Audiodateien können klassifiziert werden, um zu bestimmen, welche den Präferenzen eines Benutzers am meisten entspricht.
-
In einer weiteren Ausführungsform umfasst das Bestimmen einer Audiodatei das Komponieren einer Audiodatei, die dem Muster zugeordnet ist. Dies ermöglicht die Verwendung des Verfahrens als Eingabevorrichtung für ein Audio-Kompositionssystem. Insbesondere Kompositionssysteme, die auf tiefen neuronalen Netzwerken basieren, sind bekannt dafür, eine Möglichkeit anzubieten, ein Lied in einem vordefinierten Stil zu komponieren. Die Verwendung des Musters als Eingabe kann die Flexibilität bei der Verwendung solcher Systeme erhöhen.
-
In einer weiteren Ausführungsform basiert das Klassifizieren der gefundenen Audiodatei und/oder das Komponieren einer Audiodatei auf einem durch einen Benutzer ausgewählten Programm und/oder auf einem oder mehreren Sensoreingaben, die durch Sensoren in oder an dem Fahrzeug oder einem Fahrzeug erzeugt werden.
-
Das Verfahren kann also individuell angepasst werden. Wenn der Benutzer das System beispielsweise so konfiguriert, dass ein bestimmtes Genre angezeigt wird, sind nur Audiodateien zu verwenden, die zu diesem Genre gehören. Falls das Verfahren zum Steuern eines Fahrzeug-Audiosystems verwendet wird, kann sich die Einstellung auf die Fahrzeugeinstellungen beziehen. Wenn der Benutzer beispielsweise ein „Sport“- oder „Renn“-Fahrprogramm auswählt, können aggressivere Klänge bevorzugt werden, zum Beispiel durch die Auswahl von Hard Rock als Genre für die Komposition und/oder Klassifizierung von Klängen.
-
Des Weiteren können Informationen von Autosensoren verwendet werden. Es können Wetterdaten verwendet werden, die z. B. durch Temperatur- oder Regensensoren erlangt wurden. Wenn ein Benutzer zum Beispiel bei Regen einen anderen Musikstil bevorzugt als bei Sonnenschein, kann dies entweder durch eine vorgegebene Einstellung oder durch die Analyse von Nutzungsstatistiken berücksichtigt werden. In ähnlicher Weise kann eine Eingabe von einer Uhr empfangen werden, um die Bestimmung der Audiodatei an die Präferenz eines Benutzers für verschiedene Musikstile zu verschiedenen Tageszeiten anzupassen. Des Weiteren können stimmungskorrelierte Daten von Sensoren verwendet werden: Zum Beispiel können Bilder des Gesichts eines Benutzers von einer Kamera aufgenommen werden, die Augenöffnung kann bestimmt werden, und es kann auf den mentalen Zustand geschlossen werden. Zum Beispiel kann Schläfrigkeit festgestellt werden. Dementsprechend kann nicht nur die Lautstärke des Audiosystems als Reaktion auf Schläfrigkeit auf einen höheren Wert eingestellt werden, sondern es kann auch eine Audiodatei, z. B. eines anderen Genres, gewählt werden. Andere Beispiele für Eingabesensoren schließen die Geschwindigkeit des Fahrzeugs, die Benutzung des Gaspedals und die Wahl der Gänge ein, um sich dem Fahrverhalten des Benutzers anzupassen.
-
Ein weiteres Beispiel für einen zu verwendenden Autosensor ist eine oder mehrere Skalen zur Bestimmung des Gewichts von Personen, die in dem Auto sitzen. Liegt das Gewicht eines Fahrgastes in einem vorgegebenen, für ein Kind typischen Bereich, so kann eine Audiodatei mit von Kindern bevorzugter Musik gewählt werden.
-
Ein Fahrzeug kann eine Vielzahl von Audiosystemen umfassen, für die einzelne Audiodateien durch getrennte Ausführung der Verfahrensschritte für jedes Audiosystem ausgewählt werden können.
-
In einer weiteren Ausführungsform ist die Audiodatei weiterhin der Melodie zugeordnet. Durch die Verwendung sowohl einer Melodie als auch eines Musters werden sowohl das Komponieren als auch das Suchen einer Datei genauer ausgeführt.
-
In einer weiteren Ausführungsform wird der Schritt des Bestimmens einer Audiodatei durch einen netzwerkzugänglichen Server ausgeführt. Dies ermöglicht den Zugriff auf öffentlich zugängliche cloudbasierte Musikdatenbanken, wie sie in Streamingdiensten verwendet werden. Darüber hinaus können die Schritte des Suchens und Komponierens, die zu einer hohen Rechenlast führen, auf einen Server in einem Rechenzentrum verlagert werden. Dies bedeutet, dass die lokalen Komponenten keine Komponenten mit besonders hoher Rechenleistung umfassen müssen.
-
In einer weiteren Ausführungsform umfasst das Verfahren ferner das Speichern der Audiodatei in einem Speicher, wobei der Speicher in der Audiovorrichtung und/oder einem netzwerkzugänglichen Server enthalten ist.
-
Dies ist besonders vorteilhaft, wenn das Bestimmen der Audiodatei das Komponieren einer dem Muster zugeordneten Audiodatei umfasst. Eine Audiodatei kann durch ein auf einem Server laufenden neuronalen Netzwerk erstellt werden, z. B. einen Teil eines cloudbasierten Dienstes, der die Audiodatei komponiert. Die Audiodatei kann dann in einem Speicher auf einem anderen Server oder auf einer lokalen Vorrichtung gespeichert werden, um zu einem späteren Zeitpunkt wiedergegeben werden zu können. Dies erhöht die Kompatibilität mit spezialisierten Diensten und Servern.
Das Speichern der Audiodatei kann vom Empfang eines Befehls abhängig gemacht werden, beispielsweise einer Steuereingabe (siehe unten), einer Spracheingabe oder einer Melodieeingabe, die dem Schritt des Speicherns der Audiodatei zugeordnet ist.
-
In einer weiteren Ausführungsform umfasst das Verfahren ferner die folgenden Schritte:
- Empfangen einer Steuereingabe, die ein zweites Muster umfasst,
- Suchen einer Anweisung, die in einer Steuerdatenbank gespeichert ist, wobei die Anweisung dem zweiten Muster zugeordnet ist, und
- Ausführen der Anweisung als Reaktion auf das Finden der Anweisung.
-
Eine solche Steuereingabe kann einen vordefinierten Rhythmus umfassen, der einem Befehl zugeordnet ist. Die Erkennungs- und Verarbeitungsschritte für das oben erwähnte akustische Muster können auch auf das zweite Muster angewendet werden. Zum Beispiel kann die Steuereingabe mit dem Berührungssensor erkannt und ein Rausch- oder Störungsfilter angewendet werden.
-
Insbesondere kann der Schritt des Speicherns der Audiodatei im Speicher als Reaktion auf den Empfang der Steuereingabe und als Reaktion auf den Empfang einer Steuereingabe ausgeführt werden, die auf den Befehl eines Benutzers zum Speichern der Audiodatei hinweist.
-
Ein zweiter Aspekt der vorliegenden Offenbarung betrifft ein System zum Steuern einer Audiovorrichtung. Das System umfasst mindestens einen Sensor, der konfiguriert ist, um eine Eingabe zu empfangen, die ein akustisches oder haptisches Muster darstellt, und mindestens eine Rechenvorrichtung. Die Rechenvorrichtung ist konfiguriert zum:
- • Bestimmen einer Audiodatei, die das Muster enthält;
- • Steuern der Audiovorrichtung zum Anzeigen, Wiedergeben oder Speichern der Audiodatei.
-
Die Rechenvorrichtung kann einen digitalen Signalprozessor (DSP) umfassen. Die Rechenvorrichtung kann Komponenten umfassen, die teilweise in einem Fahrzeug, einer mobilen Vorrichtung und/oder einem netzwerkzugänglichen Server installiert sind.
-
Alle für den ersten Aspekt geltenden Eigenschaften und Ausführungsformen gelten auch für den zweiten Aspekt.
-
Kurze Beschreibung der Zeichnungen
-
Die Merkmale, Aufgaben und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung, wenn sie in Verbindung mit den Zeichnungen betrachtet werden, in denen gleiche Bezugszeichen auf ähnliche Elemente Bezug nehmen.
- 1 zeigt ein Flussdiagramm eines Verfahrens zum Steuern einer Audiovorrichtung gemäß einer Ausführungsform;
- 2 zeigt ein Flussdiagramm eines Verfahrens zum Bestimmen einer Audiodatei gemäß einer Ausführungsform;
- 3 zeigt ein Blockschaltbild eines Systems gemäß einer Ausführungsform;
- 4 zeigt ein Blockschaltbild eines Client-Server-Systems gemäß einer Ausführungsform; und
- 5 zeigt eine Draufsicht (a) und eine Seitenansicht (b) eines Fahrzeugs mit einem System gemäß einer Ausführungsform.
-
Detaillierte Beschreibung der bevorzugten Ausführungsformen
-
1 zeigt ein Flussdiagramm eines Verfahrens 100 zum Steuern einer Audiovorrichtung gemäß einer Ausführungsform. Eine Eingabe, die ein akustisches oder haptisches Muster umfassen kann oder nicht, wird durch das System empfangen. Die Eingabe kann sich beispielsweise auf ein Trommeln eines Benutzers auf eine Armlehne oder ein Greifen eines Lenkrads beziehen. Die Eingabe wird in ein elektrisches Signal konvertiert, 102, z. B. durch einen Berührungssensor, ein Mikrofon oder einen Beschleunigungsmesser. Das Signal kann dann optional durch Rauschfilterung entrauscht werden, z. B. durch Entfernen stochastischer (unregelmäßiger) Schwankungen, 104. Das Signal wird dann verarbeitet, um zu bestimmen, ob ein Muster, d. h. eine regelmäßige Änderung des Signals über die Zeit, vorliegt, 106. Wenn dies nicht der Fall ist, kehrt das Verfahren zu Block 102 zurück. Dadurch kann eine kontinuierliche Eingabe bearbeitet und ein Muster erkannt werden.
-
Optional kann eine zweite Eingabe, die sich auf Schall bezieht, in ein Signal 108 konvertiert werden. Optional kann ein Rauschfilter angewendet werden, 110, und es kann bestimmt werden, ob der Schall eine erkennbare Melodie umfasst, 112. Dabei kann eine durch eine Benutzer gesummte oder gesungene Melodie bestimmt werden. Die Melodieerkennung kann vorteilhaft sein, da ein Benutzer wahrscheinlich eine Melodie summt und einen Rhythmus des gleichen Liedes trommelt. Die Verwendung beider Signale, z. B. beim Suchen einer Audiodatei, 206, oder beim Komponieren, 210, kann die Genauigkeit des Ergebnisses erhöhen.
-
Beide Signale können optional in einem Speicher 114 gespeichert werden. In dieser beispielhaften Ausführungsform wird eine lokale Speichervorrichtung verwendet, um das Muster und vorzugsweise auch die Melodie für eine angemessene Zeitdauer zu speichern, bevor eine Anforderung zur Bestimmung einer Audiodatei, z. B. durch Komponieren oder Suchen, an einen Server gesendet wird, 116. Die Anfrage kann ein oder beide aufgezeichnete Signale umfassen. In einer Ausführungsform enthält die Anfrage einen akustischen Fingerabdruck des Signals oder der Signale. Ein Fingerabdruck, eine komprimierte Version des Signals, umfasst die für die Erkennung relevantesten Daten. Die Anfrage kann ferner Benutzereingaben und/oder Einstellungen zu einem bevorzugten Genre oder zu bevorzugten Operationen umfassen, wie nachfolgend unter Bezug auf 2 beschrieben. Bei 118 wird eine Audiodatei empfangen, die dann durch das Audiosystem wiedergegeben wird, 120. Die Audiodatei kann entweder vollständig empfangen und wiedergegeben werden, oder sie kann gestreamt und gleichzeitig wiedergegeben werden. In einer alternativen Ausführungsform können alle Schritte durch lokale Vorrichtungen ausgeführt werden, was das Verwenden der Verfahren 100 und 200 ohne jeglichen Netzwerkzugriff ermöglicht. Die Audiodatei kann in einem lokalen und/oder entfernten Speicher gespeichert sein 122. In einer weiteren alternativen Ausführungsform können die Rauschfilterung, 104, 110, und die Muster- und/oder Melodieerkennung, 106, 112, sowie die Speicherung durch eine oder mehrere entfernte Vorrichtungen erfolgen.
-
2 zeigt ein Flussdiagramm eines Verfahrens 200 zum Bestimmen einer Audiodatei gemäß einer Ausführungsform. Der Server empfängt, 202, eine Anfrage, eine Audiodatei zu bestimmen. Die Anfrage kann ein oder mehrere Muster/Melodiesignale oder Fingerabdrücke davon umfassen. Die Anfrage kann ferner Benutzereinstellungen umfassen, wie beispielsweise ob der Server in einer Datenbank nach einer Audiodatei suchen oder eine neue Audiodatei komponieren soll. Diese Voreinstellung kann alternativ auf dem Server oder einem anderen netzwerkfähigen Speicher gespeichert sein. Wenn es auf Suchen eingestellt ist, sucht der Server in einer Datenbank nach einer Audiodatei, die mit dem Muster und/oder der Melodie übereinstimmt. Zum Beispiel kann eine Suche nach dem Muster, z. B. einem Rhythmus in dem Lied, eine Vielzahl von Ergebnissen liefern, d. h. Audiodateien, die gute Kandidaten für eine Übereinstimmung sind. Sie können Lieder mit dem von dem Benutzer getrommelten Rhythmus umfassen. Der nächste Schritt ist dann optional das Klassifizieren, 208, der Ergebnisse, um eine übereinstimmende Audiodatei zu bestimmen. Der Schritt des Klassifizierens kann das Verwenden von Daten von Sensoren umfassen, die an dem Client-System angebracht sind oder darin umfasst sind und in der Anfrage enthalten sind, die bei 202 empfangen wird. Zum Beispiel kann ein Musikgenre anhand der Offenheit der Augen oder der Geschwindigkeit des Fahrzeugs ausgewählt werden, indem auf den mentalen Zustand des Fahrers geschlossen wird. Um die Datei zu finden, die am ehesten die richtige Übereinstimmung aufweist, kann dann bestimmt werden, ob die Melodie auch in der Audiodatei umfasst ist. Des Weiteren können andere Einstellungen des Benutzers in der Anfrage oder in einem Speicher gespeicherte, wie Präferenzen für ein Genre, zur Bestimmung einer übereinstimmenden Audiodatei verwendet werden. Alternativ kann die Audiodatei nur in Abhängigkeit von dem Rhythmus bestimmt werden. Optional kann die Suche, 206, und/oder Klassifizierung, 208, es erlauben zu unterscheiden, ob das Muster sich auf eine Audiodatei oder auf einen Befehl bezieht. Die Datenbank kann ein oder mehrere gespeicherte Befehle umfassen, die unterschiedlichen Mustern zugeordnet sind. Beispielsweise kann ein Muster, das einen Morsecode vordefinierter Buchstaben umfasst, eine Identifizierung eines Befehls bewirken. In den optionalen Blöcken 210-212 kann der Befehl auf dem Server ausgeführt und/oder an den Client gesendet werden, damit er dort ausgeführt wird.
-
Wenn die Voreinstellung auf das Komponieren einer Audiodatei eingestellt ist, kann das System das Muster und/oder die Melodie verwenden, um algorithmisch ein Lied zu komponieren, 214. Dies kann durch Benutzereingaben, z. B. in der Anfrage enthaltene Einstellungen, weiter gesteuert werden. Beispielsweise kann ein Algorithmus ein Lied mit dem Rhythmus und/oder der Melodie in einem bestimmten Stil (z. B. einem Musikgenre) gemäß Benutzereinstellungen komponieren. Das Lied kann optional in einem Server, insbesondere einem von dem Server, der Schritt 214 ausführt, verschiedenen Dateiserver, gespeichert sein 216. Bei 218 wird die so bestimmte Audiodatei zur Wiedergabe an die Client-Vorrichtung gesendet.
-
3 zeigt ein Blockschaltbild eines Systems 300 gemäß einer Ausführungsform. Das System 300 ist bei dieser Ausführungsform in einem Fahrzeug 302 angeordnet und umfasst eine Audiovorrichtung 304, die einen oder mehrere Lautsprecher 306 und einen Client 308 als Teil einer Eingabevorrichtung umfasst. Die Audiovorrichtung 304 kann ein Auto-Audiosystem umfassen, das zum Beispiel eine Funktion zur Wiedergabe von Streaming-Audiodateien und gespeicherten Audiodateien umfasst. Die Audiovorrichtung 304 kann durch den Client 308 gesteuert werden, um bestimmte Audiodateien wiederzugeben. Des Weiteren kann die Audiovorrichtung 304 eine Ausgabe an den Client 308 umfassen, die einen Status der Audiovorrichtung anzeigt. Wenn die Audiovorrichtung deaktiviert ist oder gerade eine durch den Benutzer ausgewählte Audiodatei wiedergibt, kann der Client 308 inaktiv sein. Wenn die Audiovorrichtung aktiviert ist, aber keine Audiodatei wiedergibt, kann der Client so konfiguriert sein, dass er eine Eingabe empfängt und eine Audiodatei wie beschrieben bestimmt. Dies ist jedoch nur ein veranschaulichendes Beispiel für ein System. In alternativen Ausführungsformen kann das System beispielsweise in einem Gebäude oder einer anderen Umgebung installiert sein.
-
Der Client 308 umfasst einen oder mehrere Sensoren 310, die so konfiguriert sind, dass sie ein akustisches oder haptisches Muster erfassen, d. h. die Eingabe in ein Signal konvertieren. Ein Muster kann jede regelmäßige zeitliche Veränderung einer physikalischen Größe einschließen, insbesondere akustische Wellen, die erzeugt werden, wenn ein Benutzer z. B. einen Rhythmus trommelt. Ein Sensor zum Erkennen des Musters kann ein Mikrofon umfassen, um die akustischen Wellen in ein elektrisches Signal zu konvertieren. Das Muster kann jedoch alternativ oder zusätzlich durch einen Berührungssensor, einen Beschleunigungsmesser oder einen Kraftmesser erfasst werden. Das Muster kann also ferner ein haptisches Muster umfassen, zum Beispiel wenn der Benutzer rhythmisch auf eine bestimmte Stelle des Lenkrads drückt. Dies kann durch einen Berührungssensor oder durch einen oder mehrere Berührungsknöpfe erkannt werden, die ein Signal abgeben, wenn der Knopf gedrückt wird. Vorzugsweise umfassen die Sensoren einen oder mehrere Kraftmesser, die ein kontinuierliches Ausgangssignal liefern, das in Abhängigkeit von der auf den Sensor ausgeübten Kraft variiert. Jeder dieser Sensoren 310 kann an einem Lenkrad, einer Armlehne oder einem Teil der Tür angebracht sein, auf dem der Benutzer, typischerweise der Fahrer des Fahrzeugs 302, seine Hände ablegen kann. Dabei können der oder die Sensoren eine Eingabe erfassen, die durch unbewusste Bewegungen des Benutzers erzeugt wird. Das optionale eine oder die optionalen mehreren Mikrofone 312 sind konfiguriert, um zusätzlich zu der akustischen Eingabe, die sich auf das Muster bezieht, Schall zu erfassen. Zum Beispiel kann ein Benutzer, der eine Melodie singt oder summt, ein erkennbares Signal erzeugen. Der Client 308 umfasst ferner eine Rechenvorrichtung 314, die für die Ausführung eines oder mehrerer Verarbeitungsschritte konfiguriert ist. Die Rechenvorrichtung 314 umfasst einen Rauschfilter 316, um unregelmäßige, d. h. stochastische Teile der Signale von einem oder mehreren der Sensoren 310 und/oder Mikrofone 312 zu entfernen. Die Rechenvorrichtung kann ferner eine Speichervorrichtung 318 umfassen, um die Signale zu speichern, bevor sie an den Server übertragen werden. Die Speichervorrichtung kann ferner von dem Benutzer eingegebene Einstellungen umfassen, beispielsweise ob die Audiodatei durch Komposition der Audiodatei basierend auf dem Muster oder durch Suche einer Audiodatei in einer Datenbank bestimmt werden soll. Weitere Einstellungen können umfassen, ob die Audiodatei vorzugsweise ein Lied aus einem bestimmten Genre enthalten soll. Der Router 320 kann über ein Netzwerk mit einem oder mehreren Servern verbunden sein. Zum Beispiel kann die Verbindung über das Internet erfolgen, und die Daten können über ein mobiles drahtloses Netzwerk transportiert werden.
-
4 zeigt ein Blockschaltbild eines Client-Server-Systems 400 gemäß einer Ausführungsform. Das Client-Server-System 400 umfasst ein Client-System, wie den vorstehend unter Bezugnahme auf 3 beschriebenen Client, der über ein Netzwerk 414 mit einem Server 402 verbunden ist. Die Komponenten und Funktionen des Servers können entweder in einem Server konzentriert sein, wie gezeigt, oder über eine Vielzahl von Servern verteilt sein, zum Beispiel Server, die einen Teil einer Cloud bilden. Die Audiodatei-Datenbank 404 umfasst Audiodateien, die durch die Audiovorrichtung wiedergegeben werden können. Die Audiodatei-Datenbank 404 kann sich auf einen bekannten Musik-Streaming-Dienst beziehen. Die Suchkomponente 406 ist so konfiguriert, dass sie eine Eingabe, beispielsweise das Muster und/oder die Melodie, analysiert und entsprechend eine Audiodatei auswählt. Zum Beispiel kann eine Suchkomponente 406 das Muster verwenden, um für eine Vielzahl von Audiodateien eine Wahrscheinlichkeit zu bestimmen, dass die Audiodatei das Muster umfasst. Audiodateien können ausgeschlossen werden, wenn sie nicht zu einem Genre gehören, das in den Einstellungen des Benutzers als bevorzugtes Genre gespeichert ist. Dadurch wird die Verarbeitungsgeschwindigkeit erhöht, indem unnötige Operationen vermieden werden. Des Weiteren kann die Suche optional auf einem akustischen Fingerabdruck eines Rhythmus basieren, der aus der Audiodatei extrahiert wurde oder mit ihr verbunden ist. Ein solcher Fingerabdruck kann entweder zusammen mit der Audiodatei als Teil ihrer Metadaten gespeichert sein, oder er wird spontan erzeugt. Das Ergebnis einer Suche kann dann eine Liste von Audiodateien zusammen mit Wahrscheinlichkeiten umfassen, dass die Audiodatei das Muster umfasst. In einer beispielhaften Ausführungsform kann die Audiodatei mit der höchsten Wahrscheinlichkeit verwendet werden. Alternativ kann eine Vielzahl von Audiodateien, z. B. eine vordefinierte Anzahl von Audiodateien mit den höchsten Wahrscheinlichkeiten, ferner durch den Klassifikator 408 klassifiziert werden. Dies kann das Bestimmen einer Wahrscheinlichkeit für jede der Audiodateien umfassen, dass die Audiodatei ferner eine Melodie umfasst, die im Wesentlichen zur gleichen Zeit wie das Muster erkannt wurde. Eine weitere Klassifizierung kann nach der Häufigkeit erfolgen, mit der eine Audiodatei von demselben Benutzer manuell ausgewählt wurde, um persönliche Präferenzen zu berücksichtigen.
Diese Präferenzen können entweder von dem Client mit der Anfrage an den Server gesendet oder in einer Präferenzdatenbank 412 gespeichert werden, oder eine Kombination davon.
-
Die Kompositionsvorrichtung 410 ist konfiguriert, um eine neue Audiodatei basierend auf dem Muster und/oder dem Rhythmus zu erstellen. Die Kompositionsvorrichtung 410 kann beispielsweise ein tiefes neuronales Netzwerk umfassen, das ausgebildet ist, eine Audiodatei zu erstellen.
-
5 zeigt eine Draufsicht (a) und eine Seitenansicht (b) eines Fahrzeugs mit einem System gemäß einer Ausführungsform. In einem Fahrzeug 500 sind Sensoren an einem Lenkrad 502, einer Türkomponente 504 und/oder einer Armlehne 506 angeordnet.
-
Bezugszeichen
-
- 100
- Verfahren zum Steuern einer Audiovorrichtung
- 102-122
- Schritte des Verfahrens 100
- 200
- Verfahren zum Bestimmen einer Audiodatei
- 202-218
- Schritte des Verfahrens 200
- 300
- System
- 302
- Fahrzeug
- 304
- Audiovorrichtung
- 306
- Lautsprecher
- 308
- Client
- 310
- Sensor(en)
- 312
- Mikrofon(e)
- 314
- Rechenvorrichtung
- 316
- Rauschfilter
- 318
- Speicher
- 320
- Router
- 400
- Client-Server-System
- 402
- Server
- 404
- Audiodatei-Datenbank
- 406
- Suchkomponente
- 408
- Klassifikator
- 410
- Kompositionsvorrichtung
- 412
- Präferenzdatenbank
- 414
- Netzwerk
- 500
- Fahrzeug
- 502
- Lenkrad
- 504
- Türkomponente
- 506
- Armlehne
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 20190246936 A1 [0003]
- CN 105740420 A [0004]
- CN 101499268 A [0005]
