DE112021001516T5

DE112021001516T5 - Hörhilfeneinheit mit intelligenter audiofokussteuerung

Info

Publication number: DE112021001516T5
Application number: DE112021001516.8T
Authority: DE
Inventors: Raghuveer Prasad NAGAR; Sarbajit Rakshit; Manjit Singh Sodhi; Satyam Jakkula
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2020-03-09
Filing date: 2021-03-05
Publication date: 2023-01-05
Also published as: US11134349B1; GB2614121B; US20210281956A1; WO2021181232A1; AU2021235335A1; CN115136619A; GB202214686D0; GB2614121A; JP2023519495A; KR20220120633A; AU2021235335B2

Abstract

Ein Verfahren umfasst Bereitstellen einer intelligenten Kontaktlinse mit einer Anordnung strahlformender Mikrofone, wobei die intelligente Kontaktlinse von einem Benutzer getragen wird und die Anordnung strahlformender Mikrofone Laute aus verschiedenen Richtungen empfängt, Ermitteln einer Blickrichtung des Benutzers, Filtern der Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage der Blickrichtung des Benutzers, um gefilterte Laute zu bestimmen, und Ausgeben der gefilterten Laute über eine Knochenleitungshöreinheit.

Description

HINTERGRUND
Die vorliegende Erfindung betrifft allgemein eine Hörhilfeeinheit und insbesondere eine Hörhilfeeinheit mit intelligenter Audiofokussteuerung.
Es gibt viele gesprochene Wörter, die bei einem Hörer eine Mehrdeutigkeit hervorrufen. Üblicherweise haben die gesprochenen Wörter, die eine Mehrdeutigkeit hervorrufen, ähnliche Laute, die schwer zu unterscheiden oder zu verstehen sind.
In vielen Fällen nutzt der Hörer eine Visualisierung der Lippen eines Sprechers als Hilfe beim Verstehen oder Klären des Lautes eines gesprochenen Wortes. Selbst im Fall einer Verwendung visualisierter Hinweise führt die Interaktion zwischen Hören und Sehen bei der Sprechwahrnehmung zum McGurk-Effekt, es tritt ein Wahrnehmungsphänomen oder eine Illusion auf, wenn die Hörkomponente des einen Lautes mit der Sehkomponente eines anderen Lautes gepaart wird, was zur Wahrnehmung eines dritten Lautes führt.
KU RZDARSTELLU NG
Nach einem Aspekt wird ein Verfahren bereitgestellt, das aufweist: Ermitteln einer Richtung von Lauten, die durch eine Anordnung strahlformender Mikrofone empfangen werden, durch einen Prozessor, wobei die Anordnung strahlformender Mikrofone Laute aus verschiedenen Richtungen empfängt; Ermitteln eines Fokus durch den Prozessor auf Grundlage der Lautrichtung; Ausgeben eines Signals durch den Prozessor auf Grundlage des Fokus; Empfangen des vom Prozessor ausgegebenen Signals durch eine Audioausgabeeinheit; und Ausgeben eines gefilterten Lautes durch die Audioausgabeeinheit, wobei bei dem gefilterten Laut vorzugsweise bestimmte Laute aufbereitet werden, die von der Anordnung strahlformender Mikrofone auf Grundlage des vom Prozessor ausgegebenen Signals empfangen werden.
Nach einem anderen Aspekt wird ein nichttransitorisches, durch einen Computer lesbares Speichermedium bereitgestellt, das durch einen Computer ausführbare Anweisungen umfasst, die bei Ausführung durch einen Computer den Computer veranlassen, ein Verfahren des Filterns von Lauten durchzuführen, wobei das Verfahren aufweist: Ermitteln einer Richtung von Lauten, die durch eine Anordnung strahlformender Mikrofone empfangen werden, durch einen Prozessor, wobei die Anordnung strahlformender Mikrofone Laute aus verschiedenen Richtungen empfängt; Ermitteln eines Fokus durch den Prozessor auf Grundlage der Lautrichtung; Ausgeben eines Signals durch den Prozessor auf Grundlage des Fokus; Empfangen des vom Prozessor ausgegebenen Signals durch eine Audioausgabeeinheit; und Ausgeben eines gefilterten Lautes durch die Audioausgabeeinheit, wobei bei dem gefilterten Laut vorzugweise bestimmte Laute aufbereitet werden, die von der Anordnung strahlformender Mikrofone auf Grundlage des vom Prozessor ausgegebenen Signals empfangen werden.
Nach einem anderen Aspekt wird ein System bereitgestellt, das umfasst: eine Anordnung strahlformender Mikrofone; einen Prozessor in elektronischem Datenaustausch mit der Anordnung strahlformender Mikrofone und so konfiguriert, dass er eine Richtung der Laute ermittelt, die von der Anordnung strahlformender Mikrofone empfangen werden, einen Fokus auf Grundlage der Lautrichtungen ermittelt und ein Signal auf Grundlage des Fokus ausgibt; und eine Audioausgabeeinheit, die so konfiguriert ist, dass sie das vom Prozessor ausgegebene Signal empfängt und eine gefilterte Audioausgabe ausgibt, wobei bei der gefilterten Audioausgabe vorzugsweise bestimmte Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage des vom Prozessor ausgegebenen Signals aufbereitet werden.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung umfasst ein Verfahren Bereitstellen einer intelligenten Kontaktlinse mit einer Anordnung strahlformender Mikrofone, wobei die intelligente Kontaktlinse von einem Benutzer getragen wird und die Anordnung strahlformender Mikrofone Laute aus verschiedenen Richtungen empfängt, Ermitteln einer Blickrichtung des Benutzers, Filtern der Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage der Blickrichtung des Benutzers, um gefilterte Laute zu bestimmen, und Ausgeben der gefilterten Laute über eine Knochenleitungshöreinheit.
Gemäß mindestens einer Ausführungsform der vorliegenden Erfindung umfasst ein System eine Anordnung strahlformender Mikrofone, einen Prozessor in elektronischem Datenaustausch mit der Anordnung strahlformender Mikrofone und so konfiguriert, dass er eine Richtung von Lauten ermittelt, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage der Lautrichtungen einen Fokus ermittelt und auf Grundlage des Fokus ein Signal ausgibt, und eine Audioausgabeeinheit, die so konfiguriert ist, dass sie das vom Prozessor ausgegebene Signal empfängt und eine gefilterte Audioausgabe ausgibt, wobei bei der gefilterten Audioausgabe vorzugsweise bestimmte Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage des vom Prozessor ausgegebenen Signals aufbereitet werden.
Wie hierin gebraucht, umfasst „Ermöglichen“ einer Aktion Durchführen der Aktion, Erleichtern der Aktion, Unterstützen zum Durchführen der Aktion oder Veranlassen, dass die Aktion ausgeführt wird. Somit können Anweisungen, die in einem Prozessor ausgeführt werden, beispielhaft und nichteinschränkend eine Aktion ermöglichen, die von auf einem entfernt angeordneten Prozessor ausgeführten Anweisungen durchgeführt wird, indem sie entsprechende Daten oder Befehle senden, um die durchzuführende Aktion zu veranlassen oder zu unterstützen. Zur Vermeidung von Zweifeln wird die Aktion, wenn ein Aktor eine Aktion anders als durch Durchführen der Aktion ermöglicht, dennoch von einer Entität oder Kombination von Entitäten durchgeführt.
Eine oder mehrere Ausführungsformen der Erfindung oder Elemente davon können in Form eines Computerprogrammprodukts realisiert sein, das ein durch einen Computer lesbares Speichermedium mit einem durch einen Computer nutzbaren Programmcode zum Durchführen der angegebenen Verfahrensschritte umfasst. Ferner können eine oder mehrere Ausführungsformen der Erfindung oder Elemente davon in Form eines Systems (oder einer Vorrichtung) mit einem Speicher und mindestens einem Prozessor realisiert sein, der mit dem Speicher verbunden und funktionsmäßig in der Lage ist, beispielhafte Verfahrensschritte durchzuführen. Ferner können nach einem noch weiteren Aspekt eine oder mehrere Ausführungsformen der Erfindung oder Elemente davon in Form von Mitteln zum Durchführen eines oder mehrerer hierin beschriebener Verfahrensschritte realisiert sein; die Mittel (i) können umfassen: ein oder mehrere Hardware-Module, (ii) ein oder mehrere Software-Module, die in einem durch einen Computer lesbaren Speichermedium (oder mehreren solchen Medien) gespeichert und in einem Hardware-Prozessor realisiert sind, oder (iii) eine Kombination von (i) oder (ii); beliebige von (i) bis (iii), die die hierin dargelegten spezifischen Techniken realisieren.
Techniken der vorliegenden Erfindung können erhebliche vorteilhafte technische Wirkungen bereitstellen. Beispielsweise können eine oder mehrere Ausführungsformen bereitstellen:

ein System mit einer Höreinheit, die so konfiguriert ist, dass sie einen Benutzer unterstützt, Laute aus einer umliegenden Umgebung auf Grundlage einer Blickrichtung des Benutzers zu verstehen;
ein System mit einer Höreinheit, die so konfiguriert ist, dass sie einen Benutzer unterstützt, Laute aus einer umliegenden Umgebung nach vorbestimmten Prioritäten zu filtern; und
ein System mit visuellen Simulations-/Erweiterungsfähigkeiten entsprechend den gefilterten Lauten aus der Umgebung.

Diese und andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Beschreibung ihrer veranschaulichenden Ausführungsformen ersichtlich, die in Verbindung mit den Begleitzeichnungen zu lesen ist.
Figurenliste
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nachstehend unter Bezugnahme auf die Begleitzeichnungen ausführlicher beschrieben:

1 ist ein Ablaufplan eines Verfahrens, das ein Hörhilfesystem gemäß Ausführungsformen der vorliegenden Erfindung steuert;
2 ist ein Schaubild eines Hörhilfesystems gemäß Ausführungsformen der vorliegenden Erfindung; und
3 stellt ein Computersystem dar, das beim Realisieren eines oder mehrerer Aspekte und/oder Elemente der vorliegenden Erfindung nützlich sein kann.

DETAILLIERTE BESCHREIBUNG
Gemäß einigen Ausführungsformen ist ein System so konfiguriert, dass es einen Benutzer unterstützt, der einen Laut aus der umliegenden Umgebung hört, aber verwirrt werden könnte, wenn mehrere Laute zum selben Zeitpunkt aus verschiedenen Richtungen der Umgebung kommen. Eine oder mehrere Ausführungsformen sind auf ein System gerichtet, das eine Anordnung von Richtmikrofonen aufweist, die beim Analysieren gerichteter Laute bezüglich des Benutzers (und bezüglich der Blickrichtung des Benutzers) verwendet werden, und eine Blickrichtung und einen Fokusabstand des Benutzers erkennt.
Einige Ausführungsformen umfassen eine Knochenleitungshöreinheit, die Laute aus einer oder mehreren Richtungen selektiv verstärkt. Gemäß mindestens einer Ausführungsform ist das System mit der Knochenleitungshöreinheit so konfiguriert, dass es den Benutzer unterstützt, die Laute aus der umliegenden Umgebung zu verstehen. Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung nutzt das System die Knochenleitungshöreinheit, die so konfiguriert ist, dass sie tauben oder hörgeschädigten Benutzern hilft. Die Knochenleitungshöreinheit überträgt Laute durch Knochenvibration direkt auf eine Cochlea des Benutzers unter Umgehung des Außen- und Mittelohrs des Benutzers. Ausführungsformen der vorliegenden Erfindung können auf andere Arten von Cochleaimplantat-Höreinheiten erweitert werden.
Ausführungsformen der vorliegenden Erfindung umfassen ein Trainingsverfahren, das dazu dient, das System so zu trainieren, dass es eine Lautrichtung von Interesse auf Grundlage einer Blickrichtung des Benutzers erfasst. Gemäß mindestens einer Ausführungsform nimmt das Verfahren eine Korrelation zwischen einer Blickrichtung des Benutzers und dem, was der Benutzer gerade hört (z.B. Zuhören bei einer Straßenaufführung in einer Umgebung umfasst nahe Fußgänger- und Verkehrsgeräusche).
Ausführungsformen der vorliegenden Erfindung können mit einer intelligenten Kontaktlinse realisiert sein. Es sollte klar sein, dass bestehende Kontaktlinsen mikroskalige Komponenten tragen, darunter beispielsweise Einkristall-Siliciumtransistoren, Funkchips, Antennen, Diffusionswiderstände, Leuchtdioden (LEDs), Siliciumfotodetektoren usw. Diese mikroskaligen Komponenten können in einer Kontaktlinse integriert sein, wobei die Komponenten in biokompatiblen Polymeren oder dergleichen verkapselt sind.
Ausführungsformen der vorliegenden Erfindung sind auf verschiedene Arten von Brillen (z.B. Sonnenbrillen, intelligente Brillen usw.) und andere kopfmontierte Einheiten und Kleidung erweiterbar. Beispielsweise wird bei einigen Ausführungsformen ein Fokus des Benutzers auf Grundlage einer Ausrichtung des Brillengestells zu einer oder mehreren Lautquellen abgeleitet (wobei z.B. das System ermittelt, ob das Gestell zu einer bestimmten Quelle gerichtet ist). Das heißt, gemäß einigen Ausführungsformen zeigt die Anordnung strahlformender Mikrofone, z.B. 211 (siehe 2) im Wesentlichen in eine Blickrichtung, die vom Gestell 210 geboten wird, wenn es von einem Benutzer getragen wird, beispielsweise über einem oberen Steg des Gestells 210 angeordnet. Es sollte klar sein, dass die Anordnung 211 so konfiguriert sein kann, dass sie ein enges oder breites Lautfeld bezüglich des Blickfelds (field of view FOV) des Benutzers erfasst. Gemäß einer oder mehrerer Ausführungsformen ist ein Brillengestell mit einer Anordnung strahlformender Mikrofone (z.B. einer kreisförmigen Mikrofonanordnung mit 7 (N) MEMS-Mikrofonen (MEMS - mikroelektromechanisches System) und einen Prozessor (siehe 16, 3) und wahlweise einer Blickerkennungskamera 212 konfiguriert. Das System schließt auf ein FOV des Benutzers auf Grundlage der von der Mikrofonanordnung 211 erkannten Laute und erkennt ferner eine Blickrichtung des Benutzers innerhalb des FOV auf Grundlage der von der Mikrofonanordnung 211 erkannten Laute, indem es beispielsweise annimmt, dass die Blickrichtung (bezüglich des FOV) innerhalb eines kleinen Kegels liegt, der sich von der Anordnung 211 und dem Gestell 210 der Brille weg erstreckt.
Gemäß mindestens einer Ausführungsform der vorliegenden Erfindung erkennt das System in einem Fall, in dem das System eine Blickerkennungskamera 212 umfasst, die Blickrichtung auf Grundlage der optischen Theorie sphärischer Oberflächen für paraxiale Strahlen und des Gullstrand-Augenmodells, um die 3D-Mittelpunkte der Hornhaut und der Pupille auf Grundlage eines von der Kamera erfassten Bildes des bzw. der Augen des Benutzers zu erlangen.
Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung ermittelt das System ferner eine Richtung eines oder mehrerer Laute innerhalb des FOV des Benutzers. Verfahren zum Ermitteln der Richtung von Lauten sind allgemein bekannt und umfassen beispielsweise eine Verzögerungs- und Summenstrahlformungstechnik, die eine zeitliche Ankunftsverzögerung von Lauten, die an den verschiedenen Mikrofonen empfangen werden, bezüglich des Lautes, der an einem bestimmten Mikrofon empfangen wird, berechnet und dann zeitverschobene Varianten der N Signale darüberlegt.
Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung verstärkt die Einheit auf Grundlage der Blickrichtung des Benutzers selektiv ein Audiosignal eines Lautes von Interesse mithilfe der Knochenleitungshöreinheit. Gemäß einigen Ausführungsformen der vorliegenden Erfindung kann eine erforderliche Blickrichtung ermittelt werden, indem die Audiosignale der Mikrofonanordnung verarbeitet werden, um erkannte Laute zu orten (z.B. Lautortung hinsichtlich einer dreidimensionalen Position, darunter ein horizontaler Winkel, ein vertikaler Winkel und ein Abstand (für statische Laute) oder eine Geschwindigkeit (für sich bewegende Laute)). Wenn beispielsweise ein Benutzer direkt auf ein Objekt blickt, das einen Laut aussendet, wäre eine Verzögerung, die an jedem Mikrofon der Anordnung für den Laut ermittelt wird, im Wesentlichen gleich. Gemäß einer oder mehreren Ausführungsformen kann die erforderliche Blickrichtung entsprechend Eigenschaften der erkannten Laute ermittelt werden (z.B. ein lautester Laut in der Umgebung, ein Laut mit einem Frequenzbereich von ca. 1 bis 3 Kilohertz (kHz), der vielen Alarmen entspricht, die sich im Fall von Feueralarmen tendenziell nahe an Ausgängen befinden, oder eine Kombination von Schwellenwerten wie etwa ein Auswählen des lautesten Lautes in der Umgebung für die Blickrichtung, sofern nicht ein Laut zwischen 1 und 3 kHz erkannt wird, usw.). Gemäß einigen Ausführungsformen kann die erforderliche Blickrichtung entsprechend den Eigenschaften der erkannten Laute in der Umgebung und einer vorbestimmten Priorität oder einem Satz von Prioritäten (z.B. der lauteste Laut, Laute mit bestimmten Frequenzen, Laute mit einer Quelle, die sich dem Benutzer nähert, Laute, die einem bestimmten Sprecher entsprechen, usw.) ermittelt werden, die vom System gespeichert sind, z.B. im Speicher der Mobileinheit des Benutzers. Entsprechend ist das System so konfiguriert, dass es den Benutzer darin unterstützt, den Laut von Interesse zu verstehen oder wahrzunehmen.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung weist ein Verfahren 100 Bereitstellen einer intelligenten Einheit (z.B. Brillengestell oder Kontaktlinse) mit einer Anordnung strahlformender Mikrofone auf (siehe 1, 101). Beispielsweise umfasst die intelligente Einheit einen Prozessor und eine Anordnung strahlformender Mikrofone, die an einer äußeren Oberfläche des Brillenglases/der Kontaktlinse angeordnet ist, und wenn der Benutzer/Träger des Brillenglases/der Kontaktlinse in die Umgebung schaut, wird eine Blickrichtung des Benutzers auf Grundlage einer Richtung eines Lautes ermittelt 102, der aus einem Bereich des FOV des Benutzers kommt. Gemäß mindestens einer Ausführungsform wird das FOV explizit bei Block 102 ermittelt, das FOV kann beispielsweise auf Grundlage der Blickrichtung ermittelt werden (z.B. ein vorbestimmter horizontaler Bogen vom gegebenen Blickpunkt des Benutzers, ein Feld, das horizontal, vertikal oder diagonal in einem Abstand vom Blickpunkt des Benutzers gemessen wird). Ein Datenverarbeitungssystem filtert selektiv die Laute, die sich im Fokus des Benutzers befinden, auf Grundlage einer Ermittlung der Blickrichtung des Benutzers 103 (z.B. entsprechend Eigenschaften der erkannten Laute in der Umgebung und einem vorbestimmten Satz von Eigenschaften für Laute innerhalb der Blickrichtung), und die Knochenleitungshöreinheit gibt die gefilterten Laute 104 aus, und bei mindestens einer Ausführungsform wird der Benutzer nicht von den Lauten abgelenkt, die sich nicht in einem Fokusbereich des Benutzers befinden.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung erzeugt die Fähigkeit zur erweiterten Realität einer intelligenten Kontaktlinse 105 eine geeignete Mundbewegungssimulation oder ein animiertes Objekt, das an eine Stimme angeglichen wird, die der Benutzer durch eine Knochenleitungshöreinheit hört (z.B. die Filterlaute), so dass der Benutzer die Stimme besser verstehen kann. Das heißt, die intelligente Kontaktlinse 105 kann so konfiguriert sein, dass sie ein Bild einer erweiterten Realität zeigt (z.B. dem vorhandenen Bild des Benutzers von der Umgebung etwas hinzufügt), und umfasst eine Kontaktlinse, eine Anzeigeeinheit in einer mittigen Region der Kontaktlinse und eine periphere Einheit (z.B. die Mikrofonanordnung, eine Antenne für Nahfeldkommunikation (NFC), einen Prozessor usw.) an der Kontaktlinse und um die Anzeigeeinheit. Gemäß einigen Ausführungsformen wird ein Mikrofon der Knochenleitungshöreinheit durch Ermitteln des FOV des Benutzers gesteuert.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung wird die Mundbewegungssimulation oder -erweiterung (z.B. animiertes Objekt) in einem Wiedergabemodus 106 der Stimme angepasst, die der Benutzer durch die Knochenleitungshöreinheit hört. Im Wiedergabemodus wird eine Geschwindigkeit der Visualisierung der erweiterten Realität und/oder der gefilterten Laute angepasst. Beispielsweise werden das animierte Objekt und die Stimme mit verringerter Geschwindigkeit synchronisiert. Gemäß einigen Ausführungsformen ist die Geschwindigkeit vorgegeben. Gemäß mindestens einer Ausführungsform wird die Geschwindigkeit vom Benutzer ausgewählt.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung ist die intelligente Kontaktlinse eine Komponente eines Datenverarbeitungssystems (darunter z.B. die intelligente Kontaktlinse und eine gepaarte Mobileinheit), das (bei Block 103) unter anderem eine Kontextumgebung, die Aufmerksamkeit des Benutzers für eine Aktivität oder ein Thema, ein Ablenkungsmuster beim Durchführen einer Aktivität usw. analysiert. Ferner erkennt das Datenverarbeitungssystem, welche gerichteten Laute herausgefiltert und welche gerichteten Laute durch die Knochenleitungshöreinheit zum Benutzer übertragen werden sollen.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung tauscht das System innerhalb eines Bereichs drahtloser Datenübertragung des Computersystems Daten mit einer oder mehreren Einheiten des Internets der Dinge (loT) aus, die zusätzliche Informationen über Laute in der Umgebung bereitstellen, zusätzliche Verarbeitungsressourcen usw. bereitstellen. Gemäß einer Ausführungsform empfängt das System Daten von einem loT-Rauchmelder, die einen von dem Rauchmelder ausgegebenen Alarm angeben, der Priorität vor anderen Lauten in der Umgebung hat. Es sollte klar sein, dass der Alarm oder die Meldung ein Laut mit einer Richtung bezüglich des Benutzers / Systems ist. Gemäß einigen Ausführungsformen ermöglicht das System in Abwesenheit von Daten aus den loT-Einheiten innerhalb des Bereichs drahtloser Datenübertragung, dass Umgebungslaute durch die Knochenleitungshöreinheit auf einem ersten (z.B. normalen) Pegel erzeugt werden.
Gemäß mindestens einer Ausführungsform umfasst die intelligente Kontaktlinse eine Antenne, die mit der Knochenleitungshöreinheit Daten austauscht, um einen Pegel der von der Einheit ausgegebenen Umgebungslaute zu steuern, wobei die Knochenleitungshöreinheit einen Prozessor zum Analysieren der von der Mikrofonanordnung empfangenen Laute umfasst.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung analysiert das Datenverarbeitungssystem eine Kontextsituation der Aktivität, Umgebung usw. des Benutzers, um (bei Block 102) einen Zielfokusbereich des Benutzers (z.B. in einem Vorstandssitzungsraum) zu erkennen und zu erkennen, welche gerichteten Laute (bei Block 103) von der Knochenleitungshöreinheit ausgegeben werden.
Unter Bezugnahme auf Block 102 wird gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung entsprechend den von der Anordnung strahlformender Mikrofone erkannten Lauten in der Umgebung eine aktuelle Blickrichtung des Benutzers ermittelt. Gemäß einigen Ausführungsformen umfasst das Ermitteln der Blickrichtung 102 das Ermitteln eines zentralen Abschnitts der Blickrichtung (z.B. eines 5-Grad-Kegels), eines parazentralen Abschnitts der Blickrichtung (z.B. eines 8-Grad-Kegels) und eines makularen Abschnitts der Blickrichtung (z.B. eines 18-Grad-Kegels) wie in 2 veranschaulicht. Sobald beispielsweise der zentrale Abschnitt der aktuellen Blickrichtung des Benutzers ermittelt ist, können der parazentrale Abschnitt, der makulare Abschnitt usw. extrapoliert werden. Gemäß mindestens einer Ausführungsform verstärkt das Verfahren einen Laut, der von innerhalb eines oder mehrerer dieser Kegel herrührt, gegenüber umliegenden Bereichen (z.B. der nahen peripheren Region, mittleren peripheren Region usw.).
2 veranschaulicht eine Anordnung strahlformender Mikrofone 201, die an einer intelligenten Kontaktlinse 202 angebracht ist. Von den Mikrofonen 201 empfangene Signale werden analysiert, um eine Richtung des eintreffenden Lautes aus der umliegenden Umgebung zu ermitteln. Gemäß einigen Ausführungsformen tauscht die intelligente Kontaktlinse 202 mit einer Knochenleitungshöreinheit 203 Daten aus, um anzugeben, welcher gerichtete Laut auf Grundlage der Fokusrichtung 204 und Kontextsituation des Benutzers gefiltert werden muss. Außerdem zeigt das System einen Mund in erweiterter Realität 205 (oder ein animiertes Objekt) an, der mit den gefilterten Lauten, die durch die Knochenleitungshöreinheit 203 an den Benutzer übertragen werden, korreliert wird.
Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung handelt es sich bei den Mikrofonen 201 um piezoelektrische Einheiten, die an einem Umfang einer Kontaktlinse 202 angeordnet sind (z.B. außerhalb des Pupillenbereichs). Eine Anordnung piezoelektrischer Einheiten (z.B. Streifen von Einheiten) kann an einem Substrat der Kontaktlinse angebracht sein / darauf oder darin gebildet sein. Jede piezoelektrische Einheit kann auf einem Substrat montiert sein, das flexibel und dazu in der Lage ist, bei Stimulation der piezoelektrischen Einheit zu vibrieren, wie etwa ein dünnes polymeres Material, darunter beispielsweise Polysiliciummaterialien, Silicium auf einem Isolator (SOI) oder Polydimethylsiloxane (PDMS). Bei einigen Ausführungsformen handelt es bei dem Substrat um ein biokompatibles Material, im Wesentlichen frei oder frei von Metallen. Das Substrat wie etwa eine Kontaktlinse kann Kontakt mit dem Auge haben. Die piezoelektrischen Einheiten sind so konfiguriert, dass sie Vibrationen (z.B. Laute) in der Umgebung erfassen und die Vibrationen in ein elektrisches Signal umwandeln. Beispielsweise erzeugt ein piezoelektrisches Kristallmaterial eine elektrische Nettoladung, wenn es durch Schalldruck verformt wird.
Gemäß einer oder mehreren Ausführungsformen wird eine Richtung eines empfangenen Lautes durch die Energieerzeugung der piezoelektrischen Einheiten erkannt. Beispielsweise kann das System die Energieerzeugung einer Einheit an einer ersten Seite (z.B. dem rechten Abschnitt) der Kontaktlinse mit der Energieerzeugung einer Einheit an einer zweiten Seite (z.B. dem linken Abschnitt) der Kontaktlinse verglichen, wobei die Lautrichtung als der Einheit mit der höheren Energieerzeugung näher liegend ermittelt wird.
Gemäß einigen Ausführungsformen haben in der Anordnung von Mikrofonen 201 verschiedene piezoelektrische Einheiten verschiedene Resonanzfrequenzen, die beispielsweise das System befähigen, empfindlich für Laute zu sein, die zu verschiedenen Quellen gehören (z.B. um zwischen Lautfrequenzen, die zu einem Gespräch gehören, und denjenigen, die zu Alarmen gehören, zu unterscheiden).
Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung erzeugen eine oder mehrere der piezoelektrischen Einheiten elektrische Energie aus mechanischen Kräften, die während der verschiedenen Aktivitäten und Bewegungen auf das Auge des Trägers aufgebracht werden.
2 veranschaulicht die intelligente Kontaktlinse 202 mit der Anordnung strahlformender Mikrofone 201, die an einer Außenfläche der intelligenten Kontaktlinse 202 angebracht ist (d.h. vom Auge abgewandt).
Gemäß einigen Ausführungsformen ist die intelligente Kontaktlinse 202 mit einer Mobileinheit 206 des Benutzers gepaart, wobei beispielsweise die intelligente Kontaktlinse drahtlose Signale beispielsweise zur Analyse und Steuerung der Knochenleitungshöreinheit an die Mobileinheit sendet.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung ist die Knochenleitungshöreinheit 203 mit der Mobileinheit 206 gepaart. Gemäß einer oder mehreren Ausführungsformen umfasst die Knochenleitungshöreinheit 203 ein Mikrofon, das Laute aus der Umgebung erfasst.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung empfängt die Knochenleitungshöreinheit 203 die gerichteten Lautinformationen von der intelligenten Kontaktlinse 202 über die gepaarte Mobileinheit 206. Beispielsweise überträgt die intelligente Kontaktlinse 202 mit der strahlformenden Mikrofonanordnung ein Datensignal an die gepaarte Mobileinheit 206.
Während der Benutzer einer Umgebung ausgesetzt ist und unerwünschte Laute herausfiltern möchte, werden gemäß einigen Ausführungsformen der vorliegenden Erfindung die am der Knochenleitungshöreinheit 203 installierten Mikrofone 207 deaktiviert und das System nutzt stattdessen ein Signal, das von der Mikrofonanordnung 201 empfangen wird. Gemäß einigen Ausführungsformen umfasst die Knochenleitungshöreinheit eine Taste oder einen Schalter, um Optionen wie das Filtern zu aktivieren/deaktivieren. Gemäß mindestens einer Ausführungsform werden in einem Fall, in dem der Benutzer Laute aus dem gesamten umliegenden Bereich hören möchte, alle aus dem umliegenden Bereich erfassten Laute erfasst und an den Benutzer übertragen.
Gemäß einer oder mehreren Ausführungsformen werden Interaktionen auf Grundlage der intelligenten Kontaktlinse analysiert, um zu erkennen, dass der Benutzer die Aufmerksamkeit in eine bestimmte Richtung lenken sollte, während er eine Aktivität durchführt. Beispielsweise werden Interaktionen auf Grundlage der intelligenten Kontaktlinse auf Grundlage von Lauten analysiert, die von der Mikrofonanordnung empfangen werden, um zu erkennen, dass die Benutzer die Aufmerksamkeit in eine bestimmte Richtung lenken sollten.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung arbeitet die intelligente Kontaktlinse auf Grundlage einer Kontextumgebung und der Aufmerksamkeit des Benutzers für eine Aktivität. Kontextbeispiele umfassen Einzelgespräche, Gruppengespräche, Verkehr usw. Der Benutzer kann die Aufmerksamkeit auf eine bestimmte Aktivität konzentrieren, was ermöglicht, dass Umgebungslaute in Richtung der Aktivität verstärkt oder anderweitig bevorzugt vom System verarbeitet werden.
Gemäß einer oder mehreren Ausführungsformen erkennen die intelligente Kontaktlinse des Benutzers und umgebende Einheiten Winkelrichtungen (auf Grundlage des Verarbeitens der empfangenen Laute), in denen der Benutzer die Aufmerksamkeit aufrechterhalten muss, während er eine Aktivität durchführt.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung erkennt die intelligente Kontaktlinse den Fokuswinkel des Benutzers, wo der Benutzer seinen Fokus beibehalten sollte.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung empfangen die strahlformenden Mikrofone Laute einzeln zusammen mit den Richtungsinformationen. Gemäß einigen Ausführungsformen der vorliegenden Erfindung werden die Richtungsinformationen an die Mobileinheit des Brillenglas-/Kontaktlinsenbenutzers gesendet, die Mobileinheit erkennt, welche Laute außerhalb des Fokus oder der Aufmerksamkeit des Benutzers liegen.
Gemäß einer oder mehrere Ausführungsformen filtert die gepaarte Mobileinheit die Laute auf Grundlage einer Richtungsanalyse und erkennt entsprechend, welche Laute für die Aufmerksamkeit des Benutzers geeignet sind.
Gemäß einer oder mehreren Ausführungsformen tauscht die Mobileinheit mit der Knochenleitungshöreinheit Daten aus, um Laute auf Grundlage einer erforderlichen Fokusrichtung des Benutzers auszugeben (z.B. erforderlich auf Grundlage eines Lautes in der Umgebung wie etwa eines Alarms oder einer Stimme eines anderen). Gemäß einigen Ausführungsformen kann der kognitive Zustand des Benutzers beim Ermitteln der erforderlichen Fokusrichtung berücksichtigt werden (wenn sich z.B. der Blick des Benutzers einige Zeit nicht verändert hat, kann das System dann den Benutzer stimulieren, indem es die Aufmerksamkeit in eine andere Richtung lenkt). Die erforderliche Fokusrichtung kann vom System erkannt werden durch Erkennen des kognitiven Zustands (z.B. anhand von Atemmustern, die mit verschiedenen kognitiven Zuständen verbunden sind) und einer aktuellen Richtung des Fokus des Benutzers (z.B. ist die aktuelle Richtung des Fokus von der erforderlichen Fokusrichtung entfernt) und Erkennen, welcher gerichtete Laut von der Knochenleitungshöreinheit gefiltert werden soll. Gemäß einigen Ausführungsformen erkennt das System auf Grundlage von Daten umliegender loT einen oder mehrere Laute, die verstärkt, gesteigert oder gegenüber anderen Lauten anderweitig priorisiert werden sollen. Gemäß mindestens einer Ausführungsform erkennt das System mithilfe kogitativer Datenverarbeitung einen Zielfokusbereich des Benutzers (d.h. einen Abstand zwischen dem Benutzer und einem Ursprungsort des Lautes), beispielsweise durch ein Lautortungsverfahren, und erkennt einen oder mehrere Laute, die bevorzugt gefiltert werden sollen, z.B. auf Grundlage akustischer Dezibelpegel verschiedener Laute.
Gemäß einer oder mehreren Ausführungsformen hört der Benutzer Laute auf Grundlage des Fokusbereichs (d.h. der aktuellen Blickrichtung) des Benutzers, die intelligente Kontaktlinse erkennt die gerichteten Laute und steuert entsprechend, was der Benutzer hört.
Gemäß Ausführungsformen der vorliegenden Erfindung analysiert die Mobileinheit die Laute aus dem gesamten Umfeld und erkennt, ob ein anderer gerichteter Laut ebenfalls dazu bestimmt ist, Priorität zu haben, beispielsweise ein Alarm, eine Sirene, ein sich nähernder Laut, ein Laut, der sich mit zunehmender Geschwindigkeit nähert, usw.
Gemäß Ausführungsformen der vorliegenden Erfindung analysiert die Mobileinheit die von der Mikrofonanordnung empfangenen Laute und ermöglicht (d.h. filtert), dass einer oder mehrere der Laute zu der und/oder durch die Knochenleitungshöreinheit übertragen werden.
Gemäß einer oder mehreren Ausführungsformen erkennt das System den aktuellen Fokus und die erforderliche Aufmerksamkeit des Benutzers mithilfe der Anordnung strahlformender Mikrofone.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung analysiert das System ein erfasstes Sprechmuster (der von der Mikrofonanordnung empfangenen Laute) und ist so konfiguriert, dass es eine erweiterte Ansicht mit synchronisierten Lippen-/ Mundbewegungen anzeigt. Gemäß mindestens einer Ausführungsform ist das System in der Lage, verschiedene Sprecher durch bekannte Sprechtrennungstechniken zu erkennen, und kann Sprechern Prioritäten zuweisen, so dass die Aufmerksamkeit des Benutzers auf den Sprecher oder die Sprecher innerhalb einer aktuellen Blickrichtung und mit einer relativ hohen Priorität gerichtet ist, um dazu beizutragen, die Stimme eines Sprechers in einem Umfeld zu isolieren und den Cocktail-Party-Effekt zu überwinden.
Gemäß einigen Ausführungsformen der vorliegenden Erfindung zeigt oder projiziert das System, wenn der Benutzer selektive gerichtete Laute hört, die von der Knochenleitungshöreinheit ausgegeben werden, und in den Lauten eine Mehrdeutigkeit vorliegt, einen synchronisierten Mund (z.B. erweiterte Realität) mithilfe einer externen Anzeige (z.B. der Mobileinheit 206) oder von Licht, das durch Leuchtdioden einer intelligenten Kontaktlinse erzeugt wird, der mit dem gefilterten Laut synchronisiert ist, usw. Gemäß einer oder mehreren Ausführungsformen ist das Objekt der erweiterten Realität (z.B. Mund oder Licht) eine visuelle Hilfe, die dem Benutzer hilft, das Gehörte zu verstehen.
Gemäß Ausführungsformen der vorliegenden Erfindung kann die Mundbewegungssimulation oder das animierte Objekt, das/die an den Laut (z.B. die Stimme) angepasst ist, den der Benutzer mit dem Knochenleitungsverfahren hört, im Wiedergabemodus gesteuert werden. Gemäß Ausführungsformen der vorliegenden Erfindung kann der Benutzer im Wiedergabemodus die Geschwindigkeit der Wiedergabe einstellen, so dass die Synchronisierung des animierten Objekts und der Stimme in einer komfortablen Geschwindigkeit (d.h. für den Benutzer) abgespielt wird.
Resümee:
Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung umfasst ein Verfahren Bereitstellen einer intelligenten Kontaktlinse mit einer Anordnung strahlformender Mikrofone (101), wobei die intelligente Kontaktlinse von einem Benutzer getragen wird und die Anordnung strahlformender Mikrofone Laute aus verschiedenen Richtungen empfängt, Ermitteln einer Blickrichtung des Benutzers (102), Filtern der Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage der Blickrichtung des Benutzers, um die gefilterten Laute (103) zu bestimmen, und Ausgeben der gefilterten Laute über eine Knochenleitungshöreinheit (104).
Die Verfahrensweisen von Ausführungsformen der Offenbarung können insbesondere für den Einsatz in einer elektronischen Einheit oder einem alternativen System gut geeignet sein. Entsprechend können Ausführungsformen der vorliegenden Erfindung die Form einer gänzlich aus Hardware bestehenden Ausführungsform, einer gänzlich aus Software bestehenden Ausführungsform oder einer Software- und Hardware-Aspekte kombinierenden Ausführungsform annehmen, die hier alle allgemein als „Prozessor“, „Schaltung“, „Modul“ oder „System" bezeichnet werden.
Ferner ist anzumerken, dass beliebige der hierin beschriebenen Verfahren einen zusätzlichen Schritt des Bereitstellens eines Computersystems zum Organisieren und Pflegen von Ressourcen des Computersystems umfassen. Ferner kann ein Computerprogrammprodukt ein materielles durch einen Computer lesbares, aufzeichnungsfähiges Speichermedium mit Code enthalten, der zur Ausführung geeignet ist, um einen oder mehrere hierin beschriebene Verfahrensschritte durchzuführen, darunter die Bereitstellung des Systems mit den unterscheidbaren Software-Modulen.
Eine oder mehrere Ausführungsformen der Erfindung oder ihrer Elemente können in Form einer Vorrichtung mit einem Speicher und mindestens einem Prozessor realisiert werden, der mit dem Speicher verbunden und funktionsmäßig in der Lage ist, die beispielhaften Verfahrensschritte durchzuführen. 3 stellt ein Computersystem dar, das bei der Realisierung eines oder mehrerer Aspekte und/oder Elemente der Erfindung nützlich sein kann, auch repräsentativ für einen Cloud-Datenverarbeitungsknoten gemäß einer Ausführungsform der vorliegenden Erfindung. Nun auf 3 Bezug nehmend, ist der Cloud-Datenverarbeitungsknoten 10 nur ein Beispiel eines geeigneten Cloud-Datenverarbeitungsknotens und soll keine Beschränkung des Umfangs der Nutzung oder Funktionalität von Ausführungsformen der hier beschriebenen Erfindung nahelegen. Ungeachtet dessen kann der Cloud-Datenverarbeitungsknoten 10 implementiert werden und/oder ist in der Lage, eine beliebige der oben dargelegten Funktionalitäten durchzuführen.
Im Cloud-Datenverarbeitungsknoten 10 gibt es ein Computersystem/einen Server 12, der mit zahlreichen anderen universellen oder speziellen Datenverarbeitungssystem-Umgebungen oder Konfigurationen funktionsfähig ist. Beispiele für bekannte Datenverarbeitungssysteme, Umgebungen und/oder Konfigurationen, die für die Nutzung mit dem Computersystem/Server 12 geeignet sein können, sind unter anderem, ohne darauf beschränkt zu sein, Personal-Computer-Systeme, schlanke Clients, leistungsintensive Clients, Hand- oder Laptop-Einheiten, Mehrprozessorsysteme, Systeme auf Grundlage von Mikroprozessoren, Beistelleinheiten, programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputersysteme, Großrechnersysteme und verteilte Cloud-Datenverarbeitungsumgebungen, die jedes beliebige der oben genannten Systeme oder Einheiten und Ähnliches enthalten.
Das Computersystem/der Server 12 kann im allgemeinen Kontext von durch Computersysteme ausführbaren Anweisungen beschrieben werden, z.B. Programmmodule, die auf einem Computersystem ausgeführt werden. Im Allgemeinen können Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen und so weiter enthalten, die bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen implementieren. Das Computersystem/der Server 12 kann in verteilten Cloud-Datenverarbeitungsumgebungen eingesetzt werden, wo die Aufgaben von entfernt angeordneten Verarbeitungseinheiten durchgeführt werden, die über ein Datenübertragungsnetzwerk verbunden sind. In einer verteilten Cloud-Datenverarbeitungsumgebung können sich Programmmodule sowohl auf lokalen als auch auf entfernt angeordneten Systemspeichermedien befinden, darunter Speicher-Speichermedien.
Wie in 3 dargestellt, wird das Computersystem/der Server 12 im Cloud-Datenverarbeitungsknoten 10 in Form einer universellen Datenverarbeitungseinheit dargestellt. Bei den Komponenten eines Computersystems/eines Servers 12 kann es sich unter anderem um einen oder mehrere Prozessoren oder Verarbeitungseinheiten 16, einen Systemspeicher 28 und einen Bus 18 handeln, der verschiedene Systemkomponenten, darunter den Systemspeicher 28, mit dem Prozessor 16 verbindet.
Der Bus 18 stellt einen oder mehrere von beliebigen mehreren Arten von Busstrukturen dar, darunter ein Speicherbus oder eine Speichersteuereinheit, ein Peripheriebus, eine AGP-Schnittstelle (Accelerated Graphics Port) und ein Prozessor oder lokaler Bus, der eine beliebige aus einer Vielfalt von Busarchitekturen nutzt. Als Beispiel, nicht als Einschränkung, enthalten solche Architekturen einen Industry Standard Architecture (ISA-)-Bus, einen Micro Channel Architecture (MCA-)-Bus, einen lokalen Enhanced ISA (EISA-)-Bus, einen Video Electronics Standards Association (VESA-)-Bus und einen Peripheral Component Interconnect (PCI-)-Bus.
Das Computersystem/der Server 12 enthält üblicherweise eine Vielfalt von durch einen Computer lesbaren Medien. Solche Medien können beliebige verfügbare Medien sein, auf die das Computersystem/der Server 12 zugreifen kann, darunter flüchtige und nichtflüchtige Medien, wechselbare und nicht wechselbare Medien.
Der Systemspeicher 28 kann durch einen Computer lesbare Medien in Form eines flüchtigen Speichers, z.B. Schreib-Lese-Speicher (RAM) 30 und/oder Zwischenspeicher 32, umfassen. Das Computersystem/der Server 12 kann ferner weitere wechselbare/nicht wechselbare, flüchtige/nichtflüchtige Computersystem-Speichermedien umfassen. Nur beispielhaft kann das Speichersystem 34 bereitgestellt werden, um ein nicht wechselbares, nichtflüchtiges magnetisches Medium auszulesen und zu beschreiben (nicht dargestellt und üblicherweise als „Festplatte“ bezeichnet). Obwohl nicht dargestellt, können ein Laufwerk für magnetische Speicherplatten zum Auslesen und Beschreiben einer wechselbaren, nichtflüchtigen magnetischen Speicherplatte (z.B. „Diskette“) und ein Laufwerk für optische Speicherplatten wie CD-ROM, DVD-ROM und andere optische Medien bereitgestellt werden. Bei solchen Beispielen kann jedes über eine oder mehrere Datenmedien-Schnittstellen mit dem Bus 18 verbunden sein. Wie unten weiter dargestellt und beschrieben, kann der Speicher 28 mindestens ein Programmprodukt mit einem (z.B. mindestens einem) Satz von Programmmodulen umfassen, die so konfiguriert sind, dass sie die Funktionen und Ausführungsformen der Erfindung ausführen.
Das Programm/Dienstprogramm 40 mit (mindestens) einem Satz von Programmmodulen 42 kann beispielsweise und nicht einschränkend im Speicher 28 gespeichert sein, ebenso ein Betriebssystem, ein oder mehrere Anwendungsprogramme, weitere Programmmodule und Programmdaten. Jedes von dem Betriebssystem, einem oder mehreren Anwendungsprogrammen, weiteren Programmmodulen und Programmdaten oder eine Kombination davon kann eine Implementierung einer Netzwerkumgebung umfassen. Die Programmmodule 42 führen im Allgemeinen die Funktionen und/oder Methodiken von Ausführungsformen der hier beschriebenen Erfindung aus.
Das Computersystem/der Server 12 kann auch mit einem oder mehreren externen Einheiten 14, z.B. mit einer Tastatur, einer Zeigeeinheit, einer Anzeige 24 usw., einer oder mehreren Einheiten, die einen Verbraucher in die Lage versetzen, mit dem Computersystem/dem Server 12 zu interagieren, und/oder beliebigen Einheiten (z.B. Netzwerkkarte, Modem etc.), die das Computersystem/den Server 12 in die Lage versetzen, mit einer oder mehreren Datenverarbeitungseinheiten Daten auszutauschen, Daten austauschen. Ein solcher Datenaustausch kann über E/A-Schnittstellen 22 erfolgen. Überdies kann das Computersystem/der Server 12 mit einem oder mehreren Netzwerken, z.B. mit einem lokalen Netzwerk (LAN), einem allgemeinen Weitverkehrsnetzwerk (WAN) und/oder einem öffentlichen Netzwerk (z.B. das Internet) über den Netzwerkadapter 20 kommunizieren. Wie dargestellt, tauscht der Netzwerkadapter 20 über den Bus 18 mit den anderen Komponenten des Computersystems/Servers 12 Daten aus. Es sollte ersichtlich sein, dass sonstige Hardware- und/oder Software-Komponenten in Verbindung mit dem Computersystem/Server 12 verwendet werden können, auch wenn sie nicht dargestellt sind. Beispiele sind u.a., ohne darauf beschränkt zu sein: Mikrocode, Einheitentreiber, redundante Verarbeitungseinheiten und Arrays externer Festplattenlaufwerke, RAID-Systeme, Bandlaufwerke und Speichersysteme für die Datenarchivierung etc.
Eine oder mehrere Ausführungsformen können somit Software nutzen, die auf einem Universal-Computer bzw. einer Universal-Workstation läuft. Unter Bezugnahme auf 3 könnte eine solche Realisierung beispielsweise einen Prozessor 16, einen Speicher 28 und eine Eingabe-/Ausgabe-Schnittstelle 22 zu einer Anzeige 24 und einer externen Einheit oder Einheiten 14 wie etwa einer Tastatur, einer Zeigeeinheit oder dergleichen einsetzen. Der Ausdruck „Prozessor“ wie hier verwendet soll jede beliebige Verarbeitungseinheit einschließen, wie beispielsweise eine Einheit mit einer CPU (Zentraleinheit) und/oder anderen Formen einer verarbeitenden Schaltung. Ferner kann sich der Ausdruck „Prozessor“ auf mehr als einen einzelnen Prozessor beziehen. Der Ausdruck „Speicher“ soll einen mit einem Prozessor oder einer CPU verbundenen Speicher umfassen, wie beispielsweise einen RAM (Schreib-Lese-Speicher) 30, einen ROM (Nur-Lese-Speicher), eine feste Speichereinheit (z.B. eine Festplatte 34), eine Wechselspeichereinheit (z.B. Diskette), einen Flash-Speicher und dergleichen. Außerdem soll die Wortverbindung „Eingabe/Ausgabe-Schnittstelle“ wie hier verwendet eine Schnittstelle beispielsweise zu einem oder mehreren Mechanismen zum Eingeben von Daten in die Verarbeitungseinheit (z.B. Maus) und einem oder mehreren Mechanismen für das Bereitstellen von Ergebnissen, die mit der Verarbeitungseinheit verbunden sind (z.B. Drucker), betrachten. Der Prozessor 16, der Speicher 28 und die Eingabe/Ausgabe-Schnittstelle 22 können miteinander verbunden werden, z.B. über einen Bus 18 als Teil der Datenverarbeitungseinheit 12. Geeignete Verbindungen, z.B. über den Bus 18, können auch für eine Netzwerkschnittstelle 20 wie beispielsweise eine Netzwerkkarte, die als Schnittstelle zu einem Computernetzwerk bereitgestellt werden kann, und für eine Medienschnittstelle wie beispielsweise ein Disketten- oder CD-ROM-Laufwerk, die als Schnittstelle zu geeigneten Medien bereitgestellt werden kann, bereitgestellt werden.
Entsprechend kann Computer-Software mit Anweisungen oder Programmcode zum Durchführen der Verfahrensweisen der Erfindung wie hier beschrieben in mindestens einer der zugehörigen Speichereinheiten (z.B. ROM, fester oder Wechselspeicher) gespeichert werden und, sobald nutzungsbereit, in Teilen oder im Ganzen (z.B. in den RAM) geladen und durch eine CPU realisiert werden. Eine solche Software könnte unter anderem Firmware, residente Software, Mikro-Code und Ähnliches sein, ohne darauf beschränkt zu sein.
Ein Datenverarbeitungssystem, das zum Speichern und/oder Ausführen von Programmcode geeignet ist, enthält mindestens einen Prozessor 16, der über einen Systembus 18 direkt oder indirekt mit Speicherelementen 28 verbunden ist. Bei den Speicherelementen kann es sich unter anderem um einen lokalen Speicher, der während der eigentlichen Realisierung des Programmcodes verwendet wird, einen Massenspeicher und Zwischenspeicher 32 handeln, die ein vorübergehendes Speichern von mindestens etwas Programmcode bereitstellen, um die Anzahl der Male zu verringern, die der Programmcode während der Realisierung aus dem Massenspeicher abgerufen werden muss.
Eingangs-/Ausgangs- bzw. E/A-Einheiten (darunter Tastatur, Anzeigen, Zeigeeinheiten und dergleichen, ohne darauf beschränkt zu sein) können entweder direkt oder über zwischengeschaltete Einheitensteuereinheiten mit dem System verbunden werden.
Netzwerkadapter 20 können ebenfalls mit dem System verbunden werden, damit das Datenverarbeitungssystem über zwischengeschaltete private oder öffentliche Netzwerke mit anderen Datenverarbeitungssystemen oder entfernt angeordneten Druckern oder Speichereinheiten verbunden werden kann. Modems, Kabelmodem- und Ethernet-Karten sind nur einige der aktuell erhältlichen Arten von Netzwerkadaptern.
Wie hier einschließlich der Ansprüche verwendet, umfasst ein „Server“ ein physisches Datenverarbeitungssystem (z.B. System 12, wie in 3 dargestellt), auf dem ein Serverprogramm läuft. Es ist klar, dass ein solcher physischer Server gegebenenfalls eine Anzeige und eine Tastatur umfassen kann.
Es ist anzumerken, dass jedes der hier beschriebenen Verfahren einen zusätzlichen Schritt des Bereitstellens eines Systems umfassen kann, das unterscheidbare Software-Module aufweist, die auf einem durch einen Computer lesbaren Speichermedium verkörpert sind; die Module können beispielsweise ein oder alle der geeigneten Elemente umfassen, die in den Blockschaubildern dargestellt und/oder hierin beschrieben sind; beispielhaft und nichteinschränkend ein beliebiges, einige oder alle Module/Blöcke und/oder Teilmodule/Teilblöcke, die beschrieben sind. Die Verfahrensschritte können dann unter Verwendung der oben beschriebenen unterscheidbaren Software-Module und/oder Teilmodule des oben beschriebenen Systems in mindestens einem Hardware-Prozessor wie etwa 16 ausgeführt werden. Ferner kann ein Computerprogrammprodukt ein durch einen Computer lesbares Speichermedium mit Programmcode enthalten, der zum Durchführen eines oder mehrerer hier beschriebener Verfahrensschritte eingesetzt werden kann, darunter die Bereitstellung des Systems mit den unterscheidbaren Software-Modulen.
Ein Beispiel für eine Benutzerschnittstelle, die in einigen Fällen eingesetzt werden könnte, ist Code in Hypertext Markup Language (HTML), der von einem Server oder dergleichen an einen Browser einer Datenverarbeitungseinheit eines Benutzers ausgegeben wird. Die HTML wird vom Browser auf der Datenverarbeitungseinheit des Benutzers analysiert, um eine grafische Benutzerschnittstelle (GUI) zu erzeugen.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt auf jeder möglichen technischen Einzelebene der Integration handeln. Das Computerprogrammprodukt kann ein durch einen Computer lesbares Speichermedium (oder -medien) mit durch einen Computer lesbaren Programmanweisungen darauf umfassen, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch ein System zum Ausführen von Anweisungen behalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein tragbarer Kompaktspeicherplatte-Nur-Lese-Speicher (CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch codierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. ein Lichtwellenleiterkabel durchlaufende Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs-/Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetz und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Leitwegrechner, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten, Konfigurationsdaten für integrierte Schaltkreisanordnungen oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie Smalltalk, C++ o.ä. sowie prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetz (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Dienstanbieters). Bei einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, vor Ort programmierbare Gatter-Anordnungen (FPGA, field programmable gate arrays) oder programmierbare Logikanordnungen (PLA, programmable logic arrays) die durch einen Computer lesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaubildern mittels durch einen Computer lesbare Programmanweisungen ausgeführt werden können.
Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaubilder festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, so dass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, ein Herstellungsprodukt aufweist, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken des Ablaufplans und/oder der Blockschaubilder angegebenen Funktion/Schritts umsetzen.
Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um ein Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen auf einem Computer ausgeführten Prozess zu erzeugen, so dass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaubilder festgelegten Funktionen/Schritte umsetzen.
Die Ablaufpläne und die Blockschaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zum Ausführen der bestimmten logischen Funktion(en) aufweisen. Bei einigen alternativen Ausführungen können die in den Blöcken angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zwei nacheinander gezeigte Blöcke können zum Beispiel in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist ferner anzumerken, dass jeder Block der Blockschaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.
Die hier verwendete Terminologie dient nur dem Zweck, besondere Ausführungsformen zu beschreiben, und soll die Erfindung nicht einschränken. Wie hier verwendet, sollen die Singularformen „ein“, „eine“ und „der, die, das“ auch die Pluralformen einschließen, sofern es der Kontext nicht anders angibt. Es versteht sich ferner, dass die Ausdrücke „aufweist“ und/oder „aufweisend“, wenn sie in dieser Spezifikation verwendet werden, das Vorhandensein der genannten Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten angeben, aber nicht das Vorhandensein oder Hinzufügen eines/r oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
Die entsprechenden Strukturen, Materialien, Aktionen und Äquivalente aller Mittel oder aus Schritt plus Funktion bestehender Elemente in den nachstehenden Ansprüchen sollen jede Struktur, jedes Material oder jede Handlung für die Durchführung der Funktion in Verbindung mit anderen beanspruchten Elementen, wie im Besonderen beansprucht, einschließen. Die Beschreibung der vorliegenden Erfindung wurde zum Zweck der Veranschaulichung und Beschreibung dargestellt, soll aber nicht erschöpfend oder auf die Erfindung in der offenbarten Form beschränkt sein. Viele Modifikationen und Variationen werden für den Fachmann offensichtlich sein, ohne vom Umfang und Geist der Erfindung abzuweichen. Die Ausführungsform wurde gewählt und beschrieben, um die Grundgedanken der Erfindung und die praktische Anwendung am besten zu beschreiben, und um andere Fachleute zu befähigen, die Erfindung für verschiedene Ausführungsformen mit verschiedenen Modifikationen nachzuvollziehen, die für den besonders betrachteten Gebrauch geeignet sind.

Claims

Verfahren, das aufweist: Ermitteln einer Richtung von Lauten, die von einer Anordnung strahlformender Mikrofone empfangen werden, durch einen Prozessor, wobei die Anordnung strahlformender Mikrofone Laute aus verschiedenen Richtungen empfängt; Ermitteln eines Fokus durch den Prozessor auf Grundlage der Lautrichtung; Ausgeben eines Signals durch den Prozessor auf Grundlage des Fokus; Empfangen des vom Prozessor ausgegebenen Signals durch eine Audioausgabeeinheit; und Ausgeben eines gefilterten Lautes durch die Audioausgabeeinheit, wobei bei dem gefilterten Laut vorzugsweise bestimmte Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage des vom Prozessor ausgegebenen Signals aufbereitet werden.
Verfahren nach Anspruch 1, das ferner Bereitstellen einer intelligenten Kontaktlinse aufweist, die die Anordnung strahlformender Mikrofone aufweist, wobei die intelligente Kontaktlinse von einem Benutzer getragen wird.
Verfahren nach Anspruch 1, wobei Ermitteln der Lautrichtung Ermitteln einer Blickrichtung eines Benutzers aufweist.
Verfahren nach Anspruch 3, das Filtern der Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage der Blickrichtung des Benutzers aufweist, um gefilterte Laute zu bestimmen.
Verfahren nach Anspruch 4, wobei die gefilterten Laute über eine Knochenleitungshöreinheit ausgegeben werden.
Verfahren nach Anspruch 3, 4 oder 5, wobei die Blickrichtung des Benutzers auf Grundlage der Lautortung der Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, ermittelt wird.
Verfahren nach Anspruch 1, das ferner Anzeigen einer visuellen Simulation aufweist, die mit den gefilterten Lauten synchronisiert ist.
Verfahren nach Anspruch 7, das ferner Ändern einer Wiedergabegeschwindigkeit der gefilterten Laute und der visuellen Simulation aufweist.
Verfahren nach Anspruch 7, das ferner Bereitstellen einer intelligenten Kontaktlinse aufweist, die die Anordnung strahlformender Mikrofone aufweist, wobei die intelligente Kontaktlinse von einem Benutzer getragen wird und wobei die visuelle Simulation von der intelligenten Kontaktlinse angezeigt wird.
Verfahren nach Anspruch 7, wobei die visuelle Simulation auf einer externen Anzeige angezeigt wird.
Verfahren nach Anspruch 1, das ferner Anzeigen einer visuellen Erweiterung aufweist, die mit den gefilterten Lauten synchronisiert ist.
Verfahren nach Anspruch 9, das ferner Ändern einer Wiedergabegeschwindigkeit der gefilterten Laute und der visuellen Erweiterung aufweist.
Verfahren nach Anspruch 9, wobei die visuelle Erweiterung durch die intelligente Kontaktlinse angezeigt wird.
Verfahren nach Anspruch 9, wobei die visuelle Erweiterung auf einer externen Anzeige angezeigt wird.
Nichttransitorisches durch einen Computer lesbares Medium, das durch einen Computer ausführbare Anweisungen aufweist, die bei Ausführung durch einen Computer den Computer veranlassen, ein Verfahren zum Filtern von Lauten durchzuführen, wobei das Verfahren aufweist: Ermitteln einer Richtung von Lauten, die von einer Anordnung strahlformender Mikrofone empfangen werden, durch einen Prozessor, wobei die Anordnung strahlformender Mikrofone Laute aus verschiedenen Richtungen empfängt; Ermitteln eines Fokus durch den Prozessor auf Grundlage der Lautrichtung; Ausgeben eines Signals durch den Prozessor auf Grundlage des Fokus; Empfangen des vom Prozessor ausgegebenen Signals durch eine Audioausgabeeinheit; und Ausgeben eines gefilterten Lautes durch die Audioausgabeeinheit, wobei bei dem gefilterten Laut vorzugsweise bestimmte Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage des vom Prozessor ausgegebenen Signals aufbereitet werden.
Nichttransitorisches durch einen Computer lesbares Medium nach Anspruch 15, das ferner Bereitstellen einer intelligenten Kontaktlinse aufweist, die die Anordnung strahlformender Mikrofone aufweist, wobei die intelligente Kontaktlinse von einem Benutzer getragen wird.
Nichttransitorisches durch einen Computer lesbares Medium nach Anspruch 15, wobei Ermitteln der Lautrichtung Ermitteln einer Blickrichtung eines Benutzers aufweist.
Nichttransitorisches durch einen Computer lesbares Medium nach Anspruch 17, das Filtern der Laute, die durch die Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage der Blickrichtung des Benutzers aufweist, um gefilterte Laute zu bestimmen.
Nichttransitorisches durch einen Computer lesbares Medium nach Anspruch 18, wobei die gefilterten Laute über eine Knochenleitungshöreinheit ausgegeben werden.
Nichttransitorisches durch einen Computer lesbares Medium nach Anspruch 17, 18 oder 19, wobei die Blickrichtung des Benutzers auf Grundlage einer Lautortung der Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, ermittelt wird.
Nichttransitorisches durch einen Computer lesbares Medium nach Anspruch 15, das ferner Anzeigen einer mit den gefilterten Lauten synchronisierten visuellen Simulation oder Erweiterung aufweist, wobei die visuelle Simulation oder Erweiterung von der intelligenten Kontaktlinse und/oder einer externen Anzeige angezeigt wird.
Nichttransitorisches durch einen Computer lesbares Medium nach Anspruch 21, das ferner Ändern einer Wiedergabegeschwindigkeit der gefilterten Laute und der visuellen Simulation aufweist.
System, das aufweist: eine Anordnung strahlformender Mikrofone; einen Prozessor in elektronischem Datenaustausch mit der Anordnung strahlformender Mikrofone und so konfiguriert, dass er eine Richtung der Laute ermittelt, die von der Anordnung strahlformender Mikrofone empfangen werden, einen Fokus auf Grundlage der Lautrichtungen ermittelt und ein Signal auf Grundlage des Fokus ausgibt; und eine Audioausgabeeinheit, die so konfiguriert ist, dass sie das vom Prozessor ausgegebene Signal empfängt und eine gefilterte Audioausgabe ausgibt, wobei bei der gefilterten Audioausgabe vorzugsweise bestimmte Laute, die von der Anordnung strahlformender Mikrofone empfangen werden, auf Grundlage des vom Prozessor ausgegebenen Signals aufbereitet werden.
System nach Anspruch 23, das ferner eine den Prozessor enthaltende Mobileinheit aufweist, wobei die Anordnung strahlformender Mikrofone an einer Kontaktlinse angeordnet ist.
System nach Anspruch 24, wobei die Kontaktlinse mit der Mobileinheit und/oder der Audioausgabeeinheit gepaart ist.
System nach Anspruch 23, das ferner eine den Prozessor enthaltende Mobileinheit aufweist, wobei die Anordnung strahlformender Mikrofone an einem Brillengestell angeordnet ist.
System nach Anspruch 26, wobei die Anordnung strahlformender Mikrofone im Wesentlichen in eine Blickrichtung weist, die durch den Rahmen der Brille geboten wird, wenn sie von einem Benutzer getragen wird.
System nach Anspruch 24, wobei die Anordnung strahlformender Mikrofone mit der Mobileinheit und/oder der Audioausgabevorrichtung gepaart ist.
Computerprogramm, das Programmcodemittel aufweist, die zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 14 geeignet sind, wenn das Programm auf einem Computer ausgeführt wird.