-
Die vorliegende Erfindung betrifft ein System zur Erfassung und Darbietung von Schall, wobei das System mindestens ein Aufnahmemittel, Zuweisungsmittel und mindestens ein Wiedergabemittel umfasst, wobei das Aufnahmemittel dazu ausgebildet ist, Schall einer Schallquelle aufzunehmen, wobei das Wiedergabemittel dazu ausgebildet ist, den Schall wiederzugeben und wobei die Zuweisungsmittel dazu ausgebildet sind, mindestens einem der Wiedergabemittel die Wiedergabe von aufgenommenem Schall mindestens eines Aufnahmemittels zuzuweisen.
-
Nach dem Stand der Technik ist es bekannt Schall bzw. Schallwellen mit einem Aufnahmemittel aufzunehmen und mit einem Wiedergabemittel wiederzugeben.
-
Wenn für die menschliche Wahrnehmung von Reizen mehrere Sinnesorgane beteiligt sind, kann es für die Wahrnehmung entscheidend sein, dass keine spürbare zeitliche Lücke oder kein auffälliger Widerspruch zwischen der Wahrnehmung der einzelnen Reize vorhanden ist. Insbesondere für Videokonferenzsysteme ist dies bei der Übertragung und Wahrnehmung von Schall entscheidend, wenn die Teilnehmer nicht in ein am Körper angebrachtes Mikrofon sprechen, sondern über ein am Bildschirm integriertes oder im Raum aufgestelltes Mikrofon angebunden sind.
-
Ebenso besteht bei Hörgeräten der Bedarf den vom Hörgerät empfangenen Schall im Hinblick auf den vom Nutzer des Hörgeräts gewünschten Schall zu unterscheiden und damit eine Überlastung der Wahrnehmung des Nutzers zu vermeiden.
-
Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein System zur Erfassung und Darbietung von Schall, insbesondere im Hinblick auf die Wahrnehmung des Schalls, insbesondere im Vergleich zu anderen wahrgenommenen Sinneseindrücken, zu verbessern.
-
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Demnach ist erfindungsgemäß vorgesehen, dass die Zuweisungsmittel dazu ausgebildet sind, dem Wiedergabemittel die Wiedergabe desjenigen Schalls zuzuweisen, welcher ein bestimmtes Kriterium erfüllt und/oder die Wiedergabe des durch das Aufnahmemittel aufgenommenen Schalls an das Wiedergabemittel derart zuzuweisen, dass die räumliche Anordnung des Aufnahmemittels und des Wiedergabemittels berücksichtigt wird.
-
Es kann vorgesehen sein, dass die Zuweisungsmittel dazu ausgebildet sind, dem Wiedergabemittel die Wiedergabe des aufgenommenen Schalls desjenigen Aufnahmemittels zuzuweisen, welches Schall mit einem im Vergleich zu anderen Aufnahmemitteln bestimmten Kriterium aufnimmt.
-
Es wird somit vorzugsweise ein verbessertes subjektives Empfinden bei Anwendungen, die mehrere Sinnesorgane ansprechen, ermöglicht.
-
Es kann analog zu einer optischen Perspektivenkorrektur eine automatisierte Korrektur des akustischen Signals durchgeführt werden, um die virtuelle Schallquelle am Lautsprechersystem des Empfängers bzw. Hörers so zu gestalten, dass der Schall aus der Blickrichtung der sprechenden Person zu kommen scheint.
-
Beispielsweise kann der Schall von mehreren örtlich versetzt angebrachten oder aufgestellten Mikrofonen empfangen werden und für die Übertragung das jeweils am besten geeignete Mikrofon anhand von Lautstärkekriterien, wie Schalldruck, elektrische Spannung oder Signalpegel ausgewählt werden. Ähnlich wie bei einer Multi-Beam-Antenne kann zunächst das Signal von dem am besten geeigneten Mikrofon für die akustische Übertragung ausgewählt werden und auf ein anderes Mikrofon umgeschaltet werden, falls die Lautstärkekriterien für dieses Mikrofon höhere Werte haben.
-
Darüber hinaus kann die unterschiedliche Laufzeit des Schalls zwischen der Schallquelle, beispielsweise des Sprechers und den unterschiedlichen Mikrofonen mit der Kenntnis der örtlichen Position des jeweiligen Mikrofons so kombiniert werden, dass dies beim Empfänger am anderen Ende der Verbindung wieder reproduziert werden kann. Der Schall eines nicht mittig vor dem Bildschirm sitzenden Sprechers wird dabei beispielsweise zunächst von einem sich näher am Sprecher befindenden Mikrofon aufgenommen und kurze Zeit später von einem sich weiter vom Sprecher entfernten Mikrofon. An diesem zweiten Mikrofon wird auch der Schalldruck geringer sein, daher soll am Ort des Empfängers das akustische Signal aus diesem zweiten Lautsprecher entsprechend geringer abgestrahlt werden, um den räumlichen Eindruck des schräg sitzenden ersten Teilnehmers am Ort des zweiten Teilnehmers reproduzieren zu können. Auch eine unterschiedlich starke Dämpfung der Schallwellen für unterschiedliche Frequenzen kann berücksichtigt werden.
-
Vorzugsweise ist vorgesehen, dass das Aufnahmemittel ein Mikrofon und/oder das Wiedergabemittel ein Lautsprecher ist, wobei das Aufnahmemittel und/oder das Wiedergabemittel jeweils vorzugsweise an einer Kamera, an einem Display eines Computers, eines Laptops, eines Smartphones, eines Tablets, eines Fernsehers, eines sonstigen elektronischen Gerätes oder an einer Brille angeordnet ist.
-
Vorzugsweise ist vorgesehen, dass das System ferner Mittel aufweist mittels derer Nebengeräusche identifiziert und zumindest teilweise bei der Aufnahme und/oder vor der Wiedergabe des Schalls eliminiert werden können.
-
Denkbar ist, dass das Kriterium der Betrag der Lautstärke, des Schalldrucks, der elektrischen Spannung oder des Signalpegels des Aufnahmemittels und/oder dass das Kriterium eine Nutzereingabe ist.
-
Ebenso denkbar ist, dass das Kriterium eine Blickrichtung ist. Es ist damit eine optoakustische Kopplung zwischen der Blickrichtung und der Zuweisung des Schalls denkbar.
-
Vorzugsweise ist vorgesehen, dass die räumliche Anordnung des Aufnahmemittels und des Wiedergabemittels insofern berücksichtig wird, als dass der Schall, der durch Aufnahmemittel, die näher an der Schallquelle positioniert sind, als andere Aufnahmemittel aufgenommen wird, von Wiedergabemitteln, die näher an einem Empfänger des Schalls positioniert sind als andere Wiedergabemittel, wiedergegeben wird.
-
Denkbar ist, dass das Aufnahmemittel und das Wiedergabemittel mindestens indirekt über Kommunikationsmittel zur Fernkommunikation, vorzugsweise über ein Mobilfunknetz nach dem 5G-Standard verbunden sind.
-
In einer beispielhaften Ausführung wird jeweils ein Mikrofon neben einer Kamera angebracht und die Umschaltung auf ein anderes Mikrofon erfolgt zeitgleich mit dem Umschalten auf eine andere Kamera. Beispielsweise über die Auswertung des optischen Signals ist bekannt, wo sich der Mund einer sprechenden Person befindet und die Aufzeichnung des Schalls kann unter Kenntnis der optischen Informationen entsprechend mitgeführt werden, ähnlich wie bei Beamforming-Antennen. Dadurch kann die Qualität des akustischen Signals verbessert werden und der Schall stärker von Hintergrundgeräuschen separiert werden. Störende Nebengeräusche können dabei eliminiert werden.
-
Der Autofokus einer Kamera kann auf die Schallquelle, also beispielsweise einen Mund, gerichtet werden und der räumliche Effekt des Hörens kann übertragen werden. Das System kann hören und sehen, wo der Schall herkommt und diesen, in Kombination mit Kameras, der Bewegung nachführen.
-
Ein Nachteil bekannter Hörgeräte liegt in der fehlenden Identifikation der für die Verstärkung gewünschten Schallquelle. Richtmikrofone verstärken den Schall so, dass auch ein leiser Sprecher noch gut wahrgenommen werden kann. Dies führt zu einer Verwirrung bei dem Nutzer, da beispielsweise bei einem Restaurantbesuch auch die Stimmen der Gäste an den Nachbartischen deutlich verstärkt werden und dadurch eine Vielzahl menschlicher Stimmen über den Lautsprecher im Hörgerät wiedergegeben werden.
-
Für den Nutzer eines Hörgerätes ist es schwierig, den richtigen Sprecher zu identifizieren, da der Schall einer sich weiter hinten befindenden Person verstärkt wiedergegeben wird. Vorzugsweise ist daher nur den Schall des gewünschten Sprechers zu übertragen.
-
Vorzugsweise wird eine Korrelation zwischen Hören und Sehen hergestellt. Der Nutzer des Hörgeräts trägt dazu neben dem Hörgerät vorzugsweise auch eine Brille. Die Brille kann, abhängig von den verwendeten Gläsern, eine Sehschwäche korrigieren. Es kann sich aber auch um eine Virtual-Reality-Brille handeln, in die eine nach innen gerichtete Kamera eingebaut ist, die das Auge des Menschen filmt und über die erkannt werden kann, in welche Richtung er blickt. Zudem kann eine nach außen gerichtete Kamera an der Brille angebracht sein, sowie mehrere Mikrofone, an jeder Seite der Brille bzw. des Kopfes.
-
Es kann analog für die akustischen Signale verfahren werden, die bei einer Videokonferenz übertragen und im Gehirn des zuhörenden Teilnehmers mit den optischen Signalen kombiniert werden. Je nach Sprecher sind unterschiedliche Schallquellen vorhanden und diese werden von mehreren Mikrofonen erfasst. Es kann eine Auswahl des am besten geeigneten Mikrofons anhand des höchsten Schallpegels bzw. der geringsten Störung durch weitere Schallquellen erfolgen. Durch mehrere Mikrofone und mehrere Lautsprecher kann der Schallquelle eine örtliche Richtung zugeordnet werden. Für ein nach vorne am Kopfhörer angebrachtes Mikrofon ist der Schalldruck eines gegenüberstehenden Sprechers beispielsweise höher als an einem seitlich am Kopfhörer oder am Hinterkopf angebrachten Mikrofon. Es können vorzugsweise akustische Korrekturmaßnahmen durchgeführt werden, um beim Empfänger den subjektiven Eindruck zu erzielen, dass Schall und Optik des Sprechers aus derselben Richtung kommen.
-
Bei einer Audio- oder Videokonferenz, die über Kopfhörer geführt wird, können die Stimmen weiterer Personen in der näheren Umgebung, die nicht an der Konferenz teilnehmen, störend wirken. Hier kann vorzugsweise der durch diese Personen erzeugte Schall ausgeblendet werden.
-
Während einer Kommunikation ist oftmals eine dominante Schallquelle vorhanden und der Mensch wendet sich üblicherweise mit dem Blick in die Richtung, aus der das akustische Signal kommt, das er am deutlichsten hören möchte. Damit blicken die Augen bei einer Videokonferenz in Richtung des ausgewählten Sprechers. Die Kamera filmt dabei beispielsweise, welche Person betrachtet wird. Diese Korrelation zwischen Hören und Sehen kann technisch genutzt werden.
-
Denkbar ist eine Erweiterung von visuellen Korrekturmaßnahmen auf akustische Signale, die übertragen werden, wobei Mikrofone bevorzugt neben den Kameras angebracht werden und die Schallrichtung mit der korrigierten Blickrichtung in Einklang gebracht wird.
-
Denkbar ist auch eine Korrelation von Kameras und Mikrofonen zur Schallverstärkung und Schallunterdrückung bei Hörgeräten. Durch diese Maßnahme wird auf Basis der Blickrichtung einer Person das in diese Richtung ausgerichtete Mikrofon für die Verstärkung des aufgenommenen Schalls ausgewählt, der in einem lokal verwendeten Hörgerät abgestrahlt wird. Zugleich wird der Schall, der primär aus anderen Richtungen kommt, für die Wiedergabe im Hörgerät unterdrückt. Hierzu werden in unterschiedliche Richtungen ausgerichtete Mikrofone verwendet.
-
Vorzugsweise ist vorgesehen, dass das System ein Videokonferenzsystem oder ein System zur Verbesserung des Hörens und/oder Teil eines Hörgeräts ist.
-
Die Erfindung betrifft auch ein Verfahren zur Erfassung und Darbietung von Schall mit einem erfindungsgemäßen System mit den folgenden Schritten:
- a) Aufnehmen von Schall einer Schallquelle durch eines oder mehrere Aufnahmemittel;
- b) Zuweisen des aufgenommenen Schalls an eines oder mehrere Wiedergabemittel;
- c) Wiedergeben des aufgenommenen Schalls.
-
Vorzugsweise ist vorgesehen, dass die Zuweisung nach bestimmten Kriterien, wie vorzugsweise Betrag der Lautstärke, des Schalldrucks, der elektrischen Spannung oder des Signalpegels des Aufnahmemittels und/oder Blickrichtung und/oder Nutzereingabe erfolgt.
-
Die hierin beschriebenen Merkmale sind mutatis mutandis vorzugsweise Merkmale des Systems als auch des Verfahrens.
-
Die Erfindung betrifft auch ein Computerprogramm, welches Befehle umfasst, die bewirken, dass das erfindungsgemäße System die Verfahrensschritte eines erfindungsgemäßen Verfahrens ausführt.
-
Die Erfindung betrifft auch ein computerlesbares Medium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
-
Die vorliegende Erfindung bezieht sich vorzugsweise auf das Gebiet der Kommunikationssysteme, insbesondere auf ein System und ein Verfahren für ein verbessertes subjektives Empfinden bei Anwendungen, die mehrere Sinnesorgane ansprechen.
-
An dieser Stelle wird darauf hingewiesen, dass die Begriffe „ein“ und „eine“ nicht zwingend auf genau eines der Elemente verweisen, wenngleich dies eine mögliche Ausführung darstellt, sondern auch eine Mehrzahl der Elemente bezeichnen können. Ebenso schließt die Verwendung des Plurals auch das Vorhandensein des fraglichen Elementes in der Einzahl ein und umgekehrt umfasst der Singular auch mehrere der fraglichen Elemente. Weiterhin können alle hierin beschriebenen Merkmale der Erfindung beliebig miteinander kombiniert oder voneinander isoliert beansprucht werden.
-
Weitere Vorteile, Merkmale und Effekte der vorliegenden Erfindung ergeben sich aus der nachstehenden Beschreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren, in welchen gleiche oder ähnliche Bauteile durch dieselben Bezugszeichen bezeichnet sind. Hierbei zeigen:
- 1: eine schematische Darstellung eines Teils einer Ausführungsform eines erfindungsgemäßen Systems.
- 2: eine schematische Darstellung einer Ausführungsform einer Vorrichtung zur Verbesserung der nonverbalen Kommunikation.
-
1 zeigt eine Vorrichtung mit Kameras und Mikrofonen zur Schallverstärkung und Schallunterdrückung bei Hörgeräten. Die Brille 300 verfügt über zwei Kameras, wobei eine nach innen gerichtete Kamera 310 und eine nach außen gerichtete Kamera 320 vorhanden ist. Zusätzlich sind an jeder der vier Seiten der Brille 300 jeweils nach außen gerichtete Mikrofone 330, 340, 350 und 360 angebracht.
-
In einer Variante ist ein Hörgerät 370 in jeden Brillenbügel integriert, in einer weiteren Variante ist das Hörgerät 380 oder die Hörgeräte 380 nicht mechanisch mit der Brille verbunden. Die Kommunikation zwischen der Brille 300 und dem Hörgerät 380 erfolgt in diesem Fall über Bluetooth oder einer sonstigen Schnittstelle 440.
-
Vorzugsweise kann eine der Varianten für beide Seiten umgesetzt werden. Dies bedeutet, dass die Hörgeräte an jeweils beiden Seiten nicht mechanisch mit der Brille 300 verbunden sind, wie dies in 1 mit dem Hörgerät 380 gezeigt ist oder an jeweils beiden Seiten mechanisch mit der Brille 300 verbunden sind, wie dies in 1 mit dem Hörgerät 370 gezeigt ist.
-
Die Kameras und Mikrofone sind über eine integrierte Steuerelektronik 390 mit den Hörgeräten 370 und 380 verbunden. In einer weiteren Ausgestaltung ist eine Sende- und Empfangseinheit 400 zur Verbindung mit einem Mobilfunknetz enthalten, über das Daten von der Brille 300 zu einem externen Server übertragen werden können oder über das externe Daten zum Zwecke der optischen, akustischen oder taktilen Wiedergabe an der Brille 300 empfangen werden können.
-
Für taktile Anwendungen verfügt die Brille 300 über eine Vorrichtung zum Aufnehmen und Abgeben einer mechanischen Kraft, beispielsweise über ein Piezoelement 410, das eine mechanische Verformung als Reaktion auf eine angelegte elektrische Spannung ausführt und ebenso eine ausgeübte mechanische Kraft aufgrund der Verschiebung der Ladungsträger des Kristalls in Form einer elektrischen Spannungsänderung registriert.
-
Die Brille 300 verfügt zudem über eine Spannungsquelle in Form einer Batterie, über einen Prozessor zur Verarbeitung der Daten, über eine Speichereinheit, eine Eingabe- und Ausgabeeinheit und ein Bussystem, über das die elektronischen Komponenten verbunden sind.
-
In 1 sind zwei Personen 420 und 430 dargestellt, die in unterschiedlichen Richtungen zu der Brille 300 stehen. Der von diesen Personen erzeugte Schall wird über die Mikrofone aufgenommen und gemäß dem erfindungsgemäßen Verfahren auf Basis der Korrelation mit den Kameradaten unterschiedlich stark verstärkt oder unterdrückt in den Lautsprechern der Hörgeräte wiedergegeben.
-
Beispielsweise sitzt eine Person an einem Tisch in einem Restaurant und schaut den Gesprächspartner an, wobei die Person die Brille 300 trägt. Das Anschauen des Gesprächspartners wird über die Korrelation der Daten der nach innen und der nach außen gerichteten Kameras erkannt.
-
In einem ersten Schritt wird dasjenige Mikrofon für die Übertragung des Schalls an das Hörgerät ausgewählt, das in die Blickrichtung der Person zeigt. In einem weiteren Schritt wird der über die anderen Mikrofone registrierte Schall bewusst unterdrückt, so dass über den Lautsprecher im Hörgerät nicht nur eine Verstärkung des Schalls erfolgt, der aus der Richtung des Gesprächspartners kommt, sondern zugleich erfolgt eine Unterdrückung des Schalls, der aus anderen Richtungen kommt.
-
Schallverstärkung und Schallunterdrückung erfolgen vorzugsweise hierbei auf Basis der Korrelation zwischen Hören und Sehen oder anders ausgedrückt durch eine optoakustische Kopplung.
-
Die Kamera folgt dabei den Augen, das System erkennt, wohin die Person blickt und das am besten in diese Richtung ausgerichtete Mikrofon wird für die Verstärkung des akustischen Signals ausgewählt, während die in andere Richtungen ausgerichteten Mikrofone zur Unterdrückung des primär aus diesen Richtungen kommenden Schalls verwendet werden.
-
Von allen Mikrofonen wird eine Überlagerung des Schalls registriert. Je nach örtlicher Ausrichtung des Mikrofons werden aber die unterschiedlichen Schallquellen mit unterschiedlichem Schalldruck erfasst.
-
Durch die optoakustische Kopplung eines Hörgeräts mit der Kamera und den Mikrofonen wird eine verbesserte Hörgerätefunktion erreicht, die insbesondere für Schwerhörige eine Erleichterung bietet.
-
Die Person trägt ein Hörgerät, setzt dazu die Brille mit den Kameras und den in die unterschiedlichen Raumrichtungen ausgerichteten Mikrofonen auf, es erfolgt die Kopplung über die Bluetooth-Schnittstelle und anstelle eines dumpfen Rauschens erfährt die Person mehr Klarheit im Klang.
-
Eine Steuerung des Systems kann über ein durch die nach innen gerichtete Kamera 310 erfasstes Augenzwinkern des Brillenträgers möglich sein. So kann beispielsweise die Auswahl des Mikrofons für die Verstärkung des Schalls durch Zwinkern mit den Augen erfolgen.
-
Eine weitere Steuermöglichkeit kann durch die über das Piezoelement 410 erfasste Krafteinwirkung realisiert werden oder über einen anderen Sensor zur Messung einer Kraft. Damit kann eine Steuerung des Systems beispielsweise durch Bewegen der Ohren ausgeführt werden.
-
Die in 2 dargestellte Vorrichtung 800 zur Verbesserung der nonverbalen Kommunikation umfasst eine Ein- und Ausgabeeinheit 810 zum Einlesen der Daten und zur Ausgabe der verarbeiteten Daten, einen Prozessor 820 zum Verarbeiten der Daten, eine Speichereinheit 830 und eine Software zum Ausführen des Programms. Die Hardware-Komponenten sind über ein Bussystem miteinander verbunden. Diese Vorrichtung kann in einer separaten Hardware-Einheit bereitgestellt werden oder als Bestandteil bestehender Kommunikationssysteme realisiert werden und ist damit für den Einsatz in Kommunikationsmitteln wie Personal Computern (PC), Mobilfunk-Endgeräten, insbesondere Smartphones und Tablets, sowie Virtual-Reality-Plattformen vorgesehen. Dies betrifft vorzugsweise Kommunikationsmittel, in denen Kameras, Mikrofone und Mittel zur taktilen Kommunikation zum Einsatz kommen.
-
Mit der optoakustischen Kopplung zur Einbindung von Hörgeräten können bestehende Einschränkungen für Hörgeräteträger und insbesondere Schwerhörige reduziert werden und deren Teilnahme am gesellschaftlichen Leben wieder stärker ermöglicht werden.
