EP4329329A1 - System, verfahren, computerprogramm und computerlesbares medium - Google Patents

System, verfahren, computerprogramm und computerlesbares medium Download PDF

Info

Publication number
EP4329329A1
EP4329329A1 EP23192320.2A EP23192320A EP4329329A1 EP 4329329 A1 EP4329329 A1 EP 4329329A1 EP 23192320 A EP23192320 A EP 23192320A EP 4329329 A1 EP4329329 A1 EP 4329329A1
Authority
EP
European Patent Office
Prior art keywords
sound
playback
recording means
recording
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23192320.2A
Other languages
English (en)
French (fr)
Inventor
Wolfgang Widder
Mads Leth-Espensen
Robert Müllner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonica Germany GmbH and Co OHG
Original Assignee
Telefonica Germany GmbH and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonica Germany GmbH and Co OHG filed Critical Telefonica Germany GmbH and Co OHG
Publication of EP4329329A1 publication Critical patent/EP4329329A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/405Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility

Definitions

  • the present invention relates to a system for the detection and presentation of sound, the system comprising at least one recording means, allocation means and at least one reproduction means, the recording means being designed to record sound from a sound source, the reproduction means being designed to reproduce the sound and wherein the assignment means are designed to assign the playback of recorded sound of at least one recording means to at least one of the playback means.
  • the present invention is based on the object of improving a system for the detection and presentation of sound, in particular with regard to the perception of sound, in particular in comparison to other perceived sensory impressions.
  • the assignment means are designed to assign to the reproduction means the reproduction of the sound which fulfills a certain criterion and/or to assign the reproduction of the sound recorded by the recording means to the reproduction means in such a way that the spatial arrangement of the recording means and the Playback means is taken into account.
  • the assignment means are designed to assign to the playback means the reproduction of the recorded sound of the recording means which records sound with a certain criterion in comparison to other recording means.
  • an automated correction of the acoustic signal can be carried out in order to correct the virtual sound source
  • the speaker system of the receiver or listener should be designed so that the sound appears to come from the line of sight of the person speaking.
  • the sound can be received by several microphones that are mounted or set up at different locations and the most suitable microphone can be selected for transmission based on volume criteria such as sound pressure, electrical voltage or signal level. Similar to a multi-beam antenna, the signal from the most suitable microphone for acoustic transmission can first be selected and switched to another microphone if the loudness criteria for this microphone have higher values.
  • the different transit times of the sound between the sound source, for example the speaker, and the different microphones can be combined with knowledge of the local position of the respective microphone in such a way that this can be reproduced again at the receiver at the other end of the connection.
  • the sound of a speaker who is not sitting in the middle of the screen is initially picked up by a microphone that is closer to the speaker and a short time later by a microphone that is further away from the speaker.
  • the sound pressure at this second microphone will also be lower, so the acoustic signal from this second loudspeaker should be emitted correspondingly less at the location of the receiver in order to be able to reproduce the spatial impression of the first participant sitting at an angle at the location of the second participant.
  • Different levels of attenuation of the sound waves for different frequencies can also be taken into account.
  • the recording means is a microphone and/or the playback means is a loudspeaker, with the recording means and/or the playback means each preferably being connected to a camera, to a display of a computer, a laptop, a smartphone, a tablet, a television, another electronic device or on glasses. It is preferably provided that the system also has means by means of which background noise can be identified and at least partially eliminated during the recording and/or before the sound is reproduced.
  • the criterion is the magnitude of the volume, the sound pressure, the electrical voltage or the signal level of the recording means and/or that the criterion is a user input.
  • the criterion is a viewing direction.
  • An optoacoustic coupling between the direction of view and the allocation of sound is therefore conceivable.
  • the spatial arrangement of the recording means and the playback means is taken into account in such a way that the sound that is recorded by recording means that are positioned closer to the sound source than other recording means is recorded by playback means that are closer to a receiver of the sound are positioned than other playback means.
  • the recording means and the playback means are connected at least indirectly via communication means for long-distance communication, preferably via a mobile radio network according to the 5G standard.
  • a microphone is attached next to a camera and the switch to another microphone occurs at the same time as the switch to another camera.
  • the switch to another microphone occurs at the same time as the switch to another camera.
  • the autofocus of a camera can be directed at the sound source, for example a mouth, and the spatial effect of hearing can be transmitted.
  • the system can hear and see where the sound comes from and, in combination with cameras, track the movement.
  • a disadvantage of known hearing aids is the lack of identification of the sound source desired for amplification.
  • Directional microphones amplify the sound so that even a quiet speaker can still be clearly heard. This leads to confusion for the user because, for example, when visiting a restaurant, the voices of the guests at neighboring tables are also significantly amplified and a large number of human voices are therefore reproduced via the loudspeaker in the hearing aid.
  • a correlation is established between hearing and seeing.
  • the user of the hearing aid preferably also wears glasses in addition to the hearing aid.
  • glasses can correct poor eyesight.
  • glasses can also be a pair of virtual reality glasses in which an inward-facing camera is built in, which films the person's eyes and can be used to determine which direction they are looking.
  • an outward-facing camera can be attached to the glasses, as well as several microphones on each side of the glasses or head.
  • the same procedure can be used for the acoustic signals that are transmitted during a video conference and combined with the optical signals in the brain of the listening participant.
  • the most suitable microphone can be selected based on the highest sound level or the lowest interference from other sound sources.
  • the sound source can be assigned a local direction. For example, for a microphone attached to the front of the headphones, the sound pressure of a speaker facing you is higher than for a microphone attached to the side of the headphones or at the back of the head.
  • Acoustic corrective measures can preferably be carried out in order to give the recipient the subjective impression that the speaker's sound and optics come from the same direction.
  • the voices of other people in the immediate vicinity who are not taking part in the conference can be disruptive.
  • the sound generated by these people can preferably be blocked out here.
  • a correlation of cameras and microphones for sound amplification and sound suppression in hearing aids is also conceivable.
  • This measure means that the microphone is oriented in this direction based on the direction in which a person is facing the amplification of the recorded sound is selected, which is emitted in a locally used hearing aid. At the same time, the sound that primarily comes from other directions is suppressed for playback in the hearing aid. For this purpose, microphones aligned in different directions are used.
  • the system is a video conference system or a system for improving hearing and/or part of a hearing aid.
  • the assignment is carried out according to certain criteria, such as preferably the amount of volume, the sound pressure, the electrical voltage or the signal level of the recording means and/or viewing direction and/or user input.
  • the invention also relates to a computer program which comprises instructions which cause the system according to the invention to carry out the method steps of a method according to the invention.
  • the invention also relates to a computer-readable medium on which the computer program according to the invention is stored.
  • the present invention preferably relates to the field of communication systems, in particular to a system and a method for improved subjective sensation in applications that address multiple sensory organs.
  • Fig. 1 shows a device with cameras and microphones for sound amplification and sound suppression in hearing aids.
  • the glasses 300 have two cameras, with an inward-facing camera 310 and an outward-facing camera 320.
  • outward-facing microphones 330, 340, 350 and 360 are attached to each of the four sides of the glasses 300.
  • a hearing aid 370 is integrated into each temple of the glasses; in a further variant, the hearing aid 380 or hearing aids 380 are not mechanically connected to the glasses tied together. In this case, communication between the glasses 300 and the hearing aid 380 takes place via Bluetooth or another interface 440.
  • one of the variants can be implemented for both sides.
  • the hearing aids are not mechanically connected to the glasses 300 on both sides, as in Fig. 1 with the hearing aid 380 is shown or are mechanically connected to the glasses 300 on both sides, as shown in Fig. 1 with the hearing aid 370 is shown.
  • a transmitting and receiving unit 400 is included for connection to a mobile radio network, via which data can be transmitted from the glasses 300 to an external server or via which external data can be transmitted to the glasses 300 for the purpose of optical, acoustic or tactile reproduction can be received.
  • the glasses 300 have a device for receiving and emitting a mechanical force, for example a piezo element 410, which performs a mechanical deformation in response to an applied electrical voltage and also an applied mechanical force due to the displacement of the charge carriers of the crystal Registered in the form of an electrical voltage change.
  • a mechanical force for example a piezo element 410, which performs a mechanical deformation in response to an applied electrical voltage and also an applied mechanical force due to the displacement of the charge carriers of the crystal Registered in the form of an electrical voltage change.
  • the glasses 300 also have a voltage source in the form of a battery, a processor for processing the data, a storage unit, an input and output unit and a bus system through which the electronic components are connected.
  • Fig. 1 Two people 420 and 430 are shown, standing in different directions to the glasses 300.
  • the sound produced by these people is transmitted recorded by the microphones and, according to the method according to the invention, based on the correlation with the camera data, reproduced in the loudspeakers of the hearing aids with varying degrees of amplifying or suppression.
  • a person sits at a table in a restaurant and looks at the other person, wearing glasses 300. Looking at the other person is recognized by correlating the data from the inward-facing and outward-facing cameras.
  • the microphone that points in the direction of the person's line of sight is selected to transmit the sound to the hearing aid.
  • the sound registered via the other microphones is consciously suppressed, so that the loudspeaker in the hearing aid not only amplifies the sound that comes from the direction of the conversation partner, but at the same time suppresses the sound that comes from other directions comes.
  • Sound amplification and sound suppression are preferably carried out on the basis of the correlation between hearing and vision or, in other words, through optoacoustic coupling.
  • the camera follows the eyes, the system detects where the person is looking and the microphone that is best oriented in that direction is selected to amplify the acoustic signal, while the microphones oriented in other directions are used to suppress the sound primarily coming from these directions become.
  • a superimposition of the sound is registered by all microphones. Depending on the local orientation of the microphone, the different sound sources are recorded with different sound pressures.
  • the optoacoustic coupling of a hearing aid with the camera and microphones results in improved hearing aid function, which is particularly helpful for people who are hard of hearing.
  • the person wears a hearing aid, puts on the glasses with the cameras and the microphones aligned in different spatial directions, the coupling takes place via the Bluetooth interface and instead of a muffled noise, the person experiences more clarity in the sound.
  • the system can be controlled via a blink of the eyeglass wearer detected by the inward-facing camera 310. For example, selecting the microphone to amplify the sound can be done by blinking your eyes.
  • Another control option can be realized by the force effect detected via the piezo element 410 or via another sensor for measuring a force. This allows the system to be controlled, for example, by moving the ears.
  • the device 800 shown for improving non-verbal communication includes an input and output unit 810 for reading in the data and outputting the processed data, a processor 820 for processing the data, a storage unit 830 and software for executing the program.
  • the hardware components are connected to each other via a bus system.
  • This device can be provided in a separate hardware unit or implemented as a component of existing communication systems and is therefore intended for use in communication devices such as personal computers (PCs), mobile radio devices, in particular smartphones and tablets, and virtual reality platforms. This preferably applies to means of communication in which cameras, microphones and means of tactile communication are used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Die vorliegende Erfindung betrifft ein System zur Erfassung und Darbietung von Schall, wobei das System mindestens ein Aufnahmemittel, Zuweisungsmittel und mindestens ein Wiedergabemittel umfasst, wobei das Aufnahmemittel dazu ausgebildet ist, Schall einer Schallquelle aufzunehmen, wobei das Wiedergabemittel dazu ausgebildet ist, den Schall wiederzugeben und wobei die Zuweisungsmittel dazu ausgebildet sind, mindestens einem der Wiedergabemittel die Wiedergabe von aufgenommenem Schall mindestens eines Aufnahmemittels zuzuweisen, wobei die Zuweisungsmittel dazu ausgebildet sind, dem Wiedergabemittel die Wiedergabe desjenigen Schalls zuzuweisen, welcher ein bestimmtes Kriterium erfüllt und/oder die Wiedergabe des durch das Aufnahmemittel aufgenommenen Schalls an das Wiedergabemittel derart zuzuweisen, dass die räumliche Anordnung des Aufnahmemittels und des Wiedergabemittels berücksichtigt wird.

Description

  • Die vorliegende Erfindung betrifft ein System zur Erfassung und Darbietung von Schall, wobei das System mindestens ein Aufnahmemittel, Zuweisungsmittel und mindestens ein Wiedergabemittel umfasst, wobei das Aufnahmemittel dazu ausgebildet ist, Schall einer Schallquelle aufzunehmen, wobei das Wiedergabemittel dazu ausgebildet ist, den Schall wiederzugeben und wobei die Zuweisungsmittel dazu ausgebildet sind, mindestens einem der Wiedergabemittel die Wiedergabe von aufgenommenem Schall mindestens eines Aufnahmemittels zuzuweisen.
  • Nach dem Stand der Technik ist es bekannt Schall bzw. Schallwellen mit einem Aufnahmemittel aufzunehmen und mit einem Wiedergabemittel wiederzugeben.
  • Wenn für die menschliche Wahrnehmung von Reizen mehrere Sinnesorgane beteiligt sind, kann es für die Wahrnehmung entscheidend sein, dass keine spürbare zeitliche Lücke oder kein auffälliger Widerspruch zwischen der Wahrnehmung der einzelnen Reize vorhanden ist. Insbesondere für Videokonferenzsysteme ist dies bei der Übertragung und Wahrnehmung von Schall entscheidend, wenn die Teilnehmer nicht in ein am Körper angebrachtes Mikrofon sprechen, sondern über ein am Bildschirm integriertes oder im Raum aufgestelltes Mikrofon angebunden sind.
  • Ebenso besteht bei Hörgeräten der Bedarf den vom Hörgerät empfangenen Schall im Hinblick auf den vom Nutzer des Hörgeräts gewünschten Schall zu unterscheiden und damit eine Überlastung der Wahrnehmung des Nutzers zu vermeiden.
  • Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein System zur Erfassung und Darbietung von Schall, insbesondere im Hinblick auf die Wahrnehmung des Schalls, insbesondere im Vergleich zu anderen wahrgenommenen Sinneseindrücken, zu verbessern.
  • Diese Aufgabe wird durch das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
  • Demnach ist erfindungsgemäß vorgesehen, dass die Zuweisungsmittel dazu ausgebildet sind, dem Wiedergabemittel die Wiedergabe desjenigen Schalls zuzuweisen, welcher ein bestimmtes Kriterium erfüllt und/oder die Wiedergabe des durch das Aufnahmemittel aufgenommenen Schalls an das Wiedergabemittel derart zuzuweisen, dass die räumliche Anordnung des Aufnahmemittels und des Wiedergabemittels berücksichtigt wird.
  • Es kann vorgesehen sein, dass die Zuweisungsmittel dazu ausgebildet sind, dem Wiedergabemittel die Wiedergabe des aufgenommenen Schalls desjenigen Aufnahmemittels zuzuweisen, welches Schall mit einem im Vergleich zu anderen Aufnahmemitteln bestimmten Kriterium aufnimmt.
  • Es wird somit vorzugsweise ein verbessertes subjektives Empfinden bei Anwendungen, die mehrere Sinnesorgane ansprechen, ermöglicht.
  • Es kann analog zu einer optischen Perspektivenkorrektur eine automatisierte Korrektur des akustischen Signals durchgeführt werden, um die virtuelle Schallquelle am Lautsprechersystem des Empfängers bzw. Hörers so zu gestalten, dass der Schall aus der Blickrichtung der sprechenden Person zu kommen scheint.
  • Beispielsweise kann der Schall von mehreren örtlich versetzt angebrachten oder aufgestellten Mikrofonen empfangen werden und für die Übertragung das jeweils am besten geeignete Mikrofon anhand von Lautstärkekriterien, wie Schalldruck, elektrische Spannung oder Signalpegel ausgewählt werden. Ähnlich wie bei einer Multi-Beam-Antenne kann zunächst das Signal von dem am besten geeigneten Mikrofon für die akustische Übertragung ausgewählt werden und auf ein anderes Mikrofon umgeschaltet werden, falls die Lautstärkekriterien für dieses Mikrofon höhere Werte haben.
  • Darüber hinaus kann die unterschiedliche Laufzeit des Schalls zwischen der Schallquelle, beispielsweise des Sprechers und den unterschiedlichen Mikrofonen mit der Kenntnis der örtlichen Position des jeweiligen Mikrofons so kombiniert werden, dass dies beim Empfänger am anderen Ende der Verbindung wieder reproduziert werden kann. Der Schall eines nicht mittig vor dem Bildschirm sitzenden Sprechers wird dabei beispielsweise zunächst von einem sich näher am Sprecher befindenden Mikrofon aufgenommen und kurze Zeit später von einem sich weiter vom Sprecher entfernten Mikrofon. An diesem zweiten Mikrofon wird auch der Schalldruck geringer sein, daher soll am Ort des Empfängers das akustische Signal aus diesem zweiten Lautsprecher entsprechend geringer abgestrahlt werden, um den räumlichen Eindruck des schräg sitzenden ersten Teilnehmers am Ort des zweiten Teilnehmers reproduzieren zu können. Auch eine unterschiedlich starke Dämpfung der Schallwellen für unterschiedliche Frequenzen kann berücksichtigt werden.
  • Vorzugsweise ist vorgesehen, dass das Aufnahmemittel ein Mikrofon und/oder das Wiedergabemittel ein Lautsprecher ist, wobei das Aufnahmemittel und/oder das Wiedergabemittel jeweils vorzugsweise an einer Kamera, an einem Display eines Computers, eines Laptops, eines Smartphones, eines Tablets, eines Fernsehers, eines sonstigen elektronischen Gerätes oder an einer Brille angeordnet ist. Vorzugsweise ist vorgesehen, dass das System ferner Mittel aufweist mittels derer Nebengeräusche identifiziert und zumindest teilweise bei der Aufnahme und/oder vor der Wiedergabe des Schalls eliminiert werden können.
  • Denkbar ist, dass das Kriterium der Betrag der Lautstärke, des Schalldrucks, der elektrischen Spannung oder des Signalpegels des Aufnahmemittels und/oder dass das Kriterium eine Nutzereingabe ist.
  • Ebenso denkbar ist, dass das Kriterium eine Blickrichtung ist. Es ist damit eine optoakustische Kopplung zwischen der Blickrichtung und der Zuweisung des Schalls denkbar.
  • Vorzugsweise ist vorgesehen, dass die räumliche Anordnung des Aufnahmemittels und des Wiedergabemittels insofern berücksichtig wird, als dass der Schall, der durch Aufnahmemittel, die näher an der Schallquelle positioniert sind, als andere Aufnahmemittel aufgenommen wird, von Wiedergabemitteln, die näher an einem Empfänger des Schalls positioniert sind als andere Wiedergabemittel, wiedergegeben wird.
  • Denkbar ist, dass das Aufnahmemittel und das Wiedergabemittel mindestens indirekt über Kommunikationsmittel zur Fernkommunikation, vorzugsweise über ein Mobilfunknetz nach dem 5G-Standard verbunden sind.
  • In einer beispielhaften Ausführung wird jeweils ein Mikrofon neben einer Kamera angebracht und die Umschaltung auf ein anderes Mikrofon erfolgt zeitgleich mit dem Umschalten auf eine andere Kamera. Beispielsweise über die Auswertung des optischen Signals ist bekannt, wo sich der Mund einer sprechenden Person befindet und die Aufzeichnung des Schalls kann unter Kenntnis der optischen Informationen entsprechend mitgeführt werden, ähnlich wie bei Beamforming-Antennen. Dadurch kann die Qualität des akustischen Signals verbessert werden und der Schall stärker von Hintergrundgeräuschen separiert werden. Störende Nebengeräusche können dabei eliminiert werden.
  • Der Autofokus einer Kamera kann auf die Schallquelle, also beispielsweise einen Mund, gerichtet werden und der räumliche Effekt des Hörens kann übertragen werden. Das System kann hören und sehen, wo der Schall herkommt und diesen, in Kombination mit Kameras, der Bewegung nachführen.
  • Ein Nachteil bekannter Hörgeräte liegt in der fehlenden Identifikation der für die Verstärkung gewünschten Schallquelle. Richtmikrofone verstärken den Schall so, dass auch ein leiser Sprecher noch gut wahrgenommen werden kann. Dies führt zu einer Verwirrung bei dem Nutzer, da beispielsweise bei einem Restaurantbesuch auch die Stimmen der Gäste an den Nachbartischen deutlich verstärkt werden und dadurch eine Vielzahl menschlicher Stimmen über den Lautsprecher im Hörgerät wiedergegeben werden.
  • Für den Nutzer eines Hörgerätes ist es schwierig, den richtigen Sprecher zu identifizieren, da der Schall einer sich weiter hinten befindenden Person verstärkt wiedergegeben wird. Vorzugsweise ist daher nur den Schall des gewünschten Sprechers zu übertragen.
  • Vorzugsweise wird eine Korrelation zwischen Hören und Sehen hergestellt. Der Nutzer des Hörgeräts trägt dazu neben dem Hörgerät vorzugsweise auch eine Brille. Die Brille kann, abhängig von den verwendeten Gläsern, eine Sehschwäche korrigieren. Es kann sich aber auch um eine Virtual-Reality-Brille handeln, in die eine nach innen gerichtete Kamera eingebaut ist, die das Auge des Menschen filmt und über die erkannt werden kann, in welche Richtung er blickt. Zudem kann eine nach außen gerichtete Kamera an der Brille angebracht sein, sowie mehrere Mikrofone, an jeder Seite der Brille bzw. des Kopfes.
  • Es kann analog für die akustischen Signale verfahren werden, die bei einer Videokonferenz übertragen und im Gehirn des zuhörenden Teilnehmers mit den optischen Signalen kombiniert werden. Je nach Sprecher sind unterschiedliche Schallquellen vorhanden und diese werden von mehreren Mikrofonen erfasst. Es kann eine Auswahl des am besten geeigneten Mikrofons anhand des höchsten Schallpegels bzw. der geringsten Störung durch weitere Schallquellen erfolgen. Durch mehrere Mikrofone und mehrere Lautsprecher kann der Schallquelle eine örtliche Richtung zugeordnet werden. Für ein nach vorne am Kopfhörer angebrachtes Mikrofon ist der Schalldruck eines gegenüberstehenden Sprechers beispielsweise höher als an einem seitlich am Kopfhörer oder am Hinterkopf angebrachten Mikrofon. Es können vorzugsweise akustische Korrekturmaßnahmen durchgeführt werden, um beim Empfänger den subjektiven Eindruck zu erzielen, dass Schall und Optik des Sprechers aus derselben Richtung kommen.
  • Bei einer Audio- oder Videokonferenz, die über Kopfhörer geführt wird, können die Stimmen weiterer Personen in der näheren Umgebung, die nicht an der Konferenz teilnehmen, störend wirken. Hier kann vorzugsweise der durch diese Personen erzeugte Schall ausgeblendet werden.
  • Während einer Kommunikation ist oftmals eine dominante Schallquelle vorhanden und der Mensch wendet sich üblicherweise mit dem Blick in die Richtung, aus der das akustische Signal kommt, das er am deutlichsten hören möchte. Damit blicken die Augen bei einer Videokonferenz in Richtung des ausgewählten Sprechers. Die Kamera filmt dabei beispielsweise, welche Person betrachtet wird. Diese Korrelation zwischen Hören und Sehen kann technisch genutzt werden.
  • Denkbar ist eine Erweiterung von visuellen Korrekturmaßnahmen auf akustische Signale, die übertragen werden, wobei Mikrofone bevorzugt neben den Kameras angebracht werden und die Schallrichtung mit der korrigierten Blickrichtung in Einklang gebracht wird.
  • Denkbar ist auch eine Korrelation von Kameras und Mikrofonen zur Schallverstärkung und Schallunterdrückung bei Hörgeräten. Durch diese Maßnahme wird auf Basis der Blickrichtung einer Person das in diese Richtung ausgerichtete Mikrofon für die Verstärkung des aufgenommenen Schalls ausgewählt, der in einem lokal verwendeten Hörgerät abgestrahlt wird. Zugleich wird der Schall, der primär aus anderen Richtungen kommt, für die Wiedergabe im Hörgerät unterdrückt. Hierzu werden in unterschiedliche Richtungen ausgerichtete Mikrofone verwendet.
  • Vorzugsweise ist vorgesehen, dass das System ein Videokonferenzsystem oder ein System zur Verbesserung des Hörens und/oder Teil eines Hörgeräts ist.
  • Die Erfindung betrifft auch ein Verfahren zur Erfassung und Darbietung von Schall mit einem erfindungsgemäßen System mit den folgenden Schritten:
    1. a) Aufnehmen von Schall einer Schallquelle durch eines oder mehrere Aufnahmemittel;
    2. b) Zuweisen des aufgenommenen Schalls an eines oder mehrere Wiedergabemittel;
    3. c) Wiedergeben des aufgenommenen Schalls.
  • Vorzugsweise ist vorgesehen, dass die Zuweisung nach bestimmten Kriterien, wie vorzugsweise Betrag der Lautstärke, des Schalldrucks, der elektrischen Spannung oder des Signalpegels des Aufnahmemittels und/oder Blickrichtung und/oder Nutzereingabe erfolgt.
  • Die hierin beschriebenen Merkmale sind mutatis mutandis vorzugsweise Merkmale des Systems als auch des Verfahrens.
  • Die Erfindung betrifft auch ein Computerprogramm, welches Befehle umfasst, die bewirken, dass das erfindungsgemäße System die Verfahrensschritte eines erfindungsgemäßen Verfahrens ausführt.
  • Die Erfindung betrifft auch ein computerlesbares Medium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
  • Die vorliegende Erfindung bezieht sich vorzugsweise auf das Gebiet der Kommunikationssysteme, insbesondere auf ein System und ein Verfahren für ein verbessertes subjektives Empfinden bei Anwendungen, die mehrere Sinnesorgane ansprechen.
  • An dieser Stelle wird darauf hingewiesen, dass die Begriffe "ein" und "eine" nicht zwingend auf genau eines der Elemente verweisen, wenngleich dies eine mögliche Ausführung darstellt, sondern auch eine Mehrzahl der Elemente bezeichnen können. Ebenso schließt die Verwendung des Plurals auch das Vorhandensein des fraglichen Elementes in der Einzahl ein und umgekehrt umfasst der Singular auch mehrere der fraglichen Elemente. Weiterhin können alle hierin beschriebenen Merkmale der Erfindung beliebig miteinander kombiniert oder voneinander isoliert beansprucht werden.
  • Weitere Vorteile, Merkmale und Effekte der vorliegenden Erfindung ergeben sich aus der nachstehenden Beschreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren, in welchen gleiche oder ähnliche Bauteile durch dieselben Bezugszeichen bezeichnet sind. Hierbei zeigen:
  • Fig. 1:
    eine schematische Darstellung eines Teils einer Ausführungsform eines erfindungsgemäßen Systems.
    Fig. 2:
    eine schematische Darstellung einer Ausführungsform einer Vorrichtung zur Verbesserung der nonverbalen Kommunikation.
  • Fig. 1 zeigt eine Vorrichtung mit Kameras und Mikrofonen zur Schallverstärkung und Schallunterdrückung bei Hörgeräten. Die Brille 300 verfügt über zwei Kameras, wobei eine nach innen gerichtete Kamera 310 und eine nach außen gerichtete Kamera 320 vorhanden ist. Zusätzlich sind an jeder der vier Seiten der Brille 300 jeweils nach außen gerichtete Mikrofone 330, 340, 350 und 360 angebracht.
  • In einer Variante ist ein Hörgerät 370 in jeden Brillenbügel integriert, in einer weiteren Variante ist das Hörgerät 380 oder die Hörgeräte 380 nicht mechanisch mit der Brille verbunden. Die Kommunikation zwischen der Brille 300 und dem Hörgerät 380 erfolgt in diesem Fall über Bluetooth oder einer sonstigen Schnittstelle 440.
  • Vorzugsweise kann eine der Varianten für beide Seiten umgesetzt werden. Dies bedeutet, dass die Hörgeräte an jeweils beiden Seiten nicht mechanisch mit der Brille 300 verbunden sind, wie dies in Fig. 1 mit dem Hörgerät 380 gezeigt ist oder an jeweils beiden Seiten mechanisch mit der Brille 300 verbunden sind, wie dies in Fig. 1 mit dem Hörgerät 370 gezeigt ist.
  • Die Kameras und Mikrofone sind über eine integrierte Steuerelektronik 390 mit den Hörgeräten 370 und 380 verbunden. In einer weiteren Ausgestaltung ist eine Sende- und Empfangseinheit 400 zur Verbindung mit einem Mobilfunknetz enthalten, über das Daten von der Brille 300 zu einem externen Server übertragen werden können oder über das externe Daten zum Zwecke der optischen, akustischen oder taktilen Wiedergabe an der Brille 300 empfangen werden können.
  • Für taktile Anwendungen verfügt die Brille 300 über eine Vorrichtung zum Aufnehmen und Abgeben einer mechanischen Kraft, beispielsweise über ein Piezoelement 410, das eine mechanische Verformung als Reaktion auf eine angelegte elektrische Spannung ausführt und ebenso eine ausgeübte mechanische Kraft aufgrund der Verschiebung der Ladungsträger des Kristalls in Form einer elektrischen Spannungsänderung registriert.
  • Die Brille 300 verfügt zudem über eine Spannungsquelle in Form einer Batterie, über einen Prozessor zur Verarbeitung der Daten, über eine Speichereinheit, eine Eingabe- und Ausgabeeinheit und ein Bussystem, über das die elektronischen Komponenten verbunden sind.
  • In Fig. 1 sind zwei Personen 420 und 430 dargestellt, die in unterschiedlichen Richtungen zu der Brille 300 stehen. Der von diesen Personen erzeugte Schall wird über die Mikrofone aufgenommen und gemäß dem erfindungsgemäßen Verfahren auf Basis der Korrelation mit den Kameradaten unterschiedlich stark verstärkt oder unterdrückt in den Lautsprechern der Hörgeräte wiedergegeben.
  • Beispielsweise sitzt eine Person an einem Tisch in einem Restaurant und schaut den Gesprächspartner an, wobei die Person die Brille 300 trägt. Das Anschauen des Gesprächspartners wird über die Korrelation der Daten der nach innen und der nach außen gerichteten Kameras erkannt.
  • In einem ersten Schritt wird dasjenige Mikrofon für die Übertragung des Schalls an das Hörgerät ausgewählt, das in die Blickrichtung der Person zeigt. In einem weiteren Schritt wird der über die anderen Mikrofone registrierte Schall bewusst unterdrückt, so dass über den Lautsprecher im Hörgerät nicht nur eine Verstärkung des Schalls erfolgt, der aus der Richtung des Gesprächspartners kommt, sondern zugleich erfolgt eine Unterdrückung des Schalls, der aus anderen Richtungen kommt.
  • Schallverstärkung und Schallunterdrückung erfolgen vorzugsweise hierbei auf Basis der Korrelation zwischen Hören und Sehen oder anders ausgedrückt durch eine optoakustische Kopplung.
  • Die Kamera folgt dabei den Augen, das System erkennt, wohin die Person blickt und das am besten in diese Richtung ausgerichtete Mikrofon wird für die Verstärkung des akustischen Signals ausgewählt, während die in andere Richtungen ausgerichteten Mikrofone zur Unterdrückung des primär aus diesen Richtungen kommenden Schalls verwendet werden.
  • Von allen Mikrofonen wird eine Überlagerung des Schalls registriert. Je nach örtlicher Ausrichtung des Mikrofons werden aber die unterschiedlichen Schallquellen mit unterschiedlichem Schalldruck erfasst.
  • Durch die optoakustische Kopplung eines Hörgeräts mit der Kamera und den Mikrofonen wird eine verbesserte Hörgerätefunktion erreicht, die insbesondere für Schwerhörige eine Erleichterung bietet.
  • Die Person trägt ein Hörgerät, setzt dazu die Brille mit den Kameras und den in die unterschiedlichen Raumrichtungen ausgerichteten Mikrofonen auf, es erfolgt die Kopplung über die Bluetooth-Schnittstelle und anstelle eines dumpfen Rauschens erfährt die Person mehr Klarheit im Klang.
  • Eine Steuerung des Systems kann über ein durch die nach innen gerichtete Kamera 310 erfasstes Augenzwinkern des Brillenträgers möglich sein. So kann beispielsweise die Auswahl des Mikrofons für die Verstärkung des Schalls durch Zwinkern mit den Augen erfolgen.
  • Eine weitere Steuermöglichkeit kann durch die über das Piezoelement 410 erfasste Krafteinwirkung realisiert werden oder über einen anderen Sensor zur Messung einer Kraft. Damit kann eine Steuerung des Systems beispielsweise durch Bewegen der Ohren ausgeführt werden.
  • Die in Fig. 2 dargestellte Vorrichtung 800 zur Verbesserung der nonverbalen Kommunikation umfasst eine Ein- und Ausgabeeinheit 810 zum Einlesen der Daten und zur Ausgabe der verarbeiteten Daten, einen Prozessor 820 zum Verarbeiten der Daten, eine Speichereinheit 830 und eine Software zum Ausführen des Programms. Die Hardware-Komponenten sind über ein Bussystem miteinander verbunden. Diese Vorrichtung kann in einer separaten Hardware-Einheit bereitgestellt werden oder als Bestandteil bestehender Kommunikationssysteme realisiert werden und ist damit für den Einsatz in Kommunikationsmitteln wie Personal Computern (PC), Mobilfunk-Endgeräten, insbesondere Smartphones und Tablets, sowie Virtual-Reality-Plattformen vorgesehen. Dies betrifft vorzugsweise Kommunikationsmittel, in denen Kameras, Mikrofone und Mittel zur taktilen Kommunikation zum Einsatz kommen.
  • Mit der optoakustischen Kopplung zur Einbindung von Hörgeräten können bestehende Einschränkungen für Hörgeräteträger und insbesondere Schwerhörige reduziert werden und deren Teilnahme am gesellschaftlichen Leben wieder stärker ermöglicht werden.

Claims (12)

  1. System zur Erfassung und Darbietung von Schall, wobei das System mindestens ein Aufnahmemittel, Zuweisungsmittel und mindestens ein Wiedergabemittel umfasst, wobei das Aufnahmemittel dazu ausgebildet ist, Schall einer Schallquelle aufzunehmen, wobei das Wiedergabemittel dazu ausgebildet ist, den Schall wiederzugeben und wobei die Zuweisungsmittel dazu ausgebildet sind, mindestens einem der Wiedergabemittel die Wiedergabe von aufgenommenem Schall mindestens eines Aufnahmemittels zuzuweisen, dadurch gekennzeichnet, dass die Zuweisungsmittel dazu ausgebildet sind, dem Wiedergabemittel die Wiedergabe desjenigen Schalls zuzuweisen, welcher ein bestimmtes Kriterium erfüllt und/oder die Wiedergabe des durch das Aufnahmemittel aufgenommenen Schalls an das Wiedergabemittel derart zuzuweisen, dass die räumliche Anordnung des Aufnahmemittels und des Wiedergabemittels berücksichtigt wird.
  2. System nach Anspruch 1, dadurch gekennzeichnet, dass das Aufnahmemittel ein Mikrofon und/oder das Wiedergabemittel ein Lautsprecher ist, wobei das Aufnahmemittel und/oder das Wiedergabemittel jeweils vorzugsweise an einer Kamera, an einem Display eines Computers, eines Laptops, eines Smartphones, eines Tablets, eines Fernsehers, eines sonstigen elektronischen Gerätes oder an einer Brille angeordnet ist.
  3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das System ferner Mittel aufweist mittels derer Nebengeräusche identifiziert und zumindest teilweise bei der Aufnahme und/oder vor der Wiedergabe des Schalls eliminiert werden können.
  4. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kriterium der Betrag der Lautstärke, des Schalldrucks, der elektrischen Spannung oder des Signalpegels des Aufnahmemittels und/oder dass das Kriterium eine Nutzereingabe ist.
  5. System nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das das Kriterium eine Blickrichtung ist.
  6. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die räumliche Anordnung des Aufnahmemittels und des Wiedergabemittels insofern berücksichtig wird, als dass der Schall, der durch Aufnahmemittel, die näher an der Schallquelle positioniert sind, als andere Aufnahmemittel aufgenommen wird, von Wiedergabemitteln, die näher an einem Empfänger des Schalls positioniert sind als andere Wiedergabemittel, wiedergegeben wird.
  7. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Aufnahmemittel und das Wiedergabemittel mindestens indirekt über Kommunikationsmittel zur Fernkommunikation, vorzugsweise über ein Mobilfunknetz nach dem 5G-Standard verbunden sind.
  8. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System ein Videokonferenzsystem oder ein System zur Verbesserung des Hörens und/oder Teil eines Hörgeräts ist.
  9. Verfahren zur Erfassung und Darbietung von Schall mit einem System nach einem der vorhergehenden Ansprüche mit den folgenden Schritten:
    a) Aufnehmen von Schall einer Schallquelle durch eines oder mehrere Aufnahmemittel;
    b) Zuweisen des aufgenommenen Schalls an eines oder mehrere Wiedergabemittel;
    c) Wiedergeben des aufgenommenen Schalls.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Zuweisung nach bestimmten Kriterien, wie vorzugsweise Betrag der Lautstärke, des Schalldrucks, der elektrischen Spannung oder des Signalpegels des Aufnahmemittels und/oder Blickrichtung und/oder Nutzereingabe erfolgt.
  11. Computerprogramm, welches Befehle umfasst, die bewirken, dass das System eines der Ansprüche 1 bis 8 die Verfahrensschritte eines der Ansprüche 9 bis 1 ausführt.
  12. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 11 gespeichert ist.
EP23192320.2A 2022-08-26 2023-08-21 System, verfahren, computerprogramm und computerlesbares medium Pending EP4329329A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022121636.5A DE102022121636A1 (de) 2022-08-26 2022-08-26 System, Verfahren, Computerprogramm und computerlesbares Medium

Publications (1)

Publication Number Publication Date
EP4329329A1 true EP4329329A1 (de) 2024-02-28

Family

ID=87760533

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23192320.2A Pending EP4329329A1 (de) 2022-08-26 2023-08-21 System, verfahren, computerprogramm und computerlesbares medium

Country Status (2)

Country Link
EP (1) EP4329329A1 (de)
DE (1) DE102022121636A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020485A1 (en) * 2010-07-26 2012-01-26 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing
US20160249141A1 (en) * 2015-02-13 2016-08-25 Noopl, Inc. System and method for improving hearing
US20180262849A1 (en) * 2017-03-09 2018-09-13 Oticon A/S Method of localizing a sound source, a hearing device, and a hearing system
US20210352416A1 (en) * 2019-03-28 2021-11-11 Oticon A/S Hearing device or system for evaluating and selecting an external audio source

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020485A1 (en) * 2010-07-26 2012-01-26 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing
US20160249141A1 (en) * 2015-02-13 2016-08-25 Noopl, Inc. System and method for improving hearing
US20180262849A1 (en) * 2017-03-09 2018-09-13 Oticon A/S Method of localizing a sound source, a hearing device, and a hearing system
US20210352416A1 (en) * 2019-03-28 2021-11-11 Oticon A/S Hearing device or system for evaluating and selecting an external audio source

Also Published As

Publication number Publication date
DE102022121636A1 (de) 2024-02-29

Similar Documents

Publication Publication Date Title
EP1977626B1 (de) Verfahren zur aufnahme einer tonquelle mit zeitlich variabler richtcharakteristik und zur wiedergabe
EP1738567B1 (de) Brillengestell mit integriertem akustischem kommunikationssystem zur kommunikation mit einem mobilfunkgerät und entsprechendes verfahren
Toole In‐Head Localization of Acoustic Images
DE102011087984A1 (de) Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung
EP1489884B1 (de) Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind
DE2019343A1 (de) Kopfhoerer,insbesondere zur stereophonischen Wiedergabe von Schallereignissen
DE112016004218T5 (de) Verfahren zum stereophonischen Aufnehmen und binaurale Ohrhörereinheit
DE102020117780A1 (de) Akustische erfassung der passung von in-ohr-kopfhörern
EP4329329A1 (de) System, verfahren, computerprogramm und computerlesbares medium
DE102015212609A1 (de) Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem
DE102022204702A1 (de) Verfahren und system zur verarbeitung von entfernter aktiver sprache während eines anrufs
DE19818925C2 (de) Kommunikationsanordnung mit Gegenschall
DE19542147A1 (de) Verfahren zur lokalen Verknüpfung von optischen und akustischen Signalen
WO2005055651A1 (de) Verfahren und einrichtung zur anpassung von hörgeräten
WO2015044000A1 (de) Vorrichtung und verfahren zur überlagerung eines schallsignals
DE69120823T2 (de) Multidimensionales Tonwiedergabesystem
DE112019005697T5 (de) Verfahren zur Bereitstellung von Dienstleistungen unter Verwendung eines Ohrbügels
DE102007053188A1 (de) Gerät der Unterhaltungselektronik mit Kopfhörer
EP3595334A2 (de) Verfahren zur audio-wiedergabe in einem hörgerät
DE102021211278B3 (de) Verfahren zur Bestimmung einer HRTF und Hörgerät
EP0723381B2 (de) Vorrichtung zur Hörunterstützung
Liang et al. Cat-astrophic effects of sudden interruptions on spatial auditory attention
DE102022104516A1 (de) Automatischer akustischer handoff
DE102020209050B4 (de) Verfahren zum Betrieb eines Hörsystems, Hörsystem, Hörgerät
DE102023127310A1 (de) IP-basiertes Remote-Videokonferenzsystem

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR