EP4147456A1 - Apparatus, method and computer program for identifying acoustic events, in particular acoustic information and/or warning signals - Google Patents

Apparatus, method and computer program for identifying acoustic events, in particular acoustic information and/or warning signals

Info

Publication number
EP4147456A1
EP4147456A1 EP21725136.2A EP21725136A EP4147456A1 EP 4147456 A1 EP4147456 A1 EP 4147456A1 EP 21725136 A EP21725136 A EP 21725136A EP 4147456 A1 EP4147456 A1 EP 4147456A1
Authority
EP
European Patent Office
Prior art keywords
acoustic
information
signal
warning
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21725136.2A
Other languages
German (de)
French (fr)
Inventor
Hagen Thomas JAEGER
Thomas Künzl
Jan Hinnerk PLEIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Your Home Guides GmbH
Original Assignee
Your Home Guides GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Your Home Guides GmbH filed Critical Your Home Guides GmbH
Publication of EP4147456A1 publication Critical patent/EP4147456A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
    • H04R25/606—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers acting directly on the eardrum, the ossicles or the skull, e.g. mastoid, tooth, maxillary or mandibular bone, or mechanically stimulating the cochlea, e.g. at the oval window

Definitions

  • the present invention relates to a device and a method for recognizing acoustic events, in particular acoustic information and / or warning signals.
  • acoustic information and / or warning signal is the ringing of a door, a telephone, or the alarm of a smoke detector.
  • Such acoustic information and / or warning signals cannot always be perceived by people, for example because they are deeply involved in their work due to home office, for example through “deep work” strategies or because they are too far away, or not , or, can barely hear.
  • a device in particular a mobile device, is to be made available which processes acoustic information and / or warning signals for everyone.
  • a device for recognizing acoustic events, in particular acoustic information and / or warning signals comprising: an electroacoustic transducer which is set up to detect an acoustic event, in particular an acoustic information and / or warning signal to detect via airborne sound, a computing unit that is set up to extract from the acoustic event, in particular the acoustic information and / or warning signal to create at least one abstract information which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and / or or warning signal, and a transmitting unit which is set up to transfer the at least one abstracted item of information to a terminal, in particular to indicate the acoustic event, in particular the acoustic information and / or warning signal, on the terminal.
  • the electroacoustic transducer thus comprises, for example, a microphone or is designed as a microphone and / or is set up to generate an electronic transducer signal from an acoustic event.
  • the electroacoustic transducer is preferably designed to generate an electrical transducer signal from an acoustic event.
  • the electroacoustic transducer or the microphone preferably has an omnidirectional directional characteristic.
  • the electroacoustic transducer or the microphone preferably has a dynamic range between 90 and 130 dB, for example 105 dB.
  • the electroacoustic transducer or the microphone preferably has a THD (total harmonic distortions) of less than 1%, in particular at a sound pressure level of or up to 128dBSPL.
  • the electroacoustic transducer or the microphone is preferably designed to be highly dynamic, in particular in such a way that even loud noises, such as, for example, the noises of a smoke detector with 120 dB, can be recorded essentially free of noise and distortion.
  • the electroacoustic transducer or the microphone preferably has a flat frequency response, for example below 35 Hz, preferably approximately 28 Hz.
  • the electroacoustic transducer comprises a MEMS microphone or is designed as a MEMS microphone and / or is set up to generate an electronic transducer signal from an acoustic event.
  • MEMS microphones are to be understood as meaning, in particular, miniaturized (Micro Electro Mechanical System) microphones implemented using SMD (surface-mounted device) technology, which are preferably used directly on electronic circuit boards.
  • SMD surface-mounted device
  • Particularly beneficial MEMS microphones have a high signal-to-noise ratio, low power consumption and high sensitivity. Especially with a small construction at the same time.
  • the data is transferred from the electroacoustic converter or microphone via Pulse Density Modulation (RDM). It is particularly advantageous here that the sending of the data in the bit stream reduces noise and / or the signal transmission is less susceptible to noise.
  • RDM Pulse Density Modulation
  • the electronic converter signal is then broken down into an image function by means of the arithmetic unit, for example by means of a Fourier transformation, preferably by means of several successive short-term Fourier transformations, particularly preferably by means of several successive short-term Fourier transformations.
  • descriptive features are extracted from the image function, preferably with a priori knowledge, as a feature vector. It is therefore also proposed in particular not to compare the entire image function, but to compare individual features with one another by means of vectors, that is to say a feature vector of the detected signal with a target vector of the signal to be identified.
  • the image function or the feature vector is then compared, for example, with an image function or feature vector stored in a memory, in particular of the target signal, in particular in order to assign / identify the signal picked up by the microphone to a target signal.
  • a filter can also be provided, which is arranged between the converter and the processing unit, in particular to filter out irrelevant signals, for example, signals that are too short and / or too low and / or noise, for example caused by the electronic converter or the acoustic environment.
  • the image function generated by the computing unit or the feature vector generated by the computing unit is also compared with a stored image function or a stored prototype feature vector of a target signal using methods of learning vector quantization, and if these essentially match, abstracted information becomes sent to a terminal, in particular a mobile terminal.
  • the comparison takes place by means of vectors and / or a learning vector quantization.
  • a contact address for the mobile terminal can be stored in the device.
  • the mobile terminal is preferably an internet-enabled terminal, such as a smartphone, a tablet, a PC, a laptop, headphones, a smart speaker, a smart TV, a streaming media adapter and / or player and / or Box, a smart watch, a game console, a game streaming service box, VR glasses, AR glasses, MR glasses, a smart lamp, smart glasses, a hearing aid, a hearing aid, or another loT device.
  • Such mobile terminals also often have peripheral devices, such as, for example, headphones, which then make abstracted information perceptible for humans, for example by means of video and / or audio signals.
  • the mobile terminal is an implanted hearing aid, in particular a cochlear implant.
  • the device for recognizing acoustic events is designed as a mobile device, for example, and can thus be easily arranged next to a doorbell in an apartment of a hearing impaired person, for example on a chest of drawers, a table, or in a socket.
  • a mobile telephone number of the hearing impaired person and an image function or a feature vector of the doorbell of the apartment are stored in the device, for example in a memory.
  • the device constantly perceives acoustic signals in the apartment through the microphone and compares them with the stored target signal. If a third party rings the doorbell, the device recognizes this and contacts the mobile phone of the hearing impaired.
  • the mobile phone then signals, for example by vibration and / or an optical alarm, that someone has rung the doorbell.
  • the device thus makes it possible, for example, that people with a hearing impairment can perceive acoustic signals, in particular acoustic warning signals.
  • the computing unit and the transmitting unit are two different assemblies, in particular each with an independent processor, preferably two different processors.
  • the transmission unit and the processing unit are preferably connected to one another via a common bus or a common bus system.
  • the bus is preferably designed as an I 2 C bus.
  • the bus thus has an inter-integrated circuit, that is to say it is set up for communication between embedded systems and / or processors.
  • the transmission unit is preferably also set up to send at least one piece of abstracted information to the end device by means of a radio connection, which in particular is sent directly to the end device via a peer-to-peer connection via a decentralized and continuously plausible database (cf. blockchain, 500). , alternatively via a server or a cloud.
  • the abstracted information can therefore be transmitted both directly and indirectly to the end device, for example directly to a specific phone or smartphone or indirectly via a cloud to a specific smartphone.
  • a peer-to-peer transmission of the signal via a decentralized or distributed and continuously plausibility-checked database can be provided, which can be implemented and / or referred to as a blockchain or holochain, in particular to ensure data integrity without trust in a Ensure administrative structure.
  • a blockchain or holochain a blockchain or holochain
  • One possible area of application is the validation of the presence of a bell signal when parcel / goods are delivered, and the justification of the correctness and trustworthiness of this information via the blockchain or holochain mechanism.
  • the abstracted information be stored, for example, on a server, in particular in order to enable data to be collected.
  • data collection can be useful, for example, in the retail trade, where, for example, a signal from a passage or motion detector in the shop can be documented by means of the device.
  • a cloud or cloud infrastructure can also be provided, which is part of a blockchain, in particular to ensure data integrity.
  • One possible area of application is the validation of the presence of a bell signal when parcel / goods are delivered.
  • the abstracted information preferably generates a clear acoustic and / or visual signal on the terminal, which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and warning signal / or warning signal.
  • the device can also provide information via several different information and warning signals, for example a doorbell, a passage or motion detector or a smoke detector.
  • the device preferably further comprises a memory which is set up to document acoustic events, in particular acoustic information and / or warning signals, and / or to store signal images, in particular stored signal images.
  • the device thus in particular also has a memory which is set up to store an image function or image areas and feature vectors.
  • the computing unit preferably breaks down the acoustic event, in particular the acoustic information and / or warning signal, by means of a Fourier transformation, in particular in order to obtain a spectrogram in order to compare it with a stored signal image.
  • the arithmetic unit is thus set up to break down the acoustic signal into an image function by means of several short-term Fourier transforms, to extract a feature vector and to compare this with a stored feature vector.
  • the device identify an acoustic signal by means of a data comparison using methods from the learning vector quantizations, in particular using a prototype function of the feature vector of a target signal stored in a memory.
  • the abstracted information is preferably only created if a spectrogram or the spectrogram essentially coincides with a signal image or the stored signal image.
  • the abstracted information is only created if there is a certain similarity between the generated feature vector and a stored feature vector. The higher the determined similarity is chosen, the lower the probability that the acoustic signal will be recognized incorrectly.
  • the computing unit is preferably set up, in particular by means of the microphone, at least to recognize the following signals: an acoustic signal from a doorbell, in particular a doorbell, an acoustic signal from a smoke detector and / or gas warning device, a passage or motion detector and an acoustic signal from a personal digital assistant.
  • the device is thus particularly set up and provided to be used for domestic information and warning signals.
  • the device preferably further comprises a receiving unit which is set up to receive a signal sent by the mobile terminal in response to the abstracted information.
  • the device have a return channel via which, for example, the device receives information from the mobile terminal, for example a confirmation that the abstracted information has been received.
  • the device preferably comprises a receiving unit which learns from a user feedback via a user interface on a or the mobile terminal (supervised learning), in particular independently (autonomous learning), whether and / or when a signal was correctly recognized.
  • the device is therefore set up in particular to learn independently whether signals have been correctly recognized. This makes it possible, in particular, to improve the detection performance of the device.
  • the device preferably further comprises a return channel which is set up to receive commands from the terminal and to execute these commands, in particular by means of a voice message.
  • the device be set up, for example, to conduct a dialogue via the device, that is to say, for example, to answer the doorbell ringing.
  • the acoustic event is preferably generated by a mechanical and / or electrical device.
  • the device is thus set up and provided in particular to detect and evaluate mechanically and / or electrically generated signals, such as the signal of an electric doorbell.
  • the device is preferably not set up and provided to record and / or evaluate human and / or animal noises, for example, such as baby cries.
  • the acquisition can preferably take place in the form of permanent acquisition and the data obtained in this way can also be sent directly to a terminal, in particular streamed, for example for evaluation or indirectly, for example via a cloud, which temporarily stores the data and / or evaluates it if necessary.
  • a method for recognizing acoustic events, in particular acoustic information and / or warning signals comprising the steps of: recording airborne sound by means of an electroacoustic transducer, in particular a microphone, whereby an electronic transducer signal is obtained; Decomposing the electronic transducer signal by means of a transformation, in particular several successive short-term Fourier transformations, preferably a short-term Fourier transformation, in order to obtain an image function; Extraction of a feature vector from the image function with a priori knowledge of the target signal, comparing the feature vector with a stored prototype of the feature vector of the target signal and sending information to a terminal, in particular a mobile terminal, if the feature vector has a the methods of learning vector quantization has calculated, determined similarity to the stored prototype of the feature vector of the target signal.
  • an electronic transducer signal is generated from an airborne sound, in particular an acoustic signal, in particular by means of an electroacoustic transducer.
  • the electronic converter signal is then broken down into an image function by means of a transformation, or an image function is generated from the electronic converter signal.
  • a feature vector with a priori knowledge of the target signal is then extracted from this image function and compared with a prototype of the feature vector of the target signal.
  • information in particular abstract information, is sent to a mobile terminal, in particular in order to display an acoustic event.
  • the feature vector is preferably descriptive for one of the acoustic signals: a door bell, an information signal from a passage or motion detector and / or a warning signal from a smoke and / or gas detector.
  • a door bell an information signal from a passage or motion detector and / or a warning signal from a smoke and / or gas detector.
  • the method described above or below is thus used in particular to identify domestic information and warning signals, such as a doorbell or a smoke alarm.
  • the stored feature vector was preferably generated in that an acoustic signal was decomposed by means of a Fourier transformation, preferably a short-term Fourier transformation, and distinctive points of the resulting image function were extracted with a priori knowledge for the target signal .
  • the stored prototype feature vector is generated in the same way as the feature vector of a recorded airborne sound, as described above or below. This can be done, for example, by playing a specific acoustic warning signal to the device described above or below in order to initialize the device. In the case of a doorbell, the stored prototype feature vector would be obtained by repeatedly pressing the bell and storing this signal as a corresponding feature vector.
  • a computer program product comprising commands which, when executed by a computer, preferably a mobile phone or a tablet computer, cause the computer to execute a method, comprising the steps of: receiving abstracted information which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or indicates the acoustic event, in particular the acoustic information and / or warning signal, comparing the abstracted information with little at least one item of information stored on the computer and outputting an acoustic and / or visual signal which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and / or warning signal, indicates when the comparison of the abstracted information with the information stored on the computer is positive.
  • the computer program product can be installed, for example, on a computer, in particular a mobile phone or a tablet computer.
  • the computer When the computer now receives abstracted information, for example from a device described above or below, the computer compares the abstracted information with information stored on the computer, for example a special bit sequence that is indicative of a doorbell.
  • an acoustic and / or visual signal is output on the computer, for example a vibration alarm and a symbol of a doorbell on a display.
  • the owner of the computer then knows that the doorbell has rung, especially regardless of where the owner is.
  • the computer program product preferably comprises further commands which, when executed by a computer, preferably a mobile phone or a tablet computer, also cause the computer to: output at least one optical signal which prompts the user of the computer to provide the abstracted information answer, for example to play a message using a device according to one of the preceding claims or to stream a message.
  • FIG. 1 shows a schematic view of a device for recognizing acoustic events in one embodiment.
  • FIG. 2 shows a schematic view of a method for recognizing acoustic events.
  • FIG. 3 shows a schematic sequence of a method for recognizing acoustic events.
  • Fig. 4 shows the structure and construction of a blockchain technology.
  • 5 shows the structure and construction of a holochain technology.
  • FIG. 1 shows a schematic view of a device 100 for recognizing acoustic events in one embodiment.
  • the device 100 is arranged, for example, next to an apartment door 300 in the vicinity of a doorbell 200.
  • the device 100 comprises at least one electroacoustic converter 110, a computing unit 120 and a transmitting unit 130.
  • the device 100 is thus set up for the detection of acoustic events W, in particular information and / or warning signals W.
  • the electroacoustic transducer 110 is designed, for example, as a microphone and is set up to detect an acoustic event W, in particular an acoustic information and / or warning signal, for example a doorbell 200, via airborne sound.
  • the computing unit 120 is set up to abstract at least one from the acoustic event W, in particular the acoustic information and / or warning signal To create information I which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and / or warning signal.
  • the transmission unit 130 is set up to transfer the at least one abstracted item of information I to a terminal 400, in particular to indicate the acoustic event W, in particular the acoustic information and / or warning signal, on the terminal a visual signal 410.
  • the abstracted information I ′ can be transmitted or sent from the transmission unit 130 to the, in particular mobile, terminal device, directly, for example via a radio link, or indirectly, for example via a cloud.
  • the transmission unit 130 is also set up by means of a return channel to receive information from the terminal, such as, for example, a confirmation that the abstracted information has been received.
  • the acoustic event W be broken down into an electronic signal W ‘by means of the microphone 110.
  • This electronic signal W is broken down by the computing unit 120, for example by means of a Fourier transformation, into an image function which, after calculating an associated feature vector B, is compared with a prototype function of the feature vector of the target signal B ‘stored in a memory 150.
  • the processing unit If this comparison is positive, i.e. if the signals match, the processing unit generates the abstracted information I, which is sent by means of the transmission unit 130 to the mobile terminal 400 as an electronic signal I 'in order to generate the visual signal 410 there.
  • the device 100 also has a receiving unit 140 and a return channel R, which make it possible to use one or the mobile
  • Terminal 400 to interact with the device.
  • FIG. 2 shows a schematic view of a method 1000 for recognizing acoustic events.
  • a recording of the acoustic event W and a comparison for the acoustic event W are required.
  • acoustic event W in a first step 1100 the airborne sound is recorded by means of an electroacoustic transducer, in a second step 1200 it is broken down into an image function B by means of a transformation, and a feature vector is extracted with a priori knowledge of the target signal.
  • the acoustic event W to be recognized was also recorded several times in a first step 1100', broken down into an image function in a second step 1200 'and subsequently a prototype of the feature vector of the target signal B 'is extracted and stored in a fourth step 1300'.
  • the comparison 1300 of the prototype of the feature vector of the target signal with the stored image function can take place, for example, using methods from the learning vector quantization - if the distance between the current feature vector B and the stored prototype of the feature vector of the target signal B 'is small enough, it is it is assumed that the specific acoustic information and / or warning signal W is present. In the event that, for example, a doorbell of a certain door is to be monitored, a check is made as to whether there are noises that correspond to the certain doorbells.
  • the comparison 1300 is positive, i.e. the current feature vector matches the stored prototype of the feature vector of the target signal, information is sent to the terminal 400, for example directly via a transmission unit 130 of the device or indirectly via the transmission unit 130 of the device and a cloud 500 or a server that temporarily stores and / or evaluates the information sent.
  • the abstracted information G can be transmitted or sent from the transmission unit 130 to the, in particular mobile, terminal 400, directly, for example via a radio link, or indirectly, for example via a cloud 500. Finally, a visual signal 410 is generated on the terminal 400.
  • the transmitting unit 130 can either be an integral part of the device 100, that is to say, for example, as a transmitting and receiving unit (abbreviated to SEE) described above or below, or it can be designed in several parts, for example as an integral transmitting and receiving unit Receiving unit and a WLAN router with DSL modern, that is to say an additional device that provides a network for the device 100.
  • SEE transmitting and receiving unit
  • the transmission unit 130 is also set up by means of a return channel to receive information from the terminal, such as, for example, a confirmation BS that the abstracted information has been received.
  • FIG. 3 shows a schematic sequence of a method for recognizing acoustic events.
  • a first step 1100 the airborne sound is recorded by means of an electroacoustic transducer, in particular a microphone, in order to obtain an electronic transducer signal W.
  • an electroacoustic transducer in particular a microphone
  • the electronic transducer signal is broken down into an image function by means of a transformation, in particular a Fourier transformation, preferably a short-term Fourier transformation, and a feature vector B with a priori knowledge is extracted from the target signal.
  • This feature vector B is then compared in a third step 1300 with a stored prototype of the feature function of the target signal B '.
  • FIG. 4 shows a blockchain (structure) 510, such as is used, for example, in the method described above or below.
  • the peer-to-peer transmission of the signal takes place via a decentralized database that is constantly checked for plausibility, i.e. by means of a decentralized structure.
  • FIG. 5 shows a holochain (structure) 520, such as is used, for example, in the method described above or below.
  • the peer-to-peer transmission of the signal takes place via a distributed database that is constantly checked for plausibility, ie by means of a distributed structure.
  • the main difference between the blockchain and the holochain is the type and structure of the network and the form of authentication.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to an apparatus and a method for identifying acoustic events, in particular acoustic information and/or warning signals, comprising an electroacoustic converter, in particular a microphone, which is designed to identify an acoustic event, in particular an acoustic information and/or warning signal, via airborne sound, a computing unit which is designed to create at least one piece of information abstracted from the acoustic event, in particular the acoustic information and/or warning signal, which piece of information is indicative for the acoustic event, in particular the acoustic information and/or warning signal, or indicates the acoustic event, in particular the acoustic information and/or warning signal, and a transmitting unit which is designed to transmit the at least one piece of abstracted information to a terminal device, in particular in order to indicate the acoustic event, in particular the acoustic information and/or warning signal, on the terminal device.

Description

VORRICHTUNG, VERFAHREN UND COMPUTERPROGRAMM ZUR ERKENNUNG VON AKUSTISCHEN EREIGNISSEN, INSBESONDERE AKUSTISCHEN INFORMATIONS- UND/ODER DEVICE, METHOD AND COMPUTER PROGRAM FOR DETECTION OF ACOUSTIC EVENTS, IN PARTICULAR ACOUSTIC INFORMATION AND / OR
WARNSIGNALEN WARNING SIGNS
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erkennung von akustischen Ereignissen, insbesondere von akustischen Informations- und/oder Warnsig- nalen. Ein Beispiel für ein solches akustisches Informations- und/oder Warnsignal ist das Klingeln einer Tür, eines Telefons, oder der Alarm eines Rauchmelders. The present invention relates to a device and a method for recognizing acoustic events, in particular acoustic information and / or warning signals. An example of such an acoustic information and / or warning signal is the ringing of a door, a telephone, or the alarm of a smoke detector.
Solche akustischen Informations- und/oder Warnsignale können nicht immer von Men- schen wahrgenommen werden, bspw. weil sie aufgrund von Home-Office vertieft in ihrer Arbeit sind bspw. durch „Deep Work“ Strategien oder weil sie zu weit entfernt sind, sowie nicht, bzw, nur kaum hören können. Such acoustic information and / or warning signals cannot always be perceived by people, for example because they are deeply involved in their work due to home office, for example through “deep work” strategies or because they are too far away, or not , or, can barely hear.
Üblicherweise behelfen sich vor allem letzte genannte Menschen mit teuren stationären Hilfsmitteln, die zum Teil aufwendig in der Wohnung installiert werden müssen. Andere Lösungen können im Falle eines Umzuges häufig nicht unmittelbar wiederverwendet wer- den, sodass in der neuen Wohnung ebenfalls eine erneute, kostspielige Installation vorge- nommen werden muss. Ferner besitzen diese Lösungen keinen inklusiven Ansatz, sondern trennen Menschen offensichtlich und marketingtechnisch in Alt und Jung sowie in Men- schen mit Hörbehinderung und ohne. Usually, the last-mentioned people in particular make do with expensive stationary aids, some of which have to be installed in the home in a laborious manner. Other solutions often cannot be reused immediately in the event of a move, so that a new, costly installation also has to be carried out in the new apartment. Furthermore, these solutions do not have an inclusive approach, but rather clearly and technically separate people into old and young as well as into people with and without hearing impairments.
Aufgabe der vorliegenden Erfindung ist es daher, eines der oben genannten Probleme zu adressieren. Insbesondere soll eine, insbesondere mobile, Vorrichtung zur Verfügung ge- stellt werden, welche akustische Informations- und/oder Warnsignale für jedermann aufbe- reitet. The object of the present invention is therefore to address one of the problems mentioned above. In particular, a device, in particular a mobile device, is to be made available which processes acoustic information and / or warning signals for everyone.
Erfindungsgemäß wird somit eine Vorrichtung zur Erkennung von akustischen Ereignissen, insbesondere von akustischen Informations- und/oder Warnsignalen vorgeschlagen, um- fassend: einen elektroakustischen Wandler, der dazu eingerichtet ist, ein akustisches Er- eignis, insbesondere ein akustisches Informations- und/oder Warnsignal, über Luftschall zu erfassen, eine Recheneinheit, die dazu eingerichtet ist, aus dem akustischen Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, wenigstens eine abs- trahierte Information zu erstellen, welche für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt und eine Sende- einheit, die dazu eingerichtet, die wenigstens eine abstrahierte Information an ein Endgerät zu übergeben, insbesondere um auf dem Endgerät das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, zu indizieren. According to the invention, a device for recognizing acoustic events, in particular acoustic information and / or warning signals, is therefore proposed, comprising: an electroacoustic transducer which is set up to detect an acoustic event, in particular an acoustic information and / or warning signal to detect via airborne sound, a computing unit that is set up to extract from the acoustic event, in particular the acoustic information and / or warning signal to create at least one abstract information which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and / or or warning signal, and a transmitting unit which is set up to transfer the at least one abstracted item of information to a terminal, in particular to indicate the acoustic event, in particular the acoustic information and / or warning signal, on the terminal.
Der elektroakustische Wandler umfasst somit bspw. ein Mikrofon oder ist als Mikrofon aus- gebildet und/oder ist dazu eingerichtet, ein elektronisches Wandlersignal aus einem akus- tischen Ereignis zu erzeugen. Bevorzugt ist der elektroakustische Wandler dazu ausgebil- det, aus einem akustischen Ereignis ein elektrisches Wandlersignal zu erzeugen. The electroacoustic transducer thus comprises, for example, a microphone or is designed as a microphone and / or is set up to generate an electronic transducer signal from an acoustic event. The electroacoustic transducer is preferably designed to generate an electrical transducer signal from an acoustic event.
Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon eine omnidirektionale Richtcharakteristik auf. The electroacoustic transducer or the microphone preferably has an omnidirectional directional characteristic.
Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon einen Dynamikbereich zwischen 90 und 130 dB auf, bspw. 105 dB. The electroacoustic transducer or the microphone preferably has a dynamic range between 90 and 130 dB, for example 105 dB.
Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon eine THD (total harmo- nic distortions) von kleiner 1% auf, insbesondere bei einem Schalldruckpegel von oder bis 128dBSPL. The electroacoustic transducer or the microphone preferably has a THD (total harmonic distortions) of less than 1%, in particular at a sound pressure level of or up to 128dBSPL.
Bevorzugt ist der elektroakustische Wandler bzw. das Mikrofon hochdynamisch ausge- führt, insbesondere so, dass auch laute Geräusch, wie bspw. die Geräusche eines Rauch- melders mit 120dB, im Wesentlichen rausch- und verzerrungsfrei erfasst werden können. The electroacoustic transducer or the microphone is preferably designed to be highly dynamic, in particular in such a way that even loud noises, such as, for example, the noises of a smoke detector with 120 dB, can be recorded essentially free of noise and distortion.
Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon einen Flachfrequenz- gang auf, bspw. von unter 35Hz, bevorzugt ca. 28Hz. The electroacoustic transducer or the microphone preferably has a flat frequency response, for example below 35 Hz, preferably approximately 28 Hz.
In einer besonders bevorzugten Ausführungsform umfasst der elektroakustische Wandler ein MEMS-Mikrofon oder ist als MEMS-Mikrofon ausgebildet und/oder dazu eingerichtet, ein elektronisches Wandlersignal aus einem akustischen Ereignis zu erzeugen. In a particularly preferred embodiment, the electroacoustic transducer comprises a MEMS microphone or is designed as a MEMS microphone and / or is set up to generate an electronic transducer signal from an acoustic event.
Unter MEMS-Mikrofonen sind insbesondere miniaturisierte (Micro Electro Mechanical Sys- tem), in SMD-Technik (surface-mounted device) ausgeführte Mikrofone zu verstehen, die bevorzugt zum direkten Einsatz auf elektronischen Platinen kommen. Besonders vorteilhaft bei MEMS-Mikrofonen sind ein hoher Signal-Rausch-Abstand, eine geringe Leistungsauf- nahme und eine große Empfindlichkeit. Insbesondere bei gleichzeitig kleiner Bauweise. MEMS microphones are to be understood as meaning, in particular, miniaturized (Micro Electro Mechanical System) microphones implemented using SMD (surface-mounted device) technology, which are preferably used directly on electronic circuit boards. Particularly beneficial MEMS microphones have a high signal-to-noise ratio, low power consumption and high sensitivity. Especially with a small construction at the same time.
In einer besonders bevorzugten Ausführungsform erfolgt der Datentransfer vom elektroa- kustischen Wandler bzw. Mikrofon via Pulse Density Modulation (RDM). Besonders vorteil- haft hierbei ist, dass durch die Versendung der Daten im Bitstrom Rauschen vermindert und/oder die Signalübertragung unanfälliger gegen Rauschen ist. In a particularly preferred embodiment, the data is transferred from the electroacoustic converter or microphone via Pulse Density Modulation (RDM). It is particularly advantageous here that the sending of the data in the bit stream reduces noise and / or the signal transmission is less susceptible to noise.
Das elektronische Wandlersignal wird dann mittels der Recheneinheit, bspw. mittels einer Fourier-T ransformation, bevorzugt mittels mehrerer aufeinanderfolgenden Kurzzeit-Fou- rier-T ransformationen, besonders bevorzugt mittels mehrerer aufeinanderfolgenden schnellen Kurzzeit-Fourier-T ransformationen, in eine Bildfunktion zerlegt. The electronic converter signal is then broken down into an image function by means of the arithmetic unit, for example by means of a Fourier transformation, preferably by means of several successive short-term Fourier transformations, particularly preferably by means of several successive short-term Fourier transformations.
In einer besonders bevorzugten Ausführungsform werden aus der Bildfunktion deskriptive Merkmale bevorzugt mit A-priori-Wissen als Merkmalsvektor extrahiert. Es wird also insbe- sondere auch vorgeschlagen, nicht die gesamte Bildfunktion abzugleichen, sondern ein- zelne Merkmale mittels Vektoren miteinander abzugleichen, also einen Merkmalsvektor des erfassten Signals mit einem Zielvektor des zu identifizierenden Signals. In a particularly preferred embodiment, descriptive features are extracted from the image function, preferably with a priori knowledge, as a feature vector. It is therefore also proposed in particular not to compare the entire image function, but to compare individual features with one another by means of vectors, that is to say a feature vector of the detected signal with a target vector of the signal to be identified.
Die Bildfunktion bzw. der Merkmalsvektor wird dann bspw. mit einer bzw. einem, in einem Speicher hinterlegten Bildfunktion bzw. Merkmalsvektor, insbesondere des Zielsignals ab- geglichen, insbesondere um das durch das Mikrofon aufgenommene Signal zu einem Ziel- signal zuzuordnen / zu identifizieren. Auch kann ein Filter vorgesehen sein, der zwischen Wandler und Recheneinheit angeordnet ist, insbesondere um bspw. irrelevante Signale herauszufiltem, also bspw. zu kurze und/oder zu leise Signale und/oder Rauschen, wel- ches bspw. durch den elektronischen Wandler oder das akustische Umfeld verursacht wurde. The image function or the feature vector is then compared, for example, with an image function or feature vector stored in a memory, in particular of the target signal, in particular in order to assign / identify the signal picked up by the microphone to a target signal. A filter can also be provided, which is arranged between the converter and the processing unit, in particular to filter out irrelevant signals, for example, signals that are too short and / or too low and / or noise, for example caused by the electronic converter or the acoustic environment.
Die von der Recheneinheit erzeugte Bildfunktion bzw. der von der Recheneinheit erzeugte Merkmalsvektor wird ferner mit einer abgespeicherten Bildfunktion bzw. einem abgespei- cherten Prototypen-Merkmalsvektors eines Zielsignals über Verfahren der lernenden Vek- torquantisierung abgeglichen und sofern diese im Wesentlichen übereinstimmen, wird eine abstrahierte Information an ein Endgerät, insbesondere ein mobiles Endgerät versendet. The image function generated by the computing unit or the feature vector generated by the computing unit is also compared with a stored image function or a stored prototype feature vector of a target signal using methods of learning vector quantization, and if these essentially match, abstracted information becomes sent to a terminal, in particular a mobile terminal.
In einer besonders bevorzugten Ausführungsform erfolgt also der Abgleich mittels Vekto- ren und/oder einer lernenden Vektorquantisierung. Hierfür kann bspw. eine Kontaktadresse für das mobile Endgerät in der Vorrichtung hinter- legt werden. In a particularly preferred embodiment, the comparison takes place by means of vectors and / or a learning vector quantization. For this purpose, for example, a contact address for the mobile terminal can be stored in the device.
Das mobile Endgerät ist vorzugsweise ein internetfähiges Endgerät, wie z.B. ein Smart- phone, ein Tablet, ein PC, ein Laptop, ein Kopfhörer, ein Smartspeaker, ein Smart-TV, ein Streaming-Media-Adapter und/oder -Player und/oder -Box, eine Smartwatch, eine Spiel- konsole, eine Game-Streaming-Dienst-Box, eine VR-Brille, eine AR-Brille, eine MR-Brille, eine smarte Lampe, eine smarte Brille, ein Hörgerät, eine Hörhilfe, oder weiteres loT-Gerät. Solche mobilen Endgeräte weisen ferner häufig Peripheriegeräte auf, wie bspw. Kopfhörer, die abstrahierte Information dann für den Menschen erfassbar machen, bspw. durch Video- und/oder Audiosignale. The mobile terminal is preferably an internet-enabled terminal, such as a smartphone, a tablet, a PC, a laptop, headphones, a smart speaker, a smart TV, a streaming media adapter and / or player and / or Box, a smart watch, a game console, a game streaming service box, VR glasses, AR glasses, MR glasses, a smart lamp, smart glasses, a hearing aid, a hearing aid, or another loT device. Such mobile terminals also often have peripheral devices, such as, for example, headphones, which then make abstracted information perceptible for humans, for example by means of video and / or audio signals.
In einer weiter bevorzugten Ausführungsform ist das mobile Endgerät ein implantiertes Hörgerät, insbesondere ein Cochlea-Implantat. In a further preferred embodiment, the mobile terminal is an implanted hearing aid, in particular a cochlear implant.
Die Vorrichtung zur Erkennung von akustischen Ereignissen ist hierfür bspw. als mobile Vorrichtung ausgebildet und kann so auf einfache Art und Weise neben einer Türklingel in einer Wohnung eines Hörbeeinträchtigten angeordnet werden, bspw. auf einer Kommode, einem Tisch, oder in einer Steckdose. Zudem sind in der Vorrichtung, bspw. in einem Spei- cher, eine Mobiltelefonnummer des Hörbeeinträchtigten und eine Bildfunktion bzw. ein Merkmalsvektor der Klingel der Wohnung hinterlegt. Die Vorrichtung nimmt durch das Mik- rofon ständig akustische Signale in der Wohnung wahr und gleicht diese mit dem hinter- legten Zielsignal ab. Sofern ein Dritter an der Tür klingelt, erkennt die Vorrichtung dieses und kontaktiert das Mobiltelefon des Hörbeeinträchtigten . Das Mobiltelefon signalisiert dann bspw. durch Vibration und/oder optischen Alarm, dass jemand an der Tür geklingelt hat. The device for recognizing acoustic events is designed as a mobile device, for example, and can thus be easily arranged next to a doorbell in an apartment of a hearing impaired person, for example on a chest of drawers, a table, or in a socket. In addition, a mobile telephone number of the hearing impaired person and an image function or a feature vector of the doorbell of the apartment are stored in the device, for example in a memory. The device constantly perceives acoustic signals in the apartment through the microphone and compares them with the stored target signal. If a third party rings the doorbell, the device recognizes this and contacts the mobile phone of the hearing impaired. The mobile phone then signals, for example by vibration and / or an optical alarm, that someone has rung the doorbell.
Die Vorrichtung ermöglicht es also bspw., dass Menschen mit einer Hörbeeinträchtigung, akustische Signale, insbesondere akustische Warnsignale, wahrnehmen können. The device thus makes it possible, for example, that people with a hearing impairment can perceive acoustic signals, in particular acoustic warning signals.
In einer besonders bevorzugten Ausführungsform sind die Recheneinheit und die Sende- einheit zwei unterschiedliche Baugruppen, insbesondere jeweils mit einem eigenständigen Prozessor, bevorzugt zwei unterschiedliche Prozessoren. Bevorzugt sind die Sendeinheit und die Recheneinheit über einen gemeinsamen Bus bzw. ein gemeinsames Bus-System miteinander verbunden. Der Bus ist bevorzugt als I2C-Bus ausgeführt. Der Bus weist also einen Inter-Integrated Circuit auf, ist also für die Kommunikation zwischen eingebetteten Systemen und/oder Prozessoren eingerichtet. Vorzugsweise ist die Sendeeinheit ferner dazu eingerichtet, wenigstens eine abstrahierte Information an das Endgerät mittels einer Funkverbindung, die insbesondere über eine Peer-to-Peer-Verbindung direkt an das Endgerät über eine dezentrale und stetig plausibi- lisierte Datenbank (vgl. Blockchain, 500), alternativ über einen Server oder eine Cloud ge- führt wird, zu übergeben. In a particularly preferred embodiment, the computing unit and the transmitting unit are two different assemblies, in particular each with an independent processor, preferably two different processors. The transmission unit and the processing unit are preferably connected to one another via a common bus or a common bus system. The bus is preferably designed as an I 2 C bus. The bus thus has an inter-integrated circuit, that is to say it is set up for communication between embedded systems and / or processors. The transmission unit is preferably also set up to send at least one piece of abstracted information to the end device by means of a radio connection, which in particular is sent directly to the end device via a peer-to-peer connection via a decentralized and continuously plausible database (cf. blockchain, 500). , alternatively via a server or a cloud.
Die abstrahierte Information kann also sowohl direkt als auch indirekt an das Endgerät übermittelt werden, bspw. direkt an ein bestimmtes Telefon oder Smartphone oder indirekt über eine Cloud an ein bestimmtes Smartphone. The abstracted information can therefore be transmitted both directly and indirectly to the end device, for example directly to a specific phone or smartphone or indirectly via a cloud to a specific smartphone.
Bevorzugt kann eine Peer-to-Peer-Übertragung des Signals über eine dezentrale oder ver- teilte und stetig plausibilisierte Datenbank vorgesehen sein, welche als Blockchain oder als Holochain ausgeführt und/oder bezeichnet werden kann, insbesondere um die Dateninteg- rität ohne Vertrauen in eine Verwaltungsstruktur sicher zu stellen. Ein mögliches Anwen- dungsgebiet ist dabei die Validierung des Vorhandenseins eines Klingelsignals bei einer Paket-/Warenzustellung, und die Begründung der Richtigkeit und Vertrauenswürdigkeit dieser Information über den Blockchain- oder Holochain-Mechanismus. Preferably, a peer-to-peer transmission of the signal via a decentralized or distributed and continuously plausibility-checked database can be provided, which can be implemented and / or referred to as a blockchain or holochain, in particular to ensure data integrity without trust in a Ensure administrative structure. One possible area of application is the validation of the presence of a bell signal when parcel / goods are delivered, and the justification of the correctness and trustworthiness of this information via the blockchain or holochain mechanism.
Es wird somit auch vorgeschlagen, dass die abstrahierte Information bspw. auf einem Ser- ver gespeichert wird, insbesondere um eine Datenerhebung zu ermöglichen. Eine solche Datenerhebung kann bspw. im Einzelhandel sinnvoll sein, wo bspw. mittels der Vorrichtung ein Signal eines Durchgangs- bzw. Bewegungsmelders des Ladens dokumentiert werden kann. Optional: Alternativ oder zusätzlich kann auch eine Cloud, bzw. Cloud-Infrastruktur, vorgesehen sein, welche Bestandteil einer Blockchain ist, insbesondere um die Datenin- tegrität sicher zu stellen. Ein mögliches Anwendungsgebiet ist dabei die Validierung des Vorhandenseins eines Klingelsignals bei einer Paket-/Warenzustellung. It is therefore also proposed that the abstracted information be stored, for example, on a server, in particular in order to enable data to be collected. Such data collection can be useful, for example, in the retail trade, where, for example, a signal from a passage or motion detector in the shop can be documented by means of the device. Optional: As an alternative or in addition, a cloud or cloud infrastructure can also be provided, which is part of a blockchain, in particular to ensure data integrity. One possible area of application is the validation of the presence of a bell signal when parcel / goods are delivered.
Vorzugsweise erzeugt die abstrahierte Information auf dem Endgerät ein eindeutiges akus- tisches und/oder visuelles Signal, welches für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist, bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt. The abstracted information preferably generates a clear acoustic and / or visual signal on the terminal, which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and warning signal / or warning signal.
Es wird also auch vorgeschlagen, dass die abstrahierte Information ein eindeutiges Signal erzeugt, welches eindeutig anzeigt, welches Warnsignal vorliegt. Auf diese Weise kann die Vorrichtung auch über mehrere verschiedene Informations- und Warnsignale informieren, also bspw. eine Türklingel, ein Durchgangs- bzw. Bewegungsmelder oder ein Rauchmel- der. Vorzugsweise umfasst die Vorrichtung ferner einen Speicher, der dazu eingerichtet ist, akustische Ereignisse, insbesondere akustische Informations- und/oder Warnsignale, zu dokumentieren und/oder, insbesondere hinterlegte, Signalbilder abzuspeichern. It is therefore also proposed that the abstracted information generate an unambiguous signal which clearly indicates which warning signal is present. In this way, the device can also provide information via several different information and warning signals, for example a doorbell, a passage or motion detector or a smoke detector. The device preferably further comprises a memory which is set up to document acoustic events, in particular acoustic information and / or warning signals, and / or to store signal images, in particular stored signal images.
Die Vorrichtung weist somit insbesondere auch einen Speicher auf, der dazu eingerichtet ist, eine Bildfunktion bzw. Bildbereiche und Merkmaisvektoren abzuspeichern. The device thus in particular also has a memory which is set up to store an image function or image areas and feature vectors.
Vorzugsweise zerlegt die Recheneinheit das akustische Ereignis, insbesondere das akus- tische Informations- und/oder Warnsignal, mittels einer Fourier-Transformation, insbeson- dere um ein Spektrogramm zu erhalten, um dieses mit einem hinterlegten Signalbild abzu- gleichen. Die Recheneinheit ist somit dazu eingerichtet, das akustische Signal mittels mehrerer Kurz- zeit-Fouriertransformationen in eine Bildfunktion zu zerlegen, einen Merkmalsvektor zu ext- rahieren und diesen mit einem hinterlegten Merkmalsvektor abzugleichen. The computing unit preferably breaks down the acoustic event, in particular the acoustic information and / or warning signal, by means of a Fourier transformation, in particular in order to obtain a spectrogram in order to compare it with a stored signal image. The arithmetic unit is thus set up to break down the acoustic signal into an image function by means of several short-term Fourier transforms, to extract a feature vector and to compare this with a stored feature vector.
Es wird somit insbesondere vorgeschlagen, dass die Vorrichtung ein akustisches Signal mittels eines Datenabgleiches über Methoden aus der lernenden Vektorquantisierungen identifiziert, insbesondere unter Verwendung einer in einem Speicher hinterlegten Prototy- penfunktion des Merkmalsvektors eines Zielsignals. It is therefore proposed in particular that the device identify an acoustic signal by means of a data comparison using methods from the learning vector quantizations, in particular using a prototype function of the feature vector of a target signal stored in a memory.
Vorzugsweise wird die abstrahierte Information nur erstellt, wenn ein bzw. das Spektro- gramm mit einem bzw. dem hinterlegten Signalbild im Wesentlichen übereinstimmt. The abstracted information is preferably only created if a spectrogram or the spectrogram essentially coincides with a signal image or the stored signal image.
Es wird also insbesondere vorgeschlagen, dass die abstrahierte Information nur erstellt wird, wenn eine determinierte Ähnlichkeit zwischen dem erzeugten Merkmalsvektor und einem hinterlegten Merkmalsvektor besteht. Umso höher die determinierte Ähnlichkeit ge- wählt wird, umso geringer ist die Wahrscheinlichkeit, dass das akustische Signal falsch erkannt wird. It is therefore proposed in particular that the abstracted information is only created if there is a certain similarity between the generated feature vector and a stored feature vector. The higher the determined similarity is chosen, the lower the probability that the acoustic signal will be recognized incorrectly.
Vorzugsweise ist die Recheneinheit, insbesondere mittels des Mikrofons, wenigstens dazu eingerichtet, folgende Signale zu erkennen: ein akustisches Signal einer Klingel, insbeson- dere einer Haustürklingel, ein akustisches Signal eines Rauchmelders und/oder Gaswarn- gerätes, eines Durchgangs- bzw. Bewegungsmelder und ein akustisches Signal eines per- sönlichen digitalen Assistenten. Die Vorrichtung ist somit insbesondere dazu eingerichtet und dazu vorgesehen für häusli- che Informations- und Warnsignale verwendet zu werden. The computing unit is preferably set up, in particular by means of the microphone, at least to recognize the following signals: an acoustic signal from a doorbell, in particular a doorbell, an acoustic signal from a smoke detector and / or gas warning device, a passage or motion detector and an acoustic signal from a personal digital assistant. The device is thus particularly set up and provided to be used for domestic information and warning signals.
Vorzugsweise umfasst die Vorrichtung ferner eine Empfangseinheit, die dazu eingerichtet ist, ein vom mobilen Endgerät als Antwort auf die abstrahierte Information gesendetes Sig- nal zu empfangen. The device preferably further comprises a receiving unit which is set up to receive a signal sent by the mobile terminal in response to the abstracted information.
Es wird somit insbesondere auch vorgeschlagen, dass die Vorrichtung einen Rückkanal aufweist, über den bspw. die Vorrichtung Informationen von dem mobilen Endgerät erhält, bspw. eine Bestätigung, dass die abstrahierte Information empfangen worden ist. It is therefore also proposed in particular that the device have a return channel via which, for example, the device receives information from the mobile terminal, for example a confirmation that the abstracted information has been received.
Bevorzugt umfasst die Vorrichtung eine Empfangseinheit, die aus einer Nutzerrückmel- dung über eine Benutzeroberfläche auf einem bzw. dem mobilen Endgerät (Supervized Learning), insbesondere selbstständig (Autonomous Learning), lernt, ob und/oder wann ein Signal richtig erkannt wurde. The device preferably comprises a receiving unit which learns from a user feedback via a user interface on a or the mobile terminal (supervised learning), in particular independently (autonomous learning), whether and / or when a signal was correctly recognized.
Die Vorrichtung ist also insbesondere dazu eingerichtet selbstständig zu lernen, ob Signale richtig erkannt wurden. Hierdurch ist es insbesondere möglich, die Erkennungsleistung der Vorrichtung zu verbes- sern. Vorzugsweise umfasst die Vorrichtung ferner einen Rückkanal, der dazu eingerichtet ist, von dem Endgerät Befehle zu empfangen und diese Befehle, insbesondere mittels ei- ner Sprachnachricht, auszuführen. The device is therefore set up in particular to learn independently whether signals have been correctly recognized. This makes it possible, in particular, to improve the detection performance of the device. The device preferably further comprises a return channel which is set up to receive commands from the terminal and to execute these commands, in particular by means of a voice message.
Es wird somit auch vorgeschlagen, dass die Vorrichtung bspw. dazu eingerichtet ist, über die Vorrichtung einen Dialog zu führen, also bspw. auf das Klingeln der Türklingel zu ant- worten. It is therefore also proposed that the device be set up, for example, to conduct a dialogue via the device, that is to say, for example, to answer the doorbell ringing.
Vorzugsweise ist das akustische Ereignis durch eine mechanische und/oder elektrische Vorrichtung erzeugt. The acoustic event is preferably generated by a mechanical and / or electrical device.
Die Vorrichtung ist somit insbesondere dazu eingerichtet und dazu vorgesehen, mecha- nisch und/oder elektrisch erzeugte Signale zu erfassen und auszuwerten, wie bspw. das Signal einer elektrischen Türklingel. Bevorzugt ist die Vorrichtung nicht dazu eingerichtet und dazu vorgesehen, menschliche und/oder tierische Geräusche bspw. zu erfassen und/oder auszuwerten, wie bspw. Baby- geschrei. The device is thus set up and provided in particular to detect and evaluate mechanically and / or electrically generated signals, such as the signal of an electric doorbell. The device is preferably not set up and provided to record and / or evaluate human and / or animal noises, for example, such as baby cries.
Das Erfassen kann hierbei bevorzugt in Form eines permanenten Erfassens erfolgen und die so erhaltenen Daten können ferner direkt zu einem Endgerät übersendet, insbesondere gestreamt, werden bspw. zur Auswertung oder indirekt bspw. über eine Cloud welche die Daten zwischenspeichert und/oder ggf. auswertet. The acquisition can preferably take place in the form of permanent acquisition and the data obtained in this way can also be sent directly to a terminal, in particular streamed, for example for evaluation or indirectly, for example via a cloud, which temporarily stores the data and / or evaluates it if necessary.
Erfindungsgemäß wird ferner ein Verfahren zur Erkennung von akustischen Ereignissen, insbesondere akustischen Informations- und/oder Warnsignalen, vorgeschlagen, umfas- send die Schritte: Aufnehmen eines Luftschalls mittels eines elektroakustischen Wandlers, insbesondere Mikrofons, wodurch ein elektronisches Wandlersignal erhalten wird; Zerle- gen des elektronischen Wandlersignals mittels einer Transformation, insbesondere meh- rerer aufeinanderfolgenden Kurzzeit-Fourier-Transformationen, bevorzugt einer Kurzzeit- Fourier-T ransformation, um eine Bildfunktion zu erhalten; Extraktion eines Merkmalsvek- tors aus der Bildfunktion mit A-Priori-Wissen vom Zielsignal, Abgleichen des Merkmalsvek- tors mit einem gespeicherten Prototypen des Merkmalsvektors des Zielsignals und Ver- senden einer Information an ein Endgerät, insbesondere ein mobiles Endgerät, wenn der Merkmalsvektor eine über die Methoden der lernenden Vektorquantisierung berechnete, determinierte Ähnlichkeit zu dem gespeicherten Prototypen des Merkmalsvektors des Ziel- Signals aufweist. According to the invention, a method for recognizing acoustic events, in particular acoustic information and / or warning signals, is also proposed, comprising the steps of: recording airborne sound by means of an electroacoustic transducer, in particular a microphone, whereby an electronic transducer signal is obtained; Decomposing the electronic transducer signal by means of a transformation, in particular several successive short-term Fourier transformations, preferably a short-term Fourier transformation, in order to obtain an image function; Extraction of a feature vector from the image function with a priori knowledge of the target signal, comparing the feature vector with a stored prototype of the feature vector of the target signal and sending information to a terminal, in particular a mobile terminal, if the feature vector has a the methods of learning vector quantization has calculated, determined similarity to the stored prototype of the feature vector of the target signal.
Es wird also insbesondere vorgeschlagen, die Identifikation mittels Vektoren vorzunehmen, bspw. durch Extraktion markanter Stellen aus der Bildfunktion mit A-priori-Wissen zu mar- kanten Stellen aus dem Zielsignal zum Erstellen eines Merkmalsvektors aus dem vorlie- genden Signal und anschließendem Abgleich zweier Bildfunktionen, durch Vergleich von markanten Stellen, interpretierbar als Merkmalsvektoren, insbesondere mittels eines Ver- fahrens aus der lernenden Vektorquantisierung. It is therefore proposed in particular to carry out the identification using vectors, for example by extracting prominent points from the image function with a priori knowledge of prominent points from the target signal to create a feature vector from the present signal and then comparing two image functions , by comparing prominent positions, interpretable as feature vectors, in particular by means of a method from the learning vector quantization.
In einem ersten Schritt wird also aus einem Luftschall, insbesondere einem akustischen Signal, ein elektronisches Wandlersignal erzeugt, insbesondere mittels eines elektroakus- tischen Wandlers. Anschließend wird das elektronische Wandlersignal mittels einer Transformation in eine Bildfunktion zerlegt bzw. es wird aus dem elektronischen Wandlersignal eine Bildfunktion erzeugt. Aus dieser Bildfunktion wird anschließend ein Merkmalsvektor mit A-Priori-Wissen zum Zielsignal extrahiert und mit einem Prototyen des Merkmalsvektors des Zielsignals abge- glichen. In a first step, an electronic transducer signal is generated from an airborne sound, in particular an acoustic signal, in particular by means of an electroacoustic transducer. The electronic converter signal is then broken down into an image function by means of a transformation, or an image function is generated from the electronic converter signal. A feature vector with a priori knowledge of the target signal is then extracted from this image function and compared with a prototype of the feature vector of the target signal.
Sofern dieser Abgleich eine determinierte Ähnlichkeit aufweist, wird eine Information, ins- besondere eine abstrahierte Information, an ein mobiles Endgerät versendet, insbesondere um ein akustisches Ereignis anzuzeigen. If this comparison shows a certain similarity, information, in particular abstract information, is sent to a mobile terminal, in particular in order to display an acoustic event.
Vorzugsweise ist der Merkmalsvektor deskriptiv für eines der akustischen Signale: ein Tür- klingeln, ein Informationssignal eines Durchgangs- bzw. Bewegungsmelder und/oder ein Warnsignal eines Rauch- und/oder Gasmelders. Das vorstehend oder nachstehend beschriebene Verfahren wird somit insbesondere dazu verwendet, häusliche Informations- und Warnsignale, wie bspw. einer Türklingel oder eines Rauchmelders, zu identifizieren. The feature vector is preferably descriptive for one of the acoustic signals: a door bell, an information signal from a passage or motion detector and / or a warning signal from a smoke and / or gas detector. The method described above or below is thus used in particular to identify domestic information and warning signals, such as a doorbell or a smoke alarm.
Vorzugsweise wurde der gespeicherte Merkmalsvektor dadurch erzeugt, dass ein akusti- sches Signal mittels einer Fourier-T ransformation, bevorzugt einer Kurzzeit-Fourier-T rans- formation zerlegt wurde, und markante Stellen der resultierenden Bildfunktion mit A-Priori- Wissen zum Zielsignal extrahiert wurden. The stored feature vector was preferably generated in that an acoustic signal was decomposed by means of a Fourier transformation, preferably a short-term Fourier transformation, and distinctive points of the resulting image function were extracted with a priori knowledge for the target signal .
Der gespeicherte Prototypen-Merkmalsvektor wird insbesondere genauso erzeugt, wie der Merkmalsvektor eines aufgenommenen Luftschalls, wie vorstehend oder nachstehend be- schrieben. Dies kann bspw. dadurch erfolgen, dass man der vorstehend oder nachstehend beschriebenen Vorrichtung ein bestimmtes akustisches Warnsignal vorspielt, um hiermit die Vorrichtung zu initialisieren. Im Falle einer Türklingel, würde man also den gespeicher- ten Prototypen-Merkmalsvektor dadurch erhalten, dass man die Klingel wiederholend be- tätigt und dieses Signal als entsprechender Merkmalsvektor abspeichert. The stored prototype feature vector is generated in the same way as the feature vector of a recorded airborne sound, as described above or below. This can be done, for example, by playing a specific acoustic warning signal to the device described above or below in order to initialize the device. In the case of a doorbell, the stored prototype feature vector would be obtained by repeatedly pressing the bell and storing this signal as a corresponding feature vector.
Erfindungsgemäß wird ferner ein Computerprogrammprodukt, insbesondere App, vorge- schlagen, umfassend Befehle, die bei deren Ausführung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tabletcomputer, den Computer dazu veranlassen, ein Verfahren auszuführen, umfassend die Schritte: Empfangen einer abstrahierten Information, welche für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warn- signal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Inform a- tions- und/oder Warnsignal, anzeigt, Abgleichen der abstrahierten Information mit wenigs- tens einer in einer auf dem Computer hinterlegten Information und Ausgeben eines akus- tischen und/oder visuellen Signals, welches für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt, wenn der Ab- gleich der abstrahierten Information mit der auf dem Computer hinterlegten Information positiv ist. According to the invention, a computer program product, in particular an app, is also proposed, comprising commands which, when executed by a computer, preferably a mobile phone or a tablet computer, cause the computer to execute a method, comprising the steps of: receiving abstracted information which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or indicates the acoustic event, in particular the acoustic information and / or warning signal, comparing the abstracted information with little at least one item of information stored on the computer and outputting an acoustic and / or visual signal which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and / or warning signal, indicates when the comparison of the abstracted information with the information stored on the computer is positive.
Das Computerprogrammprodukt kann hierfür bspw. auf einem Computer, insbesondere einem Mobiltelefon oder einem Tabletcomputer, installiert werden. For this purpose, the computer program product can be installed, for example, on a computer, in particular a mobile phone or a tablet computer.
Wenn der Computer nun eine abstrahierte Information empfängt, bspw. von einer vorste- hend oder nachstehend beschriebenen Vorrichtung, gleicht der Computer die abstrahierte Information mit einer auf dem Computer hinterlegten Information ab, bspw. eine spezielle Bitreihenfolge, die indikativ für eine Türklingel ist. When the computer now receives abstracted information, for example from a device described above or below, the computer compares the abstracted information with information stored on the computer, for example a special bit sequence that is indicative of a doorbell.
Sofern die empfangene Information der hinterlegten Information gleicht, wird auf dem Com- puter ein akustisches und/oder visuelles Signal ausgegeben, bspw. ein Vibrationsalarm und auf einem Display ein Symbol einer Türklingel. If the information received is the same as the stored information, an acoustic and / or visual signal is output on the computer, for example a vibration alarm and a symbol of a doorbell on a display.
Der Besitzer des Computers weiß dann, dass es an seiner Tür geklingelt hat, insbesondere unabhängig davon, an welchem Ort sich der Besitzer befindet. The owner of the computer then knows that the doorbell has rung, especially regardless of where the owner is.
Vorzugsweise umfasst das Computerprogrammprodukt weitere Befehle, die bei deren Aus- führung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tabletcomputer, den Computer ferner dazu veranlassen: Ausgeben wenigstens eines optischen Signals, wel- ches den Benutzer des Computers dazu auffordert, die abstrahierte Information zu beant- worten, bspw. um eine Nachricht mittels einer Vorrichtung nach einem der vorstehenden Ansprüche abzuspielen oder eine Nachricht zu streamen. The computer program product preferably comprises further commands which, when executed by a computer, preferably a mobile phone or a tablet computer, also cause the computer to: output at least one optical signal which prompts the user of the computer to provide the abstracted information answer, for example to play a message using a device according to one of the preceding claims or to stream a message.
Die vorliegende Erfindung wird nun nachfolgend exemplarisch anhand von Ausführungs- beispielen unter Bezugnahme auf die begleitenden Figuren näher erläutert, wobei für glei- che oder ähnlich Baugruppen dieselben Bezugszeichen verwendet werden. The present invention will now be explained in more detail below using exemplary embodiments with reference to the accompanying figures, the same reference numerals being used for the same or similar assemblies.
Fig. 1 zeigt eine schematische Ansicht einer Vorrichtung zur Erkennung von akusti- schen Ereignissen in einer Ausführungsform. 1 shows a schematic view of a device for recognizing acoustic events in one embodiment.
Fig. 2 zeigt eine schematische Ansicht eines Verfahrens zur Erkennung von akusti- schen Ereignissen. 2 shows a schematic view of a method for recognizing acoustic events.
Fig. 3 zeigt einen schematischen Ablauf eines Verfahrens zur Erkennung von akus- tischen Ereignissen. Fig. 4 zeigt die Struktur und den Aufbau einer Blockchain-T echnologie. 3 shows a schematic sequence of a method for recognizing acoustic events. Fig. 4 shows the structure and construction of a blockchain technology.
Fig. 5 zeigt die Struktur und den Aufbau einer Holochain-T echnologie. 5 shows the structure and construction of a holochain technology.
Fig. 1 zeigt eine schematische Ansicht einer Vorrichtung 100 zur Erkennung von akusti- schen Ereignissen in einer Ausführungsform. 1 shows a schematic view of a device 100 for recognizing acoustic events in one embodiment.
Die Vorrichtung 100 ist bspw. neben einer Wohnungstür 300 in der Nähe einer Türklingel 200 angeordnet. The device 100 is arranged, for example, next to an apartment door 300 in the vicinity of a doorbell 200.
Die Vorrichtung 100 umfasst wenigstens einen elektroakustischen Wandler 110, eine Re- cheneinheit 120 und eine Sendeeinheit 130. The device 100 comprises at least one electroacoustic converter 110, a computing unit 120 and a transmitting unit 130.
Die Vorrichtung 100 ist somit zur Erkennung von akustischen Ereignissen W, insbesondere Informations- und/oder Warnsignalen W, eingerichtet. Der elektroakustische Wandler 110 ist bspw. als Mikrofon ausgebildet und dazu eingerich- tet, ein akustisches Ereignis W, insbesondere ein akustisches Informations- und/oder Warnsignal, bspw. einer Türklingel 200, über Luftschall zu erkennen. The device 100 is thus set up for the detection of acoustic events W, in particular information and / or warning signals W. The electroacoustic transducer 110 is designed, for example, as a microphone and is set up to detect an acoustic event W, in particular an acoustic information and / or warning signal, for example a doorbell 200, via airborne sound.
Die Recheneinheit 120 ist dazu eingerichtet, aus dem akustischen Ereignis W, insbeson- dere dem akustischen Informations- und/oder Warnsignal, wenigstens eine abstrahierte Information I zu erstellen, welche für das akustische Ereignis, insbesondere dem akusti- schen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, ins- besondere das akustische Informations- und/oder Warnsignal. The computing unit 120 is set up to abstract at least one from the acoustic event W, in particular the acoustic information and / or warning signal To create information I which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or the acoustic event, in particular the acoustic information and / or warning signal.
Die Sendeeinheit 130 ist dazu eingerichtet, die wenigstens eine abstrahierte Information I an ein Endgerät 400 zu übergeben, insbesondere um auf dem Endgerät das akustische Ereignis W, insbesondere das akustische Informations- und/oder Warnsignal, zu indizie- ren. Dies erfolgt bspw. mittels eines visuellen Signals 410. The transmission unit 130 is set up to transfer the at least one abstracted item of information I to a terminal 400, in particular to indicate the acoustic event W, in particular the acoustic information and / or warning signal, on the terminal a visual signal 410.
Die Übertragung bzw. das Senden der abstrahierten Information I' von der Sendeeinheit 130 zu dem, insbesondere mobilen, Endgerät, kann direkt, bspw. über eine Funkverbin- düng, oder indirekt, bspw. über eine Cloud, erfolgen. The abstracted information I ′ can be transmitted or sent from the transmission unit 130 to the, in particular mobile, terminal device, directly, for example via a radio link, or indirectly, for example via a cloud.
In einer bevorzugten Ausführungsform ist die Sendeeinheit 130 zudem mittels eines Rück- kanals dazu eingerichtet, Informationen von dem Endgerät zu empfangen, wie bspw. eine Bestätigung, dass die abstrahierte Information eingegangen ist. In a preferred embodiment, the transmission unit 130 is also set up by means of a return channel to receive information from the terminal, such as, for example, a confirmation that the abstracted information has been received.
Um das visuelle Signal 410 auf dem mobilen Endgerät zu erzeugen, wird also vorgeschla- gen, das akustische Ereignis W mittels des Mikrofons 110 in ein elektronisches Signal W‘ zu zerlegen. In order to generate the visual signal 410 on the mobile terminal, it is therefore proposed that the acoustic event W be broken down into an electronic signal W ‘by means of the microphone 110.
Dieses elektronische Signal W wird durch die Recheneinheit 120 bspw. mittels einer Fou- rier-Transformation in eine Bildfunktion zerlegt, welche nach Berechnung eines assoziier- ten Merkmalsvektors B mit einer, in einem Speicher 150 hinterlegten Prototypenfunktion des Merkmalsvektors des Zielsignals B‘ abgeglichen wird. This electronic signal W is broken down by the computing unit 120, for example by means of a Fourier transformation, into an image function which, after calculating an associated feature vector B, is compared with a prototype function of the feature vector of the target signal B ‘stored in a memory 150.
Ist dieser Abgleich positiv, stimmen also die Signale überein, erzeugt die Recheneinheit die abstrahierte Information I, die mittels der Sendeeinheit 130 an das mobile Endgerät 400 als elektronisches Signal I' versendet wird, um dort das visuelle Signal 410 zu erzeugen. If this comparison is positive, i.e. if the signals match, the processing unit generates the abstracted information I, which is sent by means of the transmission unit 130 to the mobile terminal 400 as an electronic signal I 'in order to generate the visual signal 410 there.
In einer bevorzugten Ausführungsform weist die Vorrichtung 100 zudem eine Empfangs- ein heit 140 und einen Rückkanal R auf, die es ermöglichen, mittels eines bzw. dem mobilenIn a preferred embodiment, the device 100 also has a receiving unit 140 and a return channel R, which make it possible to use one or the mobile
Endgerät 400 mit der Vorrichtung zu interagieren. Terminal 400 to interact with the device.
Fig. 2 zeigt eine schematische Ansicht eines Verfahrens 1000 zur Erkennung von akusti- schen Ereignissen. Um das akustische Ereignisse W zu erkennen, werden eine Aufnahme des akustischen Ereignisses W und ein Abgleich für das akustische Ereignis W benötigt. 2 shows a schematic view of a method 1000 for recognizing acoustic events. In order to recognize the acoustic event W, a recording of the acoustic event W and a comparison for the acoustic event W are required.
Für die Aufnahme des akustischen Ereignisses W wird in einem ersten Schritt 1100 der Luftschall mittels eines elektroakustischen Wandlers aufgenommen, in einem zweiten Schritt 1200 mittels einer Transformation in eine Bildfunktion B zerlegt, und mit A-Priori- Wissen zum Zielsignal ein Merkmalsvektor extrahiert. To record the acoustic event W, in a first step 1100 the airborne sound is recorded by means of an electroacoustic transducer, in a second step 1200 it is broken down into an image function B by means of a transformation, and a feature vector is extracted with a priori knowledge of the target signal.
Um diesen Merkmalsvektor B mit einem gespeicherten Prototypen eines Merkmalsvektor des Zielsignals B‘ abgleichen zu können, wurde zuvor das zu erkennende akustische Er- eignis W ebenfalls in einem ersten Schritt 1100' mehrmals aufgenommen, in einem zweiten Schritt 1200' in eine Bildfunktion zerlegt und nachfolgend ein Prototyp des Merkmalsvek- tors des Zielsignals B‘ extrahiert und in einem vierten Schritt 1300' gespeichert. In order to be able to compare this feature vector B with a stored prototype of a feature vector of the target signal B ', the acoustic event W to be recognized was also recorded several times in a first step 1100', broken down into an image function in a second step 1200 'and subsequently a prototype of the feature vector of the target signal B 'is extracted and stored in a fourth step 1300'.
Der Abgleich 1300 des Prototypen des Merkmalsvektors des Zieisignals mit der gespei- cherten Bildfunktion kann bspw. mittels Verfahren aus der lernenden Vektorquantisierung erfolgen - ist die Distanz zwischen dem aktuellen Merkmalsvektor B zu dem gespeicherten Prototypen des Merkmalsvektors des Zielsignals B' gering genug, so ist davon auszuge- hen, dass die bestimmte akustische Information- und/oder das Warnsignal W vorliegt. Im Falle, dass bspw. ein Türklingeln einer bestimmten Tür überwacht werden soll, wird also geprüft, ob Geräusche vorliegen, die den bestimmten Türklingeln entsprechen. The comparison 1300 of the prototype of the feature vector of the target signal with the stored image function can take place, for example, using methods from the learning vector quantization - if the distance between the current feature vector B and the stored prototype of the feature vector of the target signal B 'is small enough, it is it is assumed that the specific acoustic information and / or warning signal W is present. In the event that, for example, a doorbell of a certain door is to be monitored, a check is made as to whether there are noises that correspond to the certain doorbells.
Sofern der Abgleich 1300 positiv ist, also der aktuelle Merkmalsvektor mit dem gespeicher- ten Prototyp des Merkmalsvektors des Zielsignals übereinstimmt, wird eine Information an das Endgerät 400 versandt, bspw. direkt über eine Sendeeinheit 130 der Vorrichtung oder indirekt über die Sendeeinheit 130 der Vorrichtung und eine Cloud 500 bzw. einem Server, der die versandte Information zwischenspeichert und/oder ggf. auswertet. If the comparison 1300 is positive, i.e. the current feature vector matches the stored prototype of the feature vector of the target signal, information is sent to the terminal 400, for example directly via a transmission unit 130 of the device or indirectly via the transmission unit 130 of the device and a cloud 500 or a server that temporarily stores and / or evaluates the information sent.
Die Übertragung bzw. das Senden der abstrahierten Information G von der Sendeeinheit 130 zu dem, insbesondere mobilen, Endgerät 400, kann direkt, bspw. über eine Funkver- bindung, oder indirekt, bspw. über eine Cloud 500, erfolgen. Abschließend wird auf dem Endgerät 400 ein visuelles Signal 410 erzeugt. The abstracted information G can be transmitted or sent from the transmission unit 130 to the, in particular mobile, terminal 400, directly, for example via a radio link, or indirectly, for example via a cloud 500. Finally, a visual signal 410 is generated on the terminal 400.
Die Sendeeinheit 130 kann entweder integraler Bestandteil der Vorrichtung 100 sein, also bspw. als vorstehend oder nachstehend beschriebene Sende- und Empfangseinheit (kurz: SEE) ausgebildet sein oder mehrteilig ausgeführt sein, bspw. als integrale Sende- und Empfangseinheit und einem WLAN-Router mit DSL-Modern, also einer zusätzlichen Appa- ratur, welches ein Netzwerk für die Vorrichtung 100 bereitstellt. The transmitting unit 130 can either be an integral part of the device 100, that is to say, for example, as a transmitting and receiving unit (abbreviated to SEE) described above or below, or it can be designed in several parts, for example as an integral transmitting and receiving unit Receiving unit and a WLAN router with DSL modern, that is to say an additional device that provides a network for the device 100.
In einer bevorzugten Ausführungsform ist die Sendeeinheit 130 zudem mittels eines Rück- kanals dazu eingerichtet, Informationen von dem Endgerät zu empfangen, wie bspw. eine Bestätigung BS, dass die abstrahierte Information eingegangen ist. In a preferred embodiment, the transmission unit 130 is also set up by means of a return channel to receive information from the terminal, such as, for example, a confirmation BS that the abstracted information has been received.
Fig. 3 zeigt einen schematischen Ablauf eines Verfahrens zur Erkennung von akustischen Ereignissen. 3 shows a schematic sequence of a method for recognizing acoustic events.
In einem ersten Schritt 1100 wird der Luftschall mittels eines elektroakustischen Wandlers, insbesondere eines Mikrofons, aufgenommen, um ein elektronisches Wandlersignal W zu erhalten. In a first step 1100, the airborne sound is recorded by means of an electroacoustic transducer, in particular a microphone, in order to obtain an electronic transducer signal W.
Anschließend wird in einem zweiten Schritt 1200 das elektronische Wandlersignal mittels einer Transformation, insbesondere einer Fourier-Transformation, bevorzugt einer Kurz- zeit-Fourier-T ransformation, in eine Bildfunktion zerlegt und ein Merkmalsvektor B mit A- Priori-Wissen zum Zielsignal extrahiert. Dieser Merkmalsvektor B wird anschließend in einem dritten Schritt 1300 mit einem ge- speicherten Prototypen der Merkmalsfunktion des Zielsignals B' abgeglichen. Subsequently, in a second step 1200, the electronic transducer signal is broken down into an image function by means of a transformation, in particular a Fourier transformation, preferably a short-term Fourier transformation, and a feature vector B with a priori knowledge is extracted from the target signal. This feature vector B is then compared in a third step 1300 with a stored prototype of the feature function of the target signal B '.
Sofern dieser Abgleich positiv + ist, also wenn der Merkmalsvektor B eine determinierte Maximaldistanz zu dem gespeicherten Prototypen der Merkmalsfunktion des Zielsignals B' aufweist, wird in einem letzten Schritt 1400 eine Information I an ein Endgerät, insbeson- dere an ein mobiles Endgerät, übersandt. If this comparison is positive +, that is, if the feature vector B has a determined maximum distance from the stored prototype of the feature function of the target signal B ', information I is sent to a terminal, in particular to a mobile terminal, in a last step 1400.
Fig. 4 zeigt eine Blockchain(-struktur) 510, wie sie bspw. im vorstehend oder nachstehend beschriebenen Verfahren zur Anwendung kommt. FIG. 4 shows a blockchain (structure) 510, such as is used, for example, in the method described above or below.
Die Peer-to-Peer-Übertragung des Signals erfolgt dabei über eine dezentrale und stetig plausibilisierte Datenbank, also mittels einer dezentralen Struktur. Fig. 5 zeigt eine Holochain(-struktur) 520, wie sie bspw. im vorstehend oder nachstehend beschriebenen Verfahren zur Anwendung kommt. Die Peer-to-Peer-Übertragung des Signals erfolgt dabei über eine verteilte und stetig plau- sibilisierte Datenbank, also mittels einer verteilten Struktur. The peer-to-peer transmission of the signal takes place via a decentralized database that is constantly checked for plausibility, i.e. by means of a decentralized structure. FIG. 5 shows a holochain (structure) 520, such as is used, for example, in the method described above or below. The peer-to-peer transmission of the signal takes place via a distributed database that is constantly checked for plausibility, ie by means of a distributed structure.
Der wesentliche Unterschied zwischen der Blockchain und der Holochain besteht also in der Art und dem Aufbau des Netzwerkes sowie der Form der Authentifizierung. The main difference between the blockchain and the holochain is the type and structure of the network and the form of authentication.
Bezuaszeichenliste Reference list
100 Vorrichtung zur Erkennung von akustischen Ereignissen 100 Device for the detection of acoustic events
110 elektroakustischer Wandler, insbesondere Mikrofon 110 electroacoustic transducer, in particular a microphone
120 Recheneinheit 130 Sendeinheit 120 computing unit 130 sending unit
140 Empfangseinheit 140 receiving unit
150 Speicher 150 memories
145 Rückkanal 145 return channel
200 Türklingel 300 Tür 200 doorbell 300 door
400 mobiles Endgerät 400 mobile device
410 visuelles Signal 410 visual signal
500 Peer-to-Peer-Verbindung / Blockchain / Cloud 500 peer-to-peer connection / blockchain / cloud
510 Blockchain 520 Holochain 510 blockchain 520 holochain
A Antwort des mobilen Endgerätes A response from the mobile device
B aus Bildfunktion erzeugter Merkmalsvektor B feature vector generated from image function
B‘ aus Bildfunktion erzeugter Prototyp des Merkmalsvektors des Zielsignals BS Bestätigung B 'prototype of the feature vector of the target signal generated from the image function BS confirmation
I abstrahierte Information I' gesendete abstrahierte InformationI abstracted information I ' sent abstracted information
R Rückkanal W Warnsignal R return channel W warning signal
W‘ verarbeitetes Warnsignal W ‘processed warning signal

Claims

Ansprüche Expectations
1. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, umfassend: ein elektroakustischen Wandler (110), insbesondere ein Mikrofon, das dazu einge- richtet ist, ein akustisches Ereignis (200), insbesondere ein akustisches Informations- und/oder Warnsignal, über Luftschall zu erkennen, eine Recheneinheit (120), die dazu eingerichtet ist, aus dem akustischen Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, wenigstens eine abs- trahierte Information zu erstellen, welche für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt und eine Sendeeinheit (130), die dazu eingerichtet ist, die wenigstens eine abstrahierte Information an ein Endgerät zu übergeben, insbesondere um auf dem Endgerät das akus- tische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, zu indi- zieren. 1. Device (100) for recognizing acoustic events, in particular acoustic information and / or warning signals, comprising: an electroacoustic transducer (110), in particular a microphone, which is set up to record an acoustic event (200), in particular an acoustic information and / or warning signal, recognizable via airborne sound, a computing unit (120) which is set up to create at least one piece of abstract information from the acoustic event, in particular the acoustic information and / or warning signal, which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or indicates the acoustic event, in particular the acoustic information and / or warning signal, and a transmission unit (130) which is set up to send the at least one to transfer abstracted information to a terminal, in particular to record the acoustic event, in particular the acoustic information, on the terminal ration and / or warning signal.
2. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach Anspruch 1 , wobei die Sendeeinheit (130) ferner dazu eingerichtet ist, die wenigstens eine abstrahierte Information an das Endgerät mittels einer Funkverbindung, die insbesondere über einen Server, eine Cloud, Blockchain oder Holochain geführt wird, zu übergeben, bevorzugt über eine Peer-to-Peer-Verbindung direkt an das Endgerät, insbesondere über eine dezentrale und stetig plausibilisierte Datenbank, bevorzugt Holochain, alternativ über einen Server oder eine Cloud. 2. Device (100) for the detection of acoustic events, in particular acoustic information and / or warning signals, according to claim 1, wherein the transmitting unit (130) is further configured to send the at least one abstracted item of information to the terminal by means of a radio link, which is in particular managed via a server, a cloud, blockchain or Holochain, preferably via a peer-to-peer connection directly to the terminal, in particular via a decentralized and continuously plausible database, preferably Holochain, alternatively via a server or a cloud.
3. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die abstrahierte Information auf dem Endgerät ein eindeutiges akustisches und/oder visuelles Signal (410) erzeugt, welches für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt. 3. Device (100) for the detection of acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, wherein the abstracted information on the terminal generates a clear acoustic and / or visual signal (410) which for the acoustic event, especially the acoustic information and / or warning signal, is indicative or indicates the acoustic event, in particular the acoustic information and / or warning signal.
4. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, ferner umfassend: einen Speicher (150), der dazu eingerichtet ist, akustische Ereignisse, insbesondere akustische Informations- und/oder Warnsignale, zu dokumentieren und/oder, insbesondere hinterlegte, Signalbilder abzuspeichern. 4. Device (100) for the detection of acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, further comprising: a memory (150) which is set up to store acoustic events, in particular acoustic information and / or warning signals to be documented and / or, in particular stored, signal images to be saved.
5. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die Recheneinheit (120) das akustische Ereignis, insbesondere das akustische In- formations- und/oder Warnsignal, mittels einer Fourier-T ransformation zerlegt, insbeson- dere um ein Spektrogramm zu erhalten, um dieses mit einem hinterlegten Signalbild abzu- gleichen. 5. Device (100) for recognizing acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, wherein the computing unit (120) records the acoustic event, in particular the acoustic information and / or warning signal , decomposed by means of a Fourier transformation, in particular to obtain a spectrogram in order to compare it with a stored signal image.
6. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die abstrahierte Information nur erstellt wird, wenn ein bzw. das Spektogramm mit einem bzw. dem hinterlegten Signalbild im Wesentlichen übereinstimmt. 6. Device (100) for the detection of acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, wherein the abstracted information is only created when a or the spectogram with one or the stored signal image essentially matches.
7. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die Recheneinheit (120), insbesondere mittels des Mikrofons, wenigstens dazu ein- gerichtet ist folgende Signale zu erkennen: ein akustisches Signal einer Klingel, insbesondere einer Haustürklingel, ein akustisches Signal eines Rauchmelders und/oder Gaswarngerätes, Ein akustisches Signal eines Durchgangs- bzw. Bewegungsmelders ein akustisches Signal eines persönlichen digitalen Assistenten. 7. Device (100) for recognizing acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, wherein the computing unit (120), in particular by means of the microphone, is at least set up to send the following signals recognize: an acoustic signal from a doorbell, in particular a doorbell, an acoustic signal from a smoke detector and / or gas warning device, An acoustic signal from a passage or motion detector an acoustic signal from a personal digital assistant.
8. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, ferner umfassend: eine Empfangseinheit (140), die dazu eingerichtet ist, ein vom mobilen Endgerät als Antwort auf die abstrahierte Information gesendetes Signal (A) zu empfangen und/oder eine Empfangseinheit (140), die aus einer Nutzerrückmeldung über eine Benutzer- Oberfläche auf einem bzw. dem mobilen Endgerät, insbesondere selbstständig, lernt, ob und/oder wann ein Signal richtig erkannt wurde. 8. The device (100) for the detection of acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, further comprising: a receiving unit (140) which is set up to receive a response from the mobile terminal to receive the abstracted information sent signal (A) and / or a receiving unit (140), which learns from a user feedback via a user interface on a or the mobile terminal, in particular independently, whether and / or when a signal is correctly recognized became.
9. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, ferner umfassend: - einen Rückkanal, der dazu eingerichtet ist, von dem Endgeräte Befehle zu empfan- gen und diese Befehle, insbesondere mittels einer Sprachnachricht, auszuführen. 9. Device (100) for recognizing acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, further comprising: a return channel which is set up to receive commands from the terminal and execute these commands, in particular by means of a voice message.
10. Vorrichtung zur Erkennung von akustischen Ereignissen, insbesondere akustischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei das akustische Ereignis durch eine mechanische und/oder elektrische Vorrichtung erzeugt ist. 10. Device for the detection of acoustic events, in particular acoustic information and / or warning signals, according to one of the preceding claims, wherein the acoustic event is generated by a mechanical and / or electrical device.
11 . Verfahren (1000) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen informations- und/oder Warnsignalen, umfassend die Schritte: 11. Method (1000) for recognizing acoustic events, in particular acoustic information and / or warning signals, comprising the steps:
Aufnehmen (1100) eines Luftschalls mittels eines elektroakustischen Wandlers, ins- besondere Mikrofons, wodurch ein elektronisches Wandlersignai erhalten wird; Zerlegen (1200) des elektronischen Wandlersignals, welches bevorzugt zweidimen- sional, insbesondere mit Zeit und Amplitude aufgeführt ist, mittels einer Transformation, insbesondere einer Fourier-Transformation, bevorzugt einer Kurzzeit-Fourier-T ransfoma- tion, um eine Bildfunktion zu erhalten, insbesondere eine dreidimensionale Funktion, be- vorzugt mit Zeit, Frequenz und Amplitude; Recording (1100) an airborne sound by means of an electroacoustic transducer, in particular a microphone, as a result of which an electronic transducer signal is obtained; Decomposition (1200) of the electronic transducer signal, which is preferably listed two-dimensionally, in particular with time and amplitude, by means of a transformation, in particular a Fourier transformation, preferably a short-term Fourier transformation, in order to obtain an image function, in particular a three-dimensional function, preferably with time, frequency and amplitude;
Abgleichen (1300) der Bildfunktion, insbesondere eines Vektors, mit einer gespei- cherten Bildfunktion, insbesondere eines weiteren Vektors, und Matching (1300) the image function, in particular a vector, with a stored image function, in particular a further vector, and
Versenden (1400) einer Information an ein Endgerät, insbesondere ein mobiles End- gerät, wenn die Bildfunktion eine determinierte Ähnlichkeit zu der gespeicherten Bildfunk- tion aufweist. Sending (1400) information to a terminal, in particular a mobile terminal, if the image function has a certain similarity to the stored image function.
12. Verfahren nach einem der vorstehenden Ansprüche, wobei die gespeicherte Bildfunktion eines der akustischen Signale der nachfolgenden Liste ist, umfassend: ein Türklingeln, - ein Warnsignal eines Rauch- und/oder Gasmelders, ein Informationssignal eines Durchgangs- bzw. Bewegungsmelders. 12. The method according to any one of the preceding claims, wherein the stored image function is one of the acoustic signals of the following list, comprising: a doorbell, - a warning signal of a smoke and / or gas detector, an information signal of a passage or motion detector.
13. Verfahren nach einem der vorstehenden Ansprüche, wobei die gespeicherte Bildfunktion dadurch erzeugt wurde, dass ein akustisches Signal, insbesondere nach Anspruch 12, mittels einer Fourier-Transformation, bevorzugt einer Kurzzeit-Fourier-T ransformation zerlegt wurde. 13. The method according to any one of the preceding claims, wherein the stored image function was generated in that an acoustic signal, in particular according to claim 12, was decomposed by means of a Fourier transformation, preferably a short-term Fourier transformation.
14. Computerprogrammprodukt, insbesondere App, umfassend Befehle, die bei deren Ausführung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tabletcom puter, den Computer dazu veranlassen, ein Verfahren auszuführen, umfassend die Schritte: 14. Computer program product, in particular an app, comprising commands which, when executed by a computer, preferably a mobile phone or a tablet computer, cause the computer to execute a method comprising the steps:
Empfangen einer abstrahierten Information, welche für das akustische Ereignis, ins- besondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, an- zeigt, Receiving abstracted information which is indicative of the acoustic event, in particular the acoustic information and / or warning signal, or that indicates an acoustic event, in particular the acoustic information and / or warning signal,
Abgleichen der abstrahierten Information mit wenigstens einer in einer auf dem Com- puter hinterlegten Information und - Ausgeben eines akustischen und/oder visuellen Signals, welches für das akustischeMatching the abstracted information with at least one item of information stored on the computer and outputting an acoustic and / or visual signal which is for the acoustic
Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warn- signal, anzeigt, wenn der Abgleich der abstrahierten Information mit der auf dem Computer hinterlegten Information positiv ist. Event, in particular the acoustic information and / or warning signal, is indicative or the acoustic event, in particular the acoustic information and / or warning signal, indicates when the comparison of the abstracted information with the information stored on the computer is positive.
15. Computerprogrammprodukt nach Anspruch 14, ferner umfassend weitere Befehle, die bei deren Ausführung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tab- letcomputer, den Computer ferner dazu veranlassen: 15. Computer program product according to claim 14, further comprising further instructions which, when executed by a computer, preferably a mobile phone or a tablet computer, further cause the computer to:
Ausgeben wenigstens eines optischen Signals, welches den Benutzer des Compu- ters dazu auffordert, die abstrahierte Information zu beantworten, bspw. um eine Nach- richte mittels einer Vorrichtung nach einem der vorstehenden Ansprüche abzuspielen oder eine Nachricht zu streamen. Output of at least one optical signal which prompts the user of the computer to answer the abstracted information, for example to play back a message by means of a device according to one of the preceding claims or to stream a message.
EP21725136.2A 2020-05-08 2021-05-10 Apparatus, method and computer program for identifying acoustic events, in particular acoustic information and/or warning signals Pending EP4147456A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020112575.5A DE102020112575A1 (en) 2020-05-08 2020-05-08 Device and method for the detection of acoustic events, in particular acoustic information and / or warning signals
PCT/EP2021/062367 WO2021224508A1 (en) 2020-05-08 2021-05-10 Apparatus, method and computer program for identifying acoustic events, in particular acoustic information and/or warning signals

Publications (1)

Publication Number Publication Date
EP4147456A1 true EP4147456A1 (en) 2023-03-15

Family

ID=75904936

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21725136.2A Pending EP4147456A1 (en) 2020-05-08 2021-05-10 Apparatus, method and computer program for identifying acoustic events, in particular acoustic information and/or warning signals

Country Status (4)

Country Link
US (1) US20230306828A1 (en)
EP (1) EP4147456A1 (en)
DE (1) DE102020112575A1 (en)
WO (1) WO2021224508A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA05003527A (en) 2002-10-02 2005-07-22 Comb Science & Ergineering Inc Method and apparatus for indicating activation of a smoke detector alarm.
KR102436464B1 (en) * 2015-06-05 2022-08-26 삼성전자주식회사 Method for outputting notification information and electronic device thereof
US9747814B2 (en) 2015-10-20 2017-08-29 International Business Machines Corporation General purpose device to assist the hard of hearing
US9940801B2 (en) 2016-04-22 2018-04-10 Microsoft Technology Licensing, Llc Multi-function per-room automation system

Also Published As

Publication number Publication date
WO2021224508A1 (en) 2021-11-11
US20230306828A1 (en) 2023-09-28
DE102020112575A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN102843543B (en) Video conferencing reminding method, device and video conferencing system
EP2091268B1 (en) Method and device for monitoring a hearing aid
DE102021204829A1 (en) AUTOMATIC CORRECTION OF INCORRECT AUDIO SETTINGS
EP2988105B1 (en) Device and method for the automatic recognition and classification of audible acoustic signals in a monitored area
DE102015203288B3 (en) Method for determining wearer-specific usage data of a hearing aid, method for adjusting hearing aid settings of a hearing aid, hearing aid system and adjustment unit for a hearing aid system
DE102009034444A1 (en) Method for monitoring an environment with multiple acoustic sensors
WO2019211190A1 (en) Method for registering a target device on a network
CN113984197A (en) Noise monitoring management system
EP4147456A1 (en) Apparatus, method and computer program for identifying acoustic events, in particular acoustic information and/or warning signals
CN107197404B (en) Automatic sound effect adjusting method and device and recording and broadcasting system
DE102013225031B4 (en) Communication method, and communication system
DE102014217085A1 (en) Hearing aid device and method for operating the hearing aid with a communication device
EP3833052A1 (en) Method for training a hearing situation classifier for a hearing aid
CN111583932A (en) Sound separation method, device and equipment based on human voice model
DE202016008374U1 (en) Emergency management system, client
DE102007031064A1 (en) Emergency device for electro acoustic emergency warning system, has microphone mounted in loudspeakers to measure acoustic pressure of individual loudspeakers, where loud speaker operating analog signal is compared with radiated signal
CN114928806A (en) Audio real-time monitoring replacement method, device and equipment for microphone system
DE202008017602U1 (en) control system
CN109064709A (en) A kind of campus speech recognition alarm is sought help terminal and alarm method
WO2021048300A1 (en) Method for operating a functionally secure audio output system
DE102013207080B4 (en) Binaural microphone adaptation using your own voice
CN111583953A (en) Voiceprint feature-based voice separation method, device and equipment
CN111312260A (en) Human voice separation method, device and equipment
CN104867359B (en) Audio processing method and system in live/recorded broadcasting system
DE102015100313B3 (en) Arrangement and method for the wireless connection of devices

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)