DE102015012619A1 - Vorrichtung zur Erkennung und Übersetzung von Sprachsignalen - Google Patents

Vorrichtung zur Erkennung und Übersetzung von Sprachsignalen Download PDF

Info

Publication number
DE102015012619A1
DE102015012619A1 DE102015012619.9A DE102015012619A DE102015012619A1 DE 102015012619 A1 DE102015012619 A1 DE 102015012619A1 DE 102015012619 A DE102015012619 A DE 102015012619A DE 102015012619 A1 DE102015012619 A1 DE 102015012619A1
Authority
DE
Germany
Prior art keywords
speech
vibrators
speech signals
control unit
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015012619.9A
Other languages
English (en)
Inventor
Anmelder Gleich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102015012619.9A priority Critical patent/DE102015012619A1/de
Publication of DE102015012619A1 publication Critical patent/DE102015012619A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • A61F11/045Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense using mechanical stimulation of nerves
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16Transforming into a non-visible representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/023Transducers incorporated in garment, rucksacks or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Physiology (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Machine Translation (AREA)

Abstract

Es wird eine Vorrichtung zur Erfassung und Übersetzung von Sprachsignalen, bestehend aus – einem Empfangsmittel (2), insbesondere ein oder mehrere Mikrofone, – Vibratoren (3), vorzugsweise 4 bis 10 Vibratoren – einer Regel/Steuereinheit (4) offenbart, wobei die Empfangsmittel (2) Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit (4) weiterleiten und dass die Regel/Steuereinheit (4) Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren (3) derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren (3) wiedergegeben werden, um das Sprachsignal zu übersetzen.

Description

  • Die Erfindung betrifft eine Sprachübersetzungsvorrichtung gemäß dem Oberbegriff des Anspruchs 1, eine Verwendung einer Sprachübersetzung nach Anspruch 13 und ein Verfahren zur Sprachübersetzung gemäß dem Oberbegriff des Anspruchs 16.
  • Technisches Gebiet
  • Hörvorrichtungen für hörbehinderte Menschen übermitteln Sprachsignale mit einem analogen oder digitalen Verstärker. Die Hörvorrichtung arbeitet im Prinzip wie ein Lautsprecher, der die Sprachsignale über einen Schlauch bzw. Röhrchen an das Ohr übermittelt. Die Sprachsignale werden über ein Mikrofon empfangen. Solche Hörvorrichtungen werden direkt im Ohr getragen, können aber auch außerhalb des Ohres getragen werden. Der Trend dieser Hörvorrichtungen geht in die Richtung dass diese stetig verkleinert werden und nicht mehr sichtbar sind.
  • Stand der Technik
  • Hörvorrichtungen wie Hörgeräte sind aus dem Stand der Technik hinreichend bekannt. Es ist zudem bekannt, dass Sprachsignale auf einen Bildschirm dargestellt werden können.
  • Aus der EP 1457181 B1 wird eine Audioinformationsübertragung an einen menschlichen Körper beschrieben, bei dem Audioinformationen mit einer Fourier-Transformation analysiert werden. In Abhängigkeit davon erzeugen Vibratoren eine gepulste Vibration. Eine Unterscheidung der Lautstärke des Audiosignals oder eine Erkennung aus welcher Richtung das Audiosignal stammt wird nicht offenbart. Durch die zwischengeschaltete Worterkennung kann kein verzögerungsfreies Übertragen der Audioinformation erfolgen.
  • Die vorliegende Erfindung stellt daher eine Schaltung und ein Verfahren bereit, die dieser Situation Rechnung trägt und eine Differenzierung der Lautstärke und Erkennung der Richtung aus der die Sprachsignale bzw. Geräuschquelle stammt, verzögerungsfrei ermöglicht.
  • Darstellung der Erfindung
  • Es ist die Aufgabe der vorliegenden Erfindung, eine gegenüber dem Stand der Technik verbesserte Sprachübersetzungsvorrichtung, eine Verwendung einer Sprachübersetzungsvorrichtung und ein Verfahren zur Sprachübersetzung bereitzustellen, welche auf einfache Art und Weise eine Erfassung von Sprachsignalen und Umsetzung in Vibrationen, insbesondere für Gehörlose bzw. gehörbehinderte Menschen, bewirkt. Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst. Die abhängigen Ansprüche bilden den zentralen Gedanken der Erfindung in besonders vorteilhafter Weise weiter.
  • Gemäß einem ersten Aspekt der Erfindung kann eine Vorrichtung zur Erfassung und Übersetzung von Sprachsignalen aus
    • – einem Empfangsmittel, insbesondere einem oder mehreren Mikrofonen,
    • – Vibratoren, vorzugsweise 4 bis 10 Vibratoren
    • – einer Regel/Steuereinheit bestehen, wobei
    die Empfangsmittel Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit weiterleiten, die Regel/Steuereinheit Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren wiedergegeben werden, um das Sprachsignal zu übersetzen.
  • Die Spracheigenschaften von Vokalen und Konsonanten der Sprachsignale können unterschieden werden.
  • Die Sprachsignale können verschiedene Spracheigenschaften aufweisen, die mit den Empfangsmitteln erfasst und mit der Regel/Steuereinheit mittels Spracherkennungsalgorithmen ermittelt werden können.
  • Es können die Anzahl der Nulldurchgänge und/oder die Formanten und/oder die Kurzzeitenergie und/oder die Frequenzverhältnisse der Formanten und/oder die Energiedichte der Formanten und/oder die Steigung der Energiedichte über die Frequenz und/oder die Grundfrequenz als Spracheigenschaften der Sprachsignale ermittelt werden.
  • Die Spracheigenschaften können in Echtzeit über die Vibratoren ausgegeben werden.
  • Die Vibratoren können die Spracheigenschaften codiert mittels Vibrationen an einen Benutzer ausgeben.
  • Die Empfangsmittel und die Vibratoren können an einer Befestigungsvorrichtung angebracht werden, insbesondere einer am Körper tragbaren Befestigungsvorrichtung.
  • Die Empfangsmittel können die Richtung der Geräuschquelle aus der die Sprachsignale oder Geräusche stammen ermitteln.
  • Die Richtung der Sprachsignale oder Geräusche kann mit mindestens zwei Mikrofonen durch Ermittlung der Laufzeitunterschiede des Sprachsignals und/oder Ermittlung des Phasenunterschieds des Sprachsignals ermittelt werden.
  • Die Geschwindigkeit der Geräuschquelle kann mit mindestens einem Mikrofon durch Ermittlung der Frequenzverschiebung durch den Dopplereffekt zwischen einem reflektierten und dem direkt auf die Mikrofone auftreffenden Signal ermittelt werden.
  • Die Richtung der Geräuschquelle des Sprachsignals und/oder des Geräusches kann durch Aktivierung unterschiedlicher Vibratoren gekennzeichnet werden.
  • Die Geschwindigkeit des Sprachsignals und/oder des Geräusches kann durch Aktivierung unterschiedlicher Vibratoren und/oder durch die Frequenz und/oder die Stärke der Vibration eines Vibrators gekennzeichnet werden.
  • Des Weiteren wird eine Verwendung von Vibratoren, vorzugsweise 4 bis 10 Vibratoren, zur Übersetzung von Sprachsignalen,
    wobei Empfangsmittel, insbesondere ein oder mehrere Mikrofone, Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit weiterleiten, und dass die Regel/Steuereinheit Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren wiedergegeben werden, um das Sprachsignal zu übersetzen, offenbart.
  • Die Verwendung von Vibratoren zur Übersetzung von Sprachsignalen soll Gehörlosen, insbesondere gehörlosen Kindern das Erlernen von Sprache ermöglichen bzw. erleichtern.
  • Die Verwendung von Vibratoren kann die Spracheigenschaften in Echtzeit über die Vibratoren ausgeben.
  • Des Weiteren wird ein Verfahren zur Erkennung und Übersetzung von Sprachsignalen, mit einem Empfangsmittel, insbesondere einem oder mehreren Mikrofonen, Vibratoren, vorzugsweise 4 bis 10 Vibratoren
    einer Regel/Steuereinheit
    wobei
    die Empfangsmittel Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit weiterleiten, die Regel/Steuereinheit Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren wiedergegeben werden, um das Sprachsignal zu übersetzen, offenbart.
  • Die Erfindung wird nunmehr auch mit Bezug auf die Figuren beschrieben. Dabei zeigen:
  • 1 schematisch eine Systemübersicht der Sprachübersetzungsvorrichtung,
  • 2 schematisch einen Ablauf der Sprachübersetzung,
  • 3 ein Sprachsignal im Zeitbereich,
  • 4 die Formanten eines Sprachsignals im Zeitbereich,
  • 5 die Grundfrequenz eines Sprachsignals im Zeitbereich,
  • 6 das Formantenverhältnis eines Sprachsignals im Zeitbereich,
  • 7 die Nulldurchgänge eines Sprachsignals im Zeitbereich,
  • 8 die mittlere Steigung eines Sprachsignals im Zeitbereich,
  • 9 die Kurzzeitenergie eines Sprachsignals im Zeitbereich,
  • 10 die mittlere Frequenz eines Sprachsignals im Zeitbereich,
  • 11 die Formanten Frequenzen F1 und F2 der unterschiedlichen Vokale A, E, I, O, U,
  • 12 schematisch einen Ablauf der Signalverarbeitung mit Sprachübersetzung und Richtungserkennung,
  • 13 schematisch eine Darstellung der Geschwindigkeitserkennung.
  • 1 zeigt beispielhaft einen ersten Aspekt der Erfindung, bei der eine Vorrichtung zur Erfassung und Übersetzung von Sprachsignalen, bestehend aus
    • – einem Empfangsmittel 2, insbesondere einem oder mehreren Mikrofonen,
    • – Vibratoren 3, vorzugsweise 4 bis 10 Vibratoren
    • – einer Regel/Steuereinheit 4,
    wobei die Empfangsmittel 2 Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit 4 weiterleiten, die Regel/Steuereinheit 4 Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren 3 derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren 3 wiedergegeben werden, um das Sprachsignal zu übersetzen, offenbart.
  • Im Folgenden wird ausgeführt wie die Spracheigenschaften von Vokalen und Konsonanten der Sprachsignale unterschieden werden können.
  • Die Sprachsignale können verschiedene Spracheigenschaften aufweisen, die mit den Empfangsmitteln 2 erfasst und mit der Regel/Steuereinheit 4 mit Hilfe von Spracheigenschaftenerkennungsalgorithmen ermittelt werden können.
  • Als Spracheigenschaftenerkennungsalgorithmen können bekannte Methoden wie z. B. Zählen der Nulldurchgänge, Berechnen der Kurzzeitenergie, die lineare Vorhersage zur Berechnung der Formanten oder die Pitch-Erkennung zur Berechnung der Grundfrequenz angewendet werden.
  • 2 zeigt schematisch einen Ablauf einer Sprachübersetzungsvorrichtung. In einem ersten Schritt S1 werden die Sprachsignale über die Empfangsmittel 2 empfangen. Im zweiten Schritt S2 werden die verschiedenen Spracheigenschaften, durch Anwendung von Spracheigenschaftserkennungsalgorithmen, aus dem Sprachsignal erkannt. Dabei kann in einem Schritt S3 durch Anwendung von Spracherkennungsalgorithmen ein Sprachsignal von einem sonstigen Geräusch unterschieden werden. Im Schritt S4 werden die Vibratoren 3 entsprechend der erkannten Spracheigenschaften von der Regel/Steuereinheit 4 angesteuert. Im Schritt S5 geben die Vibratoren 3 gemäß ihrer Ansteuerung die Spracheigenschaften des Sprachsignals wieder.
  • Als Spracheigenschaften der Sprachsignale können die Anzahl der Nulldurchgänge und/oder die Formanten und/oder die Kurzzeitenergie und/oder die Frequenzverhältnisse der Formanten und/oder die Energiedichte der Formanten und/oder die Steigung der Energiedichte über die Frequenz und/oder die Grundfrequenz, auch Pitch genannt, ermittelt werden. Um ein direktes Feedback auf die selbst gesprochenen Worte zu ermöglichen, können die Spracheigenschaften ohne Verzögerung in Echtzeit über Vibratoren 3 ausgegeben werden. Dabei können Frequenz und Stärke der Vibration gezielt unterschiedliche Spracheigenschaften z. B. Anzahl der Nulldurchgänge und/oder die Formanten und/oder die Kurzzeitenergie und/oder die Frequenzverhältnisse der Formanten und/oder die Energiedichte der Formanten und/oder die Steigung der Energiedichte über die Frequenz und/oder die Grundfrequenz übertragen.
  • Alternativ können die Vibratoren 3 die Spracheigenschaften codiert mittels Vibrationen an einen Benutzer 5 ausgeben. Dabei können bekannte Codierungen wie beispielsweise Morse Code, angewendet werden. Zusätzlich kann eine Kombination von codierten und nicht codierten Vibrationen erfolgen, indem Wörter codiert und Eigenschaften uncodiert wiedergegeben werden.
  • Die Empfangsmittel 2 und die Vibratoren 3 können an einer Befestigungsvorrichtung angebracht werden, insbesondere einer am Körper tragbaren Befestigungsvorrichtung. Die Befestigungsvorrichtung kann eine mechanische Befestigung sein, welche am Körper mittels Klettverschluss oder einem Druckknopf oder einem dehnbaren Gummiband oder in einer Brille integriert, angebracht werden kann. Alternativ können die Empfangsmittel 2 und die Vibratoren 3 direkt im Ohr angebracht oder eingepflanzt werden.
  • Die Empfangsmittel 2 können die Richtung der Geräuschquelle ermitteln. Dies geschieht, indem mit Hilfe von mindestens zwei Mikrofonen die Laufzeitunterschiede des Sprachsignals und/oder oder der Phasenunterschieds des Sprachsignals ermittelt werden.
  • Die Empfangsmittel 2 können die Geschwindigkeit der Geräuschquelle ermitteln. Dies geschieht, indem mit Hilfe von mindestens einem Mikrofon durch Ermittlung der Frequenzverschiebung durch den Dopplereffekt zwischen einem reflektierten und dem direkt auf die Mikrofone auftreffenden Signal.
  • In einer weiteren Ausführung kann der Benutzer 5 die Regel/Steuereinheit 4 konfigurieren. Dabei kann eine reine Sprachübersetzungsfunktion aktiviert werden, bei der die Vibratoren 3 ausschließlich die Spracheigenschaften der Sprachsignale wiedergeben oder eine reine Richtungsanzeigefunktion aktiviert werden, bei der die Vibratoren ausschließlich die Richtung eines Sprachsignals oder eines Geräusches wiedergeben. Die Konfiguration kann z. B. mittels Smartphone oder mit einer sonstigen Programmierumgebung erfolgen. Die Richtung und/oder Geschwindigkeit der Geräuschquelle des Sprachsignals oder des Geräusches können durch Aktivierung unterschiedlicher Vibratoren 3 und/oder Frequenz und/oder Stärke der Vibration von mindestens einem Vibrator aus den Vibratoren 3 gekennzeichnet werden. Dabei können die Vibratoren 3 auf der linken Seite von der Regel/Steuereinheit 4 angesteuert werden, wenn das Geräusch von der linken Seite erfolgt und die Vibratoren 3 auf der rechten Seite wenn das Geräusch von der rechten Seite erfolgt.
  • Alternativ kann auch die Lautstärke des Sprachsignals oder des Geräusches durch entsprechend starke oder schwache Vibrationen der Vibratoren 3 angezeigt werden. So kann ein lautes Geräusch oder lautes Sprachsignal durch starke Vibrationen und ein leises Geräusch oder leises Sprachsignal durch schwache Vibrationen angezeigt werden.
  • Der Ablauf der Sprachübersetzungsvorrichtung wird an einem Beispiel mit dem Wort „Licht” und den 3 bis 9 genauer beschrieben.
  • 3 zeigt das Wort „Licht” im Zeitbereich, welches mit einem Empfangsmittel 2, insbesondere einem Mikrofon, aufgenommen werden kann. Die Spracheigenschaften können aus dem Sprachsignal aus 3 erkannt werden. Konsonanten (K1, K2, K3) zeigen eine kleinere Amplitude als Vokale (V).
  • 4 zeigt die Formanten des Wortes „Licht”, welche die Resonanzen von den Stimmbändern bis zu den Lippen sind. In der Abbildung sind die 3 Formanten mit den niedrigsten Frequenzen dargestellt.
  • 5 zeigt die Grundfrequenz des Sprachsignals, welche mit einer linearen Vorhersage berechnet werden kann. Selbstlaute weisen kleine Grundfrequenzen und Mitlaute weisen eine große Grundfrequenz auf.
  • 6 zeigt das Formantenverhältnis (Verhältnis von Formant 1 zu Formant 2). Dabei findet man beim Übergang von einem Selbstlaut auf einen Mitlaut ein steigendes Formantenverhältnis und beim Übergang von einem Mitlaut auf einen Selbstlaut ein fallendes Formantenverhältnis vor. Dabei ist die Steigung des Formantenverhältnisses je nach Selbst- oder Mitlaut unterschiedlich groß.
  • 7 zeigt die Anzahl der Nulldurchgänge von einem Sprachsignal, welches jeweils in kurze Segmente (10–20 ms) unterteilt werden kann. Bei einem Selbstlaut ist die Anzahl der Nulldurchgänge geringer als bei einem Mitlaut.
  • 8 zeigt die mittlere Steigung des Sprachsignals über die Frequenz. Es wird die Steigung der Amplitude im Frequenzraum ausgewertet. Bei Selbstlauten gibt es viele niedrige Frequenzen, die in Richtung auf die hohen Frequenzen schnell abfallen, bei Mitlauten eher hohe Frequenzen welche langsamer abfallen.
  • 9 zeigt die Kurzzeitenergie eines Sprachsignals. Bei Selbstlauten ist die Kurzzeitenergie hoch, bei Mitlauten niedrig. Die Kurzzeitenergie ist das Quadrat der Amplitude des Sprachsignals integriert über eine kurze Zeitperiode (10–20 ms).
  • 10 zeigt die mittlere Frequenz, bei der die Konsonanten und Vokale mittels der Regel/Steuereinheit 4 unterschieden werden können. Konsonanten (K1, K2, K3) zeigen eine wesentlich höhere mittlere Frequenz als Vokale (V). Zusätzlich können die verschiedenen Konsonanten unterschieden werden. Dabei wird die Höhe der Frequenz ausgewertet, um auf den Konsonant zu schließen. So ist beispielsweise beim plosiven stimmlosen Konsonant /t/ (laut internationalem phonetischen Alphabet) die mittlere Frequenz höher als beim plosiven stimmlosen Konsonant /s/ (laut internationalem phonetischen Alphabet).
  • Die unterschiedlichen Laute werden durch den Vokaltrakt definiert. Wenn dabei die Stimmbänder vibrieren nennt man das stimmhaft, ansonsten stimmlos. Stimmhaft werden im Deutschen Vokale, Sonanten und einige Gleitlaute gebildet.
  • Stimmhafte Laute sind periodisch mit der Frequenz F0 welche auch Pitch genannt wird.
  • Es treten auch harmonische Oberwellen auf, deren Größe die unterschiedlichen Laute bestimmt.
  • Dagegen haben stimmlose Laute keine Grundfrequenz durch die Stimmbänder. Sie können als moduliertes Rauschen betrachtet werden. Sie haben in der Regel mehr Nulldurchgänge und weniger Energie als die stimmhaften Laute. Im Gegensatz zu stimmhaften Lauten steigt die Energie in höheren Frequenzen an. Die Modulation des Rauschens durch den Vokaltrakt kann in Eigenschaftsvektoren umgewandelt und mit den Vibratoren an eine Person übermittelt werden.
  • Als Beispiel ist hier das Wort „Licht”, das in Lautschreibweise im internationalen Phonetischen Alphabet: /lIçt/ geschrieben wird, angeführt.
  • /L/ Fließlaut
  • Laut, bei dem die Zunge in Schwingungen versetzt wird. /L/ kann teilweise durch eine höhere Energie als bei anderen Konsonanten detektiert werden. Um einen solchen Laut sicher zu erkennen sind teilweise bis zu 30 Regeln nötig, die eine Person mittels der Vibratoren intuitiv erlernen soll.
  • /I/ Vorderzungenvokal
  • Vokale werden mit offenem Vokaltrakt gesprochen. Der Luftfluss wird dabei von den Stimmbändern pulsartig moduliert.
  • Bei Vokalen ist die Kurzzeitenergie groß und die Anzahl der Nulldurchgänge relativ klein.
  • Die Vokale untereinander können durch die Frequenz der Formanten und dem Verhältnis zwischen ihnen unterschieden werden. Außerdem unterscheidet sich die Kurzzeitenergie verschiedener Vokale. Z. B. hat ein /I/ weniger Kurzzeitenergie als ein /a/
  • Durch die Berechnung der Pitchfrequenz in einem Vokal kann auf die Tonlage des Sprechers und damit Geschlecht und Alter geschlossen werden. Dies kann gegebenenfalls auch Anwendung in tonalen Sprachen finden.
  • /ç/ stimmloser Vordergaumenreibelaut
  • der am vorderen (harten) Gaumen gesprochene Laut ch nach i
  • Bei Konsonanten ist die Kurzzeitenergie kleiner als bei Vokalen, dafür ist die Anzahl der Nulldurchgänge relativ groß.
  • Ein /ç/ hat seinen Hauptanteil im Bereich zwischen 2000 Hz–3000 Hz während z. B. ein /s/ die Energie über 4000 Hz konzentriert.
  • /t/ Plosiver stimmloser Konsonant
  • ein stimmloser, an den Alveolarfortsätzen gebildeter Verschlusslaut. Ein hochfrequenter Stoß wird als /t/ erkannt.
  • 11 zeigt die unterschiedlichen Formantenfrequenzen F1 und F2 der Vokale A, E, I, O, U, welche mittels Vibrationen vom Benutzer erkannt werden.
  • 12 zeigt schematisch einen Ablauf der Signalverarbeitung mit Sprachübersetzung und Richtungserkennung.
  • Im Schritt S6 gibt ein Sprecher ein Sprachsignal aus, welches im Schritt S7 mit einem Empfangsmittel 2 empfangen wird. Im Schritt S8 wird das Sprachsignal als elektrisches analoges Signal an die Regel/Steuereinheit übermittelt und im Schritt S9 mit einem Analog-Digital Wandler in ein digitales Signal umgewandelt. Im Schritt S10 erfolgt eine Filterung des Signals mit einem Digital-Präemphase-Filter. Im Weiteren erfolgt im Schritt S11 eine Berechnung der Spracheigenschaften. Danach erfolgt im Schritt S12 eine Umsetzung der Spracheigenschaften auf ein Vibrationsmuster wie z. B. Stärke oder Frequenz. Die Richtungserkennung im Schritt S13 kann parallel zur Berechnung der Spracheigenschaften erfolgen. Schlussendlich werden die Vibratoren anhand eines Merkmalsmusters und der erkannten Richtung angesteuert.
  • 13 zeigt, wie die Geschwindigkeit einer Geräuschquelle ermittelt werden kann. Die Erkennung nutzt die Unterschiede zwischen den Sprachsignalen oder Geräuschen einer fixen Quelle Q1 und einer sich bewegenden Quelle Q2. Die Frequenzen der Sprachsignale oder Geräusche der fixen Quelle Q1 sind davon unabhängig, ob die Schallwellen F1R reflektiert oder die Schallwellen F1D direkt zum Anwender U kommen. Die reflektierten Schallwellen müssen einen längeren Weg zurücklegen und können durch den dadurch resultierenden Zeitunterschied von den direkten Schallwellen unterschieden werden. Die Frequenzen der Sprachsignale oder Geräusche der sich bewegenden Quelle Q2 sind davon abhängig, ob die Schallwellen F2R reflektiert oder die Schallwellen F2D direkt zum Anwender U kommen. Der Frequenzunterschied durch den Dopplereffekt zwischen F2D und F2R kann zur Abschätzung der Geschwindigkeit verwendet werden. Die Richtungsinformation kann zusätzlich verwendet werden um die Stärke des Dopplereffekts auf die reflektierten Schallwellen zu ermitteln. Damit kann trotz des Unterschieds zwischen den Reflexionen F2R an der Wand W1 und F2R2 an der Wand W2, die Geschwindigkeit der sich bewegenden Quelle genau ermittelt werden.
  • Des Weiteren wird eine Verwendung von Vibratoren 3, vorzugsweise 4 bis 10 Vibratoren, zur Übersetzung von Sprachsignalen,
    wobei Empfangsmittel 2, insbesondere ein oder mehrere Mikrofone, Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit 4 weiterleiten, die Regel/Steuereinheit 4 Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren 3 derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren 3 wiedergegeben werden, um das Sprachsignal zu übersetzen, offenbart. Beim Erlernen von Sprache sind Gehörlose bislang auf einen Trainer angewiesen. Die neue direkte Rückmeldung der selbst gesprochenen Worte bei Verwendung von Vibratoren 3 zur Übersetzung von Sprachsignalen hilft damit Gehörlosen, insbesondere gehörlosen Kindern beim Erlernen von Sprache.
  • Die Verwendung von Vibratoren 3 zur Übersetzung von Sprachsignalen bei der die Spracheigenschaften in Echtzeit über die Vibratoren 3 ausgegeben werden können hilft bei einem direkten Feedback.
  • Des Weiteren wird ein Verfahren, zur Erkennung und Übersetzung von Sprachsignalen, mit einem Empfangsmittel 2, insbesondere einem oder mehreren Mikrofonen, Vibratoren 3, vorzugsweise 4 bis 10 Vibratoren,
    einer Regel/Steuereinheit 4
    wobei die Empfangsmittel 2 Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit 4 weiterleiten, die Regel/Steuereinheit 4 Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren 3 derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren 3 wiedergegeben werden, um das Sprachsignal zu übersetzen offenbart.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 1457181 B1 [0004]

Claims (16)

  1. Vorrichtung zur Erfassung und Übersetzung von Sprachsignalen, bestehend aus – einem Empfangsmittel (2), insbesondere einem oder mehreren Mikrofonen, – Vibratoren (3), vorzugsweise 4 bis 10 Vibratoren – einer Regel/Steuereinheit (4) dadurch gekennzeichnet, dass die Empfangsmittel (2) Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit (4) weiterleiten, die Regel/Steuereinheit (4) Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren (3) derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren (3) wiedergegeben werden, um das Sprachsignal zu übersetzen.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Spracheigenschaften von Vokalen und Konsonanten der Sprachsignale unterscheidbar sind.
  3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Sprachsignale verschiedene Spracheigenschaften aufweisen, die mit den Empfangsmitteln (2) erfasst werden und mit der Regel/Steuereinheit (4) mittels Spracherkennungsalgorithmen ermittelt werden.
  4. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass als Spracheigenschaften der Sprachsignale die Anzahl der Nulldurchgänge und/oder die Formanten und/oder die Kurzzeitenergie und/oder die Frequenzverhältnisse der Formanten und/oder die Energiedichte der Formanten und/oder die Steigung der Energiedichte über die Frequenz und/oder die Grundfrequenz ermittelt werden.
  5. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Spracheigenschaften in Echtzeit über die Vibratoren (3) ausgegeben werden.
  6. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Vibratoren (3) die Spracheigenschaften codiert mittels Frequenz und/oder Stärke der Vibrationen an einen Benutzer (5) ausgeben.
  7. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Empfangsmittel (2) und die Vibratoren (3) an einer Befestigungsvorrichtung angebracht werden, insbesondere einer am Körper tragbaren Befestigungsvorrichtung.
  8. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Empfangsmittel (2) die Richtung der Geräuschquelle, aus der die Sprachsignale oder Geräusche stammen, ermittelt.
  9. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Richtung der Sprachsignale oder Geräusche mit mindestens zwei Mikrofonen durch die Laufzeitunterschiede und/oder Phasenverschiebung des Sprachsignals ermittelt wird.
  10. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Geschwindigkeit der Geräuschquelle des Sprachsignals oder des Geräusches mit mindestens einem Mikrofon durch Ermittlung der Frequenzverschiebung durch den Dopplereffekt zwischen einem reflektierten und dem direkt auf die Mikrofone auftreffenden Signal ermittelt wird.
  11. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Richtung und/oder Geschwindigkeit der Geräuschquelle des Sprachsignals oder des Geräusches durch Aktivierung unterschiedlicher Vibratoren (3) gekennzeichnet wird.
  12. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Richtung und/oder Geschwindigkeit der Geräuschquelle des Sprachsignals oder des Geräusches durch Stärke und/oder Frequenz mindestens eines Vibrators gekennzeichnet wird.
  13. Verwendung von Vibratoren (3) vorzugsweise 4 bis 10 Vibratoren, zur Übersetzung von Sprachsignalen, wobei Empfangsmittel (2), insbesondere ein oder mehrere Mikrofone, Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit (4) weiterleiten, die Regel/Steuereinheit (4) Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren (3) derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren (3) wiedergegeben werden, um das Sprachsignal zu übersetzen.
  14. Verwendung von Vibratoren (3) zur Übersetzung von Sprachsignalen nach Anspruch 13 dadurch gekennzeichnet, dass damit Gehörlosen, insbesondere gehörlosen Kindern das Erlernen von Sprache ermöglicht wird.
  15. Verwendung von Vibratoren (3) zur Übersetzung von Sprachsignalen nach Anspruch 13 dadurch gekennzeichnet, dass die Spracheigenschaften in Echtzeit über die Vibratoren (3) ausgegeben werden.
  16. Verfahren, zur Erkennung und Übersetzung von Sprachsignalen mit einem Empfangsmittel (2), insbesondere einem oder mehreren Mikrofonen, Vibratoren (3), vorzugsweise 4 bis 10 Vibratoren, einer Regel/Steuereinheit (4) dadurch gekennzeichnet, dass die Empfangsmittel (2) Sprachsignale erfassen, diese Sprachsignale an die Regel/Steuereinheit (4) weiterleiten und dass die Regel/Steuereinheit (4) Spracheigenschaften der Sprachsignale ermittelt und die Vibratoren (3) derartig ansteuert, dass die Spracheigenschaften der Sprachsignale über die Vibratoren (3) wiedergegeben werden, um das Sprachsignal zu übersetzen.
DE102015012619.9A 2015-09-29 2015-09-29 Vorrichtung zur Erkennung und Übersetzung von Sprachsignalen Withdrawn DE102015012619A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015012619.9A DE102015012619A1 (de) 2015-09-29 2015-09-29 Vorrichtung zur Erkennung und Übersetzung von Sprachsignalen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015012619.9A DE102015012619A1 (de) 2015-09-29 2015-09-29 Vorrichtung zur Erkennung und Übersetzung von Sprachsignalen

Publications (1)

Publication Number Publication Date
DE102015012619A1 true DE102015012619A1 (de) 2017-03-30

Family

ID=58281668

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015012619.9A Withdrawn DE102015012619A1 (de) 2015-09-29 2015-09-29 Vorrichtung zur Erkennung und Übersetzung von Sprachsignalen

Country Status (1)

Country Link
DE (1) DE102015012619A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0054078A1 (de) 1980-12-11 1982-06-23 Scott Instruments Company Tasthilfe für den Sprachempfang
EP1457181B1 (de) 2003-03-11 2007-12-26 National Institute of Advanced Industrial Science and Technology Audioinformationsübertragungsvorrichtung und zugehöriges Verfahren

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0054078A1 (de) 1980-12-11 1982-06-23 Scott Instruments Company Tasthilfe für den Sprachempfang
EP1457181B1 (de) 2003-03-11 2007-12-26 National Institute of Advanced Industrial Science and Technology Audioinformationsübertragungsvorrichtung und zugehöriges Verfahren

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOHRU IFUKUBE: Discrimination of Synthetic Vowels by Using Tactile Vocoder and a Comparison to that of an Eight-Channel Cochlear Implant, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 36, NO. 11, NOVEMBER 1989, Seiten 1085 bis 1091

Similar Documents

Publication Publication Date Title
DE60101148T2 (de) Vorrichtung und verfahren zur sprachsignalmodifizierung
DE10134908B4 (de) Spracherkennungsvorrichtung und Verfahren, welche zwei gegenteilige Wörter verwenden
EP2364646B1 (de) Hörtestverfahren
EP3074974B1 (de) Hörhilfevorrichtung mit grundfrequenzmodifizierung
DE60302478T2 (de) Vorrichtung und Verfahren zur Sprachinformationserkennung unter Verwendung der Analyse myoelektrischer Signale
DE2736082A1 (de) Elektronisches geraet zur phonetischen synthetisierung menschlicher sprache (sprach-synthesizer)
WO2017157684A1 (de) Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe
EP1058235A2 (de) Wiedergabeverfahren für sprachgesteuerte Systeme mit text-basierter Sprachsynthese
CH709862A1 (de) Hörsystem mit anwenderspezifischer Programmierung.
EP2548382B1 (de) Verfahren zum test des sprachverstehens einer mit einem hörhilfegerät versorgten person
DE102015012619A1 (de) Vorrichtung zur Erkennung und Übersetzung von Sprachsignalen
Guttman et al. An instrument that creates some artificial speech spectra for the severely hard of hearing
EP2380171A2 (de) Verfahren und vorrichtung zum verarbeiten von akustischen sprachsignalen
WO2023016924A1 (de) Verfahren und system zum erzeugen von geräuschen in einem innenraum basierend auf extrahierten und klassifizierten realen geräuschquellen und für spezifische zielgeräusche akustisch transparentes fahrzeug umfassend ein derartiges system
JP2008085520A (ja) 放送装置
DE602004011292T2 (de) Vorrichtung zur Sprachdetektion
DE102016003401A1 (de) Erfassungsvorrichtung und Verfahren zum Erfassen einer Sprachäußerung einer sprechenden Person in einem Kraftfahrzeug
DE112020005717T5 (de) Erkennung von live-sprache
DE102009023924A1 (de) Verfahren und System zur Spracherkennung
DE102011006472B4 (de) Verfahren zur Verbesserung der Sprachverständlichkeit mit einem Hörhilfegerät sowie Hörhilfegerät
DE2304070C3 (de) Sprachübungsgerät für Taube oder Schwerhörige
EP2394271B1 (de) Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx
EP4027333B1 (de) Virtueller sprachassistent mit verbesserter erkennungsgenauigkeit
DE102009018469A1 (de) Verfahren und Vorrichtung zum Verarbeiten von akustischen Sprachsignalen
DE19806927A1 (de) Verfahren und Einrichtung zur Übertragung natürlicher Sprache

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee