DE112018002260T5 - Method and device for detecting articulation, method and system for learning the language category - Google Patents
Method and device for detecting articulation, method and system for learning the language category Download PDFInfo
- Publication number
- DE112018002260T5 DE112018002260T5 DE112018002260.9T DE112018002260T DE112018002260T5 DE 112018002260 T5 DE112018002260 T5 DE 112018002260T5 DE 112018002260 T DE112018002260 T DE 112018002260T DE 112018002260 T5 DE112018002260 T5 DE 112018002260T5
- Authority
- DE
- Germany
- Prior art keywords
- articulation
- tested
- person
- vibration intensity
- accordance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 210000000056 organ Anatomy 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 72
- 238000012360 testing method Methods 0.000 claims description 42
- 230000010355 oscillation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010230 functional analysis Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 235000016838 Pomo dAdamo Nutrition 0.000 description 1
- 244000003138 Pomo dAdamo Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- TZCXTZWJZNENPQ-UHFFFAOYSA-L barium sulfate Chemical compound [Ba+2].[O-]S([O-])(=O)=O TZCXTZWJZNENPQ-UHFFFAOYSA-L 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000188 diaphragm Anatomy 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 210000002023 somite Anatomy 0.000 description 1
- 238000002630 speech therapy Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Die vorliegende Erfindung betrifft das technische Gebiet des Computers und stellt ein Verfahren zum Detektieren der Artikulation, umfassend die folgenden Schritte: Sammeln eines Sprachsignals beim Lesen des spezifizierten Inhalts durch eine zu testende Person, und einer Schwingungsintensität einer äußeren spezifischen Stelle des Artikulationsorgans; Erfassen einer der zu testenden Artikulation in dem spezifizierten Inhalt entsprechenden Schwingungsintensität in Übereinstimmung mit dem Sprachsignal; Beurteilen in Übereinstimmung mit der Beziehung zwischen der Schwingungsintensität der zu testenden Artikulation und einem Schwellenwert, ob die zu zu testende Artikulation korrekt ist. Mit dem Verfahren wird eine nicht eindringendes Artikulationsdetektion realisiert, dabei bestehen eine einfache Bedienung und niedrige Kosten, darüber hinaus ist es für die zu testende Person sicherer und bequemer. Auf dem obigen Verfahren zum Detektieren der Artikulation stellt die vorliegende Erfindung weiterhin eine Artikulationsdetektionsvorrichtung sowie ein Verfahren und System zum Lernen der Sprachkategorie zur Verfügung.The present invention relates to the technical field of the computer and provides a method for detecting the articulation, comprising the following steps: collecting a speech signal when the specified content is read by a person to be tested, and a vibration intensity of an external specific location of the articulation organ; Detecting a vibration intensity corresponding to the articulation to be tested in the specified content in accordance with the speech signal; Judge whether the articulation to be tested is correct in accordance with the relationship between the vibration intensity of the articulation to be tested and a threshold. With the method, a non-intrusive articulation detection is realized, there is simple operation and low costs, and it is also safer and more convenient for the person to be tested. In addition to the above articulation detection method, the present invention provides an articulation detection device and a method and system for learning the language category.
Description
TECHNISCHES GEBIETTECHNICAL AREA
Die vorliegende Erfindung betrifft das technische Gebiet des Computers, insbesondere ein Verfahren und eine Vorrichtung zum Detektieren der Artikulation sowie ein Verfahren und ein System zum Lernen der Sprachkategorie.The present invention relates to the technical field of computers, in particular to a method and a device for detecting the articulation as well as a method and a system for learning the language category.
STAND DER TECHNIKSTATE OF THE ART
Das Erwerben der Phonemskategorie ist ein schwieriges Problem beim der Sprachrehabilitation, beim Erwerb von Zweitsprachen und beim Lernen einer gemeinsamen Sprache der Nationalität durch die Personen, die Dialekte als Mutterspracht haben.Acquiring the phoneme category is a difficult problem in language rehabilitation, the acquisition of second languages and the learning of a common language of nationality by those who have dialects as their mother tongue.
Mit dem Beispiel des Nasenlauts n und des Nebenlauts 1 im Hochchinesisch haben die Personen in großen Regionen in Südchina, die Dialekte als Mutterspracht haben, eine extrem große Schwierigkeit beim Abtrennen der beiden voneinander. Aufgrund dessen kann ein hoher Anwendungswert realisiert werden, eine Methode und ein System zum Erwerben der praktikablen Phonemskategorie zu entwickeln, um den Personen mit Schwierigkeiten beim Unterscheiden der verwechselten Phonemskategorien zu helfen.With the example of the nasal n and the secondary lute 1 in standard Chinese, people in large regions in southern China who have dialects as their mother tongue have an extremely great difficulty in separating the two from each other. Because of this, a high application value can be realized to develop a method and a system for acquiring the practicable phoneme category to help those with difficulty distinguishing the confused phoneme categories.
Zurzeit umfasst das Erwerbstraining der Phonemskategorie hauptsächlich die folgenden Formen: Standardausspracheübungen bei den Sprachtrainingskursen, Einzellauttraining in der Sprachtherapie mittels einer Zungenpressplatte und anderer Werkzeuge, auf einer Artikulationsbewegungsdetektion basiertes Sprachtraining usw. Allerdings sind die Trainingsmaßnahmen üblicherweise kompliziert und weisen eine niedrige Effizienz auf.At present, the phoneme category is mainly trained in the following forms: standard pronunciation exercises in language training courses, one-to-one training in speech therapy using a tongue press and other tools, language training based on articulation movement detection, etc. However, the training measures are usually complicated and have a low efficiency.
Dabei wird das auf einer Artikulationsbewegungsdetektion basierte Sprachtraining als Beispiel genommen, und die grundlegenden Artikulationsbewegungs-Detektionsmaßnahmen sind alles eindringend, genauer gesagt, besteht dabei eine Notwendigkeit, dass ein kleiner Sensor in eine Artikulationsstelle im Inneren des menschlichen Körpers eindringt und die Bewegungen eines Artikulationsorgans erkennt. Das Artikulationstraining unter Verwendung des obigen Verfahrens wird üblicherweise dadurch durchgeführt, dass unter Verwendung eines durch einen Sensor und ein bestimmtes Programm ausgebildeten Systems die Bewegungen eines Artikulationsorgans unmittelbar einem Auszubildenden angezeigt werden, um ein Ziel der visuellen Rückkoppelung zu erreichen.Speech training based on articulation movement detection is taken as an example, and the basic articulation movement detection measures are all penetrating, more precisely, there is a need for a small sensor to penetrate an articulation site inside the human body and detect the movements of an articulation organ. The articulation training using the above method is usually carried out in that, using a system formed by a sensor and a specific program, the movements of an articulation organ are displayed directly to a trainee in order to achieve a goal of visual feedback.
Allerdings haben die eindringende Artikulationsbewegungs-Detektionsmaßnahme und das auf der eindringenden Artikulationsbewegungsdetektion basierte Artikulationstrainingsverfahren zusätzlich zu dem hohen Preis und der umständlichen Bedienung noch die folgenden erheblichem Mängel:
- (1) Die eindringende Artikulationsbewegungs-Detektionsmaßnahme benötigt eine größere Anzahl von fortschrittlichen Sensoren mit kleinerem Volumen zum Detektieren der Bewegungen der Organe, wodurch höhere Kosten vorliegen und eine weit Verbreitung schwer zu erreichen ist,
- (2) Bei der eindringenden Artikulationsbewegungs-Detektionsmaßnahme soll ein Sensor in den Vokaltrakt einer zu testenden Person eingeführt werden, wodurch körperliche Beschwerden verursacht werden können und somit eine gewöhnliche Artikulation beeinträchtigt wird.
- (3) Bei einigen spezifischen Lauten kann eine Detektion aufgrund der Kompliziertheit der Artikulationsbewegung und einer zu tiefen Artikulationsstelle usw. selbst mit einer eindringenden Maßnahme auch nicht realisiert werden.
- (1) The intrusive articulation movement detection measure requires a larger number of advanced sensors with a smaller volume to detect the movements of the organs, which results in higher costs and is difficult to obtain widely,
- (2) In the case of the penetrating articulation movement detection measure, a sensor is to be inserted into the vocal tract of a person to be tested, which can cause physical complaints and thus impair normal articulation.
- (3) With some specific sounds, detection cannot be carried out due to the complexity of the articulation movement and an articulation point that is too deep, etc., even with an intrusive measure.
INHALT DER VORLIEGENDEN ERFINDUNGCONTENT OF THE PRESENT INVENTION
Hinsichtlich der Probleme aus dem Stand der Technik und der Mängel der herkömmlichen Artikulationsbewegungs-Detektionsmaßnahme verwendet die vorliegende Erfindung eine nicht-eindringende Artikulationsdetektionsmaßnahme, um eine Detektion der Bewegungen der Artikulationsorgane und eine Rückkoppelung zu realisieren, wodurch ein guter Trainings-Effekt des Erwerbs der Phonemskategorie unter Bedingung einer einfachen Bedienung und niedriger Kosten erreicht wird.Regarding the problems of the prior art and the shortcomings of the conventional articulation movement detection measure, the present invention uses a non-intrusive articulation detection measure to realize detection of the movements of the articulation organs and feedback, thereby providing a good training effect of acquiring the phoneme category Condition of easy operation and low cost is achieved.
Die vorliegende Erfindung verwendet die folgende technische Lösung: The present invention uses the following technical solution:
Die vorliegende Erfindung stellt ein Verfahren zum Detektieren der Artikulation zur Verfügung, umfassend die folgenden Schritte:
- Sammeln eines Sprachsignals beim Lesen des spezifizierten Inhalts durch eine zu testende Person, und einer Schwingungsintensität einer äußeren spezifischen Stelle des Artikulationsorgans;
- Erfassen einer der zu testenden Artikulation in dem spezifizierten Inhalt entsprechenden Schwingungsintensität in Übereinstimmung mit dem Sprachsignal;
- Beurteilen in Übereinstimmung mit der Beziehung zwischen der Schwingungsintensität der zu testenden Artikulation und einem Schwellenwert, ob die zu zu testende Artikulation korrekt ist.
- Collecting a speech signal when the specified content is read by a person to be tested, and a vibration intensity of an outer specific location of the articulation organ;
- Detecting a vibration intensity corresponding to the articulation to be tested in the specified content in accordance with the speech signal;
- Judge whether the articulation to be tested is correct in accordance with the relationship between the vibration intensity of the articulation to be tested and a threshold.
Bevorzugt umfasst der Schritt zum Erfassen der der zu testenden Artikulation entsprechenden Schwingungsintensität insbesondere Folgendes: Identifizieren der Entstehungszeit der zu testenden Artikulation in Übereinstimmung mit dem Sprachsignal und Erfassen der der Entstehungszeit entsprechenden Schwingungsintensität als die der zu testenden Artikulation entsprechende Schwingungsintensität.The step for detecting the articulation to be tested preferably comprises Corresponding vibration intensity, in particular the following: identification of the time of origin of the articulation to be tested in accordance with the speech signal and detection of the vibration intensity corresponding to the time of origin as the vibration intensity corresponding to the articulation to be tested.
Bevorzugt umfasst der Schritt zum Erfassen des Schwellenwerts Folgendes:
- Sammeln eines Sprachsignals beim Lesen zumindest eines Probeinhalts, der die zu testende Artikulation beinhaltet, durch die zu testende Person und einer Schwingungsintensität eines äußeren spezifischen Stelle des Artikulationsorgans;
- Feststellen einer Schwingungsintensität der durch jede Sorte von den Probeinhalten beinhalteten zu testenden Artikulation in Übereinstimmung mit einem jeder Sorte von den Probeinhalten entsprechenden Sprachsignal;
- Feststellen des Schwellenwerts in Übereinstimmung mit der Schwingungsintensität jeder Sorte von den zu testenden Artikulationen.
- Collecting a speech signal when reading at least a sample content, which contains the articulation to be tested, by the person to be tested and an oscillation intensity of an external specific location of the articulation organ;
- Determining a vibration intensity of the articulation to be tested by each variety of the sample contents in accordance with a speech signal corresponding to each variety of the sample contents;
- Determine the threshold in accordance with the vibration intensity of each variety from the articulations to be tested.
Bevorzugt umfasst die äußeren spezifischen Stellen des Artikulationsorgans die Nasenflügel.The outer specific locations of the articulation organ preferably comprise the nostrils.
Darüber hinaus stellt die vorliegende Erfindung weiterhin eine Artikulationsdetektionsvorrichtung zur Verfügung, dadurch gekennzeichnet, dass die Vorrichtung einen Sensor, einen Signalverstärker, eine Soundkarte, einen Computer und eine Spracheingabeeinrichtung, wobei der Sensor an einer bestimmten Position am Äußeren des Artikulationsorgans einer zu testenden Person anhaften kann, um ein Schwingungssignal beim Lesen eines spezifizierten Inhalts durch die zu testende Person zu messen und dieses an den Signalverstärker auszugeben;
und wobei der Signalverstärker das durch den Sensor ausgegebene Schwingungssignal empfängt, das Schwingungssignal verstärkt und dieses an die Soundkarte ausgibt;
und wobei die Spracheingabeeinrichtung ein Sprachsignal beim Lesen des spezifizierten Inhalts durch die zu testende Person sammelt und dieses an die Soundkarte überträgt;
und wobei die Soundkarte das durch den Signalverstärker übertragene verstärkte Schwingungssignal und das durch die Spracheingabeeinrichtung übertragene Sprachsignal empfängt und für diese eine Umwandlungsverarbeitung durchführt sowie diese an den Computer überträgt;
und wobei der Computer das durch die Soundkarte übertragene umgewandelte verstärkte Schwingungssignal und das Sprachsignal empfängt, in Übereinstimmung mit dem verstärkten Schwingungssignal die entsprechende Schwingungsintensität berechnet, in Übereinstimmung mit dem Sprachsignal eine der zu testenden Artikulation in dem spezifizierten Inhalt entsprechende Schwingungsintensität erfasst und in Übereinstimmung mit der Beziehung zwischen der der zu testenden Artikulation entsprechenden Schwingungsintensität und dem Schwellenwert beurteilt, ob die zu testende Artikulation korrekt ist.Furthermore, the present invention further provides an articulation detection device, characterized in that the device comprises a sensor, a signal amplifier, a sound card, a computer and a voice input device, the sensor being able to adhere to the exterior of the articulation organ of a person to be tested at a specific position to measure a vibration signal upon reading a specified content by the person under test and output it to the signal amplifier;
and wherein the signal amplifier receives the vibration signal output by the sensor, amplifies the vibration signal and outputs it to the sound card;
and wherein the speech input device collects a speech signal upon reading the specified content by the person under test and transmits it to the sound card;
and wherein the sound card receives the amplified vibration signal transmitted by the signal amplifier and the speech signal transmitted by the speech input device, performs conversion processing therefor and transmits them to the computer;
and wherein the computer receives the converted amplified vibration signal and the speech signal transmitted by the sound card, calculates the corresponding vibration intensity in accordance with the amplified vibration signal, detects in accordance with the speech signal a vibration intensity corresponding to the articulation to be tested in the specified content and in accordance with the Relationship between the vibration intensity corresponding to the articulation to be tested and the threshold value judges whether the articulation to be tested is correct.
Bevorzugt umfasst das Verfahren zum Erfassen des Schwellenwerts durch den Computer:
- Sammeln eines Sprachsignals beim Lesen zumindest eines Probeinhalts, der die zu testende Artikulation beinhaltet, durch die zu testende Person und einer Schwingungssignal eines äußeren spezifischen Stelle des Artikulationsorgans;
- Verstärken und Umwandeln des Schwingungssignal durch den Signalverstärker und der Soundkarte und Übertragen dieses an den Computer;
- wobei der Computer in Übereinstimmung mit dem verstärkten Schwingungssignal die entsprechende Schwingungsintensität berechnet, die Schwingungsintensität der durch jede Sorte von den Probeinhalten beinhalteten zu testenden Artikulation in Übereinstimmung mit einem jeder Sorte von den Probeinhalten entsprechenden Sprachsignal feststellt und den Schwellenwert in Übereinstimmung mit der Schwingungsintensität jeder Sorte von den zu testenden Artikulationen feststellt.
- Collecting, by the person to be tested, a speech signal when reading at least a sample content, which contains the articulation to be tested, and a vibration signal from an external specific location of the articulation organ;
- Amplifying and converting the vibration signal by the signal amplifier and the sound card and transmitting it to the computer;
- wherein the computer calculates the corresponding vibration intensity in accordance with the amplified vibration signal, determines the vibration intensity of the articulation to be tested by each variety of the sample contents in accordance with a speech signal corresponding to each variety of the sample contents, and the threshold value in accordance with the vibration intensity of each variety of determines the articulations to be tested.
Bevorzugt umfasst der Computer eine Anzeigeeinheit, um der zu testenden Person den spezifizierten Inhalt oder den Probeinhalt anzuzeigen.The computer preferably comprises a display unit in order to display the specified content or the test content to the person to be tested.
Bevorzugt umfasst die äußeren spezifischen Stellen des Artikulationsorgans die Nasenflügel.The outer specific locations of the articulation organ preferably comprise the nostrils.
Auf dem obigen Verfahren zum Detektieren der Artikulation stellt die vorliegende Erfindung weiterhin ein Verfahren zum Lernen der Sprachkategorie zur Verfügung, umfassend die folgenden Schritte:
- Bereitstellen eines Trainingsplans, welcher mehrere spezifizierte Inhalte umfasst;
- Beurteilen in Übereinstimmung mit dem obigen Verfahren zum Detektieren der Artikulation, ob die zu testende Artikulation der zu testenden Person bezüglich des spezifizierten Inhalts korrekt ist, falls ja, Eintreten ins Training eines nächsten spezifizierten Inhalts; falls falsch, wird ein wiederholtes Training durchgeführt.
- Providing a training plan that includes multiple specified content;
- Judging, in accordance with the above articulation detection method, whether the articulation to be tested of the person under test is correct in terms of the specified content, if so, entering training of a next specified content; if wrong, repeat training will be performed.
Wenn die zu testende Person bezüglich eines selben spezifizierten Inhalts mehr als 3 Male einen Fehler hat, tritt es ins Training eines nächsten spezifizierten Inhalts ein, wobei der Fehler aufgezeichnet wird.If the person under test has an error in the same specified content more than 3 times, he enters training of a next specified content and the error is recorded.
Bevorzugt umfasst das Verfahren weiterhin die Testschritte: Bereitstellen des Testinhalts und Sammeln des Testergebnisses der zu testenden Person. The method preferably further comprises the test steps: providing the test content and collecting the test result of the person to be tested.
Bevorzugt wird ein nächster Trainingsplan für die zu testenden Person in Übereinstimmung mit der Fehleraufzeichnung und dem Testergebnis erstellt.A next training plan is preferably created for the person to be tested in accordance with the fault record and the test result.
Darüber hinaus stellt die vorliegende Erfindung weiterhin ein System zum Lernen der Sprachkategorie zur Verfügung, wobei das System eine Artikulationsdetektionsvorrichtung nach einem der Ansprüche 5 bis 7 umfasst, und wobei in dem Computer ein Trainingsprogramm betrieben ist, welcher ein Trainingsprogramm bereitstellt, und wobei der Trainingsplan mehrere spezifizierte Inhalte umfasst, und wobei es auf der Artikulationsdetektionsvorrichtung basierend beurteilt wird, ob die zu testende Artikulation in dem spezifizierten Inhalt korrekt ist, falls ja, tritt es ins Training eines nächsten spezifizierten Inhalts ein; falls falsch, wird ein wiederholtes Training durchgeführt.Furthermore, the present invention further provides a system for learning the language category, the system comprising an articulation detection device according to one of claims 5 to 7, and in which a training program is operated in the computer, which provides a training program, and wherein the training plan several includes specified content, and it is judged based on the articulation detection device whether the articulation to be tested is correct in the specified content, if so, it enters training of a next specified content; if wrong, repeat training will be performed.
Bevorzugt ist in dem Computer weiterhin ein Testprogramm betrieben, welches einen Testinhalt bereitstellt und ein Testergebnis der zu testenden Person sammelt.A test program is preferably also operated in the computer, which provides test content and collects a test result of the person to be tested.
In der technischen Lösung der vorliegenden Erfindung ist an einer spezifischen Stellen am äußeren Artikulationsorgan des menschlichen Körpers ein Sensor angeordnet, um die Detektionsdaten zu sammeln und es in Kombination mit der Sprachidentifizierung und dem Schwellenwert zu beurteilen, ob die zu testenden Artikulation der zu testenden Person korrekt ist, im Vergleich zum herkömmlichen eindringenden Verfahren können die Kosten gespart, und eine einfache Bedienung wird erreicht, darüber hinaus stammen die Datensammlungsproben beim Einstellen des Schwellenwerts auch von der zu testenden Person, im Vergleich zu den gewöhnlichen Standardproben werden die tatsächlichen Bedürfnissen besser erfüllt, und die Ergebnissen werden genauer.In the technical solution of the present invention, a sensor is arranged at a specific location on the outer articulation organ of the human body in order to collect the detection data and, in combination with the language identification and the threshold value, to judge whether the articulation of the person to be tested is correct is, compared to the conventional intruding method, the cost can be saved, and the operation is easy, and the data collection samples when setting the threshold value also come from the person to be tested, compared to the ordinary standard samples, the actual needs are better met, and the results are more precise.
Figurenlistelist of figures
-
1 zeigt ein Ablaufdiagramm eines Verfahrens zum Detektieren der Artikulation in einer bevorzugten Ausführungsform der vorliegenden Erfindung.1 shows a flow diagram of a method for detecting the articulation in a preferred embodiment of the present invention. -
2 zeigt ein Ablaufdiagramm eines Verfahrens zum Erfassen des Schwellenwerts in dem Verfahren gemäß1 .2 12 shows a flowchart of a method for detecting the threshold value in the method according to FIG1 , -
3 zeigt eine schematische Strukturansicht einer Artikulationsdetektionsvorrichtung in einer bevorzugten Ausführungsform der vorliegenden Erfindung.3 shows a schematic structural view of an articulation detection device in a preferred embodiment of the present invention. -
4 zeigt ein Ablaufdiagramm eines Verfahrens zum Lernen der Sprachkategorie in einer bevorzugten Ausführungsform der vorliegenden Erfindung.4 shows a flowchart of a method for learning the language category in a preferred embodiment of the present invention. -
5 zeigt eine schematische Strukturansicht eines Systems zum Lernen der Sprachkategorie in einer bevorzugten Ausführungsform der vorliegenden Erfindung.5 shows a schematic structural view of a system for learning the language category in a preferred embodiment of the present invention.
AUSFÜHRLICHE BESCHREIBUNGDETAILED DESCRIPTION
Im Zusammenhang mit Figuren und Ausführungsformen wird die vorliegende Erfindung im Folgenden näher erläutert, damit das Ziel, die technischen Lösungen und die Vorteile der vorliegenden Erfindung klarer werden. Es versteht sich, dass die hier geschilderten ausführlichen Ausführungsformen nur zur Erläuterung der vorliegenden Erfindung dient, statt die vorliegende Erfindung zu beschränken.The present invention is explained in more detail below in connection with figures and embodiments, so that the aim, the technical solutions and the advantages of the present invention become clearer. It goes without saying that the detailed embodiments described here serve only to explain the present invention, instead of restricting the present invention.
Siehe
Wie in
S101: Sammeln eines Sprachsignals beim Lesen des spezifizierten Inhalts durch eine zu testende Person, und einer Schwingungsintensität einer äußeren spezifischen Stelle des Artikulationsorgans. Insbesondere wird in dem Detektionsprozess der zu testenden Person ein spezifizierter Inhalt zum Lesen zur Verfügung gestellt, und durch die Spracheingabeeinrichtung wie ein Mikrofon wird ein Sprachsignal, das beim Lesen des spezifizierten Inhalts durch die zu testende Person erzeugt wird, empfangen, zugleich wird ein Schwingungssignal bei der Schallerzeugung dadurch empfangen, dass an einer äußeren spezifischen Stelle des Artikulationsorgans der zu testenden Person ein Schwingungssensor angeordnet ist, und durch die Berechnung wird eine entsprechende Schwingungsintensität festgestellt, dadurch kann es herausgefunden werden, dass das Sprachsignal und die Schwingungsintensität gleichzeitig synchron gesammelt werden, auf diese Weise entspricht das in einer Periode gesammelte Sprachsignal der in der Periode gesammelten Schwingungsintensität.S101: collecting a speech signal when the specified content is read by a person to be tested, and a vibration intensity of an outer specific location of the articulation organ. In particular, in the detection process of the person to be tested, a specified content is made available for reading, and the speech input device, such as a microphone, receives a speech signal which is generated by the person to be tested when the specified content is read, and at the same time an oscillation signal receive the sound generation in that an oscillation sensor is arranged at an outer specific location of the articulation organ of the person to be tested, and a corresponding oscillation intensity is determined by the calculation, whereby it can be found that the speech signal and the oscillation intensity are collected simultaneously in synchronism in this way the speech signal collected in a period corresponds to the vibration intensity collected in the period.
Dabei umfasst der spezifizierte Inhalt eine zu testende Artikulation, beispielweise wenn die zu testende Person den Nasenlaut n erkennt, ist der spezifizierte Inhalt ein Wort oder eine Wortgruppe mit dem ersten konsonantische Anlaut n, und die zu testende Artikulation ist der ersten konsonantische Anlaut n.The specified content includes an articulation to be tested, for example, if the person to be tested recognizes the nasal phrase n, the specified content is a word or phrase with the first consonant initial n, and the articulation to be tested is the first consonant initial n.
Es ist zu beachten, ist die Anzahl der in einem spezifizierten Inhalt beinhalteten zu testenden Artikulationen nicht auf 1 beschränkt, wobei die Anzahl 2 oder mehr als 2 betragen kann.It should be noted, the number of those to be tested contained in a specified content Articulations not limited to 1, the number can be 2 or more than 2.
Die Artikulationsorgane können in drei Teile aufgeteilt werden: eine dynamische Zone einschließlich der Lunge, des Zwerchfells und der Luftröhre; eine Schallquellenzone einschließlich des Stimmbands; eine Abstimmzone einschließlich der Mundhöhle, der Nasenhöhle und der Rachenhöhle; in der Ausführungsform gemäß der vorliegenden Erfindung wird das Artikulationsorgan anhand der detaillierten Artikulationsstelle der zu testenden Artikulation festgestellt, da die technischen Lösungen der vorliegenden Erfindung jeweils nicht eindringend sind, sind die Detektionsstellen äußere spezifische Stellen des entsprechenden Artikulationsorgans, z.B. Nasenflügel, Adamsapfel und andere Hautoberflächen, deshalb wird die zu testende Person sich in dem Detektionsprozess nicht aufgrund der Anordnung des Sensors unwohl fühlt, darüber hinaus ist der Prozess sauber und gesundheitlich.The articulation organs can be divided into three parts: a dynamic zone including the lungs, diaphragm and trachea; a sound source zone including the vocal cord; a tuning zone including the oral cavity, nasal cavity and pharynx; in the embodiment according to the present invention, the articulation organ is determined on the basis of the detailed articulation point of the articulation to be tested, since the technical solutions of the present invention are in each case not intrusive, the detection points are external specific positions of the corresponding articulation organ, e.g. Nose wings, Adam's apple and other skin surfaces, therefore the person to be tested will not feel uncomfortable in the detection process due to the arrangement of the sensor, furthermore the process is clean and healthy.
S102: Erfassen einer der zu testenden Artikulation in dem spezifizierten Inhalt entsprechenden Schwingungsintensität in Übereinstimmung mit dem Sprachsignal.S102: Detect a vibration intensity corresponding to the articulation to be tested in the specified content in accordance with the speech signal.
Insbesondere gesagt, umfasst der Schritt zum Erfassen der der zu testenden Artikulation entsprechenden Schwingungsintensität in Übereinstimmung mit dem Sprachsignal Folgendes: Identifizieren der Entstehungszeit der zu testenden Artikulation in Übereinstimmung mit dem Sprachsignal und Erfassen der der Entstehungszeit entsprechenden Schwingungsintensität als die der zu testenden Artikulation entsprechende Schwingungsintensi tät.In particular, the step of detecting the vibration intensity corresponding to the articulation to be tested in accordance with the speech signal comprises the following: identifying the time of origin of the articulation to be tested in accordance with the speech signal and detecting the vibration intensity corresponding to the time of origin as the vibration intensity corresponding to the articulation to be tested ,
Aus dem obigen Inhalt ist es bekannt, dass das Sprachsignal und die Schwingungsintensität gleichzeitig und synchron gesammelt sind, d.h. entspricht das in einer Periode gesammelte Sprachsignal der in der Periode gesammelten Schwingungsintensität, mit einer Sprachidentifizierungstechnik wird das gesammelte Sprachsignal identifiziert, wodurch die Entstehungszeit der zu testenden Artikulation festgestellt wird, dann wird anhand der Entstehungszeit eine der zu testenden Artikulation entsprechende Schwingungsintensität aus den den spezifizierten Inhalten entsprechenden Schwingungsintensitätsdaten abgefangen, um somit durch den Schritt
S103: Beurteilen in Übereinstimmung mit der Beziehung zwischen der Schwingungsintensität der zu testenden Artikulation und einem Schwellenwert, ob die zu zu testende Artikulation korrekt ist.S103: Judging whether the articulation to be tested is correct in accordance with the relationship between the vibration intensity of the articulation to be tested and a threshold.
Nachdem durch die Schritte
Wie in
S201: Sammeln eines Sprachsignals beim Lesen zumindest eines Probeinhalts, der die zu testende Artikulation beinhaltet, durch die zu testende Person und einer Schwingungsintensität eines äußeren spezifischen Stelle des Artikulationsorgans.S201: collecting a speech signal when reading at least one sample content, which contains the articulation to be tested, by the person to be tested and an oscillation intensity of an external specific location of the articulation organ.
Insbesondere werden in dem Einstellungsprozess des Schwellenwerts der zu testenden Person verschiedene Probeinhalte zum Lesen zur Verfügung gestellt, und durch die Spracheingabeeinrichtung wie ein Mikrofon wird ein Sprachsignal, das beim Lesen der Probe durch die zu testende Person erzeugt wird, empfangen, zugleich wird eine Schwingungsintensität bei der Schallerzeugung dadurch empfangen, dass an einer äußeren spezifischen Stelle des Artikulationsorgans der zu testenden Person ein Schwingungssensor angeordnet ist, dadurch kann es herausgefunden werden, dass das Sprachsignal und die Schwingungsintensität gleichzeitig synchron gesammelt werden, auf diese Weise entspricht das in einer Periode gesammelte Sprachsignal der in der Periode gesammelten Schwingungsintensität.In particular, in the process of setting the threshold value of the person to be tested, various sample contents are made available for reading, and the speech input device, such as a microphone, receives a speech signal that is generated by the person to be tested when the sample is read, and at the same time an oscillation intensity receive the sound generation by the fact that a vibration sensor is arranged at an outer specific point of the articulation organ of the person to be tested, this makes it possible to find out that the speech signal and the vibration intensity are simultaneously collected synchronously, in this way the speech signal collected in one period corresponds to the vibration intensity collected in the period.
Dabei umfasst der Probeinhalt eine Standardartikulation, beispielweise wenn die zu testende Person die Silbe na Detektieren soll, ist der Probeinhalt ein Wort mit dem Inhalt na, und die Standardartikulation ist der erste konsonantische Anlaut n.The sample content includes a standard articulation, for example, if the person to be tested should detect the syllable na, the sample content is a word with the content na, and the standard articulation is the first consonant initial n.
Es ist zu beachten, dass die Standardartikulation anhand der zu testenden Artikulation eingestellt werden, wobei die Standardartikulation gleich wie die zu testende Artikulation sein, während sie auch zum Unterscheiden der verschiedenen Phoneme der zu testenden Artikulation verwendet werden kann, z.B. für eine Regionen aufgrund des Einflusses der Dialekte ist es sehr schwierig, den Nasenlaut n und den Seitenlaut
S202: Feststellen einer Schwingungsintensität des durch jede Sorte von den Probeinhalten beinhalteten Sprachsignals in Übereinstimmung mit einem jeder Sorte von den Probeinhalten entsprechenden Sprachsignal. S202: determining an oscillation intensity of the speech signal included by each variety from the sample contents in accordance with a speech signal corresponding to each variety from the sample contents.
Insbesondere gesagt, umfasst der Schritt zum Feststellen einer der Standardartikulation entsprechenden Schwingungsintensität Folgendes: Identifizieren der Entstehungszeit der Standardartikulation in Übereinstimmung mit dem einem Probeinhalt entsprechenden Sprachsignal und Erfassen der der Entstehungszeit entsprechenden Schwingungsintensität als die der Standardartikulation entsprechende Schwingungsintensität.In particular, the step of determining a vibration intensity corresponding to the standard articulation comprises the following: identifying the time of origin of the standard articulation in accordance with the speech signal corresponding to a sample content and detecting the vibration intensity corresponding to the time of origin as the vibration intensity corresponding to the standard articulation.
Aus dem obigen Inhalt ist es bekannt, dass das Sprachsignal und die Schwingungsintensität gleichzeitig und synchron gesammelt sind, d.h. entspricht das in einer Periode gesammelte Sprachsignal der in der Periode gesammelten Schwingungsintensität, mit einer Sprachidentifizierungstechnik wird das gesammelte Sprachsignal identifiziert, wodurch die Entstehungszeit der Standardartikulation festgestellt wird, dann wird anhand der Entstehungszeit eine der Standardartikulation entsprechende Schwingungsintensität aus den den spezifizierten Inhalten entsprechenden Schwingungsintensitätsdaten abgefangen.It is known from the above content that the speech signal and the vibration intensity are collected simultaneously and synchronously, i.e. If the speech signal collected in a period corresponds to the vibration intensity collected in the period, with a speech identification technique the collected speech signal is identified, whereby the time of origin of the standard articulation is determined, then a vibration intensity corresponding to the standard articulation is intercepted from the vibration intensity data corresponding to the specified contents based on the time of origin.
S203: Feststellen des Schwellenwerts in Übereinstimmung mit der Schwingungsintensität jeder Sorte von den zu testenden Artikulationen.S203: determining the threshold value in accordance with the vibration intensity of each variety from the articulations to be tested.
In der Ausführungsform der vorliegenden Erfindung können die den Standardartikulationen entsprechenden Schwingungsintensitäten durch mehrmaliges Bereitstellen verschiedener Probeinhalte jeweils gesammelt werden, wobei durch die Mittelwertberechnung oder Funktionsanalyse die Zuverlässigkeit des Schwellenwerts verbessert wird.In the embodiment of the present invention, the vibration intensities corresponding to the standard articulations can each be collected by providing different sample contents several times, the reliability of the threshold value being improved by means of calculation of the mean value or functional analysis.
Es ist zu beachten, dass in der vorliegenden Ausführungsform die an dem Prozess zum Erhalten des Schwellenwerts teilnehmende zu testende Peron und die detektierte zu testende Person dieselbe Person ist, um es sicherzustellen, dass der eingestellte Schwellenwert den tatsächlichen Situationen der Person nächst kommt, wodurch im Vergleich dazu, dass anhand gewöhnlicher Daten ein einheitlicher Schwellenwert eingestellt wird, eine bessere Genauigkeit erreicht wird.Note that in the present embodiment, the person to be tested participating in the threshold obtaining process and the detected person to be tested are the same person to ensure that the set threshold comes closest to the person's actual situation, thereby Compared to the fact that a uniform threshold value is set on the basis of ordinary data, better accuracy is achieved.
Dadurch ist es ersichtlich, dass es bei dem Verfahren zum Detektieren der Artikulation gemäß der vorliegenden Erfindung auf der Schwingungsintensität der äußeren spezifischen Stellen des Artikulationsorgans basiert und in Kombination mit der Identifizierung des Sprachsignals beurteilt werden kann, ob die zu testende Artikulation korrekt ist, dadurch werden nicht nur die Kosten gespart, sondern eine einfache Bedienung wird auch erreicht.It can thus be seen that, in the method for detecting the articulation according to the present invention, it is based on the vibration intensity of the outer specific locations of the articulation organ and, in combination with the identification of the speech signal, it can be judged whether the articulation to be tested is correct not only the costs are saved, but simple operation is also achieved.
Auf dem gleichen Konzept stellt die vorliegende Erfindung eine Artikulationsdetektionsvorrichtung zur Verfügung, siehe
Wie in
Dabei kann der Sensor
Der Signalverstärker
Die Spracheingabeeinrichtung
Die Soundkarte
Der Computer
Bevorzugt umfasst das Verfahren zum Erfassen des Schwellenwerts durch den Computer
- Sammeln eines Sprachsignals beim Lesen zumindest eines Probeinhalts, der die Standardartikulation beinhaltet, durch die zu testende Person und einer Schwingungssignal eines äußeren spezifischen Stelle des Artikulationsorgans;
- Verstärken und Umwandeln des Schwingungssignal durch den Signalverstärker
302 und derSoundkarte 303 und Übertragen dieses an den Computer; - wobei der
Computer 304 in Übereinstimmung mit dem umgewandelten verstärkten Schwingungssignal die entsprechende Schwingungsintensität berechnet, die Schwingungsintensität der durch jede Sorte von den Probeinhalten beinhalteten Standardartikulation in Übereinstimmung mit einem jeder Sorte von den Probeinhalten entsprechenden Sprachsignal feststellt und den Schwellenwert in Übereinstimmung mit der Schwingungsintensität jeder Sorte von den Standardartikulationen feststellt.
- Collecting a speech signal when reading at least a sample content, which includes the standard articulation, by the person to be tested and a vibration signal from an external specific location of the articulation organ;
- Amplifying and converting the vibration signal by the signal amplifier
302 and thesound card 303 and transfer it to the computer; - being the
computer 304 in accordance with the converted amplified vibration signal, calculates the corresponding vibration intensity, determines the vibration intensity of the standard articulation contained by each variety from the sample contents in accordance with a speech signal corresponding to each variety from the sample contents, and determines the threshold value in accordance with the vibration intensity of each variety from the standard articulations.
Das Detektionsverfahren und das Verfahren zum Erfassen des Schwellenwerts in der vorliegenden Ausführungsform siehe
Dabei umfasst der Computer
Bei der Artikulationsdetektionsvorrichtung gemäß der vorliegenden Erfindung haben die benötigten Sensoren eine kleine Anzahl und sind nicht eindringend und verfügen über niedrige Kosten, wodurch die Herstellungskosten reduziert werden können. Darüber hinaus kann es bei der Artikulationsdetektionsvorrichtung gemäß der vorliegenden Erfindung auf der Schwingungsintensität der äußeren spezifischen Stellen des Artikulationsorgans basiert und in Kombination mit der Identifizierung des Sprachsignals beurteilt werden, ob die zu testende Artikulation korrekt ist, wodurch eine einfache Bedienung erreicht wird.In the articulation detection device according to the present invention, the required sensors are small in number, are non-intrusive and have a low cost, whereby the manufacturing cost can be reduced. In addition, in the articulation detection device according to the present invention, it can be based on the vibration intensity of the outer specific locations of the articulation organ and, in combination with the identification of the speech signal, it can be judged whether the articulation to be tested is correct, thereby achieving simple operation.
Bevorzugt können in der Ausführungsform der vorliegenden Erfindung die den Standardartikulationen entsprechenden Schwingungsintensitäten durch mehrmaliges Bereitstellen verschiedener Probeinhalte jeweils gesammelt werden, wobei durch die Mittelwertberechnung oder Funktionsanalyse die Zuverlässigkeit des Schwellenwerts verbessert wird.In the embodiment of the present invention, the vibration intensities corresponding to the standard articulations can preferably be collected by providing different sample contents several times, the reliability of the threshold value being improved by the mean value calculation or functional analysis.
Es ist zu beachten, dass in der vorliegenden Ausführungsform die an dem Prozess zum Erhalten des Schwellenwerts teilnehmende zu testende Peron und die detektierte zu testende Person dieselbe Person ist, um es sicherzustellen, dass der eingestellte Schwellenwert den tatsächlichen Situationen der Person nächst kommt, wodurch im Vergleich dazu, dass anhand gewöhnlicher Daten ein einheitlicher Schwellenwert eingestellt wird, eine bessere Genauigkeit erreicht wird.Note that in the present embodiment, the person to be tested participating in the threshold obtaining process and the detected person to be tested are the same person to ensure that the set threshold comes closest to the person's actual situation, thereby Compared to the fact that a uniform threshold value is set on the basis of ordinary data, better accuracy is achieved.
Auf dem Verfahren zum Detektieren der Artikulation gemäß der vorliegenden Erfindung wird weiterhin ein Verfahren zum Lernen der Sprachkategorie zur Verfügung gestellt. Siehe
Wie in
S401: Bereitstellen eines Trainingsplans, welcher mehrere spezifizierte Inhalte umfasst.S401: Providing a training plan that includes multiple specified content.
Insbesondere gesagt, braucht der Erwerb der Phonemskategorie das Training für eine Periode, für den Erwerb der Phonemskategorie mit dem Verfahren zum Lernen der Sprachkategorie gemäß der vorliegenden Erfindung soll ein Trainingsplan erstellt, der anfordert, dass die zu testende Person in einer Periode nach dem Trainingsplan das Training durchführt; da jede zu testende Person unterschiedliche Basis und Fortschritte beim Lernen hat, soll jeder Trainingsplan nach den tatsächlichen Situationen der zu testenden Person erstellt und eingestellt werden, in der Ausführungsform der vorliegenden Erfindung wird der Trainingsplan gemäß dem Standardplan und den historischen Lernsituationen der zu testenden Person erstellt und umfasst mehrere spezifizierte Inhalte, im Trainingsprozess soll für die zu testende Person das Training hinsichtlich jedes spezifizierten Inhalts durchgeführt werden. Dabei umfasst der spezifizierte Inhalt eine zu testende Artikulation, wie oben erwähnt, ist die Anzahl der in einem spezifizierten Inhalt beinhalteten zu testenden Artikulationen nicht auf 1 beschränkt, wobei die Anzahl
S402: Beurteilen in Übereinstimmung mit dem obigen Verfahren zum Detektieren der Artikulation, ob die zu testende Artikulation der zu testenden Person bezüglich des spezifizierten Inhalts korrekt ist, falls ja, Eintreten ins Training eines nächsten spezifizierten Inhalts; falls falsch, wird ein wiederholtes Training durchgeführt.S402: Judging in accordance with the above articulation detection method whether the articulation to be tested is to test person is correct with regard to the specified content, if yes, training in the next specified content; if wrong, repeat training will be performed.
Das Verfahren zum Detektieren der Artikulation siehe insbesondere die Ausführungsformen gemäß
Wenn es auf dem Verfahren zum Detektieren der Artikulation beurteilt wird, dass das Ergebnis der zu testenden Person in dieser Detektion korrekt ist, wird das Training eines nächsten spezifizierten Inhalts durchgeführt, falls ein Fehler besteht, wird ein wiederholtes Training für den Teil mit einem Fehler durchgeführt.If it is judged on the articulation detection method that the result of the person under test in this detection is correct, the training of a next specified content is performed, if there is an error, repeated training is performed for the part with an error ,
Es versteht sich, kann die Wiederholungsanzahl des Teils mit einem Fehler gesteuert werden, um ein reibungsloses Durchführen des Trainingsplans sicherzustellen und eine Zerstörung der Initiative der zu testenden Person zu vermeiden, z.B. im dieselben spezifiziertem Inhalt ein Fehler mehr als 3 Male auftritt, tritt es ins Training eines nächsten spezifizierten Inhalt ein, wobei der Fehler aufgezeichnet wird. Diese Aufzeichnungen werden als Bestandteil der historischen Lernsituationen verwendet, um das Erstellen des nächsten Trainingsplans anzuleiten.It goes without saying that the number of repetitions of the part can be controlled with an error in order to ensure smooth execution of the training plan and to avoid destruction of the initiative of the person to be tested, e.g. if an error occurs more than 3 times in the same specified content, it enters the training of a next specified content, and the error is recorded. These records are used as part of the historical learning situation to guide the creation of the next training plan.
Darüber hinaus umfasst das Verfahren weiterhin den TestschrittS403: Bereitstellen des Testinhalts und Sammeln des Testergebnisses der zu testenden Person.In addition, the method also includes test step S403: providing the test content and collecting the test result of the person to be tested.
Genauer gesagt, wenn die zu testende Person diesen Trainingsplan vervollständigt, soll er Trainingseffekt getestet und das Testergebnis gesammelt werden.More specifically, when the person being tested completes this training plan, he should test the training effect and collect the test result.
Zugleich können die Testergebnisse auch als Bestandteil der historischen Lernsituationen verwendet werden, um das Erstellen des nächsten Trainingsplans anzuleiten.At the same time, the test results can also be used as part of the historical learning situation to guide the creation of the next training plan.
Auf diese Weise hat das Verfahren zum Lernen der Sprachkategorie gemäß der vorliegenden Erfindung nicht nur eine einfache Bedienung, sondern ein Trainingsplan kann auch nach den tatsächlichen Situationen und dem Lerneffekt der zu testenden Person individualisiert erstellt werden, so dass der Trainingsplan die tatsächlichen Bedürfnissen der zu testenden Person erfüllt, wodurch der Trainingseffekt erheblich verbessert werden kann.In this way, the method for learning the language category according to the present invention not only has simple operation, but a training plan can also be created individually according to the actual situations and the learning effect of the person to be tested, so that the training plan meets the actual needs of the person to be tested Person met, which can significantly improve the training effect.
Auf einem gleichen Konzept stellt die vorliegende Erfindung weiterhin ein System zum Lernen der Sprachkategorie zur Verfügung. Siehe
Wie in
Die konkreten Strukturfunktionen in den einzelnen Komponenten der Artikulationsdetektionsvorrichtung und die Verbindungsbeziehung von ihnen in der vorliegenden Ausführungsform siehe die Artikulationsdetektionsvorrichtung
Es ist nennenswert, dass in dem Computer
Der Computer
Darüber hinaus ist in dem Computer
Bevorzugt umfasst das System zum Lernen der Sprachkategorie
Die obigen Fehleraufzeichnungen und Testergebnisse werden jeweils in dem Computer
Damit das Verfahren zum Detektieren der Artikulation gemäß der vorliegenden Erfindung klarer erläutert werden kann, wird im Folgenden ein spezifisches Anwendungsbeispiel zur Verfügung gestellt.In order that the method for detecting the articulation according to the present invention can be explained more clearly, a specific application example is provided below.
Der Erwerb von zwei Phonemen - dem Nasenlaut n und dem Seitenlaut
Die Nasenflügel-Schwingungsintensität wird durch ein Berechnen eines durch einen Beschleunigungsmesser gemessenen Signals erhalten, wodurch die Nasenlaut-Schwingungsintensität als Indikator zum mittelbaren Widerspielen der Artikulationsbewegung des Nasen-/Seitenlauts verwendet werden kann, und darauf basiert wird ein Training zum Erwerb der Phonemskategorie des Nasenlauts und Seitenlauts durchgeführt.The nasal wing vibration intensity is obtained by calculating a signal measured by an accelerometer, whereby the nasal sound vibration intensity can be used as an indicator to indirectly counteract the articulation movement of the nasal / lateral sound, and based on this, a training for acquiring the phoneme category of the nasal sound and Loudly performed.
Der Trainingsplan bietet den Lernenden der Sprachkategorie einen Satz von Trainingsplänen für
Der Trainingsablauf umfasst:The training process includes:
Experimentvorbereitungsprozess:Experiment preparatory process:
Zuerst kann eine zu testende Person nach dem Experimenthandbuch selbst den Sensor an den Nasenflügel ankleben und die Vorbereitungs- und Anschlussarbeiten anderer Vorrichtungen durchführen.First, according to the experiment manual, a person to be tested can stick the sensor to the nostril and carry out the preparation and connection work of other devices.
Danach startet die zu testende Person ein Schwellenwertmessung undberechungsprogramm, welches die zu testende Person darauf hinweisen wird, mehrere einzelne Wörter mit dem konsonantischen Anlaut m als Anfang zu lesen, anhand der mehrmaligen Artikulationen der zu testenden Person berechnet das System die Nasenlaut-Schwingungsintensität der zu testenden Person bei der Artikulation des konsonantischen Anlauts m und berechnet auf diesen Schwingungsintensitäten basiert einen Schwellenwert und zeichnet diesen auf, wobei der Schwellenwert zum Beurteilen der Artikulation des konsonantischen Anlauts
Am Ende startet die zu testende Person ein Trainingsvorbereitungsprogramm, und das System wird die zu testende Person darauf hinweisen, die Identitätsinformationen einzugeben und zu überprüfen. Nach Bestätigen der Identitätsinformationen wird das System in Übereinstimmung mit dem historischen Trainingsablauf und dem Entwicklungsniveau der zu testenden Person eine neue Trainingsaufgabe und Testaufgabe automatisch generieren.At the end, the person to be tested starts a training preparation program and the system will advise the person to be tested to enter and verify the identity information. After confirming the identity information, the system will automatically generate a new training task and test task in accordance with the historical training process and the level of development of the person to be tested.
Trainingsprozesstraining process
Nach dem Generieren der Trainingsaufgabe (nämlich einer Gruppe von Wörter mit einzelner Silbe oder doppelten Silben, wobei die Wörter
Nach Beenden jeder Aussprache wird das System die gemessene Nasenlaut-Schwingungsintensität mit dem Schwellenwert vergleichen. Wenn das Ziellaut
Bei einem Punkt mit korrekter Zielartikulation tritt das System sofort in einen nächsten Punkt; bei einem Punkt mit falscher Zielartikulation wird das System die zu testende Person dazu zwingen, nach dem Hinweis erneut eine Artikulation macht, wobei eine Messung der Nasenlaut-Schwingungsintensität, ein Vergleich des Schwellenwerts und eine Rückkoppelung des Beurteilungsergebnisses durchgeführt werden. Wenn nach dreimaligem kontinuierlichem Üben eines Punkts die zu testende Person immer noch nicht eine korrekte Artikulation macht, wird das System im Hintergrund den Punkt als schwierigen Punkt markiert und tritt zwingend in einen nächsten Punkt ein.At a point with correct target articulation, the system immediately moves to a next point; at a point with incorrect target articulation, the system will force the person to be tested to articulate again after the indication, whereby the nasal sound vibration intensity is measured, the threshold value is compared and the result of the assessment is fed back. If after three continuous practice of a point the person to be tested still does not make a correct articulation, the system marks the point in the background as a difficult point and necessarily enters a next point.
Testprozesstesting process
Nach einer vervollständigten Trainingsaufgabe wird das System die zu testende Person darauf hinweisen, ins Testkettenglied einzutreten.After a completed training task, the system will advise the person to be tested to join the test chain link.
Der Testpunkt wird durch eine Gruppe von Einzelwörtern mit 1 oder n als konsonantischen Anlaut, die durch die Sprecher, die nach verschiedenen Geschlechtern (männliche, weiblich) und Altern (ältere Menschen, Menschen im mittleren Alter und kleinen Alter, Kinder) des Hochchinesisches ausgesprochen werden. Die zu testende Person empfängt über einen Kopfhörer das Sprachsignal eines Testpunkts. Für jeden Punkt soll die zu testende Person eine Beurteilung, ob der konsonantische Anlaut n oder 1 ist, durchführen und eine Aussprache des Punkts machen, die durch das System aufgezeichnet wird, wobei es beurteilt wird, ob die Aussprache korrekt ist.The test point is given by a group of single words with 1 or n as a consonant sound, which are pronounced by the speakers, according to different genders of different genders (male, female) and aging (older people, middle-aged and young people, children) , The person to be tested receives the speech signal of a test point via headphones. For each point, the person to be tested should make an assessment of whether the consonant initial is n or 1 and make a pronunciation of the point that is recorded by the system, assessing whether the pronunciation is correct.
In diesem Kettenglied koppelt nicht zurück, ob die zu testende Aussprache als korrekt oder nicht korrekt beurteilt wird.This chain link does not feed back whether the pronunciation to be tested is judged to be correct or incorrect.
Zusammenfassend gesagt, wird in der technischen Lösung gemäß der vorliegenden Erfindung eine kleine Menge an Sensoren verwendet, um eine mittelbare Detektion der Artikulationsbewegung zu realisieren, dabei ist der Aufbau einfach und die Trainingskosten werden reduziert; durch ein nicht eindringendes Design kann das psychologische Unwohlsein der zu testenden Person gelindert werden; als eine mittelbare Detektionsmaßnahme wird die Bewegung des Artikulationsorgans nicht unmittelbar detektiert, um die aufgrund der Kompliziertheit der Artikulationsbewegung oder der zu tiefen Artikulationsstelle und anderer Ursachen verursachten Abweichungen und Schwierigkeit der unmittelbaren Detektion zu vermeiden; im Trainingsprozess wird die Artikulationsinformation in Echtzeit an die zu testende Person zurückgekoppelt, so dass sie veranschaulich den Abstand der eigenen Artikulation zu der Zielaussprache Detektieren kann, um dieser dabei zu helfen, möglichst schnell die Artikulationsbewegung der bestimmten Sprachkategorie zu beherrschen.In summary, in the technical solution according to the present invention, a small amount of sensors is used to realize indirect detection of the articulation movement, the structure is simple and the training costs are reduced; a non-intrusive design can alleviate the psychological discomfort of the person being tested; as an indirect detection measure, the movement of the articulation organ is not detected directly in order to avoid the deviations and difficulty of the direct detection caused by the complexity of the articulation movement or the articulation point which is too deep and other causes; In the training process, the articulation information is fed back in real time to the person to be tested, so that they can visually detect the distance between their own articulation and the target pronunciation to help them master the articulation movement of the specific language category as quickly as possible.
Der vorstehende Inhalt ist eine detaillierte Erläuterung der vorliegenden Erfindung im Zusammenhang mit bevorzugten Ausführungsformen. Jedoch ist das Erfindung nicht auf die beschriebenen Ausführungsformen beschränkt. Alle unter Gedanken und Grundsätzen der vorliegenden Erfindung ausgeführten Änderungen, äquivalenten Ersatze und Verbesserungen sollen als vom Schutzumfang der vorliegenden Erfindung gedeckt angesehen werden.The foregoing is a detailed explanation of the present invention in connection with preferred embodiments. However, the invention is not limited to the described embodiments. All changes, equivalent replacements, and improvements made within the spirit and principles of the present invention are to be considered as being within the scope of the present invention.
Claims (14)
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710708046.2 | 2017-08-17 | ||
| CN201710708046.2A CN107591163B (en) | 2017-08-17 | 2017-08-17 | Pronunciation detection method and device and voice category learning method and system |
| PCT/CN2018/105941 WO2019034183A1 (en) | 2017-08-17 | 2018-09-17 | Utterance testing method and device, and speech category learning method and system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE112018002260T5 true DE112018002260T5 (en) | 2020-01-23 |
Family
ID=61043141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE112018002260.9T Ceased DE112018002260T5 (en) | 2017-08-17 | 2018-09-17 | Method and device for detecting articulation, method and system for learning the language category |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN107591163B (en) |
| DE (1) | DE112018002260T5 (en) |
| WO (1) | WO2019034183A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107591163B (en) * | 2017-08-17 | 2022-02-01 | 厦门快商通科技股份有限公司 | Pronunciation detection method and device and voice category learning method and system |
| CN108376486A (en) * | 2018-01-17 | 2018-08-07 | 上海交通大学医学院附属瑞金医院 | Method and system for training sounding |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4130443B2 (en) * | 2005-02-15 | 2008-08-06 | 旭化成株式会社 | Microphone, signal processing device, communication interface system, voice speaker authentication system, NAM sound compatible toy device |
| CN101292281A (en) * | 2005-09-29 | 2008-10-22 | 独立行政法人产业技术综合研究所 | Pronunciation diagnosis device, pronunciation diagnosis method, recording medium, and pronunciation diagnosis program |
| CN101290720B (en) * | 2008-06-17 | 2011-08-31 | 北京志诚卓盛科技发展有限公司 | Visualized pronunciation teaching method and apparatus |
| CN101950249B (en) * | 2010-07-14 | 2012-05-23 | 北京理工大学 | Input method and device for code characters of silent voice notes |
| CN102063903B (en) * | 2010-09-25 | 2012-07-04 | 中国科学院深圳先进技术研究院 | Speech interactive training system and speech interactive training method |
| CN102663928A (en) * | 2012-03-07 | 2012-09-12 | 天津大学 | Electronic teaching method for deaf people to learn speaking |
| CN102663925A (en) * | 2012-05-09 | 2012-09-12 | 长春大学 | Method and system for tongue training for language training of hearing-impaired children |
| CN102799759A (en) * | 2012-06-14 | 2012-11-28 | 天津大学 | Vocal tract morphological standardization method during large-scale physiological pronunciation data processing |
| US9532131B2 (en) * | 2014-02-21 | 2016-12-27 | Apple Inc. | System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device |
| CN107591163B (en) * | 2017-08-17 | 2022-02-01 | 厦门快商通科技股份有限公司 | Pronunciation detection method and device and voice category learning method and system |
-
2017
- 2017-08-17 CN CN201710708046.2A patent/CN107591163B/en active Active
-
2018
- 2018-09-17 WO PCT/CN2018/105941 patent/WO2019034183A1/en active Application Filing
- 2018-09-17 DE DE112018002260.9T patent/DE112018002260T5/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| CN107591163B (en) | 2022-02-01 |
| CN107591163A (en) | 2018-01-16 |
| WO2019034183A1 (en) | 2019-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7062441B1 (en) | Automated language assessment using speech recognition modeling | |
| Adlof et al. | Morphosyntax in poor comprehenders | |
| Sumner et al. | Children with dyslexia are slow writers because they pause more often and not because they are slow at handwriting execution | |
| Icht et al. | Oral-diadochokinesis rates across languages: English and Hebrew norms | |
| Brosseau-Lapré et al. | Speech errors and phonological awareness in children ages 4 and 5 years with and without speech sound disorder | |
| US20200229752A1 (en) | Cognitive function evaluation device, cognitive function evaluation system, and cognitive function evaluation method | |
| DE112018002260T5 (en) | Method and device for detecting articulation, method and system for learning the language category | |
| Ehrhorn et al. | Probing phonological processing differences in nonword repetition for children with separate or co-occurring dyslexia and developmental language disorder | |
| CN111861161A (en) | Inquiry training evaluation method and device based on standardized patients | |
| DE102011055466A1 (en) | System and method for automatically evaluating an infant | |
| Ying et al. | A study of Chinese EFL learners’ acquisition of English fricatives | |
| DE112020000747T5 (en) | DEVICE FOR CAPTURING BIOLOGICAL INFORMATION AND METHOD FOR CAPTURING BIOLOGICAL INFORMATION | |
| Hussein et al. | Psychometric evaluation of dictations with the Rasch model | |
| DE10030053A1 (en) | Atemalkoholmeßgerät | |
| AT504635B1 (en) | A METHOD OF COMPUTER-BASED MEASUREMENT OF RESERVOIR, READ SPEED, LESEVISUS AND READING WITH READING ERRORS | |
| Zarifian et al. | The percentage of vowel correct scale in Persian speaking children | |
| Alshehri | Ultrasound Overlay Video Effectiveness in Teaching Pronunciation to Young EFL Learners | |
| Nelson et al. | Practical polygraph: a recommendation for combining the upper and lower respiration data for a single respiration score | |
| Hirshoren et al. | The reliability of the WISC‐R performance scale with deaf children | |
| DE69015422T2 (en) | Orthophonic retraining procedure and diagnostic tool. | |
| Natnithikarat et al. | A Novel Method to Measure Students' Lecture Comprehension Using EEG and NLP Features | |
| Janney et al. | An SLP Graduate Student’s Analysis of Language in Children with Speech Sound Disorders | |
| Abass | Hodson Assessment of Phonological Patterns Criterion HAPP-3 Translation and Arabization | |
| Asih | The Effort Of Improving The Activity And Ability Of Students In Writing Review Text Through Film At Sma Negeri 1 Punggur Central Lampung | |
| Monroe | Chapter XIV: Evaluation in Speech Education I. TESTING SPEECH PERFORMANCE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R002 | Refusal decision in examination/registration proceedings | ||
| R003 | Refusal decision now final |