KR20130068598A - Apparatus and method for evaluating pronunciation of foreign language learner - Google Patents

Apparatus and method for evaluating pronunciation of foreign language learner Download PDF

Info

Publication number
KR20130068598A
KR20130068598A KR1020110135888A KR20110135888A KR20130068598A KR 20130068598 A KR20130068598 A KR 20130068598A KR 1020110135888 A KR1020110135888 A KR 1020110135888A KR 20110135888 A KR20110135888 A KR 20110135888A KR 20130068598 A KR20130068598 A KR 20130068598A
Authority
KR
South Korea
Prior art keywords
pronunciation
foreign language
language learner
voice
sound
Prior art date
Application number
KR1020110135888A
Other languages
Korean (ko)
Inventor
오유리
이윤근
박전규
강병옥
김종진
강점자
정의석
전형배
박기영
정호영
이성주
정훈
송화전
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110135888A priority Critical patent/KR20130068598A/en
Publication of KR20130068598A publication Critical patent/KR20130068598A/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

PURPOSE: A pronunciation evaluation device and a method are provided to evaluate foreign language pronunciations using an acoustic model of a foreign language learner, pronunciations generated using a pronunciation model in which pronunciation errors are reflected, and an acoustic model of a native speaker, thereby increasing the accuracy of the pronunciation generated for the sound of the foreign language learner. CONSTITUTION: A pronunciation evaluation device(100) includes a sound input part(110), a sentence input part(120), a storage part(130), a pronunciation generation part(140), a pronunciation evaluation part(150), and an output part(160). The sound input part receives the sound of a foreign language learner, and the sentence input part receives a sentence corresponding to the sound of the foreign language learner. The storage part stores an acoustic model for the sound of the foreign language learner and a pronunciation dictionary for the sound of the foreign language learner. The pronunciation generation part performs sound recognition based on the acoustic model and pronunciation dictionary for the sound of the foreign language learner stored in the storage part. The pronunciation evaluation part detects the vocalization errors by analyzing the pronunciations for the sound of the foreign language learner. The output part outputs the vocalization errors of the foreign language learner detected from the pronunciation evaluation part. [Reference numerals] (110) Sound input part; (120) Sentence input part; (130) Storage part; (140) Pronunciation generation part; (150) Pronunciation evaluation part; (160) Output part

Description

외국어 학습자의 발음 평가 장치 및 방법{APPARATUS AND METHOD FOR EVALUATING PRONUNCIATION OF FOREIGN LANGUAGE LEARNER}Apparatus and method for evaluating pronunciation of foreign language learner {APPARATUS AND METHOD FOR EVALUATING PRONUNCIATION OF FOREIGN LANGUAGE LEARNER}

본 발명은 외국어 학습자의 발음 평가 장치 및 방법에 관한 것으로, 더욱 상세하게는 외국어를 학습하는 학습자의 발음 평가를 위해 외국어 학습자의 음성에 대한 발음열을 정확하게 획득하는 외국어 학습자의 발음 평가 장치 및 방법에 대한 것이다.The present invention relates to an apparatus and method for evaluating pronunciation of a foreign language learner, and more particularly, to an apparatus and method for evaluating pronunciation of a foreign language learner for accurately acquiring a pronunciation string of a foreign language learner's pronunciation in order to evaluate a pronunciation of a learner who learns a foreign language. It is about.

최근 들어, 산업의 전문화와 국제화의 추세에 따라 외국어에 대한 중요성이 날로 커지고 있고, 이러한 중요성에 따라 많은 사람이 외국어 학습에 많은 시간을 할애하고 있으며, 이에 발맞추어 다양한 온-오프라인 어학 강좌들이 개설되어 있다.In recent years, the importance of foreign languages is increasing day by day with the specialization of industry and internationalization, and according to this importance, many people spend a lot of time in foreign language learning, and various online and offline language courses have.

그러나, 일반적으로 발음이나 발음에 대한 교정은 외국인 강사와의 1:1 지도방식에 의해 이루어지고 있고, 이 경우 영어학습에 많은 비용이 소요된다는 문제점이 있으며, 특별히 정해진 시간에 교육이 이루어지기 때문에 직장인 등과 같은 바쁜 일상생활을 영위하는 사람들에게는 그 학습에의 참여가 극히 제한적이라는 문제점이 있었다.However, in general, the pronunciation or correction of pronunciation is made by a one-to-one guidance method with a foreign instructor, and in this case, there is a problem that it takes a lot of money to learn English, and because the education is carried out at a specific time, office workers There was a problem that participation in the learning is extremely limited for those who live busy everyday life.

따라서, 유휴 시간에 혼자서도 효과적으로 외국어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가하는 교육 프로그램 등을 필요로 하게 되었다. 이러한, 요구에 부응하기 위하여 현재 음성인식을 이용한 다양한 어학용 프로그램들을 탑재한 어학용 학습기가 개발되어 보급되고 있다.Therefore, even during the idle time effectively learning the pronunciation and pronunciation of foreign languages, such as the need for an education program to compare and evaluate the pronunciation of native speakers. In order to meet such a demand, a language learner equipped with various language programs using speech recognition has been developed and spread.

종래의 어학용 학습기 또는 온-오프라인 어학 강좌에서 외국어 학습자용 자동 발음 평가는 발음열 생성 과정과 발음 각각의 신뢰도를 계산하는 과정으로 구성된다. 특히, 음성인식을 이용한 발음열 생성 과정은 원어민 음성으로 학습된 음향모델을 사용하고, 원어민 또는 비원어민 음성용 발음모델을 사용한다.In a conventional language learner or an on-offline language course, automatic pronunciation evaluation for a foreign language learner is composed of a pronunciation string generation process and a process of calculating the reliability of each pronunciation. In particular, the pronunciation sequence generation process using speech recognition uses a sound model trained by native speakers and a pronunciation model for native or non-native speakers.

그런데, 원어민 또는 비원어민 음성용 발음모델을 사용하는 종래의 발음 평가에서는 전체 원어민의 개인적인 발음 성향에 대한 오차를 무시하게 됨으로써, 올바른 평가를 기대할 수 없으며, 외국어 학습자의 발음열을 정확하게 획득할 수 없어 발음 평가의 신뢰도가 저하되는 문제점이 있다.However, in the conventional pronunciation evaluation using the native or non-native voice pronunciation model, it is impossible to expect a correct evaluation by ignoring the error of the individual native speaker's personal pronunciation tendency and cannot acquire the pronunciation string of the foreign language learner correctly. There is a problem that the reliability of pronunciation evaluation is lowered.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 외국어 학습자의 음성으로 학습된 음향모델과 발음 오류가 반영된 발음모델을 이용하여 생성한 외국어 학습자의 음성에 대한 발음열과 원어민 음향 모델을 이용하여 외국어 발음을 평가하도록 한 외국어 학습자의 발음 평가 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention has been proposed to solve the above-described problems, using a pronunciation string and a native speaker's acoustic model for a foreign language learner's voice generated using a sound model trained by a foreign language learner's voice and a pronunciation model reflecting a pronunciation error. It is an object of the present invention to provide an apparatus and method for evaluating pronunciation of foreign language learners to evaluate foreign language pronunciation.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 장치는, 외국어 학습자 음성용 음향모델과 외국어 학습자 음성용 발음사전 및 원어민 음성용 음향모델을 저장하는 저장부; 저장된 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전을 근거로 음성인식을 수행하여 입력되는 외국어 학습자의 음성에 대한 발음열을 생성하는 발음열 생성부; 및 생성된 발음열을 근거로 입력되는 외국어 학습자의 음성으로부터 발성 오류를 검출하는 발음평가부를 포함한다.In order to achieve the above object, a pronunciation evaluation apparatus for a foreign language learner according to an embodiment of the present invention includes a storage unit for storing a sound model for a foreign language learner's voice, a pronunciation dictionary for a foreign language learner's voice, and a native speaker's voice model; A pronunciation string generator configured to generate a pronunciation string for a voice of a foreign language learner input by performing voice recognition based on a stored sound model for a foreign language learner voice and a pronunciation dictionary for a foreign language learner voice; And a pronunciation evaluation unit for detecting a speech error from the voice of the foreign language learner input based on the generated pronunciation string.

저장부는, 외국어 학습자들이 발성한 외국어 음성을 누적한 외국어 음성데이터베이스로부터 학습된 외국어 학습자 음성용 음향모델을 저장하는 제1저장모듈; 및 외국어 학습자들에 의한 오류 발음열을 포함하는 외국어 학습자 음성용 발음사전을 저장하는 제2저장모듈을 포함한다.The storage unit may include: a first storage module configured to store an acoustic model for a foreign language learner's voice learned from a foreign language voice database in which a foreign language voice spoken by a foreign language learner is accumulated; And a second storage module for storing a pronunciation dictionary for a foreign language learner's voice including an error pronunciation string by a foreign language learner.

발음평가부는, 생성된 발음열 및 저장된 원어민 음성용 음향모델을 근거로 외국어 학습자의 음성에 대한 신뢰도를 산출한다.The pronunciation evaluation unit calculates the reliability of the foreign language learner's voice based on the generated pronunciation string and the stored native speaker's voice model.

발음평가부는, 검출한 발성 오류 및 산출한 신뢰도를 근거로 외국어 학습자의 음성 오류 발음을 검출한다.The pronunciation evaluation unit detects the pronunciation error of the foreign language learner based on the detected speech error and the calculated reliability.

외국어 학습자의 음성을 입력받는 음성 입력부; 및 입력된 음성에 해당하는 문장을 입력받는 문장 입력부를 더 포함한다.A voice input unit for receiving a voice of a foreign language learner; And a sentence input unit configured to receive a sentence corresponding to the input voice.

검출한 외국어 학습자의 발성 오류, 음성에 대한 신뢰도 및 음성 오류 발음 중에 적어도 하나를 출력하는 출력부를 더 포함한다.
The apparatus may further include an output unit configured to output at least one of the detected utterance error of the foreign language learner, the reliability of the voice, and the pronunciation of the voice error.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 방법은, 발음열 생성부에 의해, 저장된 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전을 근거로 음성인식을 수행하여 입력되는 외국어 학습자의 음성에 대한 발음열을 생성하는 단계; 및 발음평가부에 의해, 생성된 발음열을 근거로 입력되는 외국어 학습자의 음성으로부터 발성 오류를 검출하는 단계를 포함한다.In order to achieve the above object, the pronunciation evaluation method of a foreign language learner according to an embodiment of the present invention is performed by the pronunciation string generator to perform speech recognition based on a stored sound model for a foreign language learner voice and a pronunciation dictionary for a foreign language learner voice. Generating a pronunciation string for the voice of the foreign language learner inputted by the user; And detecting, by the pronunciation evaluation unit, a speech error from the voice of the foreign language learner input based on the generated pronunciation string.

발음평가부에 의해, 생성된 발음열 및 저장된 원어민 음성용 음향모델을 근거로 외국어 학습자의 음성에 대한 신뢰도를 산출하는 단계를 더 포함한다.And calculating, by the pronunciation evaluation unit, the reliability of the foreign language learner's voice based on the generated pronunciation string and the stored native speaker's acoustic model.

발음평가부에 의해, 검출한 발성 오류 및 산출한 신뢰도를 근거로 외국어 학습자의 음성 오류 발음을 검출하는 단계를 더 포함한다.The method may further include detecting, by the pronunciation evaluation unit, a pronunciation error of the foreign language learner based on the detected speech error and the calculated reliability.

출력부에 의해, 검출한 외국어 학습자의 발성 오류, 음성에 대한 신뢰도 및 음성 오류 발음 중에 적어도 하나를 출력하는 단계를 더 포함한다.And outputting at least one of a detected foreign language learner's speech error, reliability of speech, and pronunciation of a speech error by the output unit.

본 발명에 의하면, 외국어 학습자의 발음 평가 장치 및 방법은 외국어 학습자의 음성으로 학습된 음향모델과 발음 오류가 반영된 발음모델을 이용하여 생성한 외국어 학습자의 음성에 대한 발음열과 원어민 음향 모델을 이용하여 외국어 발음을 평가함으로써, 외국어 학습자의 입력 음성에 대한 발음열 생성의 정확도를 높일 수 있는 효과가 있다.According to the present invention, the apparatus and method for evaluating pronunciation of a foreign language learner uses a pronunciation model and a native speaker's acoustic model for a foreign language learner's voice generated using a sound model trained by a foreign language learner's voice and a pronunciation model reflecting a pronunciation error. By evaluating the pronunciation, it is possible to increase the accuracy of the pronunciation string generation for the input voice of the foreign language learner.

또한, 외국어 학습자의 발음 평가 장치 및 방법은 외국어 학습자의 입력 음성에 대한 발음열 생성의 정확도를 높임으로써, 외국어 학습자의 발음 평가의 신뢰도를 높일 수 있는 효과가 있다.In addition, the pronunciation evaluation apparatus and method of the foreign language learner can increase the accuracy of the pronunciation string generation for the input voice of the foreign language learner, thereby increasing the reliability of the pronunciation evaluation of the foreign language learner.

도 1은 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 장치를 설명하기 위한 블록도.
도 2는 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 방법을 설명하기 위한 흐름도.1 is a block diagram illustrating an apparatus for evaluating pronunciation of a foreign language learner according to an embodiment of the present invention.
2 is a flowchart illustrating a pronunciation evaluation method of a foreign language learner according to an embodiment of the present invention.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention. . In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

이하, 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 장치를 설명하기 위한 블록도이고, 도 2는 도 1의 저장부를 설명하기 위한 블록도이다.
Hereinafter, the pronunciation evaluation apparatus of a foreign language learner according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram illustrating an apparatus for evaluating pronunciation of a foreign language learner according to an exemplary embodiment of the present invention, and FIG. 2 is a block diagram illustrating a storage unit of FIG. 1.

도 1에 도시된 바와 같이, 외국어 학습자의 발음 평가 장치(100)는 음성 입력부(110), 문장 입력부(120), 저장부(130), 발음열 생성부(140), 발음평가부(150), 출력부(160)를 포함하여 구성된다.
As illustrated in FIG. 1, the pronunciation evaluation apparatus 100 of a foreign language learner includes a voice input unit 110, a sentence input unit 120, a storage unit 130, a pronunciation string generator 140, and a pronunciation evaluation unit 150. It is configured to include an output unit 160.

음성 입력부(110)는 외국어 학습자의 음성을 입력받는다. 즉, 음성 입력부(110)는 마이크를 포함하여 구성되어, 외국어 학습자가 특정 단어, 문장 등을 발음함에 따라 발생하는 음성을 입력받는다. 이때, 음성 입력부(110)는 입력되는 음성을 디지털 데이터 형태의 음성입력 데이터로 변환한다.
The voice input unit 110 receives a voice of a foreign language learner. That is, the voice input unit 110 is configured to include a microphone to receive a voice generated as a foreign language learner pronounces a specific word, sentence, or the like. In this case, the voice input unit 110 converts the input voice into voice input data in the form of digital data.

문장 입력부(120)는 외국어 학습자의 음성에 해당하는 문장을 입력받는다. 즉, 음성 입력부(110)는 외국어 학습자가 발음한 특정 단어, 문장 등과 같은 텍스트 형태의 문장을 입력받는다.
The sentence input unit 120 receives a sentence corresponding to a voice of a foreign language learner. That is, the voice input unit 110 receives a text-type sentence such as a specific word or sentence pronounced by a foreign language learner.

저장부(130)는 발음열 생성을 위한 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전을 저장한다. 이때, 저장부(130)는 외국어 학습자들에 의한 오류 발음열을 포함하는 외국어 학습자 음성용 발음사전을 저장한다. 저장부(130)는 외국어 학습자의 발음 평가를 위한 원어민 음성용 음향모델을 저장한다.The storage unit 130 stores a sound model for a foreign language learner voice and a pronunciation dictionary for a foreign language learner voice for generating a pronunciation string. At this time, the storage unit 130 stores a pronunciation dictionary for the foreign language learner voice including an error pronunciation string by the foreign language learner. The storage unit 130 stores an acoustic model for a native speaker's voice for evaluating pronunciation of a foreign language learner.

이를 위해, 도 2에 도시된 바와 같이, 저장부(130)는 제1저장모듈(132), 제2저장모듈(134), 제3저장모듈(136)을 포함하여 구성된다.To this end, as shown in FIG. 2, the storage unit 130 includes a first storage module 132, a second storage module 134, and a third storage module 136.

제1저장모듈(132)은 외국어 학습자의 음성에 대한 발음열을 생성하기 위한 외국어 학습자 음성용 음향모델을 저장한다. 즉, 제1저장모듈(132)은 외국어 학습자들이 발성한 외국어 음성을 누적한 외국어 음성데이터베이스(미도시)로부터 학습된 외국어 학습자 음성용 음향모델을 저장한다.The first storage module 132 stores an acoustic model for the foreign language learner's voice for generating a pronunciation string for the voice of the foreign language learner. That is, the first storage module 132 stores an acoustic model for a foreign language learner's voice learned from a foreign language voice database (not shown) that accumulates foreign language voices spoken by foreign language learners.

제2저장모듈(134)은 외국어 학습자의 음성에 대한 발음열을 생성하기 위한 외국어 학습자 음성용 발음사전을 저장한다. 즉, 제2저장모듈(134)은 외국어 학습자들에 의한 오류 발음열을 포함하는 외국어 학습자 음성용 발음사전을 저장한다. The second storage module 134 stores a pronunciation dictionary for the foreign language learner's voice for generating a pronunciation string for the voice of the foreign language learner. That is, the second storage module 134 stores the pronunciation dictionary for the foreign language learner's voice including an error pronunciation string by the foreign language learner.

제3저장모듈(136)은 외국어 학습자의 발음 평가를 위한 원어민 음성용 음향모델을 저장한다. 즉, 제3저장모듈(136)은 외국어 학습자의 음성에 대한 신뢰도 산출에 근거가 되는 원어민 음성용 음향모델을 저장한다.
The third storage module 136 stores a sound model for the native speaker's voice for evaluating the pronunciation of the foreign language learner. That is, the third storage module 136 stores the acoustic model for the native speaker's voice based on the calculation of the reliability of the foreign language learner's voice.

발음열 생성부(140)는 저장부(130)에 저장된 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전을 근거로 음성인식을 수행한다. 즉, 발음열 생성부(140)는 저장부(130)에 저장된 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전을 근거로 음성인식을 수행하여 입력된 외국어 학습자의 음성에 대한 발음열을 생성한다.
The pronunciation string generator 140 performs speech recognition based on the sound model for the foreign language learner's voice and the pronunciation dictionary for the foreign language learner's voice stored in the storage 130. That is, the pronunciation string generator 140 generates a speech string for the input language learner's voice by performing voice recognition based on the sound model for the foreign language learner's voice and the pronunciation dictionary for the foreign language learner's voice stored in the storage 130. do.

발음평가부(150)는 기생성된 외국어 학습자의 음성에 대한 발음열을 분석하여 외국어 학습자의 발성 오류를 검출한다. 발음평가부(150)는 기생성된 외국어 학습자의 음성에 대한 발음열 및 저장부(130)에 저장된 원어민 음성용 음향모델을 근거로 외국어 학습자의 음성에 대한 신뢰도를 산출한다. 발음평가부(150)는 외국어 학습자의 발성 오류 검출 및 산출한 신뢰도를 근거로 외국어 학습자의 음성 오류 발음을 검출한다.
The pronunciation evaluation unit 150 detects a speech error of the foreign language learner by analyzing the pronunciation string of the generated speech of the foreign language learner. The pronunciation evaluation unit 150 calculates the reliability of the foreign language learner's voice based on the pronunciation string for the voice of the foreign language learner and the acoustic model for the native speaker's voice stored in the storage unit 130. The pronunciation evaluation unit 150 detects the pronunciation error of the foreign language learner based on the detection of the speech error of the foreign language learner and the calculated reliability.

출력부(160)는 발음평가부(150)에서 검출한 외국어 학습자의 발성 오류를 출력한다. 이때, 출력부(160)는 스피커, 디스플레이장치 등을 통해 발성 오류를 외국어 학습자에게 출력한다. 여기서, 출력부(160)는 외국어 학습자의 음성에 대한 신뢰도 및 음성 오류 발음을 출력할 수도 있다.
The output unit 160 outputs a speech error of the foreign language learner detected by the pronunciation evaluation unit 150. In this case, the output unit 160 outputs a speech error to the foreign language learner through a speaker, a display device, or the like. Here, the output unit 160 may output the reliability and speech error pronunciation of the voice of the foreign language learner.

이하, 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 3은 본 발명의 실시예에 따른 외국어 학습자의 발음 평가 방법을 설명하기 위한 흐름도이다.
Hereinafter, the pronunciation evaluation method of the foreign language learner according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. 3 is a flowchart illustrating a pronunciation evaluation method of a foreign language learner according to an embodiment of the present invention.

먼저, 저장부(130)는 외국어 학습자의 음성에 대한 발음열 생성에 근거가 되는 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전과, 외국어 학습자의 발음 평가를 위한 원어민 음성용 음향모델을 저장하고 있다.
First, the storage unit 130 stores a sound model for a foreign language learner's voice, a pronunciation dictionary for a foreign language learner's voice, and a native speaker's speech model for evaluating a foreign language learner's pronunciation based on the generation of a pronunciation string for a foreign language learner's voice. Doing.

음성 입력부(110)는 외국어 학습자의 음성을 입력받는다(S100). 즉, 음성 입력부(110)는 마이크를 포함하여 구성되어, 외국어 학습자가 특정 단어, 문장 등을 발음함에 따라 발생하는 음성을 입력받는다.
The voice input unit 110 receives a voice of a foreign language learner (S100). That is, the voice input unit 110 is configured to include a microphone to receive a voice generated as a foreign language learner pronounces a specific word, sentence, or the like.

문장 입력부(120)는 외국어 학습자의 음성에 해당하는 문장을 입력받는다(S200). 즉, 음성 입력부(110)는 외국어 학습자가 발음한 특정 단어, 문장 등과 같은 텍스트 형태의 문장을 입력받는다.
Sentence input unit 120 receives a sentence corresponding to the voice of the foreign language learner (S200). That is, the voice input unit 110 receives a text-type sentence such as a specific word or sentence pronounced by a foreign language learner.

발음열 생성부(140)는 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전을 근거로 입력된 음성에 대한 음성인식을 통해 발음열을 생성한다(S300).
The pronunciation string generator 140 generates a pronunciation string through speech recognition of the input voice based on the sound model for the foreign language learner's voice and the pronunciation dictionary for the foreign language's learner's voice (S300).

발음평가부(150)는 기생성된 외국어 학습자의 음성에 대한 발음열을 분석하여 외국어 학습자의 발성 오류를 검출한다(S400). 이때, 발음평가부(150)는 기생성된 외국어 학습자의 음성에 대한 발음열 및 저장부(130)에 저장된 원어민 음성용 음향모델을 근거로 외국어 학습자의 음성에 대한 신뢰도를 산출하고, 검출한 외국어 학습자의 발성 오류 및 산출한 신뢰도를 근거로 외국어 학습자의 음성 오류 발음을 검출할 수도 있다.
The pronunciation evaluation unit 150 detects a speech error of the foreign language learner by analyzing the pronunciation string of the parasitic generated voice of the foreign language learner (S400). At this time, the pronunciation evaluation unit 150 calculates the reliability of the voice of the foreign language learner based on the pronunciation string for the voice of the foreign language learner and the sound model for the native speaker stored in the storage unit 130, and detects the foreign language. The pronunciation of the voice error of the foreign language learner may be detected based on the learner's speech error and the calculated reliability.

출력부(160)는 발음평가부(150)에서 검출한 외국어 학습자의 발성 오류를 출력한다(S500). 이때, 출력부(160)는 스피커, 디스플레이장치 등을 통해 발성 오류를 외국어 학습자에게 출력한다. 여기서, 출력부(160)는 외국어 학습자의 음성에 대한 신뢰도 및 음성 오류 발음을 출력할 수도 있다.
The output unit 160 outputs a speech error of the foreign language learner detected by the pronunciation evaluation unit 150 (S500). In this case, the output unit 160 outputs a speech error to the foreign language learner through a speaker, a display device, or the like. Here, the output unit 160 may output the reliability and speech error pronunciation of the voice of the foreign language learner.

상술한 바와 같이, 외국어 학습자의 발음 평가 장치(100) 및 방법은 외국어 학습자의 음성으로 학습된 음향모델과 발음 오류가 반영된 발음모델을 이용하여 생성한 외국어 학습자의 음성에 대한 발음열과 원어민 음향 모델을 이용하여 외국어 발음을 평가함으로써, 외국어 학습자의 입력 음성에 대한 발음열 생성의 정확도를 높일 수 있는 효과가 있다.As described above, the apparatus 100 and method for evaluating the pronunciation of a foreign language learner are configured to generate a pronunciation string and a native speaker's sound model for a foreign language learner's voice generated using a sound model trained by a foreign language learner's voice and a pronunciation model reflecting a pronunciation error. By evaluating the pronunciation of the foreign language, the accuracy of the pronunciation string generation for the input voice of the foreign language learner can be improved.

또한, 외국어 학습자의 발음 평가 장치(100) 및 방법은 외국어 학습자의 입력 음성에 대한 발음열 생성의 정확도를 높임으로써, 외국어 학습자의 발음 평가의 신뢰도를 높일 수 있는 효과가 있다.
In addition, the apparatus 100 and method for evaluating the pronunciation of the foreign language learner may increase the accuracy of the pronunciation string generation for the input voice of the foreign language learner, thereby increasing the reliability of the pronunciation evaluation of the foreign language learner.

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but many variations and modifications may be made without departing from the scope of the present invention. It will be understood that the invention may be practiced.

100: 발음 평가 장치 110: 음성 입력부
120: 문장 입력부 130: 저장부
132: 제1저장모듈 134: 제2저장모듈
136: 제3저장모듈 140: 발음열 생성부
150: 발음 평가부 160: 출력부100: pronunciation evaluation device 110: voice input unit
120: sentence input unit 130: storage unit
132: first storage module 134: second storage module
136: third storage module 140: pronunciation string generator
150: pronunciation evaluation unit 160: output unit

Claims (1)

외국어 학습자 음성용 음향모델과 외국어 학습자 음성용 발음사전 및 원어민 음성용 음향모델을 저장하는 저장부;
상기 저장된 외국어 학습자 음성용 음향모델 및 외국어 학습자 음성용 발음사전을 근거로 음성인식을 수행하여 입력되는 외국어 학습자의 음성에 대한 발음열을 생성하는 발음열 생성부; 및
상기 생성된 발음열을 근거로 상기 입력되는 외국어 학습자의 음성으로부터 발성 오류를 검출하는 발음평가부를 포함하는 것을 특징으로 하는 외국어 학습자의 발음 평가 장치.A storage unit for storing a sound model for a foreign language learner's voice, a pronunciation dictionary for a foreign language learner's voice, and a sound model for a native speaker's voice;
A pronunciation string generator configured to generate a pronunciation string for a voice of a foreign language learner input by performing voice recognition based on the stored sound model for the foreign language learner voice and the pronunciation dictionary for the foreign language learner voice; And
And a pronunciation evaluation unit for detecting a utterance error from the input voice of the foreign language learner based on the generated pronunciation string.
KR1020110135888A 2011-12-15 2011-12-15 Apparatus and method for evaluating pronunciation of foreign language learner KR20130068598A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110135888A KR20130068598A (en) 2011-12-15 2011-12-15 Apparatus and method for evaluating pronunciation of foreign language learner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110135888A KR20130068598A (en) 2011-12-15 2011-12-15 Apparatus and method for evaluating pronunciation of foreign language learner

Publications (1)

Publication Number Publication Date
KR20130068598A true KR20130068598A (en) 2013-06-26

Family

ID=48864190

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110135888A KR20130068598A (en) 2011-12-15 2011-12-15 Apparatus and method for evaluating pronunciation of foreign language learner

Country Status (1)

Country Link
KR (1) KR20130068598A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150014236A (en) * 2013-07-29 2015-02-06 한국전자통신연구원 Apparatus and method for learning foreign language based on interactive character
KR101637843B1 (en) * 2015-07-24 2016-07-08 중앙대학교 산학협력단 Apparatus and Method for pronunciation training for beginners of foreign language learning
KR20160122449A (en) 2015-04-14 2016-10-24 서용재 English learning method for enhancing memory of unconscious process
KR20180048136A (en) * 2016-11-02 2018-05-10 한국전자통신연구원 Method for pronunciation assessment and system using the method
CN113035237A (en) * 2021-03-12 2021-06-25 平安科技（深圳）有限公司 Voice evaluation method and device and computer equipment
KR20210079512A (en) 2019-12-20 2021-06-30 주식회사 에듀템 Foreign language learning evaluation device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150014236A (en) * 2013-07-29 2015-02-06 한국전자통신연구원 Apparatus and method for learning foreign language based on interactive character
KR20160122449A (en) 2015-04-14 2016-10-24 서용재 English learning method for enhancing memory of unconscious process
KR101637843B1 (en) * 2015-07-24 2016-07-08 중앙대학교 산학협력단 Apparatus and Method for pronunciation training for beginners of foreign language learning
KR20180048136A (en) * 2016-11-02 2018-05-10 한국전자통신연구원 Method for pronunciation assessment and system using the method
KR20210079512A (en) 2019-12-20 2021-06-30 주식회사 에듀템 Foreign language learning evaluation device
CN113035237A (en) * 2021-03-12 2021-06-25 平安科技（深圳）有限公司 Voice evaluation method and device and computer equipment

Similar Documents

Publication Publication Date Title
Saz et al. Tools and technologies for computer-aided speech and language therapy
JP5405672B2 (en) Foreign language learning apparatus and dialogue system
US8175882B2 (en) Method and system for accent correction
CN103594087B (en) Improve the method and system of oral evaluation performance
US11145222B2 (en) Language learning system, language learning support server, and computer program product
US9520143B2 (en) Foreign language learning apparatus and method for correcting pronunciation through sentence input
KR20130068598A (en) Apparatus and method for evaluating pronunciation of foreign language learner
WO2013172531A1 (en) Language learning system and learning method
Daniels et al. The suitability of cloud-based speech recognition engines for language learning.
KR101740636B1 (en) Method and apparatus for evaluating pronunciation based on speech recognition
KR101037247B1 (en) Foreign language conversation training method and apparatus and trainee simulation method and apparatus for qucikly developing and verifying the same
WO2021074721A2 (en) System for automatic assessment of fluency in spoken language and a method thereof
Cucchiarini et al. Automatic speech recognition for second language pronunciation training
Inoue et al. A Study of Objective Measurement of Comprehensibility through Native Speakers' Shadowing of Learners' Utterances.
JP2015011348A (en) Training and evaluation method for foreign language speaking ability using voice recognition and device for the same
Tabbaa et al. Computer-aided training for Quranic recitation
JP2010282058A (en) Method and device for supporting foreign language learning
KR20150024295A (en) Pronunciation correction apparatus
Cámara Arenas et al. Automatic pronunciation assessment vs. automatic speech recognition: A study of conflicting conditions for L2-English
KR102274766B1 (en) Pronunciation prediction and evaluation system for beginner foreign language learners
KR101487007B1 (en) Learning method and learning apparatus of correction of pronunciation by pronunciation analysis
KR101487006B1 (en) Learning method and learning apparatus of correction of pronunciation for pronenciaion using linking
KR20110092622A (en) A method and system for estimating foreign language speaking using speech recognition technique
Nakagawa et al. A statistical method of evaluating pronunciation proficiency for English words spoken by Japanese
TWI727395B (en) Language pronunciation learning system and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application