KR20090081046A - Language learning system using internet network - Google Patents

Language learning system using internet network Download PDF

Info

Publication number
KR20090081046A
KR20090081046A KR1020080006903A KR20080006903A KR20090081046A KR 20090081046 A KR20090081046 A KR 20090081046A KR 1020080006903 A KR1020080006903 A KR 1020080006903A KR 20080006903 A KR20080006903 A KR 20080006903A KR 20090081046 A KR20090081046 A KR 20090081046A
Authority
KR
South Korea
Prior art keywords
pronunciation
voice
learner
sentence
language learning
Prior art date
Application number
KR1020080006903A
Other languages
Korean (ko)
Inventor
최윤정
Original Assignee
최윤정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최윤정 filed Critical 최윤정
Priority to KR1020080006903A priority Critical patent/KR20090081046A/en
Publication of KR20090081046A publication Critical patent/KR20090081046A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

A language learning system using the Internet and a method thereof are provided to analyze and evaluate pronunciation of a voice uttered by a learner through a learner terminal located in a remote place, thereby suggesting a correct pronunciation. A learner terminal(10-2) displays a received sentence, and converts a voice of a learner who pronounces the displayed sentence into voice data to send the voice data, then receives and displays pronunciation evaluation results on the voice data. A language learning center(40) transmits the sentence to the learner terminal. When the voice data on the sentence is received, the language learning center detects the first pronunciation features of the voice data, and compares the detected first voice features with the second pronunciation features for a native speaker's voice on the suggested sentence. The language learning center transmits the pronunciation evaluation results of the native speaker to the learner terminal.

Description

인터넷을 이용한 언어 학습 시스템 및 방법{LANGUAGE LEARNING SYSTEM USING INTERNET NETWORK}LANGUAGE LEARNING SYSTEM USING INTERNET NETWORK}

본 발명은 언어 학습 시스템에 관한 것으로, 보다 상세하게는 원격지의 학습자 단말기를 통해 학습자가 발화한 음성에 대한 발음을 분석 및 평가하고, 올바른 발음을 제시할 수 있는 인터넷을 이용한 언어 학습 시스템 및 방법에 관한 것이다.The present invention relates to a language learning system, and more particularly, to a language learning system and method using the Internet capable of analyzing and evaluating a pronunciation of a voice spoken by a learner through a remote learner terminal and presenting a correct pronunciation. It is about.

인터넷 이용자의 수가 급증하고, 유무선 인터넷 기술이 발달하여 초고속의 데이터 송수신이 가능해 지면서 인터넷을 통한 다양한 컨텐츠들을 원격지에 있는 컴퓨터로 제공하는 인터넷 시스템(사용자 측면에서는 "사이트"라고도 함)들이 증가하고 있다. 이러한 컨텐츠들 중 하나가 교육, 즉 학습이다. 인터넷 학습 분야들로는 어학, 법, 수능 등 그 분야가 다양하다. 또한, 초고속 유무선 통신망이 형성됨에 따라 데이터의 량이 많은 멀티미디어의 전송이 가능해지면서 이러한 학습 컨텐츠들도 다양해지고 확대되고 있는 추세에 있다. 특히, 이와 같은 학습 컨텐츠들 중에는 외국어와 같은 어학에 대한 학습 콘텐츠가 상당 부분을 차지한다. 그런데 이와 같은 인터넷을 이용한 어학 학습을 위한 컨텐츠들은 대부분은 동영상을 통한 학습이 대부분이다. 이러한 동영상을 통한 학습만으로는 문법이나 듣기 능력을 향상 시킬 수는 있으나 말하기 능력을 향상시키기는 어려운 문제점이 있었다.As the number of Internet users is rapidly increasing and wired / wireless internet technologies are developed to enable high-speed data transmission and reception, an increasing number of Internet systems (also referred to as "sites" in terms of users) that provide various contents via the Internet to a remote computer are provided. One of these contents is education, or learning. There are many areas of internet learning such as language, law and SAT. In addition, as the high-speed wired and wireless communication network is formed, as the multimedia data having a large amount of data can be transmitted, these learning contents are also diversified and expanded. In particular, among such learning contents, the learning contents for a language such as a foreign language make up a large part. However, most of the content for language learning using the Internet is mostly through video. Learning through these videos alone can improve grammar and listening skills, but it was difficult to improve speaking skills.

이러한 문제점을 해소하기 위해 최근에는 제시한 문장에 대해 학습자가 발화한 상기 문장에 대한 발음과 원어민의 발음을 들려주어 학습자가 스스로 자신의 발음과 원어민의 발음을 비교하도록 하는 시스템이 제공되고 있다.In order to solve such a problem, a system for allowing a learner to compare his / her own pronunciation with the native speaker's pronunciation by presenting a pronunciation of the native speaker and the pronunciation of the sentence spoken by the learner has been provided.

그러나 이 또한, 학습자가 스스로 판단하여야 하므로 학습자가 잘못된 부분을 명확하게 찾기 어려우며, 어떻게 해야 잘못된 발음을 고칠 수 있는지 알 수 없는 문제점이 있었다.However, this also has a problem that it is difficult for the learner to find the wrong part clearly because the learner has to judge for themselves, and how to correct the wrong pronunciation.

따라서, 본 발명의 목적은 원격지의 학습자 단말기를 통해 학습자가 발화한 음성에 대한 발음을 분석 및 평가하고, 올바른 발음을 제시할 수 있는 인터넷을 이용한 언어 학습 시스템 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a language learning system and method using the Internet that can analyze and evaluate a pronunciation of a voice spoken by a learner through a remote learner terminal and present a correct pronunciation.

상기한 목적을 달성하기 위한 본 발명의 장치는; 수신된 문장을 표시한 후, 표시된 문장에 대해 발음한 학습자의 음성을 음성데이터로 변환하여 송신하고, 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 학습자 단말과, 상기 학습자 단말로 문장을 송신하여 제시하고, 상기 문장에 대한 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 검출된 제1음성 특징들과 의해 상기 제시한 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상 기 학습자 단말기로 송신하는 언어 학습 센터를 포함한다.The apparatus of the present invention for achieving the above object; After the received sentence is displayed, the learner terminal converts and transmits the learner's voice to the voice data for the displayed sentence, and receives and displays the pronunciation evaluation result of the transmitted voice data, and the sentence to the learner terminal. Transmits and presents the speech data, and if the speech data for the sentence is received, detects the first speech features of the speech data, and detects the second speech for the native speaker's speech for the presented sentence by the detected first speech features. Comprising a pronunciation evaluation by comparing the features, and includes a language learning center for transmitting the pronunciation evaluation results including the native speaker's voice to the learner terminal.

상기한 목적을 달성하기 위한 본 발명의 다른 장치는; 학습자로부터 발화된 음성을 음성데이터로 변환하여 송신하고, 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 학습자 단말과, 상기 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 상기 제1발음 특징들에 의해 음성인식을 수행한 후, 문자 변환하여 상기 음성데이터에 대한 문장을 생성하며, 상기 검출된 제1음성 특징들과 상기 생성된 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 언어 학습 센터를 포함한다.Another apparatus of the present invention for achieving the above object; The learner terminal converts the speech spoken by the learner into speech data and transmits the received speech data, and receives and displays a pronunciation evaluation result of the transmitted speech data, and detects first speech characteristics of the speech data when the speech data is received. And, after performing voice recognition based on the first phonetic features, converts the text to generate a sentence for the voice data, and generates a first speech feature for the native speaker's voice with respect to the detected first voice features and the generated sentence. Comprising a pronunciation evaluation by comparing the two phonetic features, and includes a language learning center for transmitting the pronunciation evaluation results including the native speaker's voice to the learner terminal.

상기한 목적을 달성하기 위한 본 발명의 방법은; 학습자 단말이 언어 학습 센터에 접속 후, 언어 학습 센터로 발음 학습을 요청하는 제1과정과, 언어 학습 센터가 상기 발음 학습 요청 수신 시 상기 학습자 단말에 대한 학습 문장을 송신하여 제시하는 제2과정과, 상기 학습자 단말이 수신된 문장을 표시한 후, 표시된 문장에 대해 발화한 학습자의 음성을 음성데이터로 변환하여 송신하는 제3과정과, 상기 제시한 문장에 대한 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 검출된 제1음성 특징들과 의해 상기 제시한 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 제4과정과, 상기 학습자 단말이 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 제5과정을 포함한다.The method of the present invention for achieving the above object; After the learner terminal accesses the language learning center, the first process of requesting pronunciation learning to the language learning center, and the second process of transmitting and presenting a learning sentence for the learner terminal when the language learning center receives the pronunciation learning request; And, after the learner terminal displays the received sentence, converts the learner's voice spoken with respect to the displayed sentence into voice data, and transmits the voice data. Pronunciation evaluation is performed by detecting first phonetic features, comparing the first phonetic features with the second phonetic features of the native speaker's voice to the sentence presented above, and performing a phonetic evaluation including the native speaker's voice A fourth process of transmitting a result to the learner terminal, and the learner terminal receiving a pronunciation evaluation result of the transmitted voice data; A fifth process of displaying is included.

상술한 목적을 달성하기 위한 본 발명의 다른 방법은; 학습자 단말이 언어 학습 센터에 접속 후, 언어 학습 센터로 발음 학습을 요청하는 제1과정과, 상기 언어 학습 센터가 상기 발음 학습 요청이 발생하면 음성데이터 수신 대기모드를 설정하는 제2과정과, 상기 학습자 단말이 상기 발음 학습 요청 후 학습자로부터 발화된 음성을 음성데이터로 변환하여 송신하는 제3과정과, 상기 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 상기 제1발음 특징들에 의해 음성인식을 수행한 후, 문자 변환하여 상기 음성데이터에 대한 문장을 생성하며, 상기 검출된 제1음성 특징들과 상기 생성된 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 제4과정과, 상기 학습자 단말이 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 제5과정을 포함한다.Another method of the present invention for achieving the above object is; After the learner terminal accesses the language learning center, a first process of requesting pronunciation learning to a language learning center; and a second process of setting a voice data reception standby mode when the language learning center generates the pronunciation learning request; A third process of the learner terminal converting the speech spoken by the learner into voice data after the pronunciation learning request; and detecting the first sounding features of the voice data when the voice data is received, and detecting the first sounding features. After the speech recognition by the voice conversion, the text is converted to generate a sentence for the voice data, and compared with the detected first speech features and the second pronunciation features of the native speaker's voice for the generated sentence A fourth process of performing an evaluation and transmitting a pronunciation evaluation result including the native speaker's voice to the learner terminal; And a fifth process of receiving and displaying a pronunciation evaluation result of the transmitted voice data.

본 발명은 학습자가 발화한 문장에 대한 정확하게 발음을 평가하고, 학습자에게 올바른 발음법을 제시할 수 있는 이점을 가진다.The present invention has the advantage of accurately assessing the pronunciation of the sentence spoken by the learner and presenting the correct pronunciation to the learner.

또한, 본 발명은 음성인식을 수행하므로 써 제시되는 문장뿐만 아니라 학습자가 임의로 발음한 문장에 대해서도 발음평가를 수행하고, 이에 대한 올바른 발음법을 제시할 수 있는 이점을 가진다.In addition, the present invention has the advantage that it is possible to present the correct pronunciation method, and to perform the pronunciation evaluation for the sentences randomly pronounced by the learner as well as the sentences presented by performing the speech recognition.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that in the following description, only parts necessary for understanding the operation according to the present invention will be described, and descriptions of other parts will be omitted so as not to deviate from the gist of the present invention.

도 1은 본 발명의 제1실시 예에 따른 인터넷을 이용한 어학 학습 시스템의 구성을 나타낸 도면이다.1 is a view showing the configuration of a language learning system using the Internet according to a first embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 어학 학습 시스템은 학습자 단말(10)과 언어 학습 센터(40)와 상기 학습자 단말(10)과 언어 학습 센터(40)를 유선/무선으로 연결하기 위한 인터넷망(20) 및 인터넷망(20)과 연결되는 무선망(30)으로 구성된다.Referring to FIG. 1, the language learning system according to the present invention is an internet network for connecting the learner terminal 10, the language learning center 40, and the learner terminal 10 and the language learning center 40 by wire / wireless. 20 and a wireless network 30 connected to the Internet network 20.

학습자 단말(10)은 학습자로부터 발화되는 음성을 녹음하고 얼굴, 특히 입모양을 녹화하여 인터넷망(20) 또는 무선망(30)과 인터넷망(20)을 통해 언어 학습 센터(40)로 전송한다. 학습자 단말(10)은 또한 언어 학습 센터(40)로부터 수신되는 발음 평가 결과를 수신하여 표시한다. 상기 학습자 단말(10)은 가정용 컴퓨터(10-1) 또는 핸드폰, 개인휴대용정보단말기(Personal Digital Assistant: PDA) 등의 휴대통신단말기(10-2)가 될 수 있다. 상기 음성은 펄스코드변조(Pulse Code Modulation: PCM)된 데이터로 전송될 수 있으며 EVRC(Enhanced Variable Rate Coder) 포맷의 데이터로 전송될 수도 있다. 또한, 상기 음성은 엠피3(MP3) 포맷으로 전송될 수도 있다. 상기 발음 평가 결과는 또한, 상기 발음 평과 결과는 학습자가 발화한 발음에 대한 문장 및 원어민 발음을 포함하며, 원어민 발음을 기준으로 한 발음된 전체 문장 및 단어들의 발음 속도, 억양, 리듬 및 입모양에 대한 비교 결과를 포함한다. 비교 결과에 따른 올바른 발음 속도, 억양, 리듬, 구강구조 및 단어와 단어의 연음 정보 및 입모양을 포함하는 올바른 발음법 정보를 포함한다. 상기 학습자 단말(10)은 학습자의 발음에 대한 파형, 원어민의 발음에 대한 파형, 입모양, 억양 및 리듬을 그래픽적으로 표시한다. 또한, 학습자 단말은 학습자의 옵션 설정에 의해 상기 언어 학습 센터(40)로부터 상기 구강구조 및 입모양 등에 대한 3D 와이어 프레임, 쉐이드 및 크로스 섹션(단면 보기) 및 실사 정보를 수신받아 표시한다.The learner terminal 10 records the voice spoken by the learner and records a face, especially a mouth shape, and transmits the recorded language to the language learning center 40 through the Internet network 20 or the wireless network 30 and the Internet network 20. . The learner terminal 10 also receives and displays the pronunciation evaluation result received from the language learning center 40. The learner terminal 10 may be a home computer 10-1 or a mobile communication terminal 10-2 such as a mobile phone or a personal digital assistant (PDA). The voice may be transmitted in Pulse Code Modulation (PCM) data or may be transmitted in Enhanced Variable Rate Coder (EVRC) format. In addition, the voice may be transmitted in an MP3 format. The pronunciation evaluation result may further include a sentence and a native speaker's pronunciation of the pronunciation spoken by the learner, and the pronunciation rate, intonation, rhythm, and shape of the entire sentence and words based on the native speaker's pronunciation. Comparison results. It includes correct pronunciation speed, intonation, rhythm, oral structure and correct pronunciation method information including word and word symptom information and mouth shape according to the comparison result. The learner terminal 10 graphically displays the waveform of the learner's pronunciation, the waveform of the native speaker's pronunciation, mouth shape, intonation and rhythm. In addition, the learner terminal receives and displays 3D wire frames, shades and cross sections (cross section view), and due diligence information about the oral structure and mouth shape from the language learning center 40 by setting learner options.

언어 학습 센터(40)는 인터넷망(20)을 통해 학습자 단말(10)의 접속 및 인증을 수행하고, 인증된 학습자로부터 발화된 발음을 PCM, EVRC 또는 MP3 포맷 등으로 수신받아 학습자의 발음을 평가한다. 언어 학습 센터(40)는 발음을 평가하기 위해 해당 언어에 대한 단어별 속도, 리듬 및 억양 등의 발음 및 입모양 등의 정보를 포함하는 발음 사전 DB(Database) 및 전체 문장에 대한 속도, 리듬 및 억양 등의 정보를 포함하는 문법 정보를 가지는 문법 DB(Database)를 포함한다. 또한, 상기 발음 사전 DB에는 단어와 단어를 연결하는 연음 발음 및 연음 발음에 따른 입모양 정보도 포함된다. 예를 들어, 발음 사전 DB에는 [g i v e u p] -> [ g i v Λ p ]과 같이 연음 정보 및 이에 따른 입모양이 포함된다. 또한, 언어 학습 센터(40)는 수신된 학습자의 발음에 대한 음성인식 및 문자 변환을 수행하여 발음 평가에 이용하고 학습자 단말(10)로 제공한다. 또한, 언어 학습 센터(40)는 학습자 단말(10)로 학습자 옵션 설정에 따른 구강구조 및 입모양들에 대한 3D 와이어 프레임을 DB화하고 있으며, 상기 3D 와이어 프레임을 근거로 한 쉐이드, 실사 퀄리티, 크로스섹션 처리를 수행하여, 학습자 단말(10)로 제공한다.The language learning center 40 performs the access and authentication of the learner terminal 10 through the Internet network 20, and receives the pronunciation of the certified learner in PCM, EVRC, or MP3 format to evaluate the learner's pronunciation. do. The language learning center 40 includes a pronunciation dictionary DB (Database) including information such as pronunciation and mouth shape such as word-specific speed, rhythm and intonation for the language to evaluate pronunciation, speed, rhythm and It includes a grammar DB (Database) having grammar information including information of intonation. In addition, the pronunciation dictionary DB includes word-like information connecting words with words and mouth-shaped information according to the pronunciation of the words. For example, the pronunciation dictionary DB includes the sound information and the mouth shape according to [g i v e u p]-> [g i v Λ p]. In addition, the language learning center 40 performs voice recognition and text conversion on the received learner's pronunciation to use for pronunciation evaluation and provides it to the learner terminal 10. In addition, the language learning center 40 is a learner terminal 10 is a DB of the 3D wireframe for oral structure and mouth shape according to the learner option setting, the shade, due diligence quality based on the 3D wireframe The cross section process is performed and provided to the learner terminal 10.

무선망(30)은 무선 근거리통신망(Wireless Local Area Network:WLAN)일 수도 있고, 언어 학습 센터(40)와 직접 연결되거나 인터넷망(20)을 통해 연결되는 이동통신망이 될 수도 있다.The wireless network 30 may be a wireless local area network (WLAN), or may be a mobile communication network directly connected to the language learning center 40 or connected through the internet network 20.

상기 도 1에서는 전체 시스템의 구성을 설명하였다. 이하 도 2를 참조하여 학습자 단말(10)의 구체적인 구성을 설명한다. 도 2는 본 발명에 제1실시 예에 따른 어학 학습 시스템의 학습자 단말의 구성을 나타낸 도면이다.In FIG. 1, the configuration of the entire system has been described. Hereinafter, a detailed configuration of the learner terminal 10 will be described with reference to FIG. 2. 2 is a view showing the configuration of a learner terminal of a language learning system according to a first embodiment of the present invention.

학습자 단말(10)은 단말 제어부(11)와 단말 저장부(12)와 입력부(13)와 디스플레이부(14)와 음성처리부(15)와 데이터 통신부(16)와 카메라부(17)로 구성된다.The learner terminal 10 includes a terminal control unit 11, a terminal storage unit 12, an input unit 13, a display unit 14, a voice processing unit 15, a data communication unit 16, and a camera unit 17. .

단말 제어부(11)는 본 발명에 따른 언어 학습을 수행하기 위한 전반적인 동작을 제어한다.The terminal controller 11 controls the overall operation for performing language learning according to the present invention.

단말 저장부(12)는 본 발명에 따른 인터넷망(20)과 접속하는 어학 학습 센터(40)를 통한 어학 학습을 수행하기 위한 제어프로그램을 저장하는 제어프로그램 저장영역과, 상기 제어프로그램 수행중에 발생하는 데이터들을 일시 저장하기 위한 임시 영역과, 평가된 결과정보를 저장하는 데이터 영역으로 구성된다.The terminal storage unit 12 is a control program storage area for storing a control program for performing language learning through the language learning center 40 connected to the Internet network 20 according to the present invention, and occurs during the execution of the control program. And a temporary area for temporarily storing data, and a data area for storing evaluated result information.

입력부(13)는 학습자 단말(10)의 동작을 제어하기 위한 다수의 키들을 구비하고, 키들 중 학습자에 의해 눌려진 키에 대한 키데이터를 단말 제어부(11)로 출력한다. 상기 입력부(13)는 학습자 단말(10)이 개인용 컴퓨터인 경우 키보드가 될 수 있다.The input unit 13 includes a plurality of keys for controlling the operation of the learner terminal 10, and outputs key data about a key pressed by the learner among the keys to the terminal controller 11. The input unit 13 may be a keyboard when the learner terminal 10 is a personal computer.

디스플레이부(14)는 액정표시장치(Liquid Crystal Display: LCD) 또는 터치 스크린(Touch Screen) 또는 CRT 모니터로서, 단말 제어부(11)의 제어를 받아 다양한 정보들을 텍스트 및 그래픽으로 표시한다.The display unit 14 is a liquid crystal display (LCD), a touch screen, or a CRT monitor, and displays various pieces of information in text and graphics under the control of the terminal controller 11.

음성처리부(15)는 마이크(MIC) 및 스피커(SP)와 연결되고, 마이크를 통해 입력하는 음성을 음성처리하여 단말 제어부(11)로 출력한다. 상기 음성 처리는 상술한 바와 같이 입력되는 아날로그 음성을 PCM, EVRC 또는 MP3 포맷으로 처리하는 것이다.The voice processor 15 is connected to the microphone MIC and the speaker SP, and processes the voice input through the microphone and outputs the voice to the terminal controller 11. The voice processing is to process the analog voice input as described above in PCM, EVRC or MP3 format.

데이터 통신부(16)는 단말 제어부(11)의 제어를 받아 인터넷망(20) 또는 무선망(30)을 통한 인터넷망(20)에 접속하여 인터넷망(20)에 접속되어 있는 언어 학습 센터(40)와 데이터 통신을 수행한다.The data communication unit 16 is connected to the internet network 20 through the internet network 20 or the wireless network 30 under the control of the terminal controller 11, and the language learning center 40 connected to the internet network 20. Data communication with the.

카메라부(17)는 카메라를 통해 촬영된 영상 데이터를 단말 제어부(10)로 제공한다. 본 발명에 따라 카메라부(17)에 구성된 카메라는 학습자의 얼굴, 특히 입모양을 촬영한 영상 데이터를 출력할 수 있도록 학습자에 의해 조절되어야 한다.The camera unit 17 provides the terminal control unit 10 with image data captured by the camera. According to the present invention, the camera configured in the camera unit 17 should be adjusted by the learner so as to output image data photographing the learner's face, especially the mouth shape.

도 3은 본 발명의 제1실시 예에 따른 어학 학습 시스템의 학습 센터의 구성을 나타낸 도면이다.3 is a diagram illustrating a configuration of a learning center of a language learning system according to a first embodiment of the present invention.

이하 도 3을 참조하면, 본 발명에 따른 어학 학습 센터(40)는 센터 제어부(41)와 센터 저장부(42)와 데이터 통신부(43)와 음성 특징 검출부(44)와 음성인식부(45)와 기준발음정보 생성부(46)와 발음 분석부(47)와 입모양 분석부(48)와 발음 데이터베이스(Dababase: DB)와 학습자 DB(50)로 구성된다.3, the language learning center 40 according to the present invention includes a center control unit 41, a center storage unit 42, a data communication unit 43, a voice feature detection unit 44, and a voice recognition unit 45. And a reference pronunciation information generating unit 46, a pronunciation analyzer 47, a mouth analysis unit 48, a pronunciation database (Dababase: DB) and a learner DB (50).

센터 제어부(41)는 본 발명에 따른 어학 학습의 발음 평가를 위한 전반적인 동작을 제어한다.The center controller 41 controls the overall operation for pronunciation evaluation of language learning according to the present invention.

센터 저장부(42)는 어학 학습의 발음 평가를 위한 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램 영역과, 상기 제어프로그램 수행중에 발생하는 데이터를 일시 저장하기 위한 임시 영역을 구비한다.The center storage unit 42 includes a program area for storing a control program for controlling an operation for pronunciation evaluation of language learning, and a temporary area for temporarily storing data generated during the execution of the control program.

데이터 통신부(43)는 인터넷망(20) 또는 이동통신망(25)과 접속하여 학습자 단말(10)과 데이터 통신을 수행한다.The data communication unit 43 connects to the internet network 20 or the mobile communication network 25 to perform data communication with the learner terminal 10.

음성 특징 검출부(44)는 제어부(41)의 제어를 받아 데이터 통신부(43)를 통해 수신된 학습자의 음성데이터로부터 음성 특징을 검출한다. 상기 음성 특징이란 음성인식을 위한 성도 모델 특성에 근거한 음성 특징(Pitch) 추출 뿔만 아니라 전체 음성의 속도, 억양을 판단하기 위한 특징 및 리듬을 판단하기 위한 음도 특징과 상기 전체 음성 내의 각 단어의 속도 및 단어와 단어 사이의 간격 시간 등이다. 상기 성도 모델 특성에 근거한 음성 특징은 음성 인식부(45)로 입력하고, 그 이외의 정보들은 발음 정보 생성부(46)로 입력한다.The voice feature detector 44 detects a voice feature from voice data of the learner received through the data communication unit 43 under the control of the controller 41. The voice feature is not only a pitch feature extraction horn based on a vocal model model characteristic for voice recognition, but also a voice feature for determining the speed, a feature for determining intonation and a rhythm, and a speed of each word in the whole voice. The time between words and the interval between words. The voice feature based on the vocal tract model characteristics is input to the voice recognizer 45, and other information is input to the pronunciation information generator 46.

음성인식부(45)는 상기 성도 모델 특성에 근거한 음성 특징 정보를 입력받고, 음성인식을 수행한 후 음성인식된 음성을 문자로 변환하여 센터 제어부(41) 및 발음 정보 생성부(46)로 출력한다.The voice recognition unit 45 receives voice feature information based on the characteristics of the vocal tract model, performs voice recognition, converts the voice recognition voice into a text, and outputs it to the center controller 41 and the pronunciation information generator 46. do.

기준발음정보 생성부(46)는 발음 DB(49)에 근거하여 상기 음성인식부(45)로부터 입력하는 문장에 대한 상기 음성 특징들을 검출하여 발음 분석부(47)로 출력한다.The reference phonetic information generator 46 detects the voice features of the sentence input from the voice recognition unit 45 based on the pronunciation DB 49 and outputs the same to the pronunciation analyzer 47.

발음 분석부(47)는 상기 음성 특징 검출부(44)로부터 출력되는 음성특징(이하 "제1 음성 특징"이라 함)과 기준발음 정보 생성부(46)로부터 출력되는 음성특 징(이하 "제2 음성특징"이라 함)을 비교·분석하고, 발음 DB(49)에 근거한 분석된 결과를 센터 제어부(41)로 출력한다. 상기 분석된 결과는 상기 음성인식한 문자, 학습자가 발화한 문장 전체의 속도, 억양 및 리듬과 단어별 속도, 억양, 리듬 및 구강구조 그리고 제2음성 특징과 비교하여 차이가 발생하는 부분들 및 차이가 발생한 부분에 대한 올바른 발음법 및 구강 구조 등이 포함된다. 상기 올바른 발음법 및 구강 구조는 발음 DB(49)에서 얻을 수 있다. 또한, 상기 분석 결과에는 단어와 단어를 연결하는 연음에 대한 발음 정보가 포함된다.The pronunciation analyzer 47 outputs the voice feature output from the voice feature detector 44 (hereinafter referred to as “first voice feature”) and the voice feature output from the reference phonetic information generator 46 (hereinafter referred to as “second voice feature”). Voice characteristic "), and the result of analysis based on the pronunciation DB 49 is output to the center controller 41. The result of the analysis is that the speech recognition character, the speed of the entire sentence spoken by the learner, intonation and rhythm and the word-by-word speed, intonation, rhythm and oral structure and the parts where the difference occurs compared to the second voice features Correct pronunciation and oral structure for the part where it occurred. The correct pronunciation and oral structure can be obtained from the pronunciation DB 49. In addition, the analysis result includes pronunciation information about the word and the connection between words.

발음 DB(49)는 음성인식을 수행하기 위한 성도 모델 특성에 근거한 음성 사전 DB, 해당 언어에 대한 문법 DB, 음절단위의 구강구조 및 기준 발음법과 학습자가 발음한 발음간에 발생할 수 있는 차이점들에 대한 올바른 발음 정보를 포함하는 기준 발음 DB 등과 같은 서브 DB들을 포함한다. 상기 구강구조는 목구멍의 형태뿐만 아니라 혀의 입내에서의 위치 정보도 포함한다. 또한, 상기 문법 DB에는 문장 및 단어의 억양, 속도 및 리듬 정보를 포함하며, 단어와 단어 사이의 연음 및 연음 발음 정보를 포함한다. 또한, 발음 DB(49)는 입모양 및 구강구조들에 대한 3D 와이어 프레임들을 저장한다.Pronunciation DB (49) is a phonetic dictionary DB based on the characteristics of the vocal model to perform speech recognition, a grammar DB for the language, oral structure of syllable units, and the differences between the pronunciation of pronunciation and the pronunciation of the pronunciation of the learner. Sub-DBs, such as a reference pronunciation DB, including correct pronunciation information. The oral structure includes not only the shape of the throat but also the positional information in the mouth of the tongue. In addition, the grammar DB includes information of intonation, speed, and rhythm of sentences and words, and includes information about the pronunciation of the words and the tonal sounds between words. The pronunciation DB 49 also stores 3D wire frames for mouth and mouth structures.

입모양 분석부(48)는 학습자 단말(10)로부터 입모양에 대한 정지 또는 동영상 데이터를 센터 제어부(41)를 통해 입력받고, 변화되는 입모양을 캡처하고, 캡처된 입모양과 음성인식부(45)로부터 입력하는 학습자가 발화한 음성에 대한 문장을 매칭하고, 상기 문장에 대한 기준, 즉 올바른 입모양을 발음 DB(49)로부터 읽어와 센터 제어부(41)로 출력한다. 이를 위해 발음 DB(49)에는 음절 단위의 기준 입모양 들과 기준 입모양들과 학습자의 상기 문장 발화시의 입모양에 의해 발생할 수 있는 차이점에 대한 올바른 입모양법에 대한 정보를 가지고 있어야 한다.The mouth analysis unit 48 receives the still or moving image data about the mouth shape from the learner terminal 10 through the center controller 41, captures the changed mouth shape, and captures the captured mouth shape and the voice recognition unit ( The sentence inputted by the learner 45 is matched with a sentence about the spoken voice, and the reference, that is, the correct mouth shape, is read from the pronunciation DB 49 and output to the center controller 41. To this end, the pronunciation DB 49 should have information about the correct mouth method for the differences that may be caused by the reference mouths in syllable units, the reference mouths, and the learner's mouth when the sentence is uttered.

센터 제어부(41)는 상기 발음 분석부(47)와 입모양 분석부(48)로부터 입력되는 정보들에 근거하여 발음 평가 정보를 생성하고, 생성된 정보를 학습자 DB(50)의 해당 학습자 데이터 영역에 저장 후, 데이터 통신부(43)를 통해 학습자 단말(10)로 송신한다. 센터 제어부(41)는 상기 학습자 단말(10)의 옵션 설정에 따라 대한 발음 결과에 포함되는 입모양 및 구강구조에 대한 3D 와이어 프레임을 발음 DB(49)에 찾고, 쉐이드 처리, 크로스섹션 처리 또는 실사 퀄리티 처리 등을 수행하여 발음 결과에 포함시켜 송신한다. 상기 3D 와이어 프레임의 쉐이드 처리, 그로스 섹션 처리 또는 실사 퀄리티 처리 등은 별도의 3D 그래픽 처리기(도시하지 않음)를 구비하여 수행한 후 센터 제어부(41)로 제공하도록 구성될 수도 있다.The center controller 41 generates pronunciation evaluation information based on the information input from the pronunciation analyzer 47 and the mouth shape analyzer 48, and stores the generated information in the corresponding learner data area of the learner DB 50. After the data is stored in the data transmission unit 43, the learner terminal 10 is transmitted. The center controller 41 searches the pronunciation DB 49 for the 3D wire frame of the mouth shape and the oral structure included in the pronunciation result according to the option setting of the learner terminal 10, and shade processing, cross-section processing, or due diligence. Quality processing and the like are included in the pronunciation result and transmitted. Shade processing, gross section processing or photorealistic quality processing of the 3D wire frame may be provided with a separate 3D graphic processor (not shown) and then provided to the center controller 41.

도 4는 본 발명의 제1실시 예에 대한 학습 센터에 의한 문장 제시 시의 언어 학습 방법을 나타낸 절차도이다.4 is a flowchart illustrating a language learning method when a sentence is presented by a learning center according to a first embodiment of the present invention.

도 4를 참조하면, 우선, 학습자 단말(10)은 단계411에서 인터넷망(20) 및 무선망(30)을 통해 언어 학습 센터(40)에 접속한다. 상기 접속은 학습자가 학습자 단말(10)을 통해 학습자의 고유 아이디(ID) 및 비밀번호를 입력하여 로그온 한 상태를 의미한다.Referring to FIG. 4, first, the learner terminal 10 accesses the language learning center 40 through the internet network 20 and the wireless network 30 in step 411. The access refers to a state in which the learner logs on by inputting a learner's unique ID and password through the learner terminal 10.

상기 단계411에서 학습자 단말(10)이 언어 학습 센터(40)에 접속 후, 학습자 단말(10)은 단계413에서 발음 학습을 요청한다.After the learner terminal 10 accesses the language learning center 40 in step 411, the learner terminal 10 requests pronunciation learning in step 413.

언어 학습 센터(40)는 임의의 학습자 단말(10)로부터 발음 학습 요청이 발생 하면 미리 저장되어 있는 문장을 발음 학습 DB(도시하지 않음)로부터 읽어와 단계415에서 학습자 단말(10)로 송신한다. 언어 학습 센터(40)는 상기 문장과 함께 상기 문장에 대한 발음 데이터도 같이 전송할 수도 있다.The language learning center 40 reads a sentence stored in advance from the pronunciation learning DB (not shown) when the pronunciation learning request is generated from any learner terminal 10 and transmits the sentence to the learner terminal 10 in step 415. The language learning center 40 may also transmit pronunciation data for the sentence together with the sentence.

학습자 단말(10)은 발음 학습할 문장이 수신되면 디스플레이부(14)에 학습할 문장을 표시하고, 마이크를 통해 학습자의 상기 문장에 대해 발화한 음성을 음성처리부(15)를 통해 입력받아 단계417에서 데이터 통신부(16)를 통해 언어 학습 센터(40)로 송신한다. 상기 학습자 단말(10)은 상기 문장 수신 시 상기 문장의 발음데이터도 수신되면 학습자의 선택에 따라 상기 발음데이터를 음성처리부(15)와 스피커(SP)를 통해 발음을 청취할 수도 있다. 이때 학습자 단말(10)이 카메라부(17)를 구비하고 있는 경우 상기 음성과 함께 카메라부(17)를 통해 촬영된 영상데이터도 함께 송신된다.When the learner terminal 10 receives a sentence to learn pronunciation, the display unit 14 displays the sentence to be learned, and receives a voice spoken by the learner through the voice processor 15 through the microphone through the microphone. Transmits to the language learning center 40 through the data communication unit 16. When the learner terminal 10 receives the pronunciation data of the sentence upon receiving the sentence, the learner terminal 10 may listen to the pronunciation data through the voice processor 15 and the speaker SP according to the learner's selection. In this case, when the learner terminal 10 includes the camera unit 17, the image data photographed through the camera unit 17 is transmitted together with the voice.

상기 언어 학습 센터(40)는 상기 음성 데이터가 수신되면 상기 도 3에서와 같이 학습자가 발화한 음성의 발음과 상기 학습자 단말로 제시한 문장에 대한 기준 발음을 비교하여 발음 평가 결과를 생성하고 단계419에서 원어민, 즉 기준 음성의 음성데이터를 포함하는 발음 결과 정보를 학습자 단말(10)로 송신한다.When the voice data is received, the language learning center 40 generates a pronunciation evaluation result by comparing the pronunciation of the voice spoken by the learner and the reference pronunciation of the sentence presented to the learner terminal as shown in FIG. 3. In the native speaker, that is, pronunciation result information including voice data of the reference voice is transmitted to the learner terminal 10.

그러면 이때 학습자 단말(40)은 상기 발음 결과 정보를 디스플레이부(14)에 그래픽 및 텍스트로 디스플레이 하여 학습자의 발음 결과를 보여준다.Then, the learner terminal 40 displays the pronunciation result information on the display unit 14 in graphic and text to show the learner's pronunciation result.

상기 도4에서 언어 학습 센터(40)가 학습자가 발화할 문장을 제시하므로 도 4의 경우에는 음성인식부(45)를 통한 음성인식 및 문자변환은 수행하지 않는다.In FIG. 4, since the language learning center 40 presents a sentence to be spoken by the learner, in the case of FIG. 4, speech recognition and text conversion through the speech recognition unit 45 are not performed.

도 5는 본 발명의 제1실시 예에 따른 임의 문장의 발화에 대한 언어 학습 방 법을 나타낸 절차도이다.5 is a flowchart illustrating a language learning method for utterance of an arbitrary sentence according to the first embodiment of the present invention.

우선, 학습자 단말(10)은 단계511에서 인터넷망(20) 및 무선망(30)을 통해 언어 학습 센터(40)에 접속한다.First, the learner terminal 10 accesses the language learning center 40 through the Internet network 20 and the wireless network 30 in step 511.

상기 접속 후 학습자 단말(10)은 단계513에서 언어 학습 센터(40)로 발음 학습을 요청한다. 상기 발음 학습 요청을 수신한 언어 학습 센터(40)는 음성 데이터 수신 대기 모드로 전환한다.After the access, the learner terminal 10 requests pronunciation learning to the language learning center 40 in step 513. The language learning center 40 which has received the pronunciation learning request switches to the voice data reception standby mode.

단계513 후 학습자 단말(10)은 마이크(MIC)와 오디오 처리부(15)를 통해 음성데이터가 입력하면 단계515에서 상기 음성데이터를 데이터 통신부(16)를 통해 언어 학습 센터(40)로 송신한다.After the step 513, the learner terminal 10 transmits the voice data to the language learning center 40 through the data communication unit 16 when the voice data is input through the microphone MIC and the audio processor 15.

상기 음성데이터를 수신한 언어 학습 센터(40)는 도 3의 구성을 통해 학습자 발음 평가 결과를 생성하고, 단계517에서 상기 발음 평가 결과를 학습자 단말(10)로 전송한다. 상기 발음 평가 결과를 생성하기 위해 언어 학습 센터(40)는 제시된 문장이 없기 때문에 음성인식부(45)를 통한 음성인식 및 문자변환을 수행하여 학습자가 발화한 음성에 대한 문장을 생성한다.The language learning center 40 receiving the voice data generates a learner pronunciation evaluation result through the configuration of FIG. 3, and transmits the pronunciation evaluation result to the learner terminal 10 in step 517. In order to generate the pronunciation evaluation result, the language learning center 40 performs a speech recognition and a text conversion through the speech recognition unit 45 because there is no sentence presented to generate a sentence about the speech spoken by the learner.

또한, 도면으로 나타내지는 않았지만 학습자 단말(10) 상에서 오프라인으로 상술한 기능을 동일하게 수행하도록 구성할 수도 있다. 그러기 위해서는 학습자 단말(10)가 도3의 음성특징 검출부(44), 음성인식부(45), 기준발음 정보 생성부(46) 및 발음분석부(47) 및 입모양 분석부(48)에 대응하는 구성을 포함하여야 하며, 도3의 발음 DB를 학습자 단말(10)의 내외장 저장장치에 저장하고 있어야 한다.In addition, although not shown in the drawings, the learner terminal 10 may be configured to perform the same function as described above offline. To this end, the learner terminal 10 corresponds to the voice feature detector 44, the voice recognizer 45, the reference phonetic information generator 46, the pronunciation analyzer 47 and the mouth analyzer 48 of FIG. It should include a configuration, and should store the pronunciation DB of Figure 3 in the internal and external storage of the learner terminal (10).

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.

도 1은 본 발명의 제1실시 예에 따른 인터넷을 이용한 어학 학습 시스템의 구성을 나타낸 도면1 is a view showing the configuration of a language learning system using the Internet according to a first embodiment of the present invention

도 2는 본 발명에 제1실시 예에 따른 어학 학습 시스템의 학습자 단말의 구성을 나타낸 도면2 is a diagram showing the configuration of a learner terminal of a language learning system according to a first embodiment of the present invention;

도 3은 본 발명의 제1실시 예에 따른 어학 학습 시스템의 학습 센터의 구성을 나타낸 도면3 is a diagram showing the configuration of a learning center of a language learning system according to a first embodiment of the present invention;

도 4는 본 발명의 제1실시 예에 대한 학습 센터에 의한 문장 제시 시의 언어 학습 방법을 나타낸 절차도4 is a flowchart illustrating a language learning method when a sentence is presented by a learning center according to the first embodiment of the present invention.

도 5는 본 발명의 제1실시 예에 따른 임의 문장 발화 대한 언어 학습 방법을 나타낸 절차도5 is a flowchart illustrating a language learning method for arbitrary sentence utterance according to the first embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

10: 학습자 단말 20: 인터넷망10: learner terminal 20: Internet network

30: 무선망 40: 언어 학습 센터30: Wireless Network 40: Language Learning Center

11: 단말 제어부 12: 단말 저장부11: terminal control unit 12: terminal storage unit

13: 입력부 14: 디스플레이부13: input unit 14: display unit

15: 음성처리부 16: 데이터 통신부15: voice processing unit 16: data communication unit

41: 센터 제어부 42: 센터 저장부41: center control unit 42: center storage unit

43: 데이터 통신부 44: 음성 특징 검출부43: data communication unit 44: voice feature detection unit

45: 음성인식부 46: 기준발음 정보 생성부45: voice recognition unit 46: reference sound information generation unit

47: 발음 분석부 48: 입모양 분석부47: pronunciation analyzer 48: mouth analysis

49: 발음 DB49: pronunciation DB

Claims (11)

수신된 문장을 표시한 후, 표시된 문장에 대해 발음한 학습자의 음성을 음성데이터로 변환하여 송신하고, 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 학습자 단말과,A learner terminal that displays the received sentence, converts the learner's voice pronounced with respect to the displayed sentence into voice data, transmits it, and receives and displays a pronunciation evaluation result for the transmitted voice data; 상기 학습자 단말로 문장을 송신하여 제시하고, 상기 문장에 대한 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 검출된 제1음성 특징들과 의해 상기 제시한 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 언어 학습 센터를 포함하는 인터넷을 이용한 언어 학습 시스템.Transmitting and presenting a sentence to the learner terminal, and when voice data for the sentence is received, detects first phonetic features of the voice data, and detects the native speaker's voice for the presented sentence by the detected first voice features. A language learning system comprising a language learning center for performing a pronunciation evaluation by comparing the second phonetic features of the phonetic voice and transmitting a pronunciation evaluation result including the voice of the native speaker to the learner terminal. 제1항에 있어서,The method of claim 1, 상기 언어 학습 센터가 상기 음성데이터에 대한 음성인식 및 문자변환을 수행하고, 변환된 문자에 상기 평가된 발음 특징들을 반영한 후, 상기 학습자 단말로 제시한 문장과 상기 문장의 발음 특징들을 비교하여 전체 문장의 발음 평가를 수행하는 인터넷을 이용한 언어 학습 시스템.The language learning center performs voice recognition and text conversion on the speech data, reflects the evaluated pronunciation features in the converted text, and compares the sentences presented to the learner terminal with the pronunciation features of the sentences. Internet-based language learning system to perform pronunciation evaluation. 제2항에 있어서,The method of claim 2, 상기 학습자 단말이 학습자의 입모양을 촬영하여 상기 음성데이터와 함께 언 어 학습 센터로 송신하고, 언어 학습 센터가 상기 입모양과 상기 학습자 단말로 제시된 문장의 발음에 대응하는 입모양을 더 비교 및 평가하고, 상기 입모양 비교 및 입모양에 대한 평가 정보를 상기 발음 평가 결과에 포함하여 상기 학습자 단말로 송신하는 인터넷을 이용한 언어 학습 시스템.The learner terminal photographs the learner's mouth and transmits the speech data to the language learning center together with the voice data, and the language learning center further compares and evaluates the mouth shape corresponding to the pronunciation of the sentence presented to the learner terminal. The language learning system using the internet for transmitting the mouth comparison and the mouth shape evaluation information to the learner terminal is included in the pronunciation evaluation result. 제3항에 있어서,The method of claim 3, 상기 발음 특징이 단어 단위의 속도, 억양, 강세, 리듬 및 발음과 문장 전체의 속도, 억양, 강세 및 리듬임을 특징으로 하는 인터넷을 이용한 언어 학습 시스템.And said pronunciation feature is a word unit speed, intonation, stress, rhythm and pronunciation and the speed of the whole sentence, intonation, stress and rhythm. 제1항에 있어서,The method of claim 1, 상기 언어 학습 센터가,The language learning center, 인터넷망 및 무선망을 통해 학습자 단말과 데이터 통신을 수행하는 데이터 통신부와,A data communication unit performing data communication with a learner terminal through an internet network and a wireless network; 상기 데이터 통신부를 통해 학습자 단말로부터 수신되는 음성데이터로부터 상기 제1음성 특징들을 검출하여 출력하는 음성특징 검출부와,A voice feature detector for detecting and outputting the first voice features from voice data received from a learner terminal through the data communication unit; 해당 언어에 대한 문법 DB, 음절단위의 구강구조 및 기준 발음법과 학습자가 발음한 발음간에 발생할 수 있는 차이점들에 대한 올바른 발음 정보를 포함하는 기준 발음 DB 등과 같은 서브 DB들을 포함하는 발음 DB와,A pronunciation DB including sub-DBs such as a grammar DB for the language, a syllable unit oral structure and reference pronunciation method, and a reference pronunciation DB containing correct pronunciation information about differences that may occur between pronunciations pronounced by the learner; 상기 발음 DB에 근거하여 제2음성 특징을 추출하고, 상기 제1음성 특징과 상 기 제2음성 특징들을 비교분석하여 결과 정보를 출력하는 발음 분석부와,A pronunciation analyzer extracting a second voice feature based on the pronunciation DB, comparing and analyzing the first voice feature and the second voice feature and outputting result information; 발음 평가 요청에 의한 상기 음성데이터 수신 시 상기 음성데이터에 대해 상기 발음 분석부로부터 입력되는 결과 정보를 입력받아 발음 평가 결과를 생성하여 상기 데이터 통신부를 통해 학습자 단말로 송신하는 센터 제어부를 포함하는 인터넷을 이용한 언어 학습 시스템.When receiving the voice data by the pronunciation evaluation request, the Internet comprising a center control unit for receiving the result information input from the pronunciation analysis unit for the voice data to generate a pronunciation evaluation result and transmits to the learner terminal through the data communication unit Language learning system. 제5항에 있어서,The method of claim 5, 상기 학습자 단말이 학습자의 입모양을 촬영하여 영상데이터를 출력하는 카메라부를 더 포함하여 상기 음성데이터 전송 시 상기 영상데이터를 더 포함하여 언어 학습 센터로 전송하고,The learner terminal further comprises a camera unit for outputting the image data by taking a picture of the mouth of the learner to further transmit the video data to the language learning center, 상기 언어 학습 센터가 상기 발음 DB에 음절단위의 기준 입모양들을 더 포함하고, 상기 영상데이터로부터 학습자가 발화한 입모양들을 캡처하고, 상기 문장에 대해 캡처된 학습자의 입모양과 상기 발음 DB의 기준 입모양을 비교분석하여 입모양 비교 결과정보를 상기 센터 제어부로 출력하는 입모양 분석부를 더 포함하여, 상기 센터 제어부가 상기 발음 평가 결과에 상기 입모양 비교 결과정보를 더 포함하여 전송하는 인터넷을 이용한 언어 학습 시스템.The language learning center further includes reference mouth shapes in syllable units in the pronunciation DB, captures mouth shapes spoken by the learner from the image data, and reference of the learner's mouth captured for the sentence and the pronunciation DB Comprising the mouth shape by comparing the mouth shape analysis result output information further to the center control unit, the center control unit using the Internet to further transmit the mouth shape comparison result information to the pronunciation evaluation results Language Learning System. 학습자로부터 발화된 음성을 음성데이터로 변환하여 송신하고, 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 학습자 단말과,A learner terminal for converting the speech spoken by the learner into voice data, transmitting the voice data, and receiving and displaying a pronunciation evaluation result of the transmitted voice data; 상기 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하 고, 상기 제1발음 특징들에 의해 음성인식을 수행한 후, 문자 변환하여 상기 음성데이터에 대한 문장을 생성하며, 상기 검출된 제1음성 특징들과 상기 생성된 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 언어 학습 센터를 포함하는 인터넷을 이용한 언어 학습 시스템.When the voice data is received, the first phonetic features of the voice data are detected, the voice recognition is performed by the first phonetic features, and text is converted to generate a sentence for the voice data. A language learning center for performing pronunciation evaluation by comparing first voice features with second pronunciation features of a native speaker's voice to the generated sentence, and transmitting a pronunciation evaluation result including the native speaker's voice to the learner terminal. Language learning system using the Internet, including. 제7항에 있어서,The method of claim 7, wherein 상기 언어 학습 센터가,The language learning center, 인터넷망 및 무선망을 통해 학습자 단말과 데이터 통신을 수행하는 데이터 통신부와,A data communication unit performing data communication with a learner terminal through an internet network and a wireless network; 상기 데이터 통신부를 통해 학습자 단말로부터 수신되는 음성데이터로부터 상기 제1음성 특징들을 검출하여 출력하는 음성특징 검출부와,A voice feature detector for detecting and outputting the first voice features from voice data received from a learner terminal through the data communication unit; 음성인식을 수행하기 위한 성도 모델 특성에 근거한 음성 사전 DB, 해당 언어에 대한 문법 DB, 음절단위의 구강구조 및 기준 발음법과 학습자가 발음한 발음간에 발생할 수 있는 차이점들에 대한 올바른 발음 정보를 포함하는 기준 발음 DB 등과 같은 서브 DB들을 포함하는 발음 DB와,Voice dictionary DB based on vocal model characteristics for performing speech recognition, grammar DB for the language, oral structure in syllable units, and correct pronunciation information about possible differences between reference pronunciation and learner pronunciation A pronunciation DB including sub-DBs, such as a reference pronunciation DB, 상기 발음 DB 및 상기 제1음성 특징에 근거하여 상기 음성데이터에 대해 음성인식을 수행하고, 음성 인식된 음성을 문자 변환하여 상기 음성데이터에 대한 문장을 생성하여 출력하는 음성인식부와,A voice recognition unit for performing voice recognition on the voice data based on the pronunciation DB and the first voice feature, and converting a voice-recognized voice into a text to generate and output a sentence for the voice data; 상기 문장을 입력받고, 상기 문장에 대해 상기 발음 DB를 참조하여 제2음성 특징을 생성하는 기준발음 정보 생성부와,A reference phonetic information generator for receiving the sentence and generating a second voice feature with reference to the pronunciation DB for the sentence; 상기 제1음성 특징과 상기 제2음성 특징들을 발음 DB를 참조하여 비교분석하여 결과 정보를 출력하는 발음 분석부와,A pronunciation analyzer for comparing and analyzing the first and second voice features with reference to a pronunciation DB and outputting result information; 발음 평가 요청에 의한 상기 음성데이터 수신 시 상기 음성데이터에 대해 상기 발음 분석부로부터 입력되는 결과 정보를 입력받아 발음 평가 결과를 생성하여 상기 데이터 통신부를 통해 학습자 단말로 송신하는 센터 제어부를 포함하는 인터넷을 이용한 언어 학습 시스템.When receiving the voice data by the pronunciation evaluation request, the Internet comprising a center control unit for receiving the result information input from the pronunciation analysis unit for the voice data to generate a pronunciation evaluation result and transmits to the learner terminal through the data communication unit Language learning system. 제8항에 있어서,The method of claim 8, 학습자로부터 발화된 음성을 음성데이터로 변환하여 송신하고, 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 학습자 단말과,A learner terminal for converting the speech spoken by the learner into voice data, transmitting the voice data, and receiving and displaying a pronunciation evaluation result of the transmitted voice data; 상기 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 상기 제1발음 특징들에 의해 음성인식을 수행한 후, 문자 변환하여 상기 음성데이터에 대한 문장을 생성하며, 상기 검출된 제1음성 특징들과 상기 생성된 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 언어 학습 센터를 포함하는 인터넷을 이용한 언어 학습 시스템.When the voice data is received, the first phonetic features of the voice data are detected, the voice recognition is performed by the first phonetic features, and the text is converted to generate a sentence for the voice data. A language learning center for performing pronunciation evaluation by comparing the first speech features with the second pronunciation features of the native speaker's voice to the generated sentence, and transmitting the pronunciation evaluation result including the native speaker's voice to the learner terminal; Language learning system using the Internet, including. 학습자 단말이 언어 학습 센터에 접속 후, 언어 학습 센터로 발음 학습을 요청하는 제1과정과,After the learner terminal accesses the language learning center, a first process of requesting pronunciation learning to the language learning center; 언어 학습 센터가 상기 발음 학습 요청 수신 시 상기 학습자 단말에 대한 학습 문장을 송신하여 제시하는 제2과정과,A second process of transmitting and presenting a learning sentence for the learner terminal when the language learning center receives the pronunciation learning request; 상기 학습자 단말이 수신된 문장을 표시한 후, 표시된 문장에 대해 발화한 학습자의 음성을 음성데이터로 변환하여 송신하는 제3과정과,After the learner terminal displays the received sentence, converting the learner's voice spoken with respect to the displayed sentence into voice data and transmitting the same; 상기 제시한 문장에 대한 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 검출된 제1음성 특징들과 의해 상기 제시한 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 제4과정과, When the voice data for the presented sentence is received, the first phonetic features of the voice data are detected, and the detected first voice features are compared with the second phonetic features of the native speaker's voice for the presented sentence. A fourth process of performing a pronunciation evaluation and transmitting a pronunciation evaluation result including the voice of the native speaker to the learner terminal; 상기 학습자 단말이 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 제5과정을 포함하는 인터넷을 이용한 언어 학습 방법.And a fifth process of the learner terminal receiving and displaying a pronunciation evaluation result of the transmitted voice data. 학습자 단말이 언어 학습 센터에 접속 후, 언어 학습 센터로 발음 학습을 요청하는 제1과정과,After the learner terminal accesses the language learning center, a first process of requesting pronunciation learning to the language learning center; 상기 언어 학습 센터가 상기 발음 학습 요청이 발생하면 음성데이터 수신 대기모드를 설정하는 제2과정과,A second process of setting, by the language learning center, a voice data reception standby mode when the pronunciation learning request occurs; 상기 학습자 단말이 상기 발음 학습 요청 후 학습자로부터 발화된 음성을 음성데이터로 변환하여 송신하는 제3과정과,A third process of the learner terminal converting the voice spoken by the learner after the pronunciation learning request into voice data and transmitting the voice data; 상기 음성 데이터가 수신되면 상기 음성 데이터의 제1발음 특징들을 검출하고, 상기 제1발음 특징들에 의해 음성인식을 수행한 후, 문자 변환하여 상기 음성 데이터에 대한 문장을 생성하며, 상기 검출된 제1음성 특징들과 상기 생성된 문장에 대한 원어민의 음성에 대한 제2발음 특징들을 비교하여 발음 평가를 수행하고, 상기 원어민의 음성을 포함하는 발음 평가 결과를 상기 학습자 단말기로 송신하는 제4과정과,When the voice data is received, the first phonetic features of the voice data are detected, the voice recognition is performed by the first phonetic features, the text is converted to generate a sentence for the voice data, and the detected first A fourth process of performing a pronunciation evaluation by comparing the first phonetic features with the second phonetic features of the native speaker's voice to the generated sentence, and transmitting a pronunciation evaluation result including the native speaker's voice to the learner terminal; , 상기 학습자 단말이 상기 송신된 음성 데이터에 대한 발음 평가 결과를 수신하여 표시하는 제5과정을 포함하는 인터넷을 이용한 언어 학습 방법.And a fifth process of the learner terminal receiving and displaying a pronunciation evaluation result of the transmitted voice data.
KR1020080006903A 2008-01-23 2008-01-23 Language learning system using internet network KR20090081046A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080006903A KR20090081046A (en) 2008-01-23 2008-01-23 Language learning system using internet network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080006903A KR20090081046A (en) 2008-01-23 2008-01-23 Language learning system using internet network

Publications (1)

Publication Number Publication Date
KR20090081046A true KR20090081046A (en) 2009-07-28

Family

ID=41292073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080006903A KR20090081046A (en) 2008-01-23 2008-01-23 Language learning system using internet network

Country Status (1)

Country Link
KR (1) KR20090081046A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011162508A2 (en) * 2010-06-25 2011-12-29 Seo Dong-Hyuck Method and device for learning pronunciation by using comparison images
KR102508656B1 (en) * 2022-10-26 2023-03-10 양동효 Method, device and system for providing customized language ability test learning service based on problem analysis through artificial intelligence

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011162508A2 (en) * 2010-06-25 2011-12-29 Seo Dong-Hyuck Method and device for learning pronunciation by using comparison images
WO2011162508A3 (en) * 2010-06-25 2012-04-12 Seo Dong-Hyuck Method and device for learning pronunciation by using comparison images
KR102508656B1 (en) * 2022-10-26 2023-03-10 양동효 Method, device and system for providing customized language ability test learning service based on problem analysis through artificial intelligence

Similar Documents

Publication Publication Date Title
JP5750380B2 (en) Speech translation apparatus, speech translation method, and speech translation program
US20070033039A1 (en) Systems and methods for speech recognition using dialect data
JP6172417B1 (en) Language learning system and language learning program
US10026329B2 (en) Intralingual supertitling in language acquisition
JPH10507536A (en) Language recognition
CN110600013B (en) Training method and device for non-parallel corpus voice conversion data enhancement model
JP2008309856A (en) Speech recognition device and conference system
TW201214413A (en) Modification of speech quality in conversations over voice channels
JP2002040926A (en) Foreign language-pronunciationtion learning and oral testing method using automatic pronunciation comparing method on internet
JP2023539888A (en) Synthetic data augmentation using voice conversion and speech recognition models
KR102444012B1 (en) Device, method and program for speech impairment evaluation
Shahriar et al. A communication platform between bangla and sign language
KR101959439B1 (en) Method for interpreting
KR20220054964A (en) Foreign language pronunciation training and evaluation system
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
KR20090081046A (en) Language learning system using internet network
EP2541544A1 (en) Voice sample tagging
JP2006195094A (en) Pronunciation learning support device
JP4626310B2 (en) Pronunciation evaluation device
JP4779365B2 (en) Pronunciation correction support device
JP2016186646A (en) Voice translation apparatus, voice translation method and voice translation program
US20030167169A1 (en) Method of nonvisual enrollment for speech recognition
JPH07199989A (en) Speech recognition device
JP2014153479A (en) Diagnosis system, diagnosis method, and program
TWI768412B (en) Pronunciation teaching method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150226

Effective date: 20160129

J2X1 Appeal (before the patent court)

Free format text: APPEAL AGAINST DECISION TO DECLINE REFUSAL