JP2001318592A - Device for language study and method for language analysis - Google Patents

Device for language study and method for language analysis

Info

Publication number
JP2001318592A
JP2001318592A JP2001068335A JP2001068335A JP2001318592A JP 2001318592 A JP2001318592 A JP 2001318592A JP 2001068335 A JP2001068335 A JP 2001068335A JP 2001068335 A JP2001068335 A JP 2001068335A JP 2001318592 A JP2001318592 A JP 2001318592A
Authority
JP
Japan
Prior art keywords
learner
voice information
analysis
sample data
data memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001068335A
Other languages
Japanese (ja)
Inventor
Dong Ick Rhee
東 益 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2001318592A publication Critical patent/JP2001318592A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages

Abstract

PROBLEM TO BE SOLVED: To provide a device for studying a language and a method for analyzing the language having improved effect of study by storing voice information of a mother language speaker and a learner, then comparing their frequency characteristics and analyzing their pronunciation, outputting the results of the analysis of the accent and rhythm obtained by comparing the envelopes of the voice output waveforms, and outputting recorded voices and mouth shapes. SOLUTION: This invention is characterized in that voice information of a learner and image data of his/her mouth shapes are recorded in user data memory using a microphone and a camera; the voice information of the learner recorded in the user data memory and that of the mother language speaker recorded in sample data memory are analyzed in the segments of pronunciation, accent, an rhythm; and the analysis results are displayed in a chart form.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、言語学習装置及び
その言語分析方法に関し、より詳しくは、母国語使用者
と学習者の音声情報を格納後、周波数特性を比較して発
音を分析し、音声出力波形の包絡線を比較してアクセン
ト及びリズムを分析した結果を出力し、記録の音声と録
音の口形を出力することで、学習効果が改善された言語
学習装置及びその言語分析方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a language learning apparatus and a language analysis method thereof, and more particularly, to storing pronunciation information of a native language user and a learner and comparing frequency characteristics to analyze pronunciation. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a language learning device and a language analysis method for improving a learning effect by outputting a result of analyzing an accent and a rhythm by comparing an envelope of a voice output waveform and outputting a recorded voice and a recorded mouth shape.

【0002】[0002]

【従来の技術】現在、一般に通用される言語学習方法と
して、第一に対人学習法、第二にオーディオ・テープの
音声だけを利用した文章繰り返し学習法、及び第三にビ
デオテープを利用した視聴覚学習法、第四に書籍やPC
などを利用したオンラインまたはオフラインを利用した
学習法などがある。
2. Description of the Related Art At present, as general language learning methods, first, an interpersonal learning method, second, a sentence repetition learning method using only audio from an audio tape, and third, an audiovisual method using a videotape. Learning method, fourth, books and PC
There is a learning method using online or offline using such as.

【0003】[0003]

【発明が解決しようとする課題】上述した多様な学習方
法にもかかわらず各方法別に脆弱性があり、各方法別に
基準(reference)は提供されているが、学習者の発音、
アクセント及び口形などが正確に分析される方法は提供
されていない。
[0007] Despite the various learning methods described above, there are vulnerabilities for each method, and a reference is provided for each method.
No method is provided for accurately analyzing accents and mouth shapes.

【0004】したがって、学習者は自分の発音とアクセ
ントが原音とどれくらい違って、どこが違ったのか正確
に認識できず、それにより学習が非効率的に進行される
結果を招き、言語を学習するのに相当な努力と投資が要
求される。
[0004] Therefore, the learner cannot recognize exactly how much his pronunciation and accent differ from the original sound and where it is different, which leads to the result that learning is inefficiently performed and the language is not learned. Requires considerable effort and investment.

【0005】したがって、本発明は前記問題点を解決す
るためのもので、その目的は、学習者が学習した単語ま
たは文章の発音を周波数特性によって分析し、アクセン
トとリズムを包絡線を持つ音声波形で分析して、その結
果を表示することにより、発音、アクセント、リズム及
び口形などを客観的に分析できる言語学習装置を提供す
ることにある。
SUMMARY OF THE INVENTION Accordingly, the present invention is to solve the above-mentioned problem, and an object of the present invention is to analyze the pronunciation of a word or a sentence learned by a learner based on frequency characteristics, and to analyze a speech waveform having an envelope with accent and rhythm. It is an object of the present invention to provide a language learning apparatus that can analyze pronunciation, accent, rhythm, mouth shape, and the like objectively by analyzing the results and displaying the results.

【0006】また、本発明の他の目的は、学習者が学習
した単語または文章中の一部分のみを学習者が選択的に
再生できるようにすることで、特定の単語または選択領
域に対して学習効果を倍加することができる言語学習装
置を提供することにある。
Another object of the present invention is to make it possible for a learner to selectively reproduce only a part of a word or a sentence learned by the learner, thereby enabling a learner to learn a specific word or selected area. An object of the present invention is to provide a language learning device that can double the effect.

【0007】また、本発明のまた他の目的は、学習者が
学習した内容を格納し、繰り返し再生して校正でき、学
習結果を格納して学習者の進展度も履歴管理できる言語
学習装置を提供することにある。
Another object of the present invention is to provide a language learning apparatus capable of storing the content learned by a learner, repeatedly reproducing and calibrating the content, storing the learning result and managing the progress of the learner as a history. To provide.

【0008】また、本発明の他の目的は、上記した各目
的を達成するための言語学習装置の言語分析方法を提供
することにある。
It is another object of the present invention to provide a language analysis method of a language learning device for achieving each of the above objects.

【0009】[0009]

【課題を解決するための手段】このような目的を達成す
るための本発明は、マイクから入力される学習者のアナ
ログ形態の音声信号をデジタル形態の音声情報に変換出
力する音声入力手段;前記音声入力手段から提供された
学習者の音声情報が格納されるユーザーデータメモリ
と;母国語使用者の音声情報を含んだサンプルデータが
格納されるサンプルデータメモリと;前記サンプルデー
タメモリから検出された前記母国語使用者の音声情報を
再生してアナログ信号に変換後、スピーカに出力する音
声出力手段と;前記音声出力手段により再生される前記
母国語使用者の音声情報と、前記音声入力手段から提供
された前記学習者の音声情報の発音の周波数特性を分析
し、分析結果に従って発音分析チャートを生成する分析
部;前記分析部で生成された前記発音分析チャートを所
定領域にディスプレイするディスプレイ部と;再生モー
ドにおいて前記サンプルデータメモリに格納された前記
母国語使用者の音声情報を前記音声出力手段に出力し、
記録モードにおいて前記音声入力手段から入力された前
記学習者の音声情報を前記ユーザーデータメモリに格納
し、分析モードにおいて前記サンプルデータメモリに格
納された前記母国語使用者の音声情報と前記ユーザーデ
ータメモリに格納された前記学習者の音声情報とを前記
分析部に出力する制御手段とを含むことを特徴とする。
According to the present invention, there is provided a voice input unit for converting an analog voice signal of a learner input from a microphone into digital voice information and outputting the digital voice information; A user data memory for storing the learner's voice information provided from the voice input means; a sample data memory for storing sample data including a native language user's voice information; Audio output means for reproducing the audio information of the native language user and converting it into an analog signal, and then outputting the analog signal to a speaker; audio information of the native language user reproduced by the audio output means; An analysis unit for analyzing a frequency characteristic of pronunciation of the provided speech information of the learner and generating a pronunciation analysis chart according to the analysis result; Outputting audio information of the sample data memory stored in said native language user in the reproduction mode to the audio output means; has been the pronunciation analysis chart and a display unit for displaying a predetermined area
The voice information of the learner input from the voice input means in the recording mode is stored in the user data memory, and the voice information of the native language user and the user data memory stored in the sample data memory in the analysis mode. And control means for outputting the learner's voice information stored in the analysis section to the analysis section.

【0010】なお、母国語使用者の音声情報を含むサン
プルデータをオンラインで受け取るインターフェース部
をさらに含み、制御部はインターフェース部に受け取ら
れたサンプルデータをサンプルデータメモリに格納する
ことが望ましい。
[0010] Preferably, the apparatus further includes an interface unit for receiving sample data including voice information of the native language user online, and the control unit stores the sample data received by the interface unit in a sample data memory.

【0011】また、分析部は、学習者の音声情報の波形
の第1包絡線を検出し、母国語使用者の音声情報の波形
の第2包絡線を検出し、第1包絡線と第2包絡線との差
を求めてアクセントに対する第1分析チャートに出力す
ることが望ましい。
The analyzing unit detects a first envelope of the waveform of the voice information of the learner, detects a second envelope of the waveform of the voice information of the native language user, and detects the first envelope and the second envelope. It is desirable to obtain the difference from the envelope and output it to the first analysis chart for accent.

【0012】また、分析部は、第1包絡線の語節の開始
点と第2包絡線の語節の開始点を比較し、その時間差を
求めてリズムに対する第2分析チャートに出力すること
が望ましい。
The analysis unit may compare the start point of the phrase of the first envelope with the start point of the phrase of the second envelope, obtain a time difference between the points, and output the time difference to a second analysis chart for the rhythm. desirable.

【0013】また、カメラで録画された学習者の口形の
イメージの解像度を調整し圧縮を行う録画手段;学習者
の音声情報に該当する学習者の口形のイメージと、母国
語使用者の音声情報に該当する母国語使用者の口形のイ
メージとをディスプレイするための信号に変換して、デ
ィスプレイ部に出力するビデオ出力手段をさらに含み、
制御部は、記録モードにおいて録画手段で出力される学
習者の口形のイメージをユーザーデータメモリに格納
し、分析モードにおいて学習者の口形のイメージと母国
語使用者の口形のイメージをビデオ出力部に出力するこ
とが望ましい。
A recording means for adjusting the resolution of the image of the learner's mouth recorded by the camera and compressing the image; a learner's mouth image corresponding to the learner's voice information; A video output means for converting into a signal for displaying the image of the mouth shape of the native language user corresponding to and outputting to the display unit,
The control unit stores the image of the learner's mouth shape output by the recording means in the recording mode in the user data memory, and outputs the image of the learner's mouth shape and the image of the learner's mouth shape in the analysis mode to the video output unit. It is desirable to output.

【0014】また、サンプルデータメモリに格納された
サンプルデータのうち、分析したい文章を検索するため
の移動キーと、検索された文章単位で再生・分析するた
めに該当文章を選択する選択キーとを有する操作部をさ
らに含み、制御部は、操作部からの操作信号に応じてサ
ンプルデータメモリに格納されたサンプルデータのうち
の学習者が選択した文章を再生・分析することが望まし
い。
Further, a movement key for searching for a sentence to be analyzed among the sample data stored in the sample data memory and a selection key for selecting the sentence for reproducing / analyzing the searched sentence unit. It is preferable that the control unit further includes an operation unit, and the control unit reproduces and analyzes a sentence selected by the learner among the sample data stored in the sample data memory in response to an operation signal from the operation unit.

【0015】また、操作部内の選択キーは検索された文
章に含まれた複数個の単語のうち、学習者が選択した少
なくとも一つ以上の単語を再生・分析するために該当の
単語を選択する機能をさらに含み、制御部は、操作部か
らの操作信号に応じてサンプルデータメモリに格納され
たサンプルデータのうち、学習者が選択した文章内の単
語を再生・分析することが望ましい。
[0015] A selection key in the operation unit selects a corresponding word in order to reproduce and analyze at least one or more words selected by the learner among a plurality of words included in the retrieved text. It is preferable that the control unit further includes a function, and reproduces and analyzes words in a sentence selected by the learner among sample data stored in the sample data memory in response to an operation signal from the operation unit.

【0016】また、操作部内の選択キーは、検索された
文章のうち、学習者が任意の領域を選択して再生・分析
するために、任意の領域を選択する機能をさらに含み、
制御部は、操作部からの操作信号に応じてサンプルデー
タメモリに格納されたサンプルデータのうち、学習者が
選択した領域を再生・分析することが望ましい。
Further, the selection key in the operation unit further includes a function of selecting an arbitrary area in order to allow the learner to select and reproduce / analyze an arbitrary area in the retrieved sentences.
It is desirable that the control unit reproduces and analyzes a region selected by the learner among the sample data stored in the sample data memory in response to an operation signal from the operation unit.

【0017】一方、本発明は、ユーザーデータメモリに
格納された学習者の音声情報を検出し、検出された前記
学習者の音声情報の波形を時間ドメインから周波数ドメ
インに表現されるように、学習者の音声情報の周波数特
性を分析し;サンプルデータメモリに格納された母国語
使用者の音声情報を検出し、検出された母国語使用者の
音声情報の波形を時間ドメインから周波数ドメインに表
現されるように、母国語使用者の音声情報の周波数特性
を分析し;学習者の音声情報の周波数特性と、母国語使
用者の音声情報の周波数特性を用いて、帯域別出力波形
を示す発音分析チャートを生成して出力することを特徴
とする。
On the other hand, the present invention detects the learner's voice information stored in the user data memory, and performs learning so that the detected waveform of the learner's voice information is represented from the time domain to the frequency domain. Analyzing the frequency characteristics of the speech information of the native speaker; detecting the speech information of the native language user stored in the sample data memory; and expressing the waveform of the detected speech information of the native language user from the time domain to the frequency domain. Analyze the frequency characteristics of the voice information of the native language user, and use the frequency characteristics of the learner's voice information and the frequency characteristics of the voice information of the native language user to analyze the pronunciation of the output waveform for each band. It is characterized in that a chart is generated and output.

【0018】なお、学習者の音声情報の出力波形の第1
包絡線を検出し;母国語使用者の音声情報の出力波形の
第2包絡線を検出し;第1包絡線と前記第2包絡線との
差を検出し;検出された第1包絡線と第2包絡線との差
を示すアクセント分析チャートを生成して出力すること
もできる。
The first output waveform of the learner's voice information is
Detecting an envelope; detecting a second envelope of the output waveform of the voice information of the native language user; detecting a difference between the first envelope and the second envelope; and detecting the detected first envelope. It is also possible to generate and output an accent analysis chart indicating the difference from the second envelope.

【0019】また、学習者の音声情報の出力波形におい
て、最初の語節につながる次の語節の第1開始点を検出
し;母国語使用者の音声情報の出力波形において、最初
の語節につながる次の語節の第2開始点を検出し;第1
開始点と第2開始点の時間差を検出し;検出された第1
開始点と第2開始点の時間差を示すリズム分析チャート
を生成して出力することもできる。
In the output waveform of the learner's voice information, the first starting point of the next phrase connected to the first phrase is detected; in the output waveform of the voice information of the native language user, the first phrase is detected. Finds the second starting point of the next phrase leading to
Detecting the time difference between the start point and the second start point;
A rhythm analysis chart showing the time difference between the start point and the second start point can also be generated and output.

【0020】また、学習者の音声情報の出力波形におい
て、最初の語節につながる次の語節間の第1無信号区間
を検出し;母国語使用者の音声情報の出力波形におい
て、最初の語節につながる次の語節間の第2無信号区間
を検出し;第1無信号区間と前記第2無信号区間の時間
差を検出し;検出された第1無信号区間と第2無信号区
間の時間差を示すリズム分析チャートを生成して出力す
ることもできる。
In the output waveform of the voice information of the learner, a first non-signal section between the next phrase connected to the first phrase is detected; in the output waveform of the voice information of the native language user, the first non-signal section is detected. Detecting a second non-signal section between the next term leading to the term; detecting a time difference between the first no-signal section and the second no-signal section; detecting the detected first no-signal section and the second no-signal section; It is also possible to generate and output a rhythm analysis chart showing the time difference between sections.

【0021】[0021]

【発明の実施の形態】以下、添付図面に基づき、本発明
の好適な実施例を詳細に説明する。図面において、同一
構成要素は同一符号が付されている。また、下記の説明
では具体的な回路の構成要素のような多くの特定事項が
示されているが、これは本発明を全般的に理解させるた
めのものだけで、このような特定事項がなくても本発明
が実施できることは、当該技術分野における通常の知識
を有する者には明らかであろう。そして、本発明の説明
において、関連した公知の機能あるいは構成に対する具
体的な説明が本発明の要旨を不明確にすると判断される
場合、その詳細な説明を省略する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In the drawings, the same components are denoted by the same reference numerals. Also, in the following description, many specific items such as specific circuit components are shown, but this is only for general understanding of the present invention, and there is no such specific item. However, it will be apparent to one of ordinary skill in the art that the present invention may be practiced. In the description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention unclear.

【0022】図1は本発明による言語学習装置の概略ブ
ロック図、図2は本発明による言語分析方法の実行過程
を示す動作フローチャート、図3は本発明による音声波
形分析方法を説明する波形図、図4は本発明による発音
分析チャートを示す図、図5は波形分析結果によってデ
ィスプレイ部に表示される表示状態図、図6は本発明に
よる言語学習装置を電子手帳に適用した例示図、図7は
本発明による言語学習装置を電子辞書に適用した例示図
である。
FIG. 1 is a schematic block diagram of a language learning apparatus according to the present invention, FIG. 2 is an operation flowchart showing an execution process of a language analyzing method according to the present invention, FIG. 3 is a waveform diagram illustrating a speech waveform analyzing method according to the present invention, FIG. 4 is a diagram showing a pronunciation analysis chart according to the present invention, FIG. 5 is a display state diagram displayed on a display unit based on a waveform analysis result, FIG. 6 is an exemplary diagram in which a language learning device according to the present invention is applied to an electronic notebook, FIG. FIG. 2 is an exemplary diagram in which the language learning device according to the present invention is applied to an electronic dictionary.

【0023】図1を参照して本発明の構成を説明すれ
ば、次の通りである。マイク101は学習者の音声を集
音してアナログ形態の電気信号に変換する。
The configuration of the present invention will be described below with reference to FIG. The microphone 101 collects a learner's voice and converts it into an analog electrical signal.

【0024】アナログ/デジタル変換部102はマイク
101から入力されたアナログ形態の音声信号をデジタ
ル形態に変換して出力する。
The analog / digital converter 102 converts an analog audio signal input from the microphone 101 into a digital audio signal and outputs the digital audio signal.

【0025】カメラ103は被写体である学習者を撮影
して得られたイメージ情報をビデオ信号に変換する。特
に、本発明において、カメラ103は、学習者が自分の
口形を視覚的に確認できるように学習者の口形を撮影す
る。
The camera 103 converts image information obtained by photographing a learner as a subject into a video signal. In particular, in the present invention, the camera 103 photographs the learner's mouth shape so that the learner can visually confirm his / her mouth shape.

【0026】ビデオ信号入力部104は、カメラ103
から入力された学習者の口形に対するイメージ情報の解
像度調整とデータ圧縮を行う。
The video signal input unit 104 is connected to the camera 103
It performs resolution adjustment and data compression of image information for the learner's mouth shape input from.

【0027】インターフェース部105は、コンピュー
タやインターネットに接続するための連結部として、オ
ンラインに転送されるサンプルデータをインターフェー
スする役割を果たす。
The interface unit 105 serves as a connection unit for connecting to a computer or the Internet, and plays a role of interfacing sample data transferred online.

【0028】操作部106は、言語学習装置の動作を制
御するための複数個の機能キーが配列されており、特
に、サンプルデータメモリ108に格納されたサンプル
データ(母国語使用者の音声情報及び口形を示すイメー
ジデータ)のうち、任意の文章を検索するための移動キ
ーと、移動キーにより表示された任意の文章全体または
文章に含まれた単語或いは文章の所定領域を選択するた
めの選択キーとを含み、選択キーにより選択された文
章、単語、所定領域の何れか一つを再生するための再生
キーと、学習者の音声情報及び口形を示すイメージデー
タを記録するための記録キーと、サンプルデータキーと
学習者のユーザーデータを分析するための分析キーとを
含む。
The operation unit 106 includes a plurality of function keys for controlling the operation of the language learning apparatus. In particular, the operation unit 106 includes sample data stored in the sample data memory 108 (voice information of the native language user and A moving key for retrieving an arbitrary sentence from among (image data indicating a mouth shape), and a selection key for selecting a whole area of an arbitrary sentence displayed by the moving key or a predetermined area of a word or a sentence included in the sentence And a reproduction key for reproducing any one of a sentence, a word and a predetermined area selected by the selection key, a recording key for recording learner's voice information and image data indicating a mouth shape, It includes a sample data key and an analysis key for analyzing user data of a learner.

【0029】ユーザーデータメモリ107は、ユーザー
である学習者が記録した音声情報、イメージデータ及び
学習履歴データを格納する。
The user data memory 107 stores voice information, image data, and learning history data recorded by a learner who is a user.

【0030】サンプルデータメモリ108は、母国語使
用者により直接録音し入力されたり、インターフェース
部105に接続可能なコンピュータやインターネット端
末機を通じて、オンラインでダウンロードされた母国語
使用者の音声情報及びイメージデータを格納する。
The sample data memory 108 stores the voice information and image data of the native language user directly recorded and input by the native language user, or downloaded online through a computer or an Internet terminal connectable to the interface unit 105. Is stored.

【0031】デジタル/アナログ変換部109はユーザ
ーデータメモリ107及びサンプルデータメモリ108
に格納されたデジタル形態の音声情報のうち、学習者に
より再生機能が選択された音声情報をアナログ形態の音
声信号に変換してスピーカ110に出力する。
The digital / analog conversion unit 109 includes a user data memory 107 and a sample data memory 108
Is converted into an analog audio signal from the digital audio information of which the playback function is selected by the learner, and output to the speaker 110.

【0032】分析部111は、ユーザーデータメモリ1
07及びサンプルデータメモリ108に格納された音声
情報のうち、学習者により再生機能が選択された音声情
報に対する発音分析のための周波数変換アルゴリズム
(例えば、フーリエ変換アルゴリズム)を利用して周波数
特性を検出し、アクセント分析及びリズム分析のための
包絡線を検出し、検出結果を所定様式のチャートに変換
して出力する。
The analysis unit 111 stores the user data memory 1
07 and a frequency conversion algorithm for pronunciation analysis of audio information whose reproduction function is selected by the learner among audio information stored in the sample data memory 108.
(E.g., a Fourier transform algorithm) to detect frequency characteristics, detect an envelope for accent analysis and rhythm analysis, convert the detection result into a chart in a predetermined format, and output the chart.

【0033】ビデオ出力部112は、ユーザーデータメ
モリ107及びサンプルデータメモリ108に格納され
た口形に対するイメージデータのうち、学習者により再
生機能が選択されたイメージデータを選別的に検出して
復元(圧縮解除)後に出力する。
The video output unit 112 selectively detects and decompresses (compresses) the image data whose reproduction function is selected by the learner from the image data for the mouth shape stored in the user data memory 107 and the sample data memory 108. Output after release).

【0034】ディスプレイ部113は、ユーザーデータ
メモリ107に格納された学習者の音声情報のうち、操
作部106を利用して学習者が選択した音声情報に対す
る文字情報と、分析部111により分析された分析結果
及びビデオ出力部112で出力されたイメージデータを
既に定義された所定の領域に配置して表示する。
The display unit 113 analyzes the character information corresponding to the voice information selected by the learner using the operation unit 106 from the learner's voice information stored in the user data memory 107 and the analysis unit 111. The analysis result and the image data output from the video output unit 112 are arranged and displayed in a predetermined area that has been defined.

【0035】制御部114は、言語学習装置の動作状態
を全般的に制御する。特に、制御部114はアナログ/
デジタル変換部102により変換されたデジタル形態の
音声情報をユーザーデータメモリ107にアドレスを指
定して格納し、ビデオ信号入力部104によりデジタル
形態で圧縮された口形のイメージデータをユーザーデー
タメモリ107に格納する。このとき、制御部114は
ユーザーデータメモリ107に口形のイメージデータを
格納する時、音声情報のアドレスと口形のイメージデー
タのアドレスをリンクさせて格納することで、再生過程
で音声情報が選択された時にリンクされた口形のイメー
ジデータが同時に検出できるようにする。
The control unit 114 controls the overall operation state of the language learning device. In particular, the control unit 114 performs analog /
The audio information in digital form converted by the digital conversion section 102 is stored in the user data memory 107 by designating an address in the user data memory 107, and the mouth-shaped image data compressed in digital form by the video signal input section 104 is stored in the user data memory 107. I do. At this time, when storing the mouth shape image data in the user data memory 107, the control unit 114 stores the link of the address of the sound information and the address of the mouth shape image data so that the voice information is selected in the reproduction process. Sometimes linked mouth shape image data can be detected at the same time.

【0036】また、制御部114は、インターフェース
部105を通じてダウンロードされたサンプルデータを
サンプルデータメモリ108にアドレスを指定して格納
し、操作部106の操作信号によって学習者が選択した
単語、文章、領域によってユーザーデータメモリ107
とサンプルデータメモリ108に格納された音声情報と
イメージデータを選択的に検出して、各々デジタル/ア
ナログ変換部109、分析部111及びビデオ出力部1
12に出力する。
The control section 114 stores the sample data downloaded through the interface section 105 in the sample data memory 108 by specifying an address, and selects a word, a sentence, and an area selected by the learner according to an operation signal of the operation section 106. User data memory 107
And the audio information and the image data stored in the sample data memory 108 are selectively detected, and the digital / analog conversion unit 109, the analysis unit 111, and the video output unit 1 are respectively detected.
12 is output.

【0037】前記のような構成を持つ言語学習装置は、
電子手帳や電子辞書のような個別端末機で製作されるこ
とができ、コンピュータに適用されてインターネット上
または個別デスクトップ端末機で具現されることができ
る。
The language learning device having the above-described configuration is
It can be manufactured on an individual terminal such as an electronic organizer or an electronic dictionary, and can be applied to a computer and implemented on the Internet or on an individual desktop terminal.

【0038】このような構成を持つ本発明の動作に対し
て、図2乃至図7を参照して説明すれば、次の通りであ
る。
The operation of the present invention having such a configuration will be described below with reference to FIGS.

【0039】本発明による言語分析装置の動作は選択モ
ード、再生モード、記録モード、分析モードに区分さ
れ、分析モードはアクセント分析モード、リズム分析モ
ード、発音分析モードに区分される。
The operation of the language analyzer according to the present invention is classified into a selection mode, a reproduction mode, a recording mode, and an analysis mode. The analysis mode is classified into an accent analysis mode, a rhythm analysis mode, and a pronunciation analysis mode.

【0040】まず、母国語使用者のサンプルデータ(音
声情報と口形のイメージデータ)は、インターフェース
部105を通じて接続されたコンピュータやインターネ
ット端末機からダウンロードされ、この目的のためにイ
ンターフェース部105はコンピュータにケーブルを通
じて接続したり、或いはインターネット端末機を通じて
インターネットに接続される時、プロトコルを満足でき
るように構成される。
First, sample data of a native language user (voice information and image data of a mouth shape) are downloaded from a computer or an Internet terminal connected through an interface unit 105, and for this purpose, the interface unit 105 is connected to a computer. When connected through a cable or connected to the Internet through an Internet terminal, it is configured to satisfy the protocol.

【0041】制御部114は、インターフェース部10
5を通じてダウンロードされた母国語使用者の音声情報
とイメージデータを、格納するサンプルデータメモリ1
08にアドレスを指定した後、サンプルデータメモリ1
08の指定領域に格納する。よって、インターフェース
部105を通じてダウンロードされたサンプルデータは
サンプルデータメモリ108に格納される。
The control unit 114 controls the interface unit 10
Sample data memory 1 for storing voice information and image data of a native language user downloaded through
08, the sample data memory 1
08 in the designated area. Therefore, the sample data downloaded through the interface unit 105 is stored in the sample data memory 108.

【0042】一方、選択モードと再生モードを説明すれ
ば、学習者が操作部106内の特定キーを押して文章表
示機能を選択すると、制御部114は操作部106の操
作信号に応じてサンプルデータメモリ108に格納され
た複数のサンプルデータに対応する文字情報をディスプ
レイ部113に表示する。これに、学習者が移動キー及
び選択キーを利用してディスプレイ部113に表示され
たサンプルデータ(母国語使用者の音声情報及び口形の
イメージデータ)のうち、任意の文章、文章に含まれた
単語または任意の領域を選択すれば、制御部114は操
作部106からの操作信号に応じて学習者が選択した文
章、単語または領域に対応するアドレス情報を検出し
て、サンプルデータメモリ108から該当文章、単語ま
たは領域に対応する音声情報を検出する。
On the other hand, to explain the selection mode and the reproduction mode, when the learner presses a specific key in the operation section 106 to select the sentence display function, the control section 114 causes the sample data memory to respond to the operation signal of the operation section 106. Character information corresponding to the plurality of sample data stored in 108 is displayed on the display unit 113. In addition, in the sample data (voice information of the native language user and image data of the mouth shape) displayed on the display unit 113 by the learner using the movement key and the selection key, the learner included in an arbitrary sentence or sentence. If a word or an arbitrary region is selected, the control unit 114 detects address information corresponding to the sentence, word or region selected by the learner in response to an operation signal from the operation unit 106, and detects the corresponding information from the sample data memory 108. Detect speech information corresponding to a sentence, word or region.

【0043】以後、学習者が操作部106の再生キーを
操作すれば、制御部114は操作部106の再生キー操
作信号に応じてサンプルデータメモリ108から検出さ
れた該当文章、単語または領域に対応するデジタル形態
の音声情報をデジタル/アナログ変換部109に出力
し、デジタル/アナログ変換部109は、制御部114
から転送されたデジタル形態の音声情報をアナログ形態
の音声信号に変換後、スピーカ110を通じて出力す
る。よって、学習者は学習したい文章、単語または領域
に対応するサンプルデータを聴覚的に確認することがで
きる。
Thereafter, when the learner operates the reproduction key of the operation unit 106, the control unit 114 responds to the corresponding sentence, word or area detected from the sample data memory 108 in response to the reproduction key operation signal of the operation unit 106. The digital / analog conversion unit 109 outputs the audio information in digital form to the digital / analog conversion unit 109.
After converting the digital audio information transferred from the device into an analog audio signal, the analog audio signal is output through the speaker 110. Therefore, the learner can aurally check sample data corresponding to a sentence, word, or region desired to be learned.

【0044】次に、記録モードを説明すれば、学習者が
記録キーを押した状態で再生モードによりスピーカ11
0に出力された文章、単語または領域の音声を聞いてこ
れを発音すれば、学習者の発音と口形はマイク101と
カメラ103により検出される。すなわち、学習者が操
作部106の各種機能キー中の記録キーを選択後、再生
モードによりスピーカ110に出力された文章、単語ま
たは領域の音声を発音すれば、学習者の発音はマイク1
01によりアナログ形態の音声信号で感知され、アナロ
グ形態の音声信号はアナログ/デジタル変換部102に
よりデジタル形態の音声情報に変換された後、制御部1
14に転送される。制御部114はアナログ/デジタル
変換部102で出力された音声情報を、格納するユーザ
ーデータメモリ107のアドレスを指定後、ユーザーデ
ータメモリ107の指定領域に格納する。
Next, the recording mode will be described. When the learner presses the recording key, the speaker 11 is activated in the reproduction mode.
If the user hears the sentence, word, or area voice output to 0 and pronounces it, the learner's pronunciation and mouth shape are detected by the microphone 101 and the camera 103. That is, if the learner selects a recording key among the various function keys of the operation unit 106 and then pronounces a sentence, word or region output to the speaker 110 in the playback mode, the learner's pronunciation will be the microphone 1
01 is detected as an analog audio signal, and the analog audio signal is converted to digital audio information by an analog / digital converter 102, and then is converted to a controller 1.
14. The control unit 114 stores the audio information output by the analog / digital conversion unit 102 in a specified area of the user data memory 107 after designating an address of the user data memory 107 for storing the audio information.

【0045】また、学習者の口形はカメラ103により
撮影され、撮影されたイメージはビデオ信号入力部10
4により解像度が調整され、圧縮過程後に制御部114
に転送される。制御部114はビデオ信号入力部104
で入力されたイメージデータを、格納するユーザーデー
タメモリ107のアドレスを指定後、ユーザーデータメ
モリ107の指定領域に格納する。このとき、口形のイ
メージデータは音声情報のアドレスと関連したアドレス
が割り当てられて格納される。よって、学習者のユーザ
ーデータ(音声情報及び口形を示すイメージデータ)はユ
ーザーデータメモリ107に格納される。
The learner's mouth shape is photographed by the camera 103, and the photographed image is transmitted to the video signal input unit 10
4, the resolution is adjusted, and after the compression process, the controller 114
Is forwarded to The control unit 114 controls the video signal input unit 104
After specifying the address of the user data memory 107 for storing the input image data in the step (b), the image data is stored in the designated area of the user data memory 107. At this time, an address associated with the address of the audio information is assigned to the mouth image data and stored. Therefore, the user data (sound information and image data indicating the mouth shape) of the learner is stored in the user data memory 107.

【0046】次に、分析モードに対して説明すれば、学
習者が分析キーを選択すれば、制御部114は学習者が
選択モードで選択した文章、単語または所定領域に対応
するサンプルデータと学習者により記録されたユーザー
データを、各々サンプルデータメモリ108とユーザー
データメモリ107から検出し、検出されたサンプルデ
ータ及びユーザーデータを分析部111とビデオ出力部
112に出力する。
Next, the analysis mode will be described. If the learner selects an analysis key, the control unit 114 checks the sample data and the sample data corresponding to the sentence, word or predetermined area selected by the learner in the selection mode. The user data recorded by the user is detected from the sample data memory 108 and the user data memory 107, respectively, and the detected sample data and user data are output to the analysis unit 111 and the video output unit 112.

【0047】ここで、分析部111はアクセント、リズ
ム及び発音を各々分析するが、これに対しては図3乃至
図5を参照して詳細に説明する。
Here, the analysis unit 111 analyzes the accent, rhythm, and pronunciation, which will be described in detail with reference to FIGS.

【0048】まず、分析部111はサンプルデータ中の
母国語使用者の音声情報と、ユーザーデータ中の学習者
の音声情報とを検出し(S101)、検出されたそれぞれ
の音声情報の波形を分析し(S102)、分析結果によっ
てそれぞれの音声情報の波形の包絡線を検出する(S1
03)。
First, the analyzing unit 111 detects the voice information of the native language user in the sample data and the voice information of the learner in the user data (S101), and analyzes the waveform of each detected voice information. (S102), the envelope of the waveform of each audio information is detected based on the analysis result (S1).
03).

【0049】ここで、図3の上部に示した波形は母国語
使用者の音声情報波形であり、図3の下部に示した波形
は学習者の音声情報波形である。尚、各音声情報の波形
は出力の大きさ対時間の相関関係で表示される。
Here, the waveform shown in the upper part of FIG. 3 is the voice information waveform of the native language user, and the waveform shown in the lower part of FIG. 3 is the voice information waveform of the learner. Note that the waveform of each audio information is displayed in a correlation between the magnitude of output and time.

【0050】すなわち、分析部111は制御部114か
ら提供されたサンプルデータ中の母国語使用者の音声情
報波形P1を分析し、ピーク値を算出してそれの包絡線
E1を推定して求め、最初の語節の開始点(以下語節開
始点)S1を求める。また、分析部111は制御部11
4から提供されたユーザーデータ中の学習者の音声出力
波形P2を分析し、ピーク値を算出してそれの包絡線E
2を推定して求め、最初の語節の開始点S2を求める。
That is, the analyzing unit 111 analyzes the voice information waveform P1 of the native language user in the sample data provided from the control unit 114, calculates the peak value, and estimates and finds the envelope E1 of the peak value. A start point (hereinafter referred to as a phrase start point) S1 of the first phrase is obtained. In addition, the analysis unit 111 controls the control unit 11.
Of the learner's voice output waveform P2 in the user data provided by the user 4 and calculate the peak value, and obtain an envelope E thereof.
2 to obtain the start point S2 of the first phrase.

【0051】以後、分析部111は母国語使用者の最初
の語節開始点S1と、学習者の最初の語節開始点S2と
の間に存在する時差Sdを“0”状態で調節した後、母
国語使用者の包絡線E1と学習者包絡線E2との差を求
める(S104)。
After that, the analyzing unit 111 adjusts the time difference Sd existing between the first phrase start point S1 of the native language user and the first phrase start point S2 of the learner in a "0" state. Then, the difference between the envelope E1 of the native language user and the learner's envelope E2 is determined (S104).

【0052】結局、上述した包絡線の差が母国語使用者
と学習者との間のアクセントの差になり、分析部111
は、包絡線の差をグラフ化したアクセント分析チャート
で具現して、ディスプレイ部113の所定位置に表示す
る(S105)。よって、ディスプレイ部113にはアク
セント分析結果がチャートで表示され(図5の“A”参
照)、学習者は分析チャートを通じてアクセントの差異
点を視覚的に分析することができる。
After all, the difference in the envelope described above becomes the difference in accent between the native language user and the learner, and the analysis unit 111
Is embodied as an accent analysis chart in which the difference between the envelopes is graphed, and is displayed at a predetermined position on the display unit 113 (S105). Therefore, the accent analysis result is displayed in a chart on the display unit 113 (see “A” in FIG. 5), and the learner can visually analyze the accent differences through the analysis chart.

【0053】次に、分析部111は母国語使用者のつな
がった語節の開始点S3と学習者のつながった語節の開
始点S4を求めてリズムを分析したり、語節と語節との
間の無信号区間の時間差を求めてリズムを分析し(S1
06)、分析結果によってリズム分析チャートを生成し
てディスプレイ部113に表示する(S107)。
Next, the analysis unit 111 analyzes the rhythm by finding the start point S3 of the phrase connected to the native language user and the start point S4 of the phrase connected to the learner, and analyzes the rhythm. The rhythm is analyzed by calculating the time difference of the no-signal section between
06), a rhythm analysis chart is generated based on the analysis result, and displayed on the display unit 113 (S107).

【0054】すなわち、開始点におけるリズム分析方法
を説明すれば、母国語使用者が最初の語節の発音後に次
の語節を始めた時点がS3で、学習者が最初の語節の発
音後に次の語節を始めた時点がS4であるので、それに
対する差だけ学習者は速いかまたは、遅いリズムを持つ
結果が得られる。結局、分析部111はつながる語節の
開始点の差をグラフ化したリズム分析チャートで具現し
て、ディスプレイ部113の所定位置に表示し、よっ
て、ディスプレイ部113にはリズム分析結果がチャー
トで表示され(図5の“B”参照)、学習者は分析チャー
トを通じてリズムの差異点を視覚的に分析することがで
きる。
In other words, the rhythm analysis method at the starting point will be described. The point at which the native language user starts the next phrase after the pronunciation of the first phrase is S3, and the learner determines after the pronunciation of the first phrase. Since the point at which the next phrase is started is S4, the learner obtains a result having a faster or slower rhythm by the difference. After all, the analysis unit 111 implements the difference between the starting points of the connected phrases in a rhythm analysis chart that is graphed, and displays it at a predetermined position on the display unit 113. Therefore, the rhythm analysis result is displayed on the display unit 113 in a chart. Then, the learner can visually analyze the difference in the rhythm through the analysis chart (see “B” in FIG. 5).

【0055】また、無信号区間におけるリズム分析方法
を説明すれば、母国語使用者の最初の語節の終了後に次
の語節の開始前に持つ無信号区間がd1で、学習者の最
初の語節の終了後に次の語節開始前に持つ無信号区間が
d2である。よって、それに対する差だけ学習者は次の
語節が速いか、または、遅いリズムを持つ結果が得られ
る。結局、分析部111は無信号区間の時間差をグラフ
化したリズム分析チャートで具現して、ディスプレイ部
113の所定位置に表示し、よって、ディスプレイ部1
13にはリズム分析結果がチャートで表示され(図5の
“B”参照)、学習者は分析チャートを通じてリズムの
差異点を視覚的に分析することができる。
The rhythm analysis method in the non-signal section will be described. The non-signal section after the end of the first phrase of the native language user and before the start of the next phrase is d1, and the learner's first phrase is The d2 is a non-signal section that is provided before the start of the next phrase after the end of the phrase. Therefore, the learner obtains a result in which the next phrase is faster or slower by the difference. After all, the analyzing unit 111 is embodied as a rhythm analysis chart in which the time difference between the no-signal sections is graphed and displayed at a predetermined position on the display unit 113.
A rhythm analysis result is displayed on a chart 13 (see “B” in FIG. 5), and the learner can visually analyze a difference in rhythm through the analysis chart.

【0056】最後に、図4を参照して発音分析方法を説
明すれば、図4の上部は母国語使用者の発音分析チャー
トであり、下部は学習者の発音分析チャートである。
Finally, the pronunciation analysis method will be described with reference to FIG. 4. In FIG. 4, the upper part is a pronunciation analysis chart of a native language user, and the lower part is a pronunciation analysis chart of a learner.

【0057】すなわち、分析部111は、図3の音声出
力波形P1、P2をフーリエ変換のようなアルゴリズム
によって時間ドメインから周波数ドメインに表現される
ように周波数分析を行うと、図4のような周波数帯域別
出力波形が得られる(S108)。結局、分析部111は
段階(S108)により得られた周波数帯域別出力波形を
グラフ化した発音分析チャートで具現して、ディスプレ
イ部113の所定位置に表示し(S109)、よって、デ
ィスプレイ部113には発音分析結果がチャートで表示
され、学習者は発音分析チャートに表示された母国語使
用者の発音と学習者の発音を比較して、それぞれの有声
子音または有声母音に該当する周波数領域別の大きさの
違いによって発生する発音差を視覚的に確認することが
できる。
That is, the analysis unit 111 performs a frequency analysis so that the audio output waveforms P1 and P2 of FIG. 3 are expressed from the time domain to the frequency domain by an algorithm such as Fourier transform. An output waveform for each band is obtained (S108). After all, the analysis unit 111 implements the output waveform for each frequency band obtained in the step (S108) as a graph of a sound analysis chart and displays the output waveform at a predetermined position on the display unit 113 (S109). Indicates the pronunciation analysis result in a chart, and the learner compares the pronunciation of the native language user and the pronunciation of the learner displayed in the pronunciation analysis chart, and determines the frequency range corresponding to each voiced consonant or voiced vowel. The pronunciation difference caused by the difference in size can be visually confirmed.

【0058】また、ビデオ出力部112は制御部114
から提供されたサンプルデータ中の母国語使用者の口形
を示すイメージデータと、ユーザーデータ中の学習者の
口形を示すイメージデータとを検出し(S110)、検出
されたイメージデータを復元(圧縮解除)後(S111)、
復元されたイメージをディスプレイ部113に出力し、
ディスプレイ部113はビデオ出力部112から提供
されたイメージを分析部111から提供された各種チャ
ート情報と組合わせて表示する(S112)。
The video output unit 112 is provided with a control unit 114
The image data indicating the mouth shape of the native language user in the sample data provided by the user and the image data indicating the mouth shape of the learner in the user data are detected (S110), and the detected image data is restored (decompressed). ) After (S111),
Output the restored image to the display unit 113,
The display unit 113 displays the image provided from the video output unit 112 in combination with various chart information provided from the analysis unit 111 (S112).

【0059】一方、上述したようなアクセント、リズ
ム、発音分析チャート及び口形を示すイメージは、図5
に示すように、ディスプレイ部113で組合わせて学習
者が認識しやすい画面で構成されることができる。
On the other hand, the images showing the accent, rhythm, pronunciation analysis chart, and mouth shape as described above are shown in FIG.
As shown in the figure, the display unit 113 can be combined with a screen that is easy for the learner to recognize.

【0060】図5を参照すれば、母国語使用者の音声波
形が“original sound”(オリジナルサウンド)で表記
された領域の右側に出力され、その下部に学習者の音声
波形が“my voice”(マイボイス)で表記された領域の
右側に出力される。音声波形は音声出力波形と包絡線波
形が重畳された形状を持って時間軸で表示される。
Referring to FIG. 5, the voice waveform of the native language user is output to the right of the area indicated by "original sound" (original sound), and the voice waveform of the learner is displayed below "my voice". It is output to the right of the area indicated by (My Voice). The audio waveform is displayed on the time axis in a shape in which the audio output waveform and the envelope waveform are superimposed.

【0061】そして、母国語使用者の波形の上部には
“Can you speak English?”(キャンユー スピーク
イングリッシュ?)という音声に該当する文字が出力さ
れ、指示線が音声の出力状態に合わせて移動するように
構成されることができる。このとき、指示線は母国語使
用者の音声波形と学習者の音声波形にわたって形成され
ることができる。
At the top of the waveform of the native language user, “Can you speak English?”
English? ) Is output, and the instruction line moves in accordance with the output state of the voice. At this time, the instruction line may be formed over the voice waveform of the native language user and the voice waveform of the learner.

【0062】そして、学習者音声波形の下部にはアクセ
ント分析チャートAと、リズム分析チャートBとが出力
され、母国語使用者の音声波形右側と学習者の音声波形
右側には、各々に該当する口形を示すイメージが出力さ
れるように構成されることができる。
An accent analysis chart A and a rhythm analysis chart B are output at the lower part of the learner's voice waveform, and correspond to the right side of the voice waveform of the native language user and the right side of the learner's voice waveform, respectively. An image indicating a mouth shape may be configured to be output.

【0063】また、操作部106は発音分析チャートボ
タンをさらに構成し、学習者が発音分析チャートボタン
を選択した時、発音に対する図4のような発音分析チャ
ートが単一画面に出力されるように構成することができ
る。
The operation unit 106 further comprises a pronunciation analysis chart button so that when the learner selects the pronunciation analysis chart button, the pronunciation analysis chart for the pronunciation as shown in FIG. 4 is output on a single screen. Can be configured.

【0064】一方、制御部114は分析結果(アクセン
ト分析チャート、リズム分析チャート及び発音分析チャ
ート)をユーザーデータメモリ107に格納する(S11
3)。よって、ユーザーデータメモリ107に格納され
た分析結果は、学習者の履歴管理に活用でき、これを通
じて学習者は同じ文章、単語または所定の領域の発音の
改善状況を確認することで、学習効果を向上できる。
On the other hand, the control unit 114 stores the analysis results (accent analysis chart, rhythm analysis chart, and pronunciation analysis chart) in the user data memory 107 (S11).
3). Therefore, the analysis result stored in the user data memory 107 can be used for managing the history of the learner, and through this, the learner can confirm the improvement of pronunciation of the same sentence, word or predetermined area, thereby improving the learning effect. Can be improved.

【0065】一方、本発明の技術的思想を理解した者で
あれば、本発明の技術的思想を利用して言語学習装置を
多様に具現でき、その具現例として、図6のような電子
手帳と図7のような電子辞書を提示することができる。
On the other hand, a person who understands the technical idea of the present invention can variously implement a language learning apparatus using the technical idea of the present invention. And an electronic dictionary as shown in FIG. 7 can be presented.

【0066】図6の電子手帳の場合、ディスプレイ領域
に単語、発音符号及び解析などが文字で表示されること
ができ、その下部に分析チャートがディスプレイでき
る。そして、発音の入力のためにマイクが連結するよう
に構成されることができる。
In the case of the electronic organizer shown in FIG. 6, words, phonetic symbols, analysis, and the like can be displayed in characters in a display area, and an analysis chart can be displayed below the display. The microphone may be connected to input a sound.

【0067】また、図7の電子辞書の場合、ディスプレ
イ領域に原文と訳文がディスプレイでき、その下部に分
析チャートがディスプレイできる。そして、発音の入力
のためのマイクが構成されることができ、コンピュータ
と接続のための連結端子が構成されることができる。
In the case of the electronic dictionary shown in FIG. 7, an original sentence and a translated sentence can be displayed in a display area, and an analysis chart can be displayed below the original sentence and translated sentence. In addition, a microphone for inputting a sound can be configured, and a connection terminal for connection to a computer can be configured.

【0068】以上ように、本発明の具体的な実施の形態
について説明したが、本発明は、その範囲内で多様に変
形できるのは勿論のことである。よって、本発明の範囲
は、説明した実施の形態に限定されず、上述した特許請
求の範囲と同様な範囲により定められるべきである。
As described above, the specific embodiments of the present invention have been described. However, it goes without saying that the present invention can be variously modified within the scope thereof. Therefore, the scope of the present invention is not limited to the above-described embodiment, but should be determined by the same scope as in the above-described claims.

【0069】[0069]

【発明の効果】本発明による言語学習装置及びその言語
分析方法によれば、次のような利点が発生する。すなわ
ち、学習者が学習した単語または文章の発音、抑揚及び
リズムに対する客観的分析資料を確認し、上述した分析
資料を繰り返し学習に導入することで、母国語使用者の
発音に近く学習できて言語学習効果が増進される。ま
た、学習者が学習した単語または文章中の一部分のみを
学習者が選択的に再生できることで、特定の単語または
選択領域に対して学習効果が倍加される。また、学習者
の学習結果が履歴管理されることで、言語学習効果を向
上させることができる。
According to the language learning apparatus and the language analysis method of the present invention, the following advantages are obtained. That is, the learner confirms the objective analysis data on the pronunciation, intonation, and rhythm of the words or sentences learned by the learner, and repeatedly introduces the above-described analysis materials into the learning, so that the learner can learn close to the pronunciation of the native language user, and can learn the language The learning effect is enhanced. Further, since the learner can selectively reproduce only a part of a word or a sentence learned by the learner, the learning effect is doubled for a specific word or selected region. Further, by managing the history of the learning result of the learner, the language learning effect can be improved.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による言語学習装置の概略ブロック図で
ある。
FIG. 1 is a schematic block diagram of a language learning device according to the present invention.

【図2】本発明による言語分析方法の実行過程を示す動
作フローチャートである。
FIG. 2 is an operational flowchart showing an execution process of a language analysis method according to the present invention.

【図3】本発明による音声波形分析方法を説明する波形
図である。
FIG. 3 is a waveform diagram illustrating a speech waveform analysis method according to the present invention.

【図4】本発明による発音分析チャートを示す図であ
る。
FIG. 4 is a diagram showing a pronunciation analysis chart according to the present invention.

【図5】波形分析結果によってディスプレイ部に表示さ
れる表示状態図である。
FIG. 5 is a display state diagram displayed on a display unit based on a waveform analysis result.

【図6】本発明による言語学習装置を電子手帳に適用し
た例示図である。
FIG. 6 is an exemplary diagram in which the language learning device according to the present invention is applied to an electronic organizer.

【図7】本発明による言語学習装置を電子辞書に適用し
た例示図である。
FIG. 7 is an exemplary diagram in which the language learning device according to the present invention is applied to an electronic dictionary.

【符号の説明】[Explanation of symbols]

101 マイク 102 アナログ/デジタル変換部 103 カメラ 104 ビデオ信号入力部 105 インターフェース部 106 操作部 107 ユーザーデータメモリ 108 サンプルデータメモリ 109 デジタル/アナログ変換部 110 スピーカ 111 分析部 112 ビデオ出力部 113 ディスプレイ部 114 制御部 Reference Signs List 101 microphone 102 analog / digital conversion unit 103 camera 104 video signal input unit 105 interface unit 106 operation unit 107 user data memory 108 sample data memory 109 digital / analog conversion unit 110 speaker 111 analysis unit 112 video output unit 113 display unit 114 control unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 21/06 G10L 3/00 551E 15/00 7/02 A 11/00 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G10L 21/06 G10L 3/00 551E 15/00 7/02 A 11/00

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 マイクから入力される学習者のアナログ
形態の音声信号をデジタル形態の音声情報に変換出力す
る音声入力手段と;前記音声入力手段から提供された学
習者の音声情報が格納されるユーザーデータメモリと;
母国語使用者の音声情報を含んだサンプルデータが格納
されるサンプルデータメモリと;前記サンプルデータメ
モリから検出された前記母国語使用者の音声情報を再生
してアナログ信号に変換後、スピーカに出力する音声出
力手段と;前記音声出力手段により再生される前記母国
語使用者の音声情報と、前記音声入力手段から提供され
た前記学習者の音声情報の発音の周波数特性を分析し、
分析結果に従って発音分析チャートを生成する分析部
と;前記分析部で生成された前記発音分析チャートを所
定領域にディスプレイするディスプレイ部と;再生モー
ドにおいて前記サンプルデータメモリに格納された前記
母国語使用者の音声情報を前記音声出力手段に出力し、
記録モードにおいて前記音声入力手段から入力された前
記学習者の音声情報を前記ユーザーデータメモリに格納
し、分析モードにおいて前記サンプルデータメモリに格
納された前記母国語使用者の音声情報と前記ユーザーデ
ータメモリに格納された前記学習者の音声情報とを前記
分析部に出力する制御手段とを含むことを特徴とする言
語学習装置。
1. An audio input means for converting a learner's analog audio signal input from a microphone into digital audio information, and storing the learner's audio information provided from the audio input means. User data memory;
A sample data memory for storing sample data including voice information of a native language user; reproducing the voice information of the native language user detected from the sample data memory, converting the voice information into an analog signal, and outputting the analog signal to a speaker Voice output means for analyzing; voice information of the native language user reproduced by the voice output means; and analyzing the frequency characteristics of pronunciation of the learner's voice information provided from the voice input means,
An analysis unit that generates a pronunciation analysis chart according to the analysis result; a display unit that displays the pronunciation analysis chart generated by the analysis unit in a predetermined area; and the native language user stored in the sample data memory in a playback mode. Output to the audio output means,
The voice information of the learner input from the voice input means in the recording mode is stored in the user data memory, and the voice information of the native language user and the user data memory stored in the sample data memory in the analysis mode. And a control unit that outputs the learner's voice information stored in the analysis unit to the analysis unit.
【請求項2】 前記母国語使用者の音声情報を含む前記
サンプルデータをオンラインで受け取るインターフェー
ス部をさらに含み、 前記制御部は前記インターフェース部で受け取られた前
記サンプルデータを前記サンプルデータメモリに格納す
ることを特徴とする請求項1に記載の言語学習装置。
2. The apparatus according to claim 1, further comprising an interface unit for receiving the sample data including voice information of the native language user online, wherein the control unit stores the sample data received by the interface unit in the sample data memory. The language learning device according to claim 1, wherein:
【請求項3】 前記分析部は、 前記学習者の音声情報の波形の第1包絡線を検出し、前
記母国語使用者の音声情報の波形の第2包絡線を検出
し、前記第1包絡線と前記第2包絡線との差を求めてア
クセントに対する第1分析チャートに出力することを特
徴とする請求項1に記載の言語学習装置。
3. The analysis unit detects a first envelope of a waveform of the voice information of the learner, detects a second envelope of a waveform of the voice information of the native language user, and detects the first envelope. The language learning device according to claim 1, wherein a difference between a line and the second envelope is obtained and output to a first analysis chart for accent.
【請求項4】 前記分析部は、 前記第1包絡線の語節の開始点と前記第2包絡線の語節
の開始点を比較し、その時間差を求めてリズムに対する
第2分析チャートに出力することを特徴とする請求項3
に記載の言語学習装置。
4. The analysis unit compares a start point of a phrase of the first envelope with a start point of a phrase of the second envelope, finds a time difference between the start point, and outputs the time difference to a second analysis chart for rhythm. 4. The method according to claim 3, wherein
The language learning device according to 1.
【請求項5】 カメラで録画された前記学習者の口形の
イメージの解像度を調整し圧縮を行う録画手段と;前記
学習者の音声情報に該当する前記学習者の口形のイメー
ジと、前記母国語使用者の音声情報に該当する前記母国
語使用者の口形のイメージとをディスプレイするための
信号に変換して、前記ディスプレイ部に出力するビデオ
出力手段とをさらに含み、 前記制御部は、前記記録モードにおいて前記録画手段で
出力される前記学習者の口形のイメージを前記ユーザー
データメモリに格納し、前記分析モードにおいて前記学
習者の口形のイメージと前記母国語使用者の口形のイメ
ージを前記ビデオ出力部に出力することを特徴とする請
求項1に記載の言語学習装置。
5. A recording means for adjusting the resolution of the image of the learner's mouth shape recorded by a camera and compressing the image; a learner's mouth shape image corresponding to the learner's voice information; Video output means for converting the image of the mouth shape of the native language user corresponding to the voice information of the user into a signal for display, and outputting the signal to the display unit, the control unit includes: In the mode, the image of the learner's mouth shape output by the recording means is stored in the user data memory, and in the analysis mode, the learner's mouth shape image and the native speaker's mouth shape image are output as the video. The language learning device according to claim 1, wherein the language learning device outputs the result to a unit.
【請求項6】 前記サンプルデータメモリに格納された
前記サンプルデータのうち、分析したい文章を検索する
ための移動キーと、前記検索された文章単位で再生・分
析するために該当文章を選択する選択キーとを有する操
作部をさらに含み、 前記制御部は、前記操作部からの操作信号に応じて前記
サンプルデータメモリに格納された前記サンプルデータ
のうちの前記学習者が選択した文章を再生・分析するこ
とを特徴とする請求項1に記載の言語学習装置。
6. A movement key for searching for a sentence to be analyzed among the sample data stored in the sample data memory, and a selection for selecting a corresponding sentence for reproduction / analysis in the searched sentence unit. And an operation unit having a key, wherein the control unit reproduces and analyzes a sentence selected by the learner among the sample data stored in the sample data memory in response to an operation signal from the operation unit. The language learning device according to claim 1, wherein
【請求項7】 前記操作部内の選択キーは前記検索され
た文章に含まれた複数個の単語のうち、学習者が選択し
た少なくとも一つ以上の単語を再生・分析するために該
当の単語を選択する機能をさらに含み、 前記制御部は、前記操作部からの操作信号に応じて前記
サンプルデータメモリに格納された前記サンプルデータ
のうち、前記学習者が選択した文章内の単語を再生・分
析するようにしたことを特徴とする請求項6に記載の言
語学習装置。
7. A selection key in the operation unit is used to select a word in order to reproduce / analyze at least one word selected by a learner among a plurality of words included in the searched text. The control unit further includes a function of selecting and reproducing / analyzing a word in a sentence selected by the learner among the sample data stored in the sample data memory in response to an operation signal from the operation unit. The language learning apparatus according to claim 6, wherein the language learning is performed.
【請求項8】 前記操作部内の選択キーは、前記検索さ
れた文章のうち、学習者が任意の領域を選択して再生・
分析するために、任意の領域を選択する機能をさらに含
み、 前記制御部は、前記操作部からの操作信号に応じて前記
サンプルデータメモリに格納された前記サンプルデータ
のうち、前記学習者が選択した前記領域を再生・分析す
るようにしたことを特徴とする請求項6に記載の言語学
習装置。
8. A selection key in the operation unit is used by a learner to select an arbitrary area from among the searched sentences and reproduce / select the area.
In order to analyze, further includes a function of selecting an arbitrary area, the control unit, the learner selected from among the sample data stored in the sample data memory according to an operation signal from the operation unit 7. The language learning apparatus according to claim 6, wherein the region is reproduced and analyzed.
【請求項9】 ユーザーデータメモリに格納された学習
者の音声情報を検出し、検出された前記学習者の音声情
報の波形を時間ドメインから周波数ドメインに表現され
るように、前記学習者の音声情報の周波数特性を分析す
る段階と;サンプルデータメモリに格納された母国語使
用者の音声情報を検出し、検出された前記母国語使用者
の音声情報の波形を前記時間ドメインから前記周波数ド
メインに表現されるように、前記母国語使用者の音声情
報の周波数特性を分析する段階と;前記学習者の音声情
報の周波数特性と、前記母国語使用者の音声情報の周波
数特性を用いて、帯域別出力波形を示す発音分析チャー
トを生成して出力する段階とを含むことを特徴とする言
語学習装置の言語分析方法。
9. The learner's voice information is detected so that the learner's voice information stored in the user data memory is detected, and the waveform of the detected learner's voice information is expressed from the time domain to the frequency domain. Analyzing the frequency characteristics of the information; detecting voice information of the native language user stored in the sample data memory; and converting the detected waveform of the voice information of the native language user from the time domain to the frequency domain. Analyzing the frequency characteristics of the voice information of the native language user as expressed; and using the frequency characteristics of the voice information of the learner and the frequency characteristics of the voice information of the native language user, Generating and outputting a pronunciation analysis chart showing different output waveforms.
【請求項10】 前記学習者の音声情報の出力波形の第
1包絡線を検出する段階と;前記母国語使用者の音声情
報の出力波形の第2包絡線を検出する段階と;前記第1
包絡線と前記第2包絡線との差を検出する段階と;検出
された前記第1包絡線と前記第2包絡線との差を示すア
クセント分析チャートを生成して出力する段階とをさら
に含むことを特徴とする請求項9に記載の言語学習装置
の言語分析方法。
10. A step of detecting a first envelope of an output waveform of the voice information of the learner; a step of detecting a second envelope of an output waveform of the voice information of the native language user;
Detecting a difference between the envelope and the second envelope; and generating and outputting an accent analysis chart indicating the detected difference between the first envelope and the second envelope. The language analysis method for a language learning device according to claim 9, wherein:
【請求項11】 前記学習者の音声情報の出力波形にお
いて、最初の語節につながる次の語節の第1開始点を検
出する段階と;前記母国語使用者の音声情報の出力波形
において、最初の語節につながる次の語節の第2開始点
を検出する段階と;前記第1開始点と前記第2開始点の
時間差を検出する段階と;検出された前記第1開始点と
前記第2開始点の時間差を示すリズム分析チャートを生
成して出力する段階とをさらに含むことを特徴とする請
求項9または10に記載の言語学習装置の言語分析方
法。
Detecting a first start point of a next phrase leading to a first phrase in the output waveform of the learner's voice information; and Detecting a second start point of the next phrase leading to the first phrase; detecting a time difference between the first start point and the second start point; and detecting the first start point and the detected first start point. The method according to claim 9 or 10, further comprising: generating and outputting a rhythm analysis chart indicating a time difference between the second start points.
【請求項12】 前記学習者の音声情報の出力波形にお
いて、最初の語節につながる次の語節間の第1無信号区
間を検出する段階と;前記母国語使用者の音声情報の出
力波形において、最初の語節につながる次の語節間の第
2無信号区間を検出する段階と;前記第1無信号区間と
前記第2無信号区間の時間差を検出する段階と;検出さ
れた前記第1無信号区間と前記第2無信号区間の時間差
を示すリズム分析チャートを生成して出力する段階とを
さらに含むことを特徴とする請求項9または10に記載
の言語学習装置の言語分析方法。
12. In the output waveform of the speech information of the learner, detecting a first non-signal section between the next phrases connected to the first phrase; and an output waveform of the speech information of the native language user. Detecting a second no-signal section between the next clauses leading to the first clause; detecting a time difference between the first no-signal section and the second no-signal section; The method according to claim 9 or 10, further comprising: generating and outputting a rhythm analysis chart indicating a time difference between the first no-signal section and the second no-signal section. .
JP2001068335A 2000-03-10 2001-03-12 Device for language study and method for language analysis Pending JP2001318592A (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020000012133 2000-03-10
KR10-2001-0008911A KR100405061B1 (en) 2000-03-10 2001-02-22 Apparatus for training language and Method for analyzing language thereof
KR200012133 2001-02-22
KR20018911 2001-02-22

Publications (1)

Publication Number Publication Date
JP2001318592A true JP2001318592A (en) 2001-11-16

Family

ID=26637434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001068335A Pending JP2001318592A (en) 2000-03-10 2001-03-12 Device for language study and method for language analysis

Country Status (2)

Country Link
JP (1) JP2001318592A (en)
KR (1) KR100405061B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064116A (en) * 2002-01-25 2003-07-31 주식회사 엠티컴 Methods for analyzing human voice and systems thereof
JP2004177650A (en) * 2002-11-27 2004-06-24 Kenichiro Nakano Language learning computer system
JP2005128177A (en) * 2003-10-22 2005-05-19 Ace:Kk Pronunciation learning support method, learner's terminal, processing program, and recording medium with the program stored thereto
KR100815115B1 (en) 2006-03-31 2008-03-20 광주과학기술원 An Acoustic Model Adaptation Method Based on Pronunciation Variability Analysis for Foreign Speech Recognition and apparatus thereof
JP2016157097A (en) * 2015-02-24 2016-09-01 ブラザー工業株式会社 Reading-aloud evaluation device, reading-aloud evaluation method, and program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030078493A (en) * 2002-03-29 2003-10-08 박성기 Foreign language study apparatus
KR101155856B1 (en) * 2010-06-09 2012-06-20 윤창훈 Foreign language learnning method
KR20110065276A (en) * 2010-06-25 2011-06-15 서동혁 Method and apparatus for pronunciation exercise using comparison video
KR101478459B1 (en) * 2013-09-05 2014-12-31 한국과학기술원 Language delay treatment system and control method for the same
CN105070118B (en) * 2015-07-30 2019-01-11 广东小天才科技有限公司 A kind of method and device to correct one's pronunciation for class of languages study
KR102236861B1 (en) 2019-07-15 2021-04-06 주식회사 이볼케이노 Language acquisition assistance system using frequency bands by language
KR102396833B1 (en) 2019-12-31 2022-05-13 (주)헤이스타즈 System and method for studying korean pronunciation using voice analysis
CN114842690B (en) * 2022-04-26 2024-03-01 深圳市企鹅网络科技有限公司 Pronunciation interaction method, system, electronic equipment and storage medium for language courses

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064116A (en) * 2002-01-25 2003-07-31 주식회사 엠티컴 Methods for analyzing human voice and systems thereof
JP2004177650A (en) * 2002-11-27 2004-06-24 Kenichiro Nakano Language learning computer system
US7326057B2 (en) 2002-11-27 2008-02-05 Kenichiro Nakano Language learning computer system
JP2005128177A (en) * 2003-10-22 2005-05-19 Ace:Kk Pronunciation learning support method, learner's terminal, processing program, and recording medium with the program stored thereto
KR100815115B1 (en) 2006-03-31 2008-03-20 광주과학기술원 An Acoustic Model Adaptation Method Based on Pronunciation Variability Analysis for Foreign Speech Recognition and apparatus thereof
JP2016157097A (en) * 2015-02-24 2016-09-01 ブラザー工業株式会社 Reading-aloud evaluation device, reading-aloud evaluation method, and program

Also Published As

Publication number Publication date
KR100405061B1 (en) 2003-11-10
KR20010088350A (en) 2001-09-26

Similar Documents

Publication Publication Date Title
US7149690B2 (en) Method and apparatus for interactive language instruction
JP2004347786A (en) Speech display output controller, image display controller, and speech display output control processing program, image display control processing program
US20090197224A1 (en) Language Learning Apparatus, Language Learning Aiding Method, Program, and Recording Medium
JP2001318592A (en) Device for language study and method for language analysis
JP6728116B2 (en) Speech recognition device, speech recognition method and program
JP6832503B2 (en) Information presentation method, information presentation program and information presentation system
US9087512B2 (en) Speech synthesis method and apparatus for electronic system
KR200197477Y1 (en) Apparatus for training language
JP2003162291A (en) Language learning device
WO2023276539A1 (en) Voice conversion device, voice conversion method, program, and recording medium
JP2844817B2 (en) Speech synthesis method for utterance practice
KR20010092176A (en) Method for educating a language, method for emboding the same using a internet and system for emboding the same
KR20140078810A (en) Apparatus and method for learning rhythm pattern by using native speaker's pronunciation data and language data.
JP2006139162A (en) Language learning system
JPS63157226A (en) Conversation type sentence reading device
JPH08272388A (en) Device and method for synthesizing voice
JPH0816089A (en) Pronunciation comparing learning device
JP4543919B2 (en) Language learning device
JP6957069B1 (en) Learning support system
JP6221253B2 (en) Speech recognition apparatus and method, and semiconductor integrated circuit device
JP2013195928A (en) Synthesis unit segmentation device
KR20090081046A (en) Language learning system using internet network
JP4985714B2 (en) Voice display output control device and voice display output control processing program
JPH1165410A (en) Pronunciation practice device
JP2638151B2 (en) Conversation aid

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041015