JP2007148170A - 外国語学習支援システム - Google Patents

外国語学習支援システム Download PDF

Info

Publication number
JP2007148170A
JP2007148170A JP2005344730A JP2005344730A JP2007148170A JP 2007148170 A JP2007148170 A JP 2007148170A JP 2005344730 A JP2005344730 A JP 2005344730A JP 2005344730 A JP2005344730 A JP 2005344730A JP 2007148170 A JP2007148170 A JP 2007148170A
Authority
JP
Japan
Prior art keywords
learner
model
sentence
text
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005344730A
Other languages
English (en)
Inventor
Kazunori Fukuchi
三則 福地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cai Media Kyodo Kaihatsu Kk
Original Assignee
Cai Media Kyodo Kaihatsu Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cai Media Kyodo Kaihatsu Kk filed Critical Cai Media Kyodo Kaihatsu Kk
Priority to JP2005344730A priority Critical patent/JP2007148170A/ja
Publication of JP2007148170A publication Critical patent/JP2007148170A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】学習者の発音がモデル音声と比較してどの程度のレベルにあるかを客観的に判断できる外国語学習支援システムを提供する。
【解決手段】モデル文章に含まれる音声データ及びテキストデータを関連させてデータベース20に予め記憶させ、音声データに基づいてモデル音声を出力し、テキストデータに基づいてモデル文章をテキスト表示するとともに、モデル文章に含まれる単語を単語ごとにブロック画像として表示し、モデル音声に対応して学習者の読みあげた文章を音声認識処理して音声データ及びテキストデータとして学習者学習メモリ24に記憶させ、テキスト表示するとともに読みあげた文章に含まれる単語を単語ごとにブロック画像として表示し、モデル文章の音声データを読み出すとともに、読みあげた文章の音声データを読み出し両者を比較し、その音声近似度判定結果を学習者の単語ごとのブロック画像のブロック高さに反映して表示することを特徴とする。
【選択図】図4

Description

本発明は、特に英会話をはじめとする外国語等の言語の発音の学習のための音声認識機能を応用した外国語学習支援システムに関する。
従来から、英会話等の学習のための外国語学習支援システムは多数開発されている。例えば、コンピュータが一方の話者となり、コンピュータ画面上に話者の相手となる教師役が表示され、教師の質問に対して話者が回答をすると、回答音声がコンピュータに入力され音声認識される。そして、回答が正しい内容と一致すると所定の表示がなされ、次の問いかけに進み、外国語会話が進行する仕組みとなっている。
しかし、このシステムは、回答が予め記憶されている内容と一致する必要があり、単なる発音の繰り返し学習には向かないシステムである。すなわち、回答が予め記憶されているの内容と不一であると会話が先に進まず、この場合、話者は回答内容が間違っていたのか、発音が悪かったのか判断できないという問題がある。
また、回答が正しかったかどうかの判定は、回答内容を示す一種類の正解音声データとの比較であり、判定が固定的であり、回答内容は一致しており発音だけが一致しない場合、どの程度発音が悪かったのか分からず、自分の発音がどの程度外国人に伝わるのかを客観的に認識することができない。
特開平5−165494号公報
本発明の目的は、学習者の発音がモデル(ネイティブ)音声と比較してどの程度のレベルにあるかを客観的に判断できる外国語学習支援システムを提供することである。
本発明の他の目的は、同じ文章を繰り返して発音学習でき、その都度モデル発音にどの程度近づいたかを表示し、効果的に発音の学習ができる外国語学習支援システムを提供することである。
本発明の請求項1に記載の外国語学習支援システムは、モデル文章に含まれる、音声データ及びテキストデータを関連させてデータベースに予め記憶させ、該モデル文章の音声データに基づいてモデル音声を出力し、該モデル文章のテキストデータに基づいてモデル文章をテキスト表示するとともに該モデル文章に含まれる単語を該単語ごとにブロック画像として表示し、該モデル音声に対応して学習者の読みあげた文章を音声認識処理して音声データ及びテキストデータとして学習者学習メモリに記憶させ、前記学習者の読みあげた文章をテキスト表示するとともに該学習者の読みあげた文章に含まれる単語を該単語ごとにブロック画像として表示し、該データベースに記憶されたモデル文章の音声データを読み出すとともに、該メモリに記憶された学習者の読みあげた文章の音声データを読み出して両者を比較し、その音声近似度判定結果を、前記学習者の単語ごとのブロック画像のブロック高さに反映して表示することを特徴とする。
請求項2に記載の外国語学習支援システムは、請求項1において、前記学習者の再学習の音声近似度判定結果を、すでに表示したブロック画像に重ねて再表示することを特徴とする。
本発明によれば、自分の発音がモデル文章のネイティブが発声した発音にどれだけ近いかの近似度判定ができ、発音学習を繰り返し行うことにより、学習者にその効果を客観的に示すことができる。
以下、図面を参照して本発明の外国語学習支援システムの実施の形態について詳細に説明する。図1は本発明の実施の形態に係る外国語学習支援システムの構成を説明するための概略ブロック図である。図2は、本実施形態の複数のモデル文章のテキスト画面である。図3は、学習者の発音学習の結果を示す説明図である。図4は、学習者の再学習の結果を示す説明図である。
なお、以下の説明では、外国語として、英語を例として説明するが、以下の説明で明らかとなるように、本発明はこの説明に限定されることなく、母国語以外の言語を学習者が学習する際に一般的に適用可能なものである。
図1において、外国語学習支援システム10は、学習者の音声を取得するためのマイクロフォン等の音声入力装置11と、学習者が読みあげる文章を表示し、単語や文章ごとに求められた学習者の発音に対する評価点を表示するためのディスプレー13や、I/O14を介してマウス15、キーボード16が接続されるとともに、スピーカ17も備える。
また、外国語学習支援システム10には、外部ドライブ18が接続されており、外部ドライブ18に挿入されたCD−ROM等の記憶媒体に格納されたソフトウェアを学習制御装置40が実行することにより実現される。
さらに、外国語学習支援システム10には、ネイティブが読みあげるモデル文章の音声データや、学習者が読みあげた学習文章の音声データ等を記憶するデータベース20や学習者学習メモリ24が接続されている。
また、外国語学習支援システム10には、外国語学習支援システムの動作全体を制御するための学習制御装置40と、学習制御装置40により制御されて、音声入力装置11から出力される音声について音声認識処理を行うための音声認識部30と、を備え、学習者が文章を読みあげた音声データを認識処理して、該文章中に含まれる単語ごとの近似度を判定評価する。
音声認識部30は音声入力装置11からの出力を受けて、学習者が発音した文章に対応する入力音声波形を分析して、この文章中に含まれる単語ごとの音声データに変換する。
音声認識部30は、音声入力装置11から与えられた音声データをもとに、単語の音韻識別のために音声近似度を演算する為の音声近似度演算装置34と、音声近似度演算装置34の演算結果に基づいて、文章中の音韻や単語を分解抽出する為の分解装置32と、分解装置32の分解結果や構文解析に基づき、音声の認識処理を行うための音声認識装置36を備える。
一方、データベース20は、学習者に対してモデル文章を提示するためのモデル文章データを保持するモデル文章データベース22と、モデル文章データを構成する単語についての単語データベース25と、単語データベース25に含まれる音韻に関するデータを保持する音韻データベース26とを含む。
さらに、データベース20は、学習者の学習履歴を記憶する学習者学習履歴データベース28を備える。
なお、音声認識部30は、モデル文章からの音声データを得てデータベース20に記憶した時に使われたものと、学習者が読みあげた音声を処理するものとは、同じ分析処理を行う必要がある。
本発明の実施形態を実施したときの流れを図2〜4を参照して説明する。
まず、学習制御装置40は、図2に示すような複数のモデル文章のテキストをディスプレー13に表示する。
モデル文章の各テキストの左側にはテキストの選択を促す正方形のアイコンが表示されるので、学習者は、この中から学習すべきモデル文章のテキストをマウスを用いて選択する。
図2の例では、2番目の″All right, I’m ready.″が選択されている。
次に、このモデル文章のテキストが選択されると、学習制御装置40は、対応するモデル文章のモデル音声データを、データベース20のモデル文章データベース22、単語データベース25、音韻データベース26から読み出し、スピーカ17から手本の音声として出力するとともに、ディスプレー13に、単語ごとの音韻を表示する。
手本の音声は1回だけではなく、数回発声させてもよく、さらに数回の発声の際に速さを変えてもよい。これらの指示は画面上で行うことができる。
次に、学習者はこの手本の音声を真似て発音する。この学習者による音声波形は音声入力装置(マイクロフォン)11及び学習制御装置40を介して音声認識部30に取得される。
続いて、音声認識部30の中の分解装置32は、学習者によって読みあげられた文章を、単語、音韻に分解し、文章に対応する音声データを音韻ごとに対応する音声データとして認識する処理を実行する。
続いて、音声認識装置36は、単語データベース25及び音韻データベース26に記録されているモデル文章データに基づいて、取得した単語や音韻に対する音声データとモデル文章の単語や音韻と比較し、単語や音韻ごとの音声データの認識を実行する。
そして、学習制御装置40は、認識された音声データについて、モデル文章データベース22、単語データベース25及び音韻データベース26に記憶されたデータとに基づいて、音声近似度演算装置34に演算させた近似度をディスプレー13に表示する。
図3は、学習者の発音学習の近似度の演算結果を示す。図3に示すように、学習制御装置40は、下記の一連の動作を制御する。
まず、モデル文章のテキストデータに基づいてモデル文章をテキスト表示(51)するとともにモデル文章に含まれる単語(52)を単語ごとにブロック画像(53)として表示し、モデル音声に対応して学習者の読みあげた文章を音声認識部30によって認識処理して、音声データ及びテキストデータとして学習者学習メモリ24に記憶させ、学習者の読みあげた文章をテキスト表示(61)するとともに学習者の読みあげた文章に含まれる単語(62)を単語ごとにブロック画像(63)として表示し、データベース20に記憶されたモデル文章の音声データを読み出すとともに、学習者学習メモリ24に記憶された学習者の読みあげた文章の音声データを読み出して両者を比較し、その音声近似度判定結果を、学習者の単語ごとのブロック画像のブロック高さHに反映させて表示する。
この近似度が高い程、すなわちブロック高さHが高い程、学習者の発音がネイティブ音声に近い、すなわち上手であり、発声した学習者の発音が外国人にきちんと伝わり、正しく認識される可能性が高いことを示す。
さらに、1つのテキストについて学習すると、図2の画面にもどり別のテキストを選択し発音学習を繰り返す。
以上のように、本実施形態は、コンピュータを用いてモデル文章のテキストを表示するとともにモデル発音を発声させ、学習者がその発音を真似てマイクロフォン11から入力するものである。
そして、コンピュータ内で学習者の入力音声データがどれだけモデルの音声データと近似しているかが判定される。近似度が所定の基準値以下の場合は、発音学習を繰り返し行わせ、基準値以上になると、合格マークを表示させることもできる。
また、同じテキストを繰り返し発音学習(再学習)させ、その都度、発音レベルの近似度判定結果を表示させることができる。
図4は、発音学習の再学習の結果を示す図面である。図4に示すように、本発明の外国語学習支援システムにおいては、学習者の再学習の音声近似度判定結果を、すでに表示したブロック画像に重ねて再表示することができる。
学習者の再学習の結果、単語"all" 及び、"ready"で、ブロック高さHが先の高さ(破線で示す高さ)よりも向上していることが分かる。
また、日本人が不得意とする、r、l、v、bを含んだ文章を用意し、特にそれらを重点的に学習させることもできる。
本発明は上述した実施例に限定されず、種々変形して実施可能である。例えば、学習時において、モデル音声と学習者の音声を別々に発声させたが、初心者にとってはモデル音声を聞きながら同時に学習者に発声させることも好ましい。
また、学習の対象としては、英語に限らず中国語等でもよく、さらに外国語に限らず日本語(自国語)等であってもよい。
以上のように、本発明によれば、自分の発音が相手に認識されるかどうかの判定ができる外国語学習支援システムを提供することができる。
また、同じモデル文章を何度も繰り返して発音学習でき、その都度、モデル音声と比較し、どの程度近似するかを判定し、モデル発音とどの程度似ているかを表示することにより、所定の近似度が得られるまで一人で効果的に発音の学習ができる外国語学習支援システムを提供することができる。
本発明による外国語学習支援システムの実施形態の構成を示すブロック図である。 本実施形態の複数のモデル文章のテキスト画面である。 学習者の発音学習の結果を示す説明図である。 学習者の再学習の結果を示す説明図である。
符号の説明
10 外国語学習支援システム
11 音声入力装置(マイクロフォン)
13 ディスプレー
14 I/O
15 マウス
16 キーボード
17 スピーカ
18 外部ドライブ
20 データベース
22 モデル文章データベース
24 学習者学習メモリ
25 単語データベース
26 音韻データベース
28 学習者学習履歴データベース
30 音声認識部
32 分解装置
34 音声近似度演算装置
36 音声認識装置
40 学習制御装置
51,61 テキスト表示
52,62 単語
53,63 ブロック画像
H ブロック高さ

Claims (2)

  1. モデル文章に含まれる、音声データ及びテキストデータを関連させてデータベースに予め記憶させ、
    該モデル文章の音声データに基づいてモデル音声を出力し、
    該モデル文章のテキストデータに基づいてモデル文章をテキスト表示するとともに該モデル文章に含まれる単語を該単語ごとにブロック画像として表示し、
    該モデル音声に対応して学習者の読みあげた文章を音声認識処理して音声データ及びテキストデータとして学習者学習メモリに記憶させ、
    前記学習者の読みあげた文章をテキスト表示するとともに該学習者の読みあげた文章に含まれる単語を該単語ごとにブロック画像として表示し、
    該データベースに記憶されたモデル文章の音声データを読み出すとともに、
    該メモリに記憶された学習者の読みあげた文章の音声データを読み出して両者を比較し、
    その音声近似度判定結果を、
    前記学習者の単語ごとのブロック画像のブロック高さに反映して表示することを特徴とする、外国語学習支援システム。
  2. 前記学習者の再学習の音声近似度判定結果を、すでに表示したブロック画像に重ねて再表示することを特徴とする請求項1に記載の外国語学習支援システム。
JP2005344730A 2005-11-29 2005-11-29 外国語学習支援システム Withdrawn JP2007148170A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005344730A JP2007148170A (ja) 2005-11-29 2005-11-29 外国語学習支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005344730A JP2007148170A (ja) 2005-11-29 2005-11-29 外国語学習支援システム

Publications (1)

Publication Number Publication Date
JP2007148170A true JP2007148170A (ja) 2007-06-14

Family

ID=38209623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005344730A Withdrawn JP2007148170A (ja) 2005-11-29 2005-11-29 外国語学習支援システム

Country Status (1)

Country Link
JP (1) JP2007148170A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145853A (ja) * 2007-12-11 2009-07-02 Inst For Information Industry 混同音の生成および検知の方法およびシステム
KR101188982B1 (ko) 2011-07-20 2012-10-08 포항공과대학교 산학협력단 외국어 학습을 위한 강세 학습 시스템 및 방법
JP2014240902A (ja) * 2013-06-11 2014-12-25 株式会社ジャストシステム 学習支援装置
JP2016536652A (ja) * 2013-10-30 2016-11-24 上海流利説信息技術有限公司Shanghai Liulishuo Information Technology Co.,Ltd. モバイル機器におけるリアルタイム音声評価システム及び方法
JP2019045575A (ja) * 2017-08-30 2019-03-22 株式会社Rekids 言語学習装置及び言語学習方法並びに言語学習用プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145853A (ja) * 2007-12-11 2009-07-02 Inst For Information Industry 混同音の生成および検知の方法およびシステム
KR101188982B1 (ko) 2011-07-20 2012-10-08 포항공과대학교 산학협력단 외국어 학습을 위한 강세 학습 시스템 및 방법
JP2014240902A (ja) * 2013-06-11 2014-12-25 株式会社ジャストシステム 学習支援装置
JP2016536652A (ja) * 2013-10-30 2016-11-24 上海流利説信息技術有限公司Shanghai Liulishuo Information Technology Co.,Ltd. モバイル機器におけるリアルタイム音声評価システム及び方法
JP2019045575A (ja) * 2017-08-30 2019-03-22 株式会社Rekids 言語学習装置及び言語学習方法並びに言語学習用プログラム
JP7118389B2 (ja) 2017-08-30 2022-08-16 株式会社Rekids 言語学習装置及び言語学習方法並びに言語学習用プログラム

Similar Documents

Publication Publication Date Title
US5920838A (en) Reading and pronunciation tutor
US7433819B2 (en) Assessing fluency based on elapsed time
US20070055514A1 (en) Intelligent tutoring feedback
US11145222B2 (en) Language learning system, language learning support server, and computer program product
US7624013B2 (en) Word competition models in voice recognition
JP2001159865A (ja) 対話型語学指導のための方法および装置
JP2005321817A (ja) 教育及び試験における適応対話の音声信号から複合情報を得る方法及び装置
US20060069562A1 (en) Word categories
US20140141392A1 (en) Systems and Methods for Evaluating Difficulty of Spoken Text
KR101487005B1 (ko) 문장입력을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법
US9520068B2 (en) Sentence level analysis in a reading tutor
JP5105943B2 (ja) 発話評価装置及び発話評価プログラム
US20060053012A1 (en) Speech mapping system and method
WO2019075828A1 (zh) 一种语音评价方法及装置
JP2010282058A (ja) 外国語学習補助方法及び装置
JP2007148170A (ja) 外国語学習支援システム
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
Delmonte Exploring speech technologies for language learning
KR101854379B1 (ko) 무의식적 절차 기억 강화를 통한 영어 학습 방법
Jayakumar et al. Enhancing speech recognition in developing language learning systems for low cost Androids
KR101487006B1 (ko) 연음법칙이 적용되는 발음의 발음교정을 실시하는 외국어 학습장치 및 그 학습방법
KR101487007B1 (ko) 사용자의 발음을 분석하여 교정해주는 외국어 학습장치 및 그 학습방법
JPH06348297A (ja) 発音練習装置
van Doremalen Developing automatic speech recognition-enabled language learning applications: from theory to practice

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090203