JP2013541732A - 音楽ベース言語学習方法と、これを活用した学習装置 - Google Patents

Abstract

本発明は、音楽ベース言語学習方法と、これを活用した学習装置に関し、特に、歌詞と伴奏からなる歌を中心とする音楽と、テキストと発音により構成される言語を、関連のあるイメージまたは動画とマッチングさせたユーザー個別学習マルチメディアコンテンツを生成し、これを再生して、見て聞く視聴覚的言語学習方法と、これを活用した学習装置に関する。本発明による音楽ベース言語学習方法は、言語学習装置の入力部により予め格納された単語／語彙や文章と伴奏音楽が指定されるステップと、個別学習生成部において、入力部により指定された単語／語彙や文章および伴奏を、テキストと関連イメージや動画およびネイティブの発音とともにマッチングさせて音楽ベースの個別学習コンテンツを生成し、格納するステップと、制御部において前記個別学習コンテンツを再生し、表示部を介してテキストと関連イメージや動画を出力し、スピーカーを介してネイティブスピーカーの発音と伴奏を出力するステップとを含んで構成される。

Description

本発明は、音楽ベース言語学習方法と、これを活用した学習装置に関し、特に、歌詞と伴奏からなる歌を中心とする音楽と、テキストと発音により構成される言語を、関連のあるイメージまたは動画とマッチングさせたユーザー個別学習マルチメディアコンテンツを生成し、これを再生して、見て聞く視聴覚的言語学習方法と、これを活用した学習装置に関する。

現代社会がグローバル化されていくとともに、英語、日本語、漢字などの外国語が社会生活において非常に重要な位置を占めるようになった。
これにより、言語教育が早期に実施されており、効果的に言語学習をするための多様な方法が開発されている。

たとえば、外国語を学習するにあたり、外国語学院に直接登録および出席して講師の講義を聞く方法が一般的であるが、高額な費用と時間的制限がある。
また、インターネットを通じたオンライン外国語学習方法は、講師の講義を録画し、録画された内容を、インターネットを通じて提供するものであるが、学習者が一方的に録画された内容の提供を受けるようになっているので、学習の効率が低下する。

最近では、グローバル時代の潮流に歩調を合わせて外国語教育の重要性が浮上するにつれ、多様な外国語教育法が試みられているが、言語習得の基本となる語彙能力の開発は、個人の努力に依存する傾向が支配的であるので、単語や熟語の学習の効果は微々たるものであった。

また、既存の言語学習方法は、ネイティブスピーカーの発音を録音した音声ファイルで提供したり、学習過程を動画で提供したりするオフラインの学習形態から脱することができておらず、予め提供される学習コンテンツを通じて反復学習を指向するコンテンツ主導的な学習方法であって、所望の学習コンテンツをユーザーが再構成することができるようにして、いつ、どこでも学習者のためのオーダーメイド型学習コンテンツで学習することを選好する学習者の要求を満足させるに足りない点が多かった。

そして、一部オーダーメイド型学習コンテンツを指向する学習方法の場合、既存のコンテンツ主導的学習方法で設計された学習コンテンツを再配列する形態であって、ユーザーが参加して直接自身の学習コンテンツを生成するユーザー主導型学習コンテンツと見難く、学習者に広く活用されていない。

本発明は、上述した問題点を解決するために案出されたものであって、歌詞と伴奏で構成される音楽と、文字すなわちテキストと発音で構成される言語を、関連するイメージまたは動画をマッチングさせた個別学習コンテンツを生成して、これを再生して、見て聞く視聴覚的音楽ベース言語学習方法と、これを活用した学習装置を提供することにその目的がある。

また、本発明の他の目的は、言語学習に、反復的視聴でリズムを通じて知らず知らずのうちに体得する音楽の特性を繋ぎ合わせ、関連のあるイメージと動画を併合して提供することにより、言語学習に対する持続的な興味を誘発させ、一つの歌のように連結させて退屈を与えないようにして、言語習得の基本となる語彙能力を向上させることができる音楽ベース言語学習方法と、これを活用した学習装置を提供することにある。

上述した目的を達成するための本発明の実施例による音楽ベース言語学習方法は、言語学習装置の入力部により予め格納された単語／語彙や文章と伴奏音楽が指定されるステップ；個別学習生成部において、入力部により指定された単語／語彙や文章および伴奏を、テキストと関連イメージや動画およびネイティブの発音とともにマッチングさせて音楽ベースの個別学習コンテンツを生成し、格納するステップ；および制御部において前記個別学習コンテンツを再生し、表示部を介してテキストと関連イメージや動画を出力し、スピーカーを介してネイティブスピーカーの発音と伴奏を出力するステップを含んで構成される。

また、本発明に係る音楽ベース言語学習方法は、言語学習装置の入力部により学習水準が選択された場合、制御部において該学習水準に合った品詞または意味単位で組み合わせた多数の単語／語彙を伴奏とともに歌にした学習用音楽コンテンツにより構成されるコンテンツの目録が出力されるステップ；入力部によりコンテンツ目録のうちいずれか一つのコンテンツが選択された場合に、制御部により該コンテンツの学習機能目録が出力されるステップ；および入力部により学習機能目録のうちいずれか一つの学習機能が選択された場合に、制御部によりコンテンツの内容を学習機能毎に異なるように再生し、表示部を介してテキストと関連イメージや動画を出力し、スピーカーを介してネイティブスピーカーの発音と伴奏を出力するステップを含んで構成される。

そして、本発明に係る音楽ベース言語学習装置は、入力部、表示部、スピーカー、メモリ部および制御部により構成された言語学習装置において；前記メモリ部には、多数の単語／語彙と意味についてのテキストおよび発音、伴奏と関連イメージや動画を格納し、前記入力部により選択されたメモリ部の単語／語彙と伴奏をイメージまたは動画とマッチングさせて音楽ベースの単語／語彙個別学習コンテンツを生成し、メモリ部に格納する個別学習生成部がさらに具備され、前記制御部は、メモリ部に格納された単語／語彙個別学習コンテンツを再生して、スピーカーを介して単語／語彙個別学習コンテンツの発音と伴奏を音で出力し、表示部を介してテキストとイメージや動画を出力すること特徴とする。

上述した課題の解決手段によれば、学習者が音楽と言葉／語彙を選択した場合に、その音楽と言葉／語彙または関連イメージをマッチングさせた個別学習コンテンツを生成し、これを利用して発音を練習し、音楽とゲームを通じて単語／語彙を暗記して、学習者が指定した単語／語彙を集めて伴奏（背景音楽）に合わせて言語を、学習者が自ら指定する単語／語彙を活用して作詞した一つの歌を歌うといった方法で学習することができる。

また、言語学習に音楽または関連したイメージと動画を併合して提供することにより、言語学習に対する持続的な興味を誘発させ、一つの歌のように接続されて退屈を与えないようにして、言語習得の基本となる単語／語彙能力を向上させることができる。

本発明の実施例による言語学習装置の構成図である。 図１に示したメモリ部の学習情報格納領域に格納される学習情報の構成図である。 本発明の第１実施例による言語学習方法のフローチャートである。 本発明の第２実施例による言語学習方法のフローチャートである。 本発明に適用される音程抽出プログラムによる曲線グラフである。 本発明に適用される音程抽出プログラムによる曲線グラフである。 図３の再生ステップにおいて、表示部に出力される例示画面である。 図３の再生ステップにおいて、表示部に出力される例示画面である。 図３の再生ステップにおいて、表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。 図４の各ステップごとに表示部に出力される例示画面である。

以下、本発明の実施例について、添付された図面を参考に、その構成および作用を説明することとする。
図１は、本発明の第１実施例による言語学習装置の構成図である。

図示されたところのように、言語学習装置１０は、制御部１１、入力部１２と、表示部１３、音声処理部１４、通信部１５、メモリ部１６、個別学習生成部１７および評価部１８を含んで構成される。

制御部１１は、本発明による言語学習を遂行するための全般的な動作を制御する。
メモリ部１６は、語学学習を遂行するためのプログラムを格納するプログラム格納領域と、前記プログラム遂行中に発生するデータを一時格納するための臨時格納領域と、前記言語学習に必要な学習情報を格納する学習情報格納領域により構成される。

また、メモリ部１６に格納される学習コンテンツデータは、学習装置が独立的に運営されてコンテンツデータベースの拡張が非同期的に変更される場合（コンテンツデータベースが学習装置に構成され、これを変更する際、学習者がコンテンツデータベースをアップグレードするか、またはアップデートする）と、コンテンツデータベースサーバを置いて、通信可能な環境において同期的にコンテンツデータベースが拡張され得る場合（コンテンツデータベースがサーバにより構成されて、通信環境下においてリアルタイムでコンテンツデータベースを構成して、活用可能なコンテンツのみ学習装置にダウンロードする）に分けられてよく、これは、言語学習を提供する方法に応じてその構成を異にしてよい。

前記メモリ部１６のプログラム格納領域には、音程抽出プログラムが格納されて、ネイティブや学習者の発音に基づく音程（ピッチ）を抽出して、曲線グラフで表示する。
図５と図６は、たとえば、英単語であるｐｏｌｉｔｅ，ｃｕｒｒｅｎｔ，ｓｅｖｅｒｅ，ｒｅｍｏｔｅを発音した場合の、相違する音程抽出プログラムにより抽出した曲線グラフであって、２つの異なる音程抽出プログラムが同一の曲線グラフを描いていることが分かる。

評価部１８は、音程抽出プログラムにより描かれたネイティブスピーカーと学習者の曲線グラフを互いに比較して、その類似度に応じて点数を採点する。
すなわち、学習者が、スピーカーＳＰで出力されるネイティブスピーカーの発音（メモリ部において提供する音声データ）を所定の間隔を置いてリピートし、これを録音して格納する場合、前記音程抽出プログラムにおいてこの格納された学習者の発音の音程、音量、再生時間情報を抽出して発話曲線グラフを生成するが、発話曲線グラフにおいて音程は高低を、音量は厚さを、再生時間は長さを表すようにして、ネイティブスピーカーと学習者の発音の違いを視覚的に比較することができようにし、評価部１８は、２つの発話曲線グラフの類似度を評価して点数を算出する。

また、前記評価部１８は、コンテンツに含まれている単語を学習し、その学習した単語に関連したテストゲームを遂行する場合、そのテストゲームの結果、誤答・正答数に応じて点数を算出する。

入力部１２は、言語学習装置１０の動作を制御するための入力手段であって、多数のキーやマウスまたはタッチインターフェースを支援するスクリーンを介した仮想キー入力システムを具備し、学習者によって押されたキーやマウスまたはタッチインターフェースにより操作されたデータを制御部１１に出力する。

表示部１３は、液晶表示装置（ＬＣＤ）やタッチインターフェースを支援するスクリーンまたはＣＲＴモニタであって、制御部１１の制御を受けて多様な言語学習情報をテキスト、イメージおよび動画により表示する。

音声処理部１４は、マイクＭＩＣおよびスピーカーＳＰと接続され、マイクＭＩＣを介して入力するアナログ音声を、ＰＣＭ，ＥＶＲＣまたはＭＰ３フォーマットで音声処理して制御部１１に出力し、制御部１１は、これをメモリ部１６の録音情報１６ｅに格納する。

また、音声処理部１４は、メモリ部１６に格納された音声データ（発音）や音楽ファイルを変換して、スピーカーＳＰを介して音として出力する。
通信部１５は、制御部１１の制御を受けてインターネット網に接続して、学習情報サーバ（図示せず）に提供する学習情報、たとえば、図２の単語ｅ辞典１６ａ、文章ｅ辞典１６ｂ、コンテンツ機能情報１６ｃ等に関するデータのダウンロードを受けて更新する。

個別学習生成部１７は、学習者が選択した音楽と言葉／語彙を、関連のあるイメージまたは動画とマッチングして、音楽ベースの個別学習コンテンツを生成し、これをメモリ部１６の個別学習コンテンツ情報１６ｄに格納する。

このとき、ユーザーが指定する単語／語彙に対する音声データは、単語／語彙による音声の長さ（一拍、二拍タイプなど）および音程の類型（基本形、変化型ａ、変化型ｂなど）に応じて多様な学習者による組み合わせからなってよく、これにより、同一の伴奏であっても、歌詞（単語／語彙）に応じて互いに異なる音楽ベースの個別学習コンテンツとして生成される。

前記言語学習装置１０は、学習対象ごとに専用端末の形態により具現してもよく、個人が所有している端末（スマートフォンを含む携帯電話、音声と動画を支援する多様な携帯装置など）により具現してもよく、表示部１３は、その表示部１３が入力部１２の機能を兼ねるように、タッチインターフェースを支援するスクリーンにより構成されることが好ましい。

前記した言語学習装置１０は、メインメニューであるユーザー学習モードとクイックメニューである推薦学習モードとに区分して実行されるが、ユーザー学習モードにおいては、学習者が単語／語彙と伴奏を選択して、選択された単語／語彙と伴奏を関連イメージまたは動画とマッチングして新規に生成した音楽ベースの個別学習コンテンツにより言語を学習してよく、推薦学習モードにおいては、言語学習装置１０に予め格納されているコンテンツ情報（学習情報提供業者で提供する完成された学習コンテンツ、または学習者がユーザー学習モードを通じて予め生成、格納した個別学習コンテンツ）を学習機能ごとに異なるように出力して言語を学習してよい。

図２は、図１に示したメモリ部の学習情報格納領域に格納される学習情報の構成図である。
図示されたところのように、メモリ部１６の学習情報格納領域には、単語ｅ辞典１６ａと文章ｅ辞典１６ｂ、コンテンツ機能情報１６ｃ、個別学習コンテンツ情報１６ｄ、録音情報１６ｅ等が格納される。

前記単語ｅ辞典１６ａは、言語学習装置１０の専用辞典であって、この単語ｅ辞典１６ａを通じて単語を検索してよく、検索した単語は履歴に格納される。
前記単語ｅ辞典１６ａには、多数の単語と、単語のマルチメディアファイル、そして、これらのファイルとマッチングさせるために設けられた多様なジャンルの伴奏音楽が格納される。

より具体的に、前記単語ｅ辞典１６ａは、音楽情報１６ａａ、テキスト情報１６ａｂ、音声情報１６ａｃ、イメージ情報１６ａｄ等を含む。
音楽情報１６ａａは、伴奏（背景音楽）やメロディー（以下、伴奏と統一する）により構成され、多数の曲に関する情報であって、再生時に一般的な音楽使用者にとって慣れた音楽の長さである、一曲あたり約３分程度の再生長さを有するように構成される。

テキスト情報１６ａｂには、単語とその意味が含まれ、イメージ情報１６ａｃは、前記単語の意味や意味を表すイメージファイルを含み、前記テキスト情報１６ａｂの言葉と対応されるように格納される。

音声情報１６ａｄは、前記単語とその意味に該当する発音等の音声ファイルを含み、前記テキスト情報１６ａｂの言葉と対応されるように格納される。
前記文章ｅ辞典１６ｂは、文章を検索して目録を作ってよく、熟語、ことわざ、会話によりカテゴリ化された多数の文章と、文章のマルチメディアファイル、そして、これらのファイルとマッチングさせるために設けられた多様なジャンルの伴奏音楽が格納される。

より具体的に、文章ｅ辞典１６ｂは、音楽情報１６ｂａ、テキスト情報１６ｂｂ、音声情報１６ｂｃ、イメージ情報１６ｂｄ等を含む。
音楽情報１６ｂａは、伴奏からなる多数の曲に関する情報であって、再生時に一般的な音楽使用者にとって慣れた音楽の長さである、一曲あたり約３分程度の再生長さを有するように構成される。

テキスト情報１６ｂｂは、文章（熟語、ことわざ、会話）とその翻訳文が含まれ、イメージ情報１６ｂｃは、前記文章の意味や意味を表すイメージファイルを含み、前記テキスト情報１６ｂｂの文章と対応されるように格納される。

音声情報１６ｂｄは、前記文章とその意味に該当する発音等の音声ファイルを含み、前記テキスト情報１６ｂｂの文章と対応されるように格納される。
推薦学習モードにおいて、学習者が選択して言語を学習するコンテンツ機能情報１６ｃは、予め格納されているものであって、学習水準ごとに格納され、動画機能１６ｃａ、区間練習機能１６ｃｂ、発音練習機能１６ｃｃ、マルチメディアブック機能１６ｃｄ、単語帳機能１６ｃｅ、例文機能１６ｃｆ、ゲーム機能１６ｃｇを含む。

ここで、コンテンツは、品詞または意味単位で組み合わせた多数の単語／語彙を、伴奏とともに歌にした学習用音楽コンテンツにより構成されるものであって、歌の基本的な形式は、単語／語彙と意味を代わる代わる歌う方式であり、言葉／語彙と意味の間に出力される時間間隔は、０．５〜０．７秒である。

前記動画機能１６ｃａは、コンテンツに含まれている各単語を意味するイメージとタイポグラフィー（視覚効果を与えたテキストイメージ）をマッチングさせた動画ファイルを出力する機能である。

区間練習機能１６ｃｂは、前記コンテンツを所定の区間（たとえば８区間）に分けて、事前に録音されたネイティブスピーカーの歌（コンテンツデータベースにより構成された音声データ）を出力する機能であって、この機能を通じて、学習者が、指定された所定の区間に沿って歌うことができるようにして、約３分で構成される一つの歌を小さな単位に分けて学んでよい。

発音練習機能１６ｃｃは、前記コンテンツに含まれている単語／語彙を所定の単語／語彙に分けた後、ネイティブスピーカーの発音（メモリ部において提供する音声データ）、イメージとともに出力する機能であって、学習者は、ネイティブスピーカーの発音をリピートするが、リズムに合わせてリピートするために、単語のアクセントを含むネイティブスピーカーの語調を真似することが容易であり、表示部１３に表示される単語／語彙の意味を含めたイメージを通じて視覚的な楽しみを感じるようになり、集中力と興味を持って短い時間で多くの単語を学習することができる。

マルチメディアブック機能１６ｃｄは、コンテンツに含まれている単語／語彙と関連したイメージが音声ファイルとともに表示部の画面に１カットずつ出力されるようにする機能であって、言語学習装置１０は、スクリーンをタッチするたびに音声が出力されたり、画面が切り替わったりする方式で反応する。

単語帳機能１６ｃｅは、コンテンツに含まれている単語／語彙の見出し語とそれに該当する情報（語源、派生語、同義語、反義語、熟語など）を、ｅ−ｂｏｏｋのような形態で見ることができるようにする機能である。

例文機能１６ｃｆは、コンテンツに含まれている単語／語彙の見出し語で作った文章を出力する機能であって、伴奏とネイティブスピーカーの発音（メモリ部において提供する音声データ）をマッチングさせて学習することができ、文章のみまとめて学習することができる。

ゲームコンテンツ１６ｃｇは、コンテンツに含まれている言語の正答と誤答を表示部に同時に出力し、学習者がその中の一つを選択するようにする機能であって、評価部１８は、誤答・正答数に応じて点数を算出する。

個別学習コンテンツ情報１６ｄには、個別学習生成部１７から、学習者が指定した単語／語彙や文と伴奏を関連されたイメージとマッチングさせて生成した音楽ベースの個別学習コンテンツがマルチメディアコンテンツとして格納される。

録音情報１６ｅには、学習者が生成した個別学習コンテンツや予め提供された学習コンテンツを再生し、これを学習者がリピートした場合に、学習者の発音が音声データとして格納される。

図３は、本発明の第１実施例による言語学習方法のフローチャートである。
図示されたところのように、言語学習装置１０を実行した後、表示部１３に出力されるモード選択ウィンドウから、入力部１２を介して学習しようとするモードを選択する（Ｓ３０２）。

たとえば、学習者が、単語／語彙と伴奏を指定して学習をしようとする場合には、ユーザー学習モードを選択し、予め格納されているコンテンツ（学習情報提供業者で提供する完成された学習コンテンツ、または学習者がユーザー学習モードを通じて予め生成、格納した個別学習コンテンツ）を利用して学習をしようとする場合には、推薦学習モードを選択する。

ユーザー学習モードを選択した場合には、単語／語彙や文章を指定するところ、第一に、単語／語彙や文章のテキストが表示部１３に出力される場合に、学習者が入力部１２を介して目的の単語／語彙や文章を選択して目録を生成し、目録の名称を決めて単語や文章を指定してもよく、第二に、単語ｅ辞典１６ａや文章ｅ辞典１６ｂにおいて単語や文章を検索して目録を生成し、目録の名称を決めて単語／語彙や文章を指定してもよい（Ｓ３０４）。

次に、入力部１２は、単語／語彙や文章が指定された後、歌に使用される伴奏音楽を指定する（Ｓ３０６）。
このとき、個別学習生成部１７は、学習者が単語オプションを選択した場合に、指定された伴奏と単語を発音およびイメージとマッチングして音楽ベースの個別学習コンテンツを生成し、学習者が単語＋意味オプションを選択した場合に、指定された伴奏と単語に意味と発音およびイメージとマッチングして音楽ベースの個別学習コンテンツを生成して、前記目録の名称でメモリ部１６の個別学習コンテンツ情報１６ｄに格納する（Ｓ３０８）。

また、個別学習生成部１７は、学習者が文章オプションを選択した場合に、指定された伴奏と文章を発音およびイメージとマッチングして音楽ベースの個別学習コンテンツを生成し、学習者が文章＋翻訳オプションを選択した場合に、指定された伴奏と文章に翻訳と発音およびイメージとマッチングして音楽ベースの個別学習コンテンツを生成して、前記目録の名称でメモリ部１６の個別学習コンテンツ情報１６ｄに格納する。

次に、入力部１２を介して個別学習コンテンツの実行を選択すると、制御部１１の制御によりスピーカーＳＰと表示部１３を介して音楽ベースの個別学習コンテンツが再生される（Ｓ３１０）。

このとき、単語オプションの選択により生成された個別学習コンテンツが再生される場合に、表示部１３には、該当する単語のイメージがテキストとともに、たとえば１．２秒または２．４秒間隔（単語の長さが一拍であるか二拍であるかに応じて）で出力されるとともに（図７〜図９参照）、スピーカーＳＰを介してでは、単語の発音が前記指定した伴奏に合わせて、たとえば１．２秒または２．４秒間隔で出力される。

また、単語＋意味オプションの選択により生成された個別学習コンテンツが出力される場合に、表示部１３には、該当する単語のイメージがテキストとともに、たとえば１．２秒または２．４秒間隔（単語の長さが一拍であるか二拍であるかに応じて）で出力されるとともに、スピーカーＳＰを介してでは、単語の発音と意味の音声が前記指定された伴奏に合わせて、たとえば０．６秒または１．２秒間隔で出力される。

また、文章オプションの選択により生成された個別学習コンテンツが出力される場合に、表示部１３には、該当する文章のイメージがテキストとともに出力されるとともに、スピーカーＳＰを介してでは、文章の発音が前記指定された伴奏に合わせて出力される。

このとき、特定の文章と次の文章間の出力間隔は、特定の文章の長さ（時間）に、たとえば２秒を加える。
前記文章にタイポグラフィー（視覚的効果を与えたテキストイメージ）機能を適用することができるところ、文章の発音において音程情報と音量情報を抽出し、抽出された情報をテキストに反映して、音程の高さに応じてテキストの高さを異なるようにしてテキストに曲線を生成し、音量の程度に応じてテキストの太さを異なるようにして表示部１３に出力してもよい。

また、文章＋翻訳オプションの選択により生成された個別学習コンテンツが出力される場合に、表示部１３には、該当する文章のイメージがテキストとともに出力されるとともに、スピーカーＳＰを介してでは、文章の発音と翻訳の音声が前記指定された伴奏に合わせて出力される。

これを通じて、学習者は、ネイティブスピーカーの発音や意味（翻訳）を伴奏とともに耳で聞き、テキストと関連イメージを目で見ながら、口を通じてリピートしながら３つの感覚器官を介した３‐Ｔｉｅｒ（３つの次元または３つの方法）の立体的学習を体験する。

すなわち、歌を歌うように自然に自発的かつ自己主導的な言語を学習することになる。
このとき、学習者の発音は、マイクＭＩＣを介して入力されて、音声処理部１４を経てメモリ部１６の録音情報１６ｅに録音されて、音声データとして格納される（Ｓ３１２）。

前記制御部１１は、録音格納された学習者の発音をネイティブスピーカーの発音とともにスピーカーＳＰを介して出力して、発音の違いを聴覚的に比較してよい（Ｓ３１４）。
単語や文章の発音が格納された場合に、音程抽出プログラムにおいてネイティブスピーカーと学習者の発音の音程、音量、再生時間情報を抽出して発話曲線グラフを生成するが、発話曲線グラフにおいて音程は高低を、音量は厚さを、再生時間は長さを表すようにして表示部１３に出力することにより、ネイティブスピーカーと学習者の発音の違いを視覚的に比較することができるようにする（Ｓ３１６）。

評価部１８は、ネイティブスピーカーと学習者の発話曲線グラフの類似度を互いに比較して点数を算出する。
以上のような第１実施例による言語学習方法によれば、学習者が指定した単語／語彙と伴奏をイメージとマッチングさせた音楽ベースの個別学習コンテンツを生成して、学習者の指定により単語と意味を歌のように学習（暗記）することができる。

図４は、本発明の第２実施例による言語学習方法のフローチャートである。
前記Ｓ３０２ステップにおいて推薦学習モードが選択された場合に、表示部１３には、学習水準選択ウィンドウが表示され（図１０参照）、学習者が入力部１２を介して自身の学習水準を選択する（Ｓ４０２）。

ここで、学習水準は、コンテンツデータベースの構成を決定すると、学習対象（小学生、中学生、高校生、ＴＯＥＩＣ／ＴＯＥＦＬ）または学習の程度（初級、中級、上級）に応じて区分してよい。

表示部１８には、選択された学習水準に該当する多数のコンテンツ目録が出力され、学習者は、入力部１２を介して一つのコンテンツを選択する（Ｓ４０４）。
このコンテンツは、品詞または意味単位で組み合わせた複数の単語／語彙を、伴奏とともに歌にしたマルチメディアコンテンツにより構成されるものであって、歌の基本的な形式は、単語／語彙と意味を代わる代わる歌う方式であり、単語／語彙と意味の間に出力される時間間隔は、０．５〜０．７秒である。

前記コンテンツが選択された後、表示部１３には、そのコンテンツに該当する学習機能目録が出力され（図１１参照）、学習者は、入力部１２を介して選択されたコンテンツを学習する機能を選択する（Ｓ４０６）。

ここで、前記コンテンツを学習する機能としては、動画、区間練習、発音練習、マルチメディアブック、単語帳、例文、ゲームが含まれる。
前記したコンテンツの学習機能のうちいずれか一つを選択すると、前記選択された学習機能コンテンツが学習機能ごとに異なるようにスピーカーＳＰと表示部１３を介して再生される（Ｓ４０８）。

前記動画機能１６ｃａを選択した場合に、コンテンツの各単語／語彙を意味するイメージまたはタイポグラフィーをマッチングさせた動画ファイルが出力される（図１２参照）。

区間練習機能１６ｃｂを選択した場合に、前記コンテンツを所定の区間（たとえば８区間）に分けて事前に録音されたネイティブスピーカーの歌（コンテンツデータベースにより構成された音声データ）が伴奏とともにスピーカーＳＰにより出力され、各単語を意味するイメージとテキストが表示部１３に出力される（図１３参照）。

このとき、学習者は、ネイティブスピーカーの歌を聞き、付いて歌って学習をするが、学習に混乱が生じないように、歌を開始する前とネイティブスピーカーが歌を歌う時とユーザーが歌を付いて歌う時に、表示部１３に出力されるテキストのカラーを異なるようにする。

発音練習機能１６ｃｃを選択した場合に、前記コンテンツを所定の単位に分けてネイティブスピーカーの発音（メモリ部において提供する音声データ）を出力するが、単語、単語＋意味、無伴奏、画面オフなどのオプションを選択してよい。

前記単語／語彙を選択した場合、表示部１３には、単語／語彙の関連イメージがテキストとともに所定の間隔（たとえば２．４秒）で出力され、スピーカーＳＰには、伴奏とネイティブスピーカーの発音が所定の間隔（たとえば２．４秒）で出力されます。

前記単語／語彙＋意味を選択した場合、表示部１３には、単語／語彙の関連イメージがテキストとともに所定の間隔（たとえば２．４秒）で出力され（図１４参照）、スピーカーＳＰには、ネイティブスピーカーの発音と意味の音声ファイルが伴奏に合わせて所定の間隔（たとえば１．２秒）で出力される。

このとき、学習者は、ネイティブスピーカーの発音と意味の音声ファイルを伴奏に合わせてリピートすることにより、単語と意味を学習（暗記）することになる。
前記無伴奏を選択した場合、伴奏なしで音声ファイルがスピーカーＳＰにより出力され、表示部１３には、イメージとテキストが出力される。

前記画面オフを選択した場合、スピーカーＳＰを介して音声ファイルと伴奏のみ出力される。
前記マルチメディアブック機能１６ｃｄを選択した場合、コンテンツに含まれている単語／語彙の関連イメージが表示部１３に１カットずつ出力され、それに合うように、スピーカーＳＰにはネイティブスピーカーの発音が出力される。

このとき、学習者の選択により単語が１カットずつ出力されたり、同じ単語が反復して出力したりする。
前記マルチメディアブック機能１６ｃｄのオプションとしては、ネイティブスピーカーの発音、歌、ミュート、情報、全体表示が構成される。

ネイティブスピーカーの発音を選択した場合には、学習者が１カットずつめくるたびに、該当する単語のネイティブスピーカーの発音がスピーカーＳＰを介して出力される。
前記歌を選択した場合には、表示部の画面を１カットずつめくるたびに、該当する単語／語彙の歌がスピーカーＳＰを介して出力される。

前記ミュートを選択すると、学習者が表示部１３の画面をタッチしても、音が出力されない。
情報を選択すると、該当する単語／語彙の情報ウィンドウ（語源、派生語、同義語、反義語、熟語など）が、表示部１３に出力される（図１５、１６参照）。

全体表示を選択すると、１コンテンツを構成する単語／語彙に該当するスクリーンショットが表示部に出力される（図１７参照）。
この全体表示を選択すると、画面をスクロールして素早く所望の単語／語彙を探すことができる。

前記単語帳機能１６ｃｅを選択すると、選択したコンテンツに含まれている単語／語彙の見出し語とそれに該当する情報（語源、派生語、同義語、反義語、熟語など）が、表示部１３とスピーカーＳＰを介して出力される（図１８参照）。

このとき、学習者は、知らない単語／語彙のみチェックして、チェックされた単語／語彙の見出し語とそれに該当する情報のみを表示部１３とスピーカーＳＰを介して出力してもよい。

例文機能１６ｃｆを選択した場合、選択したコンテンツに含まれている単語／語彙の見出し語で作った文章が、表示部１３とスピーカーＳＰを介して出力される。
このとき、学習者は、学習しようとする文章のみチェックして、チェックされた文章とその翻訳のみを表示部１３とスピーカーＳＰを介して出力してもよい。

前記例文機能１６ｃｆを通じて、伴奏とネイティブスピーカーの発音（メモリ部において提供する音声データ）をマッチングさせて学習してよく、文章のみを集めて学習してもよい。

ゲーム機能１６ｃｇを選択した場合に、コンテンツに含まれている言語の正答と誤答が、表示部１３に同時に出力される（図１９参照）。
このとき、学習者は、拍子に合わせて正解であると考えるものをクリックすることになるが、ゲームが終わった後、評価部１８は、誤答・正答数に応じて点数を算出する。

次に、学習者は、選択された学習機能に応じて、ネイティブスピーカーの発音をリピートし、このとき、学習者の発音や意味（翻訳）は、マイクＭＩＣを介して入力され、音声処理部１４を経て、メモリ部１６の録音情報１６ｅに録音、音声データとして格納される（Ｓ４１０）。

発音練習機能１６ｃｃにおいて、単語／語彙をオプションとして選択すると、スピーカーＳＰを介して伴奏とネイティブスピーカーの発音が所定の間隔（たとえば２．４秒）で出力されるが、このとき、学習者がネイティブスピーカーの発音と所定の時間差（たとえば１．２秒）を置いて発音をリピートし、これは、マイクＭＩＣを介して入力されて、メモリ部１６の録音情報１６ｅに格納される。

前記制御部１１は、録音が格納された学習者の発音を、ネイティブスピーカーの発音とともにスピーカーＳＰを介して出力して、発音の違いを聴覚的に比較することができるようにする（Ｓ４１２）。

音程抽出プログラムにおいて、ネイティブスピーカーと学習者の発音の音程、音量、再生時間情報を抽出して発話曲線グラフを生成するが、発話曲線グラフにおいて音程は高低を、音量は厚さを、再生時間は長さを表すようにして表示部１３に出力することにより、ネイティブスピーカーと学習者の発音の違いを視覚的に比較することができるようにする（Ｓ４１４）。

そして、評価部１８は、ネイティブスピーカーと学習者の発話曲線グラフの類似度を互いに比較して点数を算出する（Ｓ４１６）。
以上のような第２実施例による言語学習方法によれば、言語学習装置１０に格納された品詞または意味単位で組み合わせた多数の単語／語彙を伴奏とともに歌にした学習用音楽コンテンツにより構成されるコンテンツを、多様な学習機能に活用して単語／語彙と文章の発音と意味（意味や翻訳）を歌のように学習（暗記）することができる。

以上のような本発明によれば、学習者が音楽と言葉／語彙を選択した場合に、その音楽と言葉／語彙、関連イメージをマッチングさせた個別学習コンテンツを生成することになるが、この個別学習コンテンツは、学習者が指定した音楽が伴奏となり、学習者が指定した単語／語彙が歌詞となり、関連イメージは動画に変換されて一つのミュージックビデオのようなマルチメディアコンテンツを生成することにより、学習者は、これを利用して発音を練習し、音楽とゲームを通じて単語／語彙を暗記（学習）し、自らが作詞した一つの歌を楽しむのと同一の方法により、言語学習に対する持続的な興味を誘発させ、退屈を与えないようにして言語習得の基本となる単語／語彙能力を向上させることができるのである。

１０：言語学習装置
１１：制御部
１２：入力部
１３：表示部
１４：音声処理部
１５：通信部
１６：メモリ部
１７：個別学習生成部
１８：評価部
ＭＩＣ：マイク
ＳＰ：スピーカー

Claims (15)

1. 言語学習装置の入力部により予め格納された単語／語彙や文章と伴奏音楽が指定されるステップと
   個別学習生成部において、入力部により指定された単語／語彙や文章および伴奏を、テキストと関連イメージや動画およびネイティブの発音とともにマッチングさせて音楽ベースの個別学習コンテンツを生成し、格納するステップと
   制御部において前記個別学習コンテンツを再生し、表示部を介してテキストと関連イメージや動画を出力し、スピーカーを介してネイティブスピーカーの発音と伴奏を出力するステップとを含む音楽ベース言語学習方法。
2. 前記表示部に文章のテキストが出力される場合、制御部において、文章にタイポグラフィー（ｔｙｐｏｇｒａｐｈｙ）を適用して、音量の程度に応じてテキストを太くまたは薄くして、音程の高低に応じてテキストの高低を大きくまたは低くして、文章に生動感を与えるようにすることを特徴とする、請求項１に記載の音楽ベース言語学習方法。
3. 言語学習装置の入力部により学習水準が選択された場合、制御部において該学習水準に合った品詞または意味単位で組み合わせた多数の単語／語彙を伴奏とともに歌にした学習用音楽コンテンツにより構成されるコンテンツの目録が出力されるステップと、
   入力部によりコンテンツ目録のうちいずれか一つのコンテンツが選択された場合に、制御部により該コンテンツの学習機能目録が出力されるステップと、
   入力部により学習機能目録のうちいずれか一つの学習機能が選択された場合に、制御部によりコンテンツの内容を学習機能毎に異なるように再生し、表示部を介してテキストと関連イメージや動画を出力し、スピーカーを介してネイティブスピーカーの発音と伴奏を出力するステップとを含む音楽ベース言語学習方法。
4. 前記学習機能は、
   コンテンツに含まれている各単語／語彙を意味するイメージとタイポグラフィーをマッチングさせた動画ファイルが出力される動画機能と、
   前記コンテンツを所定の区間に分けてネイティブスピーカーの歌が伴奏とともにスピーカーにより出力される区間練習機能と、
   前記コンテンツを所定の単位に分けてネイティブスピーカーの発音がスピーカーにより出力される発音練習機能と、
   前記コンテンツに含まれている単語／語彙のイメージが表示部に１カットずつ出力され、それに合うように、スピーカーにはネイティブスピーカーの発音が出力されるマルチメディアブック機能と、
   前記コンテンツに含まれている単語／語彙の見出し語とそれに該当する情報（語源、派生語、同義語、反義語、熟語など）が表示部とスピーカーを介して出力される単語帳機能と、
   前記コンテンツに含まれている単語／語彙の見出し語で作った文章が表示部とスピーカーを介して出力される例文機能と、
   前記コンテンツに含まれている言語／語彙の正答と誤答が表示部に同時に出力されるゲーム機能のうちいずれか一つ以上からなることを特徴とする、請求項３に記載の音楽ベース言語学習方法。
5. 学習者が発音をリピートする場合に、前記学習者の発音をメモリ部に格納するステップと、
   前記格納された学習者の発音を、スピーカーを介してネイティブスピーカーの発音とともに出力するステップを遂行することを特徴とする、請求項１〜３のいずれか１項に記載の音楽ベース言語学習方法。
6. 前記制御部において、ネイティブスピーカーと学習者の発音に基づく音程と音量および再生時間情報を抽出して曲線グラフにより表示部に出力することを特徴とする、請求項５に記載の音楽ベース言語学習方法。
7. 前記制御部において、音程は発話曲線グラフにおいて高低を、音量は厚さを、再生時間は長さを表すようにして、ネイティブスピーカーと学習者の曲線グラフを表示部に出力することを特徴とする、請求項６に記載の音楽ベース言語学習方法。
8. 評価部において、前記ネイティブスピーカーと学習者の曲線グラフを互いに比較して、その類似度に応じて点数を算出することを特徴とする、請求項７に記載の音楽ベース言語学習方法。
9. 前記単語と文章の発音がスピーカー介して出力された後、０．５〜０．７秒後にその意味がスピーカーを介して出力されることを特徴とする、請求項１〜３のいずれか１項に記載の音楽ベース言語学習方法。
10. 入力部、表示部、スピーカー、メモリ部および制御部により構成された言語学習装置において、
    前記メモリ部には、多数の単語／語彙と意味についてのテキストおよび発音、伴奏と関連イメージや動画を格納し、
    前記入力部により選択されたメモリ部の単語／語彙と伴奏をイメージや動画とマッチングさせて音楽ベースの単語／語彙個別学習コンテンツを生成し、メモリ部に格納する個別学習生成部がさらに具備され、
    前記制御部は、メモリ部に格納された単語／語彙個別学習コンテンツを再生して、スピーカーを介して単語／語彙個別学習コンテンツの発音と伴奏を音で出力し、表示部を介してテキストとイメージや動画を出力することを特徴とする、音楽ベース言語学習方法を活用した学習装置。
11. 前記メモリ部には、多数の文章と翻訳についてのテキストおよび発音、伴奏と関連イメージや動画をさらに格納し、前記の個別学習生成部は、入力部によって選択されたメモリ部の文章と伴奏をイメージや動画とマッチングさせて音楽ベースの文章個別学習コンテンツを生成し、メモリ部に格納し、
    前記制御部は、メモリ部に格納された文章個別学習コンテンツを再生して、スピーカーを介して文章個別学習コンテンツの発音と伴奏を音で出力し、表示部を介してテキストとイメージや動画を出力することを特徴とする、請求項１０に記載の音楽ベース言語学習方法を活用した学習装置。
12. 前記メモリ部には、品詞または意味単位で組み合わせた多数の単語／語彙を伴奏とともに歌にした学習用音楽コンテンツにより構成されるコンテンツが学習水準ごとにさらに格納され、前記制御部は、コンテンツの内容を学習機能ごとに異なるように表示部とスピーカーに出力することを特徴とする、請求項１１に記載の音楽ベース言語学習方法を活用した学習装置。
13. 前記メモリ部には、ネイティブスピーカーと学習者の発音の音程と音量および再生時間情報を抽出して曲線グラフとして表示部に出力する音程抽出プログラムがさらに格納され、
    前記ネイティブスピーカーと学習者の曲線グラフを互いに比較して、その類似度に応じて点数を評価する評価部がさらに具備されることを特徴とする、請求項１０〜１２のいずれか１項に記載の音楽ベース言語学習方法を活用した学習装置。
14. 前記制御部は、音程は発話曲線グラフにおいて高低を、音量は厚さを、再生時間は長さを表すようにして表示部に出力することを特徴とする、請求項１３に記載の音楽ベース言語学習方法を活用した学習装置。
15. 前記表示部は、入力部の機能を兼ねるようにタッチインターフェースを支援するスクリーンにより構成され、言語学習装置は、学習対象別専用端末であることを特徴とする、請求項１０に記載の音楽ベース言語学習方法を活用した学習装置。