JP2015041101A - スマートメガネを用いた外国語学習システム及びその方法 - Google Patents

Abstract

【課題】スマートメガネを用いた外国語学習システム及びその方法を提供する。【解決手段】本発明によるスマートメガネを用いた外国語学習システムは、学習者が着用可能であるメガネ形態で実現され、学習者の視野に対応する映像を得て映像信号を生成し、学習映像及び合成音を受信して出力するスマートメガネと、スマートメガネから映像信号を受信し、上記映像信号に含まれた事物に対する事物認識を行い、認識された事物に対応する事物情報を伝送する事物認識サーバと、事物認識サーバから事物情報を受信して事物情報に対応する外国語単語に変換し、外国語単語を表示するための学習映像及び外国語単語に対応する発音を合成音として生成してスマートメガネに伝送する外国語変換サーバと、を含むことを特徴とする。【選択図】図４

Description

本発明は、スマートメガネ（SMART GLASSES）を用いた外国語学習システム及びその方法に関し、より詳細には、スマートメガネを用いて事物認識を行い、学習者が観察している事物に対応する外国語単語を映像及び音声で出力することができる、スマートメガネを用いた外国語学習システム及びその方法に関する。

外国語学習は、リスニング、スピーキング、ライティング及びリーディングなどの様々な学習を要するが、その基盤として外国語語彙に対する知識を必要とする。すなわち、外国語単語学習が基礎となる。

従来の外国語単語学習システムは、一般的に印刷物を含むＰＣ及びモバイル環境下でサービス提供者が伝達する単方向性の情報を使用して外国語単語を学習することになる。辞書、単語帳、単語学習機などが代表的な例であって、このような外国語単語学習システムを利用して学習者らは単純に単語に対応する意味を暗記したり、意味に対応する単語を検索して暗記したりする単純暗記を繰り返して外国語単語を学習することになる。

しかし、このような外国語単語学習システムは、学習と実生活とが分離されていることにより、学習者が単語学習の必要性を大きく感じないだけでなく、学習した単語の活用度を高めることができない限界がある。

本発明の目的は、学習者が観察する事物に対応する単語が即刻メガネにオーバーラップで表示されて、実生活に連携して外国語単語を学習できるようにするスマートメガネを提供することにある。

本発明の他の目的は、スマートメガネを用いた外国語学習方法を提供することにある。

上記目的を達成するために、本発明の一例に係る外国語学習システムは、学習者が着用可能なメガネ形態で実現されて、上記学習者の視野に対応する映像を得て映像信号を生成し、学習映像及び合成音を受信して出力するスマートメガネと、上記スマートメガネから上記映像信号を受信し、上記映像信号に含まれた事物に対する事物認識を行い、認識された事物に対応する事物情報を伝送する事物認識サーバと、上記事物認識サーバから上記事物情報を受信して上記事物情報に対応する外国語単語に変換し、上記外国語単語を表示するための上記学習映像と上記外国語単語に対応する発音を上記合成音で生成して上記スマートメガネに伝送する外国語変換サーバと、を含む。

上記スマートメガネは、上記学習者の視野に対応する映像を得て映像信号を生成する映像獲得部と、上記学習映像を受信してディスプレイするディスプレイ部と、上記合成音を受信して音響として出力する音声出力部と、上記映像獲得部で生成された上記映像信号を上記事物認識サーバに伝送し、上記外国語変換サーバから上記学習映像及び上記合成音を受信してそれぞれ上記ディスプレイ部及び上記音声出力部に伝送する第１通信部と、を含むことを特徴とする。

上記事物認識サーバは、上記スマートメガネから上記映像信号を受信し、上記事物情報を上記外国語変換サーバに伝送する第２通信部と、上記第２通信部を介して上記映像信号を受信し、分析して事物認識を行う少なくとも一つの分析対象領域を設定する映像分析部と、事物認識のために比較対象となる複数個の事物映像データを格納する事物認識データベースと、上記少なくとも一つの分析対象領域の映像を上記事物認識データベースの上記事物映像データと比較して事物を認識し、認識された事物の事物情報を得る事物判別部と、上記分析対象領域及び上記事物情報により上記事物情報が上記学習映像での表示される位置を判別して位置情報を上記事物情報に含める位置判別部と、を含むことを特徴とする。

上記外国語変換サーバは、上記事物認識サーバから上記事物情報を受信し、上記学習映像及び上記合成音を上記スマートメガネに伝送する第３通信部と、上記学習者が学習しようとする学習対象言語に対する言語モデルを格納する言語モデルデータベースと、上記第３通信部を介して受信される上記事物情報に対応する上記外国語単語及び上記外国語単語の発音に対応する発音情報を、上記言語モデルを検索して得る外国語変換部と、上記事物情報に含まれた上記位置情報に基づいて上記外国語単語が表示される上記学習映像を構成し、上記発音情報を基盤にして上記合成音を生成して、上記通信部を介して上記スマートメガネに伝送する映像及び音声構成部と、を含むことを特徴とする。

上記スマートメガネは、上記学習者が発話した音声を得て音声信号を生成し、上記第１通信部を介して上記事物認識サーバに伝送する音声獲得部をさらに含むことを特徴とする。

上記外国語変換サーバは、上記スマートメガネから伝送される上記音声信号を上記第３通信部を介して受信し、受信された上記音声信号を上記言語モデルに含まれた音響モデルと比較して音声認識を行い、音響モデルから音声認識された言語に対応する単語の音響モデル発音を得る音声認識部と、上記音声信号と上記音響モデルの発音とを比較して上記音声モデルに対する発音評価結果を生成し、上記発音評価結果を上記映像及び音声構成部に伝送して、上記スマートメガネに上記学習映像として表示されるようにする発音評価部と、をさらに含むことを特徴とする。

上記の他の目的を達成するための本発明の一例に係る外国語学習方法は、学習者が着用可能なメガネ形態で実現されるスマートメガネと、事物認識サーバと、外国語変換サーバとを含む外国語学習システムを用いた外国語学習方法において、上記スマートメガネが上記学習者の視野に対応する映像を得て映像信号を生成するステップと、上記事物認識サーバが上記スマートメガネから上記映像信号を受信し、上記映像信号に含まれた事物に対する事物認識を行って事物情報を生成するステップと、上記外国語変換サーバが上記事物認識サーバから上記事物情報を受信し、上記事物情報に対応する外国語単語に変換して、上記外国語単語を表示するための学習映像と上記外国語単語に対応する発音を合成音として生成して上記スマートメガネに伝送するステップと、上記スマートメガネが上記学習映像及び上記合成音を受信して上記学習者に出力するステップと、を含む。

上記事物情報を生成するステップは、上記映像信号を受信し、分析して事物認識を行う少なくとも一つの分析対象領域を設定するステップと、上記少なくとも一つの分析対象領域の映像を上記事物認識サーバに既に格納された複数個の事物映像データと比較して事物を認識し、認識された事物の事物情報を得るステップと、上記分析対象領域及び上記事物情報により上記事物情報が上記学習映像での表示される位置を判別して位置情報を上記事物情報に含めるステップと、上記事物情報を上記外国語変換サーバに伝送するステップと、を含むことを特徴とする。

上記スマートメガネに伝送するステップは、上記事物認識サーバから上記事物情報を受信するステップと、上記学習者が学習しようとする学習対象言語に対して既に格納された言語モデルから、上記事物情報に対応する上記外国語単語及び上記外国語単語の発音に対応する発音情報を上記言語モデルを検索して得るステップと、上記事物情報に含まれた上記位置情報に基づいて上記外国語単語が表示される上記学習映像を構成し、上記発音情報を基盤にして上記合成音を生成するステップと、上記学習映像及び上記合成音を上記スマートメガネに伝送するステップと、を含むことを特徴とする。

上記外国語学習方法は、上記スマートメガネが上記学習者が発話した音声を得て音声信号を生成し、上記事物認識サーバに伝送するステップと、上記外国語変換サーバが上記音声信号を受信し、受信された上記音声信号を上記言語モデルに含まれた音響モデルと比較して音声認識し、上記音響モデルから音声認識された言語に対応する単語の音響モデル発音を得るステップと、上記外国語変換サーバが上記音声信号と上記音響モデル発音とを比較して上記音声モデルに対する発音評価結果を生成するステップと、上記外国語変換サーバが上記発音評価結果を上記学習映像に生成するステップと、上記外国語変換サーバが上記発音評価結果に対する上記学習映像及び上記音響モデル発音を上記スマートメガネに伝送するステップと、上記スマートメガネが上記発音評価結果に対する上記学習映像及び上記音響モデル発音を出力するステップと、をさらに含むことを特徴とする。

本発明に係るスマートメガネを用いた外国語学習システム及びその方法によれば、学習者がスマートメガネを着用して観察する事物に対する外国語単語綴字及び発音をリアルタイムでスマートメガネを介して出力するので、スマートメガネを着用するだけでも学習者は、別途検索することなく、便利に実生活に必要な外国語単語を即刻確認して学習することができる。また、実生活でよく目にする事物に対する外国語単語の学習が行われるので、自然に繰り返し学習が可能となり、学習効果を大きく高めることができる。

本発明の一実施例に係る外国語学習システムの構成を示す図面である。 図１の事物認識サーバの構成例を示す図面である。 図１の外国語変換サーバの構成例を示す図面である。 本発明の一実施例に係る外国語学習システムを用いた外国語学習方法を示す図面である。 本発明に係る外国語学習システムを用いた外国語学習方法の実際適用例を示す図面である。

本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の好ましい実施例を例示する添付図面及び添付図面に記載された内容を参照しなければならない。

以下、添付した図面に基づいて本発明の好ましい実施例を説明することにより本発明を詳細に説明する。しかし、本発明は、多様な異なる形態に実施することができ、以下で説明する実施例に限定されるものではない。そして、本発明を明確に説明するために、説明と関係ない部分は省略し、図面での同一の図面符号は同一の部材を示す。

明細書全体において、ある部分がある構成要素を「含む」とするとき、これは、特別に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。また、明細書に記載された「・・・部」、「・・・機」、「モジュール」、「ブロック」などの用語は、少なくとも１つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア、またはハードウェアとソフトウェアの結合で実現されることができる。

図１は、本発明の一実施例に係る外国語学習システムの構成を示す図面である。

図１を参照すると、本発明の外国語学習システムは、スマートメガネ１００と、事物認識サーバ２００と、外国語変換サーバ３００と、を含む。

スマートメガネ１００は、メガネ形態で実現されて、学習者が着用することができ、一般のメガネのように学習者が事物を観察できるように、投射可能であるガラスにより実現される。しかし、スマートメガネ１００は、知られているように、一般のメガネと異なって、単純にガラスを介して事物を観察できるだけでなく、映像及び音響の出力、外部機器との通信などの多様な機能を果たすことができるように構成される。

図１に示すように、本発明のスマートメガネ１００は、映像獲得部１１０と、音声獲得部１２０と、ディスプレイ部１３０と、音声出力部１４０と、通信部１５０と、を含む。

映像獲得部１１０は、カメラのように、映像獲得手段として実現されて、学習者が観察している周辺環境の映像を映像信号として得る。場合によって、映像獲得部１１０は、複数個のカメラを備え、学習者が見る周辺環境のイメージだけでなく、学習者の眼球イメージを得ることもできる。学習者の眼球イメージを得る理由は、学習者が周辺環境中のどの領域を重点的に観察しているかを判別するためである。映像獲得部１１０は、学習者がどの映像を重点的に観察しているのかが判別されると、周辺環境の映像を得るカメラの動きを調整して学習者が重点的に観察している事物が中心となるように撮影するようにできる。そして、映像獲得部１１０は、得られた映像を通信部１５０を介して事物認識サーバ２００に伝送する。

音声獲得部１２０は、マイクのような音声獲得手段で実現されて、学習者が発話する音声を音声信号として得る。そして得られた音声信号を通信部１５０を介して外国語変換サーバ３００に伝送する。

ディスプレイ部１３０は、通信部１５０を介して外国語変換サーバ３００で構成された学習映像を受信し、受信された学習映像を学習者が確認できるようにディスプレイする。このとき、ディスプレイ部１３０は、学習者の視野に妨害されないように、スマートメガネ１００に学習映像をオーバーラップしてディスプレイする。

一方、音声出力部１４０は、スピーカのような音声出力手段で実現されて、通信部１５０を介して外国語変換サーバ３００で構成された合成音を受信し、受信された合成音を出力する。

通信部１５０は、映像獲得部１１０から映像信号を受信して事物認識サーバ２００に伝送し、音声獲得部１２０で得られた音声信号を外国語変換サーバ３００に伝送する。また、通信部１５０は、外国語変換サーバ３００から学習映像及び合成音を受信し、それぞれディスプレイ部１３０及び音声出力部１４０に伝送する。

上記では、通信部１５０が音声獲得部１２０で得られた音声信号を外国語変換サーバ３００に伝送することに説明したが、場合によっては、音声信号を事物認識サーバ２００に伝送することもできる。

事物認識サーバ２００は、スマートメガネ１００から映像信号を受信して分析し、映像信号に含まれた事物情報を得る。ここで、事物情報は、代表的に事物の名称を含むことができる。例えば、図１に示すように、受信された映像信号を分析した結果、映像信号に椅子が含まれている場合に事物認識サーバ２００は、“椅子”を事物情報として得ることができる。事物認識サーバ２００は、分析された映像信号に含まれたすべての事物に対する認識を行うこともでき、映像信号中、中央に配置された事物に対する認識のみを行うこともできる。また、事物認識サーバ２００は、認識された事物の配置位置を判別し、得られた事物情報にマッチングして追加することができる。そして、事物認識サーバ２００は、得られた事物情報を外国語変換サーバ３００に伝送する。

外国語変換サーバ３００は、スマートメガネ１００から音声信号を受信し、事物認識サーバ２００から事物情報を受信する。外国語変換サーバ３００は、先ず、事物認識サーバ２００から受信された事物情報を、対応する外国語単語に変換する。すなわち、事物の名称を、対応する外国語単語に変換する。例えば、上述したように、事物認識サーバ２００が、“椅子”を事物情報として伝送した場合、外国語変換サーバ３００は、“椅子”に対応する英語単語である“ｃｈａｉｒ”に変換することができる。

本発明では、学習者が学習しようとする外国語が、一例として英語であると仮定して説明する。しかし、本発明を用いて学習者が学習できる外国語は、英語に限定されず、日本語、中国語、プランス語など多様な国家の言語をすべて含むことができる。

そして、外国語変換サーバ３００は、事物情報に含まれた事物の位置情報を分析して、変換された外国語単語が位置情報に対応する位置に配置されるように学習映像を構成し、スマートメガネ１００に伝送する。また、外国語変換サーバ３００は、変換された外国語単語に対応する音声を合成して合成音を生成し、生成された合成音をスマートメガネ１００に伝送する。

一方、外国語変換サーバ３００は、スマートメガネ１００から音声信号を受信して音声認識を行い、音声認識された音声信号の発音を外国語単語の発音と比較して発音評価を行う。そして、発音評価結果をスマートメガネ１００に伝送して、発音評価結果がスマートメガネ１００のディスプレイ部１３０を介して表示されるようにする。

結果的に、本発明に係るスマートメガネを用いた外国語学習システムは、学習者がスマートメガネを着用した状態で観察する事物の映像を得て分析し、対応する外国語単語に変換した後に再びスマートメガネ１００にディスプレイし、対応する合成音を出力する。

したがって、本発明に係る外国語学習システムは、学習者が単純に事物を見るだけでも当該事物に対応する外国語単語及び発音を確認できるので、別途検索することなく、実生活で目にする事物の外国語単語を学習することができる。学習者が実生活で目にする事物は、外国語においても頻繁に活用される単語である可能性が高いため、実際に活用性の高い単語を主として学習することができるだけでなく、自然に繰り返し学習が可能であるので、学習の効率を高めることができる。さらに、外国語発音に対する評価が行われ、評価結果が提供されるので、単純に外国語単語を暗記するだけでなく、外国語スピーキング学習にも大きな効果を得ることができる。

図２は、図１の事物認識サーバの構成例を示す図面である。

図２を参照すると、事物認識サーバ２００は、通信部２１０と、映像分析部２２０と、事物判別部２３０と、事物認識データベース２４０と、位置判別部２５０と、を含む。

通信部２１０は、スマートメガネ１００及び外国語変換サーバ３００との通信を行い、スマートメガネ１００から映像信号を受信し、分析された事物情報を外国語変換サーバ３００に伝送する。

映像分析部２２０は、通信部２１０を介して映像信号を受信し、受信された映像信号を分析して、事物認識を行うための分析対象領域を決定し、分析対象領域中、学習者が関心を持っているハイライト領域を判別する。すなわち、分析対象領域は、映像信号に複数個含まれ得るが、ハイライト領域は、映像信号に単に一つの領域のみが含まれる。ハイライト領域は、一例として、少なくとも一つの分析対象領域中、映像信号で表示される映像の中心から最も近い領域をハイライト領域として設定することができる。

事物判別部２３０は、事物認識データベース２４０を利用して映像分析部２２０で決定された分析対象領域に対する事物判別を行って事物情報を得る。

事物認識データベース２４０は、事物認識のための各種映像データを格納する。

事物判別部２３０は、映像信号の分析対象領域イメージを事物認識データベース２４０に格納された映像データと比較して事物を判別することにより、事物情報を得る。このとき、判別されなかった事物は、判別しなくてもよい。事物が判別されなかった場合、その原因は様々あり、例えば、事物の形状が類似機能の事物と大きく異なる形状を有する場合があり得る。また、映像信号に含まれた事物のイメージが明確でないため、事物を判別できない場合もある。事物のイメージが明確でないため、事物を判別できなかった場合は、スマートメガネ１００の映像獲得部１１０が当該事物を中心に撮影しなかった場合を想定できる。したがって、事物が判別されなくても学習者には問題にならなく、以後学習者の動きにより事物のイメージが明確になることがあり、事物のイメージが明確になった状態で再び事物を判別すればよい。

位置判別部２５０は、分析対象領域及び得られた事物情報に基づいて、事物情報が表示される位置を判別する。特に位置判別部２５０は、分析対象領域においても事物が位置した領域を分析して事物情報が表示される位置を判別する。また位置判別部２５０は、ハイライト領域の事物に対する位置を別途に指定する。位置判別部２５０は、判別した位置の位置情報を事物情報に含め、通信部３１０を介して外国語変換サーバ３００に伝送する。

図３は、図１の外国語変換サーバの構成例を示す図面である。

図３に示すように、外国語変換サーバ３００は、通信部３１０と、外国語変換部３２０と、言語モデルデータベース３３０と、映像及び音声構成部３４０と、音声認識部３５０と、発音評価部３６０と、を含む。

通信部３１０は、スマートメガネ１００及び事物認識サーバ２００との通信を行い、スマートメガネ１００から音声信号を受信し、事物認識サーバ２００から事物情報を受信して、スマートメガネ１００に学習映像及び合成音を伝送する。

外国語変換部３２０は、通信部３１０を介して事物情報を受信し、事物情報に対応する外国語単語を言語モデルデータベース３３０に格納されている言語モデルを利用して検索して変換する。言語モデルデータベース３３０は、学習者が学習しようとする学習対象言語の言語モデルを格納する。ここで、言語モデルは、単純語彙だけでなく学習対象言語を使用する使用者の発音である音響モデルを共に格納する。

したがって、外国語変換部３２０は、事物情報を外国語単語に変換するだけでなく外国語単語の発音情報を共に得る。そして、得られた外国語単語及び発音情報を映像及び音声構成部３４０に伝送する。

映像及び音声構成部３４０は、外国語変換部３２０から外国語単語及び発音情報を受信し、受信された外国語単語に対し、事物情報に含まれた位置情報を基盤にして外国語単語が表示される映像を構成し、発音情報を基盤にして合成音を生成して、通信部３１０を介してスマートメガネ１００に伝送する。このとき、映像及び音声構成部３４０は、事物情報にハイライト領域に関する情報が含まれている場合は、ハイライト領域に対応する事物の外国語単語が他の単語とは異なる形式（例えば、字の大きさ、字の色、背景色など）で表示されるように学習映像を構成することができる。

そして、音声認識部３５０は、スマートメガネ１００から伝送された音声信号を通信部３１０を介して受信し、音声認識を行う。このとき、音声認識部３５０は、言語モデルデータベース３３０に格納された言語モデルの音響モデルを活用して音声認識を行い、音響モデルから音声認識された言語に対応する単語の音響モデル発音を得る。

発音評価部３６０は、音声信号と音声認識部３５０で得られた音響モデル発音とを比較して学習者が発話した音声信号の発音を評価し、評価結果を映像及び音声構成部３４０に伝送する。そして、映像及び音声構成部３４０は、発音評価結果を表示するための学習映像を構成して通信部３１０を介してスマートメガネ１００に伝送する。このとき、映像及び音声構成部３４０は、発音評価部３６０から音響モデル発音を共に得てスマートメガネ１００に伝送することにより、スマートメガネ１００が音響モデル発音を出力できるように構成することもできる。

上記では、外国語変換サーバ３００を事物認識サーバ２００とは別途の装置として示したが、外国語変換サーバ３００は、事物認識サーバ２００に含まれて構成されることもできる。

また上記では、事物認識サーバ２００が単に映像信号に含まれた事物を認識して事物情報を得ることに説明したが、最近、映像分析技術が事物認識機能を越えて状況認知技術として発展する傾向にある。これにより、事物認識サーバ２００は、スマートメガネ１００からさらに音声信号の印加を受け、映像信号と音声信号とを組み合わせて分析することにより、学習者の状況を認知する状況認知技術を採用することもできる。この場合、本発明の外国語学習システムは、単に事物の名称をスマートメガネを介して表示するだけでなく、学習者の状況を考慮した文章を構成し、外国語変換サーバ３００がこれを外国語に変換してスマートメガネ１００に外国語文章が表示されるように構成することもできる。すなわち、学習者の実生活の状況に適した外国語文章を学習者に提供することもできる。

また、示されていないが、スマートメガネ１００は、場合によって、ＧＰＳのような位置情報獲得部をさらに備えることができる。スマートメガネ１００がさらに位置情報獲得部を備える場合は、上述した状況認知による外国語文章を、さらに詳細かつ容易に学習者に提供することができる。

図４は、本発明の一実施例に係る外国語学習システムを用いた外国語学習方法を示す図面である。

図１から図３を参照して、図４の外国語学習方法を説明すると、先ず、スマートメガネ１００の映像獲得部１１０は、学習者が見る周辺環境に対する映像を得て映像信号を生成する（Ｓ１１）。そして、映像信号を通信部１５０を介して事物認識サーバ２００に伝送する。事物認識サーバ２００は、映像信号を分析して映像信号に含まれた事物を認識して事物情報を生成する（Ｓ１３）。このとき、事物認識サーバ２００は、各事物の位置情報を含むことができる。

事物認識サーバ２００は、認識された事物情報を外国語変換サーバ３００に伝送し、外国語変換サーバ３００は、既に格納されている言語モデルから事物情報に対応する外国語語彙の単語を得る（Ｓ１５）。そして、事物情報に含まれた位置情報を基盤にして外国語単語が表示される学習映像を出力映像として構成し、外国語単語に対応する発音を合成して合成音を生成する（Ｓ１６）。生成された学習映像及び合成音をスマートメガネ１００に伝送する（Ｓ１７）。スマートメガネ１００は、外国語変換サーバ３００から受信された学習映像及び合成音を学習者が認知できるように出力する（Ｓ１８）。このとき、学習映像は学習者の視野をすべて覆うことなく事物に対応する位置にのみ表示されて、半透明状に表示されることができる。

一方、スマートメガネ１００は、学習者が発話した学習者の音声を感知すると、学習者の音声を受信して音声信号を生成する（Ｓ１９）。そして、生成された音声信号を外国語変換サーバ３００に伝送する。

外国語変換サーバ３００は、音声信号を受信し、受信された音声信号を音声認識して対応する音響モデル発音を得ることになり、音声信号と音声モデル発音とを比較して音声信号の発音を評価する（Ｓ２２）。そして、評価結果を再び学習映像として構成し、音響モデル発音と共にスマートメガネ１００に伝送する（Ｓ２３）。スマートメガネ１００は、発音評価結果の学習映像及び音響モデル発音を出力して、学習者が発音を校正できるようにする（Ｓ２４）。

図５は、本発明係る外国語学習システムを用いた外国語学習方法の実際の適用例を示す。

図５の（ａ）は、学習者の視野に入る一般の周辺環境のイメージを示し、（ｂ）は、本発明の外国語学習システムに係るスマートメガネを着用した場合に、学習者の視野に入る周辺環境イメージを示す。

図５の（ｂ）に示すように、本発明の外国語学習システムに係るスマートメガネを着用すると、学習者が実生活での各事物の外国語名称を別途検索することなく、リアルタイムでメガネを介して各事物の外国語名称が表示されるので、外国語学習を容易に行うことができる。また、実生活に適用可能な外国語学習を行うことができ、特別な手間をかけることなく繰り返し学習を行うことができるので、自然に外国語を学習することができる。

本発明に係る方法は、コンピューターで読み取り可能な記録媒体に、コンピューターで読み取り可能なコードで実現することができる。コンピューターで読み取り可能な記録媒体とは、コンピューターシステムによって読み出されることができるデータが格納されるすべての種類の記録装置を含む。記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、また、キャリアウエーブ（例えばインターネットを介した伝送）などの形態で実現されることも含む。また、コンピューターが読み取り可能な記録媒体は、ネットワークに接続されたコンピューターシステムに分散され、分散方式でコンピューターで読み取り可能なコードとして格納されて行われる。

本発明は、図面に示した実施例を参照にして説明したが、これは例示的なものに過ぎず、当該技術分野の通常の知識を有する者であれば、これより多様な変更及び均等な他の実施例が可能であることを理解できよう。

したがって、本発明の技術的保護範囲は、添付された特許請求範囲の技術的思想により定められるべきである。

Claims (17)

1. 学習者が着用可能であるメガネ形態で実現され、前記学習者の視野に対応する映像を得て映像信号を生成し、学習映像と合成音とを受信して出力するスマートメガネと、
   前記スマートメガネから前記映像信号を受信し、前記映像信号に含まれた事物に対する事物認識を行い、認識された事物に対応する事物情報を伝送する事物認識サーバと、
   前記事物認識サーバから前記事物情報を受信し、前記事物情報に対応する外国語単語に変換し、前記外国語単語を表示するための前記学習映像及び前記外国語単語に対応する発音を前記合成音で生成して、前記スマートメガネに伝送する外国語変換サーバと、
   を含む外国語学習システム。
2. 前記スマートメガネは、
   前記学習者の視野に対応する映像を得て映像信号を生成する映像獲得部と、
   前記学習映像を受信してディスプレイするディスプレイ部と、
   前記合成音を受信して音響に出力する音声出力部と、
   前記映像獲得部で生成された前記映像信号を前記事物認識サーバに伝送し、前記外国語変換サーバから前記学習映像及び前記合成音を受信してそれぞれ前記ディスプレイ部及び前記音声出力部に伝送する第１通信部と、を含むことを特徴とする請求項１に記載の外国語学習システム。
3. 前記事物認識サーバは、
   前記スマートメガネから前記映像信号を受信し、前記事物情報を前記外国語変換サーバに伝送する第２通信部と、
   前記第２通信部を介して前記映像信号を受信し、分析して事物認識を行う少なくとも一つの分析対象領域を設定する映像分析部と、
   事物認識のために比較対象となる複数個の事物映像データを格納する事物認識データベースと、
   前記少なくとも一つの分析対象領域の映像を前記事物認識データベースの前記事物映像データと比較して事物を認識し、認識された事物の事物情報を得る事物判別部と、
   前記分析対象領域及び前記事物情報により、前記事物情報が前記学習映像での表示される位置を判別して位置情報を前記事物情報に含める位置判別部と、を含むことを特徴とする請求項２に記載の外国語学習システム。
4. 前記外国語変換サーバは、
   前記事物認識サーバから前記事物情報を受信し、前記スマートメガネに前記学習映像及び前記合成音を伝送する第３通信部と、
   前記学習者が学習しようとする学習対象言語に対する言語モデルを格納する言語モデルデータベースと、
   前記第３通信部を介して受信される前記事物情報に対応する前記外国語単語及び前記外国語単語の発音に対応する発音情報を、前記言語モデルを検索して得る外国語変換部と、
   前記事物情報に含まれた前記位置情報に基づいて前記外国語単語が表示される前記学習映像を構成し、前記発音情報を基盤にして前記合成音を生成して前記通信部を介して前記スマートメガネに伝送する映像及び音声構成部と、を含むことを特徴とする請求項３に記載の外国語学習システム。
5. 前記スマートメガネは、
   前記学習者が発話した音声を得て音声信号を生成し、前記第１通信部を介して前記事物認識サーバに伝送する音声獲得部をさらに含むことを特徴とする請求項４に記載の外国語学習システム。
6. 前記外国語変換サーバは、
   前記スマートメガネから伝送される前記音声信号を前記第３通信部を介して受信し、受信された前記音声信号を前記言語モデルに含まれた音響モデルと比較して音声認識を行い、音響モデルから、音声認識された言語に対応する単語の音響モデル発音を得る音声認識部と、
   前記音声信号と前記音響モデル発音とを比較して前記音声モデルに対する発音評価結果を生成し、前記発音評価結果を前記映像及び音声構成部に伝送して前記スマートメガネに前記学習映像として表示されるようにする発音評価部と、をさらに含むことを特徴とする請求項５に記載の外国語学習システム。
7. 前記映像及び音声構成部は、
   前記発音評価部から前記音響モデル発音を受信し、前記発音評価結果に対する前記学習映像と共に前記音響モデル発音を前記スマートメガネに伝送することを特徴とする請求項６に記載の外国語学習システム。
8. 前記映像分析部は、
   前記少なくとも一つの分析対象領域中、前記映像信号で表示される映像の中心から最も近い分析対象領域をハイライト領域として設定することを特徴とする請求項７に記載の外国語学習システム。
9. 前記位置判別部は、
   前記事物情報に含まれる前記位置情報中、ハイライト領域情報を区分して含むことを特徴とする請求項８に記載の外国語学習システム。
10. 前記映像及び音声構成部は、
    前記学習映像構成時に、前記ハイライト領域に対応する位置の前記外国語単語をその他の外国語単語と異なる形態で表示することを特徴とする請求項９に記載の外国語学習システム。
11. 学習者が着用可能であるメガネ形態で実現されるスマートメガネと、事物認識サーバと、外国語変換サーバと、を含む外国語学習システムを用いた外国語学習方法において、
    前記スマートメガネが、前記学習者の視野に対応する映像を得て映像信号を生成するステップと、
    前記事物認識サーバが、前記スマートメガネから前記映像信号を受信し、前記映像信号に含まれた事物に対する事物認識を行って事物情報を生成するステップと、
    前記外国語変換サーバが、前記事物認識サーバから前記事物情報を受信し、前記事物情報に対応する外国語単語に変換し、前記外国語単語を表示するための学習映像及び前記外国語単語に対応する発音を合成音として生成して前記スマートメガネに伝送するステップと、
    前記スマートメガネが、前記学習映像及び前記合成音を受信して前記学習者に出力するステップと、を含む外国語学習方法。
12. 前記事物情報を生成するステップは、
    前記映像信号を受信し、分析して事物認識を行う少なくとも一つの分析対象領域を設定するステップと、
    前記少なくとも一つの分析対象領域の映像を、前記事物認識サーバに既に格納されている複数個の事物映像データと比較して事物を認識し、認識された事物の事物情報を得るステップと、
    前記分析対象領域及び前記事物情報により、前記事物情報が前記学習映像での表示される位置を判別して位置情報を前記事物情報に含めるステップと、
    前記事物情報を前記外国語変換サーバに伝送するステップと、を含むことを特徴とする請求項１１に記載の外国語学習方法。
13. 前記スマートメガネに伝送するステップは、
    前記事物認識サーバから前記事物情報を受信するステップと、
    前記学習者が学習しようとする学習対象言語に対して既に格納されている言語モデルから前記事物情報に対応する前記外国語単語及び前記外国語単語の発音に対応する発音情報を前記言語モデルを検索して得るステップと、
    前記事物情報に含まれた前記位置情報に基づいて前記外国語単語が表示される前記学習映像を構成し、前記発音情報を基盤にして前記合成音を生成するステップと、
    前記学習映像及び前記合成音を前記スマートメガネに伝送するステップと、を含むことを特徴とする請求項１２に記載の外国語学習方法。
14. 前記外国語学習方法は、
    前記スマートメガネが、前記学習者が発話した音声を得て音声信号を生成し、前記事物認識サーバに伝送するステップと、
    前記外国語変換サーバが、前記音声信号を受信し、受信された前記音声信号を前記言語モデルに含まれた音響モデルと比較して音声認識し、前記音響モデルから、音声認識された言語に対応する単語の音響モデル発音を得るステップと、
    前記外国語変換サーバが、前記音声信号と前記音響モデル発音とを比較して前記音声モデルに対する発音評価結果を生成するステップと、
    前記外国語変換サーバが、前記発音評価結果を前記学習映像に生成するステップと、
    前記外国語変換サーバが、前記発音評価結果に対する前記学習映像及び前記音響モデル発音を前記スマートメガネに伝送するステップと、
    前記スマートメガネが、前記発音評価結果に対する前記学習映像及び前記音響モデル発音を出力するステップと、をさらに含むことを特徴とする請求項１３に記載の外国語学習方法。
15. 前記事物情報を生成するステップは、
    前記少なくとも一つの分析対象領域を設定するステップの後に、前記少なくとも一つの分析対象領域中、前記映像信号で表示される映像の中心から最も近い分析対象領域をハイライト領域として設定するステップをさらに含むことを特徴とする請求項１４に記載の外国語学習方法。
16. 前記合成音を生成するステップは、
    前記学習映像構成時に、前記ハイライト領域に対応する位置の前記外国語単語を他の国語単語と異なる形態で表示することを特徴とする請求項１５に記載の外国語学習方法。
17. 請求項１１から請求項１６のいずれか１項に記載の外国語学習方法を行うためのコンピューターで読み取り可能なプログラムを記録した記録媒体。