JP2002207413A - 行動認識発話型語学学習装置 - Google Patents
行動認識発話型語学学習装置Info
- Publication number
- JP2002207413A JP2002207413A JP2001004331A JP2001004331A JP2002207413A JP 2002207413 A JP2002207413 A JP 2002207413A JP 2001004331 A JP2001004331 A JP 2001004331A JP 2001004331 A JP2001004331 A JP 2001004331A JP 2002207413 A JP2002207413 A JP 2002207413A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- action
- language
- learner
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 学習者の行動を認識してその行動に関連する
言葉を発声し、先生等の力を借りることなく、効果的な
語学学習を行うことができるようにする。 【解決手段】 学習行動検出部１におけるビデオカメラ
６等により学習者の行動を検出し、行動・物体認識装置
２における動作理解装置１０、視線検出処理部１１、物
体認識処理部１２等により学習者の行動、視線、及び関
連する物体を認識する。そのデータを用いて語学学習処
理装置３においては学習レベル設定部１３で設定された
学習レベルに合わせて、文章例データベースから語学学
習用文章を検索し、学習言語選択指示部で選択指示した
特定の言語により、また語学辞書データベース１９を検
索する辞書検索部１５からの前記特定の言語のデータに
より特定言語翻訳部１６で翻訳を行う。その翻訳文は音
声化処理装置４で音声化され、スピーカ２１から学習者
に対して出力する。
言葉を発声し、先生等の力を借りることなく、効果的な
語学学習を行うことができるようにする。 【解決手段】 学習行動検出部１におけるビデオカメラ
６等により学習者の行動を検出し、行動・物体認識装置
２における動作理解装置１０、視線検出処理部１１、物
体認識処理部１２等により学習者の行動、視線、及び関
連する物体を認識する。そのデータを用いて語学学習処
理装置３においては学習レベル設定部１３で設定された
学習レベルに合わせて、文章例データベースから語学学
習用文章を検索し、学習言語選択指示部で選択指示した
特定の言語により、また語学辞書データベース１９を検
索する辞書検索部１５からの前記特定の言語のデータに
より特定言語翻訳部１６で翻訳を行う。その翻訳文は音
声化処理装置４で音声化され、スピーカ２１から学習者
に対して出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、人間の行動を認識
し現在行われている行動が何であるかを特定の言語で発
話し、語学学習を行うことができるようにした行動認識
発話型語学学習装置に関する。
し現在行われている行動が何であるかを特定の言語で発
話し、語学学習を行うことができるようにした行動認識
発話型語学学習装置に関する。
【０００２】
【従来の技術】例えば日本人が英語等の他国語の勉強を
行う時のように、語学学習を行うに際しては従来より種
々の方法が用いられており、例えばテキストにおいて初
歩から上級者用に複数階層のレベル分けを行い、各レベ
ルにおいて各種物品の名称を列記し、歩く、座る、寝る
等の種々の行動の態様を例示し、あるいは道を聞く、買
い物をする、乗り物に乗る等の生活中における各種の場
を分類してその場において用いられる代表的な言葉を例
示し、更には種々の例文を示すことが行われている。
行う時のように、語学学習を行うに際しては従来より種
々の方法が用いられており、例えばテキストにおいて初
歩から上級者用に複数階層のレベル分けを行い、各レベ
ルにおいて各種物品の名称を列記し、歩く、座る、寝る
等の種々の行動の態様を例示し、あるいは道を聞く、買
い物をする、乗り物に乗る等の生活中における各種の場
を分類してその場において用いられる代表的な言葉を例
示し、更には種々の例文を示すことが行われている。
【０００３】また、これらの会話の学習においては、上
記のようなテキストに加えてカセットテープに先生の声
を録音し、これを聴きながらテキストに沿って学習して
いくことも行われる。また、英会話学校のように先生と
対面しながら、先生のカリキュラムに沿って学習するこ
とも行われる。
記のようなテキストに加えてカセットテープに先生の声
を録音し、これを聴きながらテキストに沿って学習して
いくことも行われる。また、英会話学校のように先生と
対面しながら、先生のカリキュラムに沿って学習するこ
とも行われる。
【０００４】
【発明が解決しようとする課題】上記のような種々の語
学学習法はいずれも何らかのテキスト、カリキュラムに
沿って進められるものであり、系統だった学習が可能で
ある反面、特に会話の学習においては、学習者はその言
葉が使われる状況を想像しながら学習する必要があり、
学習する人にとっては語学の学習能力の他に想像力を必
要とされる。そのため学習者の社会経験の相違、想像力
の相違によって学習の効果が異なることとなり、特に子
供は多くの経験をしていないため想像の範囲が狭く、こ
のような学習法では適切な学習が行われない場合が多
い。
学学習法はいずれも何らかのテキスト、カリキュラムに
沿って進められるものであり、系統だった学習が可能で
ある反面、特に会話の学習においては、学習者はその言
葉が使われる状況を想像しながら学習する必要があり、
学習する人にとっては語学の学習能力の他に想像力を必
要とされる。そのため学習者の社会経験の相違、想像力
の相違によって学習の効果が異なることとなり、特に子
供は多くの経験をしていないため想像の範囲が狭く、こ
のような学習法では適切な学習が行われない場合が多
い。
【０００５】また、テレビやビデオテープによって実際
にその言葉が使われる状況を例示しながら学習する方法
のように、映像を用いて学習者の想像を補う手段が使わ
れることもある。しかしながら、それによっても実際に
学習者が経験している状態ではないため必ずしもその言
葉を身体で感じとることができず、この場合も自分がそ
の場にいる想像をしながら学習を行うしかなく、更に前
記のようなテキストに沿った予め決められた言葉しか使
われることがないので、状況に応じた種々の態様の言葉
を知ることができず、この学習法によっても限界があ
る。
にその言葉が使われる状況を例示しながら学習する方法
のように、映像を用いて学習者の想像を補う手段が使わ
れることもある。しかしながら、それによっても実際に
学習者が経験している状態ではないため必ずしもその言
葉を身体で感じとることができず、この場合も自分がそ
の場にいる想像をしながら学習を行うしかなく、更に前
記のようなテキストに沿った予め決められた言葉しか使
われることがないので、状況に応じた種々の態様の言葉
を知ることができず、この学習法によっても限界があ
る。
【０００６】更に、先生と対話しながら会話の学習を行
う場合において、その英語が使われる場を先生との間で
形成することにより、できる限りその言葉が使われる状
態に近づけた中で学習することも行われる。しかしなが
ら、この方法によっても実際の場面とは必ずしも一致せ
ず、そのような場面にあるものと想像しながら学習せざ
るを得ない。また、このような学習方法はその場を形成
する先生が必要となるため、学習者はその先生のいる学
校等に出向くか、その先生に来てもらうしかない。その
ためこの学習に多くの時間がかかるか、あるいは多くの
費用がかかることとなる。
う場合において、その英語が使われる場を先生との間で
形成することにより、できる限りその言葉が使われる状
態に近づけた中で学習することも行われる。しかしなが
ら、この方法によっても実際の場面とは必ずしも一致せ
ず、そのような場面にあるものと想像しながら学習せざ
るを得ない。また、このような学習方法はその場を形成
する先生が必要となるため、学習者はその先生のいる学
校等に出向くか、その先生に来てもらうしかない。その
ためこの学習に多くの時間がかかるか、あるいは多くの
費用がかかることとなる。
【０００７】したがって本発明は、学習者の行動を認識
してその行動に関連する言葉を発声し、先生等の他人の
力を借りることなく、いつでも学習者が身体で直接言葉
を学習することができ効果的な語学学習を行うことがで
きる行動認識発話型語学学習装置を提供することを目的
とする。
してその行動に関連する言葉を発声し、先生等の他人の
力を借りることなく、いつでも学習者が身体で直接言葉
を学習することができ効果的な語学学習を行うことがで
きる行動認識発話型語学学習装置を提供することを目的
とする。
【０００８】
【課題を解決するための手段】本発明は上記課題を解決
するため、請求項１に係る発明は、学習者の行動を撮影
するカメラを接続した学習行動検出部と、前記学習行動
検出部の信号を入力し、前記カメラの信号により少なく
とも学習者の行動を認識する行動認識装置と、前記行動
認識装置により認識されたデータにより、そのデータと
関連した語学学習用データを出力する語学学習処理装置
と、前記語学学習処理装置の出力データを音声化する音
声化処理装置とからなることを特徴とする行動認識発話
型語学学習装置としたものである。
するため、請求項１に係る発明は、学習者の行動を撮影
するカメラを接続した学習行動検出部と、前記学習行動
検出部の信号を入力し、前記カメラの信号により少なく
とも学習者の行動を認識する行動認識装置と、前記行動
認識装置により認識されたデータにより、そのデータと
関連した語学学習用データを出力する語学学習処理装置
と、前記語学学習処理装置の出力データを音声化する音
声化処理装置とからなることを特徴とする行動認識発話
型語学学習装置としたものである。
【０００９】また請求項２に係る発明は、前記学習行動
検出部には、学習者の行動により作動する接触センサ、
またはスイッチを更に接続したことを特徴とする請求項
１記載の行動認識発話型語学学習装置としたものであ
る。
検出部には、学習者の行動により作動する接触センサ、
またはスイッチを更に接続したことを特徴とする請求項
１記載の行動認識発話型語学学習装置としたものであ
る。
【００１０】また請求項３に係る発明は、前記行動認識
装置には、前記カメラの信号により学習者の動作を理解
する動作理解装置を備えたことを特徴とする請求項１記
載の行動認識発話型語学学習装置としたものである。
装置には、前記カメラの信号により学習者の動作を理解
する動作理解装置を備えたことを特徴とする請求項１記
載の行動認識発話型語学学習装置としたものである。
【００１１】また、請求項４に係る発明は、前記行動認
識装置には、前記カメラの信号により学習者の視線を検
出する視線検出処理部を備えたことを特徴とする請求項
１記載の行動認識発話型語学学習装置としたものであ
る。
識装置には、前記カメラの信号により学習者の視線を検
出する視線検出処理部を備えたことを特徴とする請求項
１記載の行動認識発話型語学学習装置としたものであ
る。
【００１２】また請求項５に係る発明は、前記行動認識
装置では、学習者の前記動作に関連した物体も認識する
ことを特徴とする請求項３記載の行動認識発話型語学学
習装置としたものである。
装置では、学習者の前記動作に関連した物体も認識する
ことを特徴とする請求項３記載の行動認識発話型語学学
習装置としたものである。
【００１３】また請求項６に係る発明は、前記行動認識
装置では、検出した視線に関連した物体も認識すること
を特徴とする請求項４記載の行動認識発話型語学学習装
置としたものである。
装置では、検出した視線に関連した物体も認識すること
を特徴とする請求項４記載の行動認識発話型語学学習装
置としたものである。
【００１４】また請求項７に係る発明は、前記語学学習
処理装置には、学習者の学習レベルを設定する学習レベ
ル設定部を備え、前記設定により出力データを変えるこ
とを特徴とする請求項１記載の行動認識発話型語学学習
装置としたものである。
処理装置には、学習者の学習レベルを設定する学習レベ
ル設定部を備え、前記設定により出力データを変えるこ
とを特徴とする請求項１記載の行動認識発話型語学学習
装置としたものである。
【００１５】また請求項８に係る発明は、前記語学学習
処理装置には、複数の言語の語学辞書を備え、学習言語
選択指示部により指示された言語の学習用データを出力
することを特徴とする請求項１記載の行動認識発話型語
学学習装置としたものである。
処理装置には、複数の言語の語学辞書を備え、学習言語
選択指示部により指示された言語の学習用データを出力
することを特徴とする請求項１記載の行動認識発話型語
学学習装置としたものである。
【００１６】また、請求項９に係る発明は 前記行動認
識装置では、出力した学習用音声に対する学習者の行動
を認識し、再度学習用音声を出力することを特徴とする
請求項１記載の行動認識発話型語学学習装置としたもの
である。
識装置では、出力した学習用音声に対する学習者の行動
を認識し、再度学習用音声を出力することを特徴とする
請求項１記載の行動認識発話型語学学習装置としたもの
である。
【００１７】また請求項１０に係る発明は、前記行動認
識装置では、出力した学習用音声に対する学習者からの
指示信号により、再度学習用音声を出力することを特徴
とする請求項１記載の行動認識発話型語学学習装置とし
たものである。
識装置では、出力した学習用音声に対する学習者からの
指示信号により、再度学習用音声を出力することを特徴
とする請求項１記載の行動認識発話型語学学習装置とし
たものである。
【００１８】また、請求項１１に係る発明は、前記行動
認識装置では、出力した学習用音声に対する学習者の行
動を認識し、または学習者からの指示信号により、出力
した学習用音声を母国語により出力することを特徴とす
る請求項１記載の行動認識発話型語学学習装置としたも
のである。
認識装置では、出力した学習用音声に対する学習者の行
動を認識し、または学習者からの指示信号により、出力
した学習用音声を母国語により出力することを特徴とす
る請求項１記載の行動認識発話型語学学習装置としたも
のである。
【００１９】また請求項１２に係る発明は、前記行動認
識装置では、出力した学習用音声に対する学習者の行動
を認識し、または学習者からの指示信号により、出力し
た学習用音声を登録することを特徴とする請求項１記載
の行動認識発話型語学学習装置としたものである。
識装置では、出力した学習用音声に対する学習者の行動
を認識し、または学習者からの指示信号により、出力し
た学習用音声を登録することを特徴とする請求項１記載
の行動認識発話型語学学習装置としたものである。
【００２０】
【発明の実施の形態】本発明の実施例を図面に沿って説
明する。図１は本発明による行動認識発話型語学学習装
置の主要機能を示すブロックとそれらの関係を示す機能
ブロック図であり、全体としては学習行動検出部１、行
動・物体認識装置２、語学学習処理装置３、音声化処理
発話装置４とからなり、これらの機能ブロック順に作動
する。
明する。図１は本発明による行動認識発話型語学学習装
置の主要機能を示すブロックとそれらの関係を示す機能
ブロック図であり、全体としては学習行動検出部１、行
動・物体認識装置２、語学学習処理装置３、音声化処理
発話装置４とからなり、これらの機能ブロック順に作動
する。
【００２１】学習行動検出部１は、例えば図２に示すよ
うな語学学習をする学習者５の映像を撮影するビデオカ
メラ６を備え、更に必要に応じて図１に例示するような
人間の指先等あるいは物体に設ける接触センサ７、同様
に指先あるいは物体に設けるスイッチ８等の各種の情報
入力手段としてのセンサが接続される。
うな語学学習をする学習者５の映像を撮影するビデオカ
メラ６を備え、更に必要に応じて図１に例示するような
人間の指先等あるいは物体に設ける接触センサ７、同様
に指先あるいは物体に設けるスイッチ８等の各種の情報
入力手段としてのセンサが接続される。
【００２２】これらセンサからの情報は行動・物体認識
装置２に出力され、例えば動作理解装置１０、視線検出
処理部１１、物体認識処理部１２で処理される。上記動
作理解装置１０においては、例えばビデオカメラ６で撮
影した映像を画像処理し、このビデオカメラ６で撮影さ
れた学習者が歩いている、座っている、何かを指してい
る、何かを持っている等の動作を認識し理解する。ま
た、視線検出処理部１１においては、ビデオカメラ６で
撮影した学習者の目の部分を画像処理し、その瞳の位置
及び動きから現在何を見ているかを認識処理する。
装置２に出力され、例えば動作理解装置１０、視線検出
処理部１１、物体認識処理部１２で処理される。上記動
作理解装置１０においては、例えばビデオカメラ６で撮
影した映像を画像処理し、このビデオカメラ６で撮影さ
れた学習者が歩いている、座っている、何かを指してい
る、何かを持っている等の動作を認識し理解する。ま
た、視線検出処理部１１においては、ビデオカメラ６で
撮影した学習者の目の部分を画像処理し、その瞳の位置
及び動きから現在何を見ているかを認識処理する。
【００２３】物体認識処理部１２では、ビデオカメラ６
で撮影した映像を同様に画像処理し、特に前記動作理解
装置１０において撮影された学習者の動作と関連のある
物体を識別し、また前記視線検出処理部１１において認
識処理された視線の位置に存在する物体を識別し、その
物体が何であるかを認識処理する。このような認識処理
の結果、例えば撮影された学習者が何かを指していると
いうことを前記動作理解装置１０において理解したとき
その指先にある物体を識別し、あるいはテーブルの上の
物体を見ていることを理解したときその視線の先にある
物体を識別することができる。またその学習者が歩いて
行った先にベッドが存在することを認識することもでき
る。
で撮影した映像を同様に画像処理し、特に前記動作理解
装置１０において撮影された学習者の動作と関連のある
物体を識別し、また前記視線検出処理部１１において認
識処理された視線の位置に存在する物体を識別し、その
物体が何であるかを認識処理する。このような認識処理
の結果、例えば撮影された学習者が何かを指していると
いうことを前記動作理解装置１０において理解したとき
その指先にある物体を識別し、あるいはテーブルの上の
物体を見ていることを理解したときその視線の先にある
物体を識別することができる。またその学習者が歩いて
行った先にベッドが存在することを認識することもでき
る。
【００２４】その他、この装置の利用者の指先または物
体側に接触センサ７、あるいはスイッチ８等を貼り付け
ている場合において、この学習者が指先で何かの物体に
触ったことを検出したときに、ビデオカメラ６の映像に
よって触った物体を識別し、その物体が何であるかを認
識処理する。それにより触った物体がコーヒーカップで
あること等を認識することができる。
体側に接触センサ７、あるいはスイッチ８等を貼り付け
ている場合において、この学習者が指先で何かの物体に
触ったことを検出したときに、ビデオカメラ６の映像に
よって触った物体を識別し、その物体が何であるかを認
識処理する。それにより触った物体がコーヒーカップで
あること等を認識することができる。
【００２５】なお、上記のようなビデオカメラ６を用い
て人間の行動を認識すること、及び視線を検出して現在
見ているものを識別する処理は、現在広く用いられてい
る画像認識処理によって容易に行うことができる。ま
た、上記実施例における行動・物体認識装置において
は、多くの機能を行うことができるものとして記載して
いるが、例えば動作理解装置のみを備え、したがってこ
の機能部を行動認識装置として用いることもできる。
て人間の行動を認識すること、及び視線を検出して現在
見ているものを識別する処理は、現在広く用いられてい
る画像認識処理によって容易に行うことができる。ま
た、上記実施例における行動・物体認識装置において
は、多くの機能を行うことができるものとして記載して
いるが、例えば動作理解装置のみを備え、したがってこ
の機能部を行動認識装置として用いることもできる。
【００２６】上記のような行動・物体認識装置２の処理
によって、学習者の行動、及びその行動と関連する物体
が認識された際には、語学学習処理装置３においてそれ
らの利用者の行動及び認識された物体に関連した語学学
習用の言葉を出力する処理を行う。この語学学習処理装
置３においては、図示する実施例では主要機能部として
学習レベル設定部１３、語学学習用文章形成部１４、辞
書検索部１５、特定言語翻訳部１６を備えている。
によって、学習者の行動、及びその行動と関連する物体
が認識された際には、語学学習処理装置３においてそれ
らの利用者の行動及び認識された物体に関連した語学学
習用の言葉を出力する処理を行う。この語学学習処理装
置３においては、図示する実施例では主要機能部として
学習レベル設定部１３、語学学習用文章形成部１４、辞
書検索部１５、特定言語翻訳部１６を備えている。
【００２７】学習レベル設定部１３においては、この装
置の外部に設けた学習レベル設定操作部１７を操作する
ことにより、この語学学習装置を利用する学習者の学習
レベルに合わせて設定を行う。それにより、ビデオカメ
ラ６によって学習者５の行動等を撮影したとき、同じ画
像認識処理がなされた場合でも出力する語学学習用の文
章形態をその学習者のレベルに合わせて変化させること
ができるようにしている。その結果、例えば図２に示す
ように利用者がテーブルの上のコーヒーカップを見てい
ることが認識されたとき、この語学学習装置が初心者レ
ベルに設定されている場合には後に述べるような処理を
行うことにより、最終的に「これはカップです。」「あ
なたはカップを見ています。」のような言葉を英語、フ
ランス語等の所定の言語で発声し、また、中級レベルに
設定されている場合には「あなたは椅子に座ってテーブ
ルの上のカップを指さしています。」のような比較的複
雑な文章を発声することができるようにしている。
置の外部に設けた学習レベル設定操作部１７を操作する
ことにより、この語学学習装置を利用する学習者の学習
レベルに合わせて設定を行う。それにより、ビデオカメ
ラ６によって学習者５の行動等を撮影したとき、同じ画
像認識処理がなされた場合でも出力する語学学習用の文
章形態をその学習者のレベルに合わせて変化させること
ができるようにしている。その結果、例えば図２に示す
ように利用者がテーブルの上のコーヒーカップを見てい
ることが認識されたとき、この語学学習装置が初心者レ
ベルに設定されている場合には後に述べるような処理を
行うことにより、最終的に「これはカップです。」「あ
なたはカップを見ています。」のような言葉を英語、フ
ランス語等の所定の言語で発声し、また、中級レベルに
設定されている場合には「あなたは椅子に座ってテーブ
ルの上のカップを指さしています。」のような比較的複
雑な文章を発声することができるようにしている。
【００２８】語学学習用文章形成部１４においては、語
学学習処理装置３に入力された前記行動・物体認識装置
２からの認識結果を元に、また前記学習レベル設定部１
３で設定された学習レベルに合わせて、出力すべき文章
を形成する。その文章形成に際しては、これに接続した
文章例データベース１８に予め学習レベル別に蓄積した
種々の文章例を用い、これを検索して前記のようなレベ
ルに合わせた文章を読み出すことにより行う。
学学習処理装置３に入力された前記行動・物体認識装置
２からの認識結果を元に、また前記学習レベル設定部１
３で設定された学習レベルに合わせて、出力すべき文章
を形成する。その文章形成に際しては、これに接続した
文章例データベース１８に予め学習レベル別に蓄積した
種々の文章例を用い、これを検索して前記のようなレベ
ルに合わせた文章を読み出すことにより行う。
【００２９】このようにして出力するべき文章が決まっ
た後は特定言語翻訳部１６において、学習言語選択指示
部２０で指示された英語、フランス語等の特定の言語へ
の翻訳を行う。この翻訳に際しては、語学学習用文章形
成部１４で形成された文章について、しかも前記学習言
語選択指示部２０で指示された言語について、語学辞書
データベース１９に蓄積されたデータを辞書検索部１５
において検索しながら行う。以上のようにして翻訳され
た文章は音声化処理装置４において音声に変換され、ス
ピーカ２１から出力する。
た後は特定言語翻訳部１６において、学習言語選択指示
部２０で指示された英語、フランス語等の特定の言語へ
の翻訳を行う。この翻訳に際しては、語学学習用文章形
成部１４で形成された文章について、しかも前記学習言
語選択指示部２０で指示された言語について、語学辞書
データベース１９に蓄積されたデータを辞書検索部１５
において検索しながら行う。以上のようにして翻訳され
た文章は音声化処理装置４において音声に変換され、ス
ピーカ２１から出力する。
【００３０】このような一連の処理により、例えば図２
の例に対応して図１の右側列に語学学習処理の例と示し
ているように、学習者がテーブルの上のコーヒーカップ
を見ているとき、学習行動検出部１において学習者５が
何かを見ていることを検出し、行動・物体認識装置２に
おいて学習者の視線の位置にカップが存在することを識
別してこれを見ていることを理解する。次いで、語学学
習処理装置３において学習レベルに合わせて蓄積されて
いる行動や物体の例文を探し、これを所定の言語に翻訳
する。次いで音声化処理装置４で処理した音声をスピー
カ２１から例えば「Ｔｈｉｓ ｉｓ ａ ｃｕｐ． Ｙ
ｏｕ ａｒｅ ｌｏｏｋｉｎｇ ａｔａ ｃｕｐ．」と
出力する。それにより利用者は自分が現在行った行動に
対する英語を実感をもって理解することができ、学習効
果を向上することができる。また、上記実施例において
は、多くの国の言語の辞書を予め用意することにより、
同じ装置を用いて希望の言語の学習を行うことができる
ようにしている。
の例に対応して図１の右側列に語学学習処理の例と示し
ているように、学習者がテーブルの上のコーヒーカップ
を見ているとき、学習行動検出部１において学習者５が
何かを見ていることを検出し、行動・物体認識装置２に
おいて学習者の視線の位置にカップが存在することを識
別してこれを見ていることを理解する。次いで、語学学
習処理装置３において学習レベルに合わせて蓄積されて
いる行動や物体の例文を探し、これを所定の言語に翻訳
する。次いで音声化処理装置４で処理した音声をスピー
カ２１から例えば「Ｔｈｉｓ ｉｓ ａ ｃｕｐ． Ｙ
ｏｕ ａｒｅ ｌｏｏｋｉｎｇ ａｔａ ｃｕｐ．」と
出力する。それにより利用者は自分が現在行った行動に
対する英語を実感をもって理解することができ、学習効
果を向上することができる。また、上記実施例において
は、多くの国の言語の辞書を予め用意することにより、
同じ装置を用いて希望の言語の学習を行うことができる
ようにしている。
【００３１】上記のような語学学習装置を用いることに
より、前記図２に示す例の他、例えば図３に示すように
学習者５が椅子に座っているときこれをビデオカメラ６
で撮影して画像認識することにより、この語学学習装置
が初心者レベルであって、かつ学習言語が英語に設定さ
れているとき、「Ｙｏｕ ｓａｔ ｄｏｗｎ ｏｎｔｈ
ｅ ｓｅａｔ！」とスピーカ２１から自動的に発声す
る。また図４に示すように利用者５が歩いていることを
ビデオカメラ６で撮影して映像を画像処理することによ
り認識できたときには、「Ｙｏｕ ａｒｅ ｗａｌｋｉ
ｎｇ！」と発声する。また、図５に示すように利用者５
がテレビのリモコンを持ってスイッチを入れたことをビ
デオカメラ６の映像により認識したときには、「Ｙｏｕ
ｔｕｒｎｅｄ ｏｎ ｔｈｅ ｔｅｌｅｖｉｓｉｏｎ
！」と発声することができる。更に図６に示すように利
用者がベッドに移動したことをビデオカメラ６の映像に
より認識したときには、「Ｙｏｕ ｗｅｎｔ ｔｏ ｂ
ｅｄ！」と発声する。
より、前記図２に示す例の他、例えば図３に示すように
学習者５が椅子に座っているときこれをビデオカメラ６
で撮影して画像認識することにより、この語学学習装置
が初心者レベルであって、かつ学習言語が英語に設定さ
れているとき、「Ｙｏｕ ｓａｔ ｄｏｗｎ ｏｎｔｈ
ｅ ｓｅａｔ！」とスピーカ２１から自動的に発声す
る。また図４に示すように利用者５が歩いていることを
ビデオカメラ６で撮影して映像を画像処理することによ
り認識できたときには、「Ｙｏｕ ａｒｅ ｗａｌｋｉ
ｎｇ！」と発声する。また、図５に示すように利用者５
がテレビのリモコンを持ってスイッチを入れたことをビ
デオカメラ６の映像により認識したときには、「Ｙｏｕ
ｔｕｒｎｅｄ ｏｎ ｔｈｅ ｔｅｌｅｖｉｓｉｏｎ
！」と発声することができる。更に図６に示すように利
用者がベッドに移動したことをビデオカメラ６の映像に
より認識したときには、「Ｙｏｕ ｗｅｎｔ ｔｏ ｂ
ｅｄ！」と発声する。
【００３２】更に必要に応じてビデオカメラ６で撮影し
た学習者５の画像により、スピーカ２１から前記のよう
な言語を発音した後に、首を傾けるような言語が理解が
できなかった映像が入力されたときには再度発音し、更
に同様の行動をとったときには学習者が日本人である場
合には日本語等、学習者の母国語で発音するようにする
こともできる。また、前記のように首を傾けるよう行動
の他、例えば利用者が語学学習装置のリモコンを操作し
て先の言葉が理解できなかった旨の入力を行ったとき
も、前記と同様の再発音、母国語での発音等を何回も行
わせることも可能である。
た学習者５の画像により、スピーカ２１から前記のよう
な言語を発音した後に、首を傾けるような言語が理解が
できなかった映像が入力されたときには再度発音し、更
に同様の行動をとったときには学習者が日本人である場
合には日本語等、学習者の母国語で発音するようにする
こともできる。また、前記のように首を傾けるよう行動
の他、例えば利用者が語学学習装置のリモコンを操作し
て先の言葉が理解できなかった旨の入力を行ったとき
も、前記と同様の再発音、母国語での発音等を何回も行
わせることも可能である。
【００３３】また、このように学習者が理解できない行
動をとり、あるいはその旨の入力が行われたときには、
学習者がこのような言葉を理解しにくい傾向があるとし
て、この言葉をメモリに登録し、その後同じような行動
がとられたときにはこの登録されている言葉を優先的に
出力する等、効率的な学習を行わせることができる。更
に、必要に応じてスピーカから出力している言葉を、別
に設けた表示装置に表示するように構成することもでき
る。
動をとり、あるいはその旨の入力が行われたときには、
学習者がこのような言葉を理解しにくい傾向があるとし
て、この言葉をメモリに登録し、その後同じような行動
がとられたときにはこの登録されている言葉を優先的に
出力する等、効率的な学習を行わせることができる。更
に、必要に応じてスピーカから出力している言葉を、別
に設けた表示装置に表示するように構成することもでき
る。
【００３４】なお、図１に示す実施例において、語学学
習処理装置３には複数の言語の語学辞書データベース１
９を備え、学習言語選択指示部２０で選択した特定の言
語に翻訳を行う例を示したが、例えばこの語学学習装置
を英語の学習専用とする際には、語学辞書データベース
には英語の辞書データベースのみを備え、学習言語選択
指示部２０を除くこともできる。
習処理装置３には複数の言語の語学辞書データベース１
９を備え、学習言語選択指示部２０で選択した特定の言
語に翻訳を行う例を示したが、例えばこの語学学習装置
を英語の学習専用とする際には、語学辞書データベース
には英語の辞書データベースのみを備え、学習言語選択
指示部２０を除くこともできる。
【００３５】
【発明の効果】本発明は上記のように構成したので、学
習者の行動を認識してその行動に関連する言葉を発声
し、先生等の他の人の力を借りることなく、いつでも学
習者が身体で直接言葉を理解することができ効果的な語
学学習を行うことができる。
習者の行動を認識してその行動に関連する言葉を発声
し、先生等の他の人の力を借りることなく、いつでも学
習者が身体で直接言葉を理解することができ効果的な語
学学習を行うことができる。
【図１】本発明の実施例の機能及び作動フローを示す機
能ブロック図である。
能ブロック図である。
【図２】本発明による語学学習装置を用いた学習の態様
を示す概要図である。
を示す概要図である。
【図３】本発明による語学学習装置を用いた学習の他の
態様を示す概要図である。
態様を示す概要図である。
【図４】本発明による語学学習装置を用いた学習の他の
態様を示す概要図である。
態様を示す概要図である。
【図５】本発明による語学学習装置を用いた学習の他の
態様を示す概要図である。
態様を示す概要図である。
【図６】本発明による語学学習装置を用いた学習の他の
態様を示す概要図である。
態様を示す概要図である。
１ 学習行動検出部 ２ 行動・物体認識装置 ３ 語学学習処理装置 ４ 音声化処理発話装置 ５ 学習者 ６ ビデオカメラ ７ 接触センサ ８ スイッチ １０ 動作理解装置 １１ 視線検出処理部 １２ 物体認識処理部 １３ 学習レベル設定部 １４ 語学学習用文章形成部 １５ 辞書検索部 １６ 特定言語翻訳部 １７ レベル設定指示部 １８ 文章例データベース １９ 語学辞書データベース ２０ 学習言語選択指示部 ２１ スピーカ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2C028 AA03 BA03 BA05 BB06 BC05 BD03 CA12 5B057 AA19 BA02 CA12 CA16 DA06 DA12 DB02 5C054 AA01 AA05 FC11 HA16 5D045 AB12
Claims (12)
- 【請求項１】 学習者の行動を撮影するカメラを接続し
た学習行動検出部と、 前記学習行動検出部の信号を入力し、前記カメラの信号
により少なくとも学習者の行動を認識する行動認識装置
と、 前記行動認識装置により認識されたデータにより、その
データと関連した語学学習用データを出力する語学学習
処理装置と、 前記語学学習処理装置の出力データを音声化する音声化
処理装置とからなることを特徴とする行動認識発話型語
学学習装置。 - 【請求項２】 前記学習行動検出部には、学習者の行動
により作動する接触センサ、またはスイッチを更に接続
したことを特徴とする請求項１記載の行動認識発話型語
学学習装置。 - 【請求項３】 前記行動認識装置には、前記カメラの信
号により学習者の動作を理解する動作理解装置を備えた
ことを特徴とする請求項１記載の行動認識発話型語学学
習装置。 - 【請求項４】 前記行動認識装置には、前記カメラの信
号により学習者の視線を検出する視線検出処理部を備え
たことを特徴とする請求項１記載の行動認識発話型語学
学習装置。 - 【請求項５】 前記行動認識装置では、学習者の前記動
作に関連した物体も認識することを特徴とする請求項３
記載の行動認識発話型語学学習装置。 - 【請求項６】 前記行動認識装置では、検出した視線に
関連した物体も認識することを特徴とする請求項４記載
の行動認識発話型語学学習装置。 - 【請求項７】 前記語学学習処理装置には、学習者の学
習レベルを設定する学習レベル設定部を備え、前記設定
により出力データを変えることを特徴とする請求項１記
載の行動認識発話型語学学習装置。 - 【請求項８】 前記語学学習処理装置には、複数の言語
の語学辞書を備え、学習言語選択指示部により指示され
た言語の学習用データを出力することを特徴とする請求
項１記載の行動認識発話型語学学習装置。 - 【請求項９】 前記行動認識装置では、出力した学習用
音声に対する学習者の行動を認識し、再度学習用音声を
出力することを特徴とする請求項１記載の行動認識発話
型語学学習装置。 - 【請求項１０】 前記行動認識装置では、出力した学習
用音声に対する学習者からの指示信号により、再度学習
用音声を出力することを特徴とする請求項１記載の行動
認識発話型語学学習装置。 - 【請求項１１】 前記行動認識装置では、出力した学習
用音声に対する学習者の行動を認識し、または学習者か
らの指示信号により、出力した学習用音声を母国語によ
り出力することを特徴とする請求項１記載の行動認識発
話型語学学習装置。 - 【請求項１２】 前記行動認識装置では、出力した学習
用音声に対する学習者の行動を認識し、または学習者か
らの指示信号により、出力した学習用音声を登録するこ
とを特徴とする請求項１記載の行動認識発話型語学学習
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001004331A JP2002207413A (ja) | 2001-01-12 | 2001-01-12 | 行動認識発話型語学学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001004331A JP2002207413A (ja) | 2001-01-12 | 2001-01-12 | 行動認識発話型語学学習装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002207413A true JP2002207413A (ja) | 2002-07-26 |
Family
ID=18872536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001004331A Pending JP2002207413A (ja) | 2001-01-12 | 2001-01-12 | 行動認識発話型語学学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002207413A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008096902A1 (en) * | 2007-02-07 | 2008-08-14 | Sharp Kabushiki Kaisha | Computer-implemented learning method and apparatus |
| KR100968366B1 (ko) | 2010-01-27 | 2010-07-06 | 신효상 | 두뇌의 시각처리 패턴에 최적화된 동적 영문그래픽 상영방법 |
| KR100968929B1 (ko) * | 2007-09-05 | 2010-08-24 | 김평원 | 메타학습시스템 및 이를 이용한 쓰기교육방법 |
| WO2011071267A2 (ko) * | 2009-12-09 | 2011-06-16 | Shin Hyo Sang | 영어속독을 위한 동적 영문그래픽 상영방법 |
| KR101091351B1 (ko) | 2009-07-16 | 2011-12-07 | (주)레드로버 | 교육용 콘텐츠 제공 시스템 및 그 제어 방법 |
| JP2015049372A (ja) * | 2013-09-02 | 2015-03-16 | 有限会社Ｂｒｕｃｅ Ｉｎｔｅｒｆａｃｅ | 外国語学習支援装置及び外国語学習支援プログラム |
-
2001
- 2001-01-12 JP JP2001004331A patent/JP2002207413A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008096902A1 (en) * | 2007-02-07 | 2008-08-14 | Sharp Kabushiki Kaisha | Computer-implemented learning method and apparatus |
| KR100968929B1 (ko) * | 2007-09-05 | 2010-08-24 | 김평원 | 메타학습시스템 및 이를 이용한 쓰기교육방법 |
| KR101091351B1 (ko) | 2009-07-16 | 2011-12-07 | (주)레드로버 | 교육용 콘텐츠 제공 시스템 및 그 제어 방법 |
| WO2011071267A2 (ko) * | 2009-12-09 | 2011-06-16 | Shin Hyo Sang | 영어속독을 위한 동적 영문그래픽 상영방법 |
| WO2011071267A3 (ko) * | 2009-12-09 | 2011-09-15 | Shin Hyo Sang | 영어속독을 위한 동적 영문그래픽 상영방법 |
| GB2488005A (en) * | 2009-12-09 | 2012-08-15 | Hyo Sang Shin | Method for playing dynamic english graphics of english sentences for speed reading |
| US8310505B2 (en) | 2009-12-09 | 2012-11-13 | Hyo Sang Shin | Method for playing dynamic english graphics of english sentences for speed reading |
| KR100968366B1 (ko) | 2010-01-27 | 2010-07-06 | 신효상 | 두뇌의 시각처리 패턴에 최적화된 동적 영문그래픽 상영방법 |
| WO2011093588A2 (ko) * | 2010-01-27 | 2011-08-04 | Shin Hyo Sang | 두뇌의 시각처리 패턴에 최적화된 동적 영문그래픽 상영방법 |
| WO2011093588A3 (ko) * | 2010-01-27 | 2011-10-20 | Shin Hyo Sang | 두뇌의 시각처리 패턴에 최적화된 동적 영문그래픽 상영방법 |
| JP2015049372A (ja) * | 2013-09-02 | 2015-03-16 | 有限会社Ｂｒｕｃｅ Ｉｎｔｅｒｆａｃｅ | 外国語学習支援装置及び外国語学習支援プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6377925B1 (en) | Electronic translator for assisting communications | |
| CN111226224B (zh) | 用于翻译语音信号的方法及电子设备 | |
| Fernandez-Lopez et al. | Towards estimating the upper bound of visual-speech recognition: The visual lip-reading feasibility database | |
| KR101743230B1 (ko) | 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법 | |
| KR101819459B1 (ko) | 음성 인식 오류 수정을 지원하는 음성 인식 시스템 및 장치 | |
| JP2001159865A (ja) | 対話型語学指導のための方法および装置 | |
| US9028255B2 (en) | Method and system for acquisition of literacy | |
| US11210964B2 (en) | Learning tool and method | |
| US20180011687A1 (en) | Head-mounted display system and operating method for head-mounted display device | |
| Arsan et al. | Sign language converter | |
| KR20190130774A (ko) | 언어 교육을 위한 영상의 자막 처리 방법 및 장치 | |
| JP2002207413A (ja) | 行動認識発話型語学学習装置 | |
| JP2019061189A (ja) | 教材オーサリングシステム | |
| US20090291419A1 (en) | System of sound representaion and pronunciation techniques for english and other european languages | |
| Cicourel | Gestural sign language and the study of nonverbal communication | |
| KR20140075994A (ko) | 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법 | |
| KR20140107067A (ko) | 이미지 데이터와 원어민 발음 데이터를 이용한 단어 학습장치 및 방법 | |
| KR102476497B1 (ko) | 언어 대응 화상 출력 장치, 방법 및 시스템 | |
| KR20140073768A (ko) | 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법 | |
| JP2014038140A (ja) | 語学学習補助装置、語学学習補助方法、語学学習補助プログラム | |
| KR102645783B1 (ko) | 외국인 대상 한국어 교육 서비스 제공 시스템 | |
| JP2005189846A (ja) | 音声制御スクリーンシステム | |
| KR20140101548A (ko) | 연계 예문을 이용한 단어 학습장치 및 방법 | |
| Abbas | Improving Arabic Sign Language to support communication between vehicle drivers and passengers from deaf people | |
| Corcoran | Towards a semiotic of screen media: Problems in the use of linguistic models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050201 |