JP2023053442A - 対話システム、対話システムの制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】仮想キャラクターとの対話を通じて、学習者の外国語技能、特に話す技能を効果的に向上させる。【解決手段】仮想キャラクターを生成し、学習者と対話させる対話システムであって、学習者の発話に含まれる語彙を蓄積し、蓄積された語彙に基づいて仮想キャラクターの習得語彙数を決定する学習部１３と、習得語彙数に応じて仮想キャラクターの設定年齢を決定する仮想キャラクター年齢決定部１４と、設定年齢に応じた仮想キャラクターの容姿データを表示させる仮想キャラクター生成部１５と、仮想キャラクターの発話内容を生成する会話生成部１６と、を備える。【選択図】図１

Description

本発明は、学習者に仮想のキャラクターと会話させることで、外国語を話す技能を向上させる技術に関する。

外国語を話す技能の習得には、外国語を話す経験を積むことが不可欠である。その点、近年の技術革新により、音声認識や文字データの読上げ機能を応用し、機械により生成される仮想キャラクターとの会話が成り立つようになった。

技能向上にあたり、学習者が主体的に外国語学習に取り組み、継続することができるような技術が必要とされている。そのためには、例えば、一方的な指導者として学習に関わる存在だけではなく、学習者とともに学習し成長していくパートナーのような存在が有効である。

この点、特許文献１には、表示部の画面に仮想のキャラクターを表示し、ユーザの習熟度に応じた難易度（長さ、語彙）の応答文を選択する語学学習用装置が開示されている。特許文献２には、ユーザの分身であるアバタの年齢増加に応じて、テキストベースでのチャットの文章編集処理に際し、そのテキストの文体を変更する共有仮想空間提供装置等が開示されている。特許文献３には、様々な人との対話の訓練が行える対話シミュレーション装置に関するもので、ユーザが、所望の場面の条件や対話相手の条件を入力すると、装置はこの対話相手を作成し、ユーザは条件に則した対話シミュレーションを行うことができる対話シミュレーション装置が開示されている。

特開２０２０－１２９０２３号公報 特開平１１－１２０３７５号公報 特開２００３－２９５７５１号公報

しかしながら、上述のいずれの文献においても、仮想キャラクターが学習者とともに成長することで、学習者の外国語技能を効果的に向上させる技術については開示がない。

本発明は、仮想キャラクターとの対話を通じて、学習者の外国語技能、特に話す技能を効果的に向上させることを目的の一つとする。

上記目的を達成するため、本発明の一の観点に係る対話システムは、仮想キャラクターを生成し、学習者と対話させる対話システムであって、前記学習者の発話に含まれる語彙を蓄積し、蓄積された前記語彙に基づいて前記仮想キャラクターの習得語彙数を決定する学習部と、前記習得語彙数に応じて前記仮想キャラクターの設定年齢を決定する仮想キャラクター年齢決定部と、前記設定年齢に応じた前記仮想キャラクターの容姿データを表示させる仮想キャラクター生成部と、前記仮想キャラクターの発話内容を生成する会話生成部と、を備える。

前記仮想キャラクター年齢決定部は、前記習得語彙数が前記仮想キャラクターの設定年齢に対応する習得語彙数を上回った場合には、前記仮想キャラクターの設定年齢を増加させるものとしてもよい。

前記会話生成部は、パートナーの設定年齢に応じて語彙数を制限して発話内容を生成するものとしてもよい。

前記会話生成部は、前記学習部により蓄積された前記語彙を使用して前記発話内容を生成するものとしてもよい。

上記目的を達成するため、本発明の別の観点に係る対話システムの制御方法は、仮想キャラクターを生成し、学習者と対話させる対話システムの制御方法であって、前記学習者の発話に含まれる語彙を蓄積し、蓄積された前記語彙に基づいて前記仮想キャラクターの習得語彙数を決定する学習ステップと、前記習得語彙数に応じて前記仮想キャラクターの設定年齢を決定する仮想キャラクター年齢決定ステップと、前記設定年齢に応じた前記仮想キャラクターの容姿データを表示させる仮想キャラクター生成ステップと、前記仮想キャラクターの発話内容を生成する会話生成ステップと、を含む。

上記目的を達成するため、本発明のさらに別の観点に係るコンピュータプログラムは、仮想キャラクターを生成し、学習者と対話させる対話システムを制御するコンピュータプログラムであって、前記学習者の発話に含まれる語彙を蓄積し、蓄積された前記語彙に基づいて前記仮想キャラクターの習得語彙数を決定する学習命令と、前記習得語彙数に応じて前記仮想キャラクターの設定年齢を決定する仮想キャラクター年齢決定命令と、前記設定年齢に応じた前記仮想キャラクターの容姿データを表示させる仮想キャラクター生成命令と、前記仮想キャラクターの発話内容を生成する会話生成命令と、をコンピュータに実行させる。

なお、コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。

本発明によれば、仮想キャラクターとの対話を通じて、学習者の外国語技能、特に話す技能を効果的に向上させることができる。

本発明の実施形態に係る対話システムの構成及び機能を示した機能ブロック図である。 本発明の実施形態に係る対話システムに記憶されるデータテーブルの１例を示す図であって、（ａ）学習者の識別情報とパートナー情報とを格納する学習者テーブルの例、（ｂ）パートナーの習得語彙数とパートナーの設定年齢とを対応付けるパートナー情報テーブルの例である。 本発明の実施形態に係る対話システムにおいて実行される処理の１例を示したシーケンス図である。

●対話システム
以下、本発明の実施形態に係る対話システムについて、図を参照して説明する。
本実施形態に係る対話システムは、学習者と対話する仮想キャラクターを学習者端末上に表示させ、対話を通じて学習者の外国語の話す技能を向上させるものである。対話システムは、学習者の発話に含まれる語彙を蓄積し、蓄積された語彙数に応じて仮想キャラクターを成長させて表示する。すなわち、仮想キャラクターは、学習者とともに成長する、学習のパートナーである。そこで、以降の説明において、対話相手となる仮想キャラクターを、「パートナー」とも呼ぶ。

図１に示されるように、学習者は学習者端末２を利用し、これにより対話装置１とデータのやり取りを行う。学習者端末２は、例えば、データ通信可能なスマートデバイスやパーソナルコンピュータなどによって実現される。対話装置１は複数の学習者端末２が接続され、同時にそれぞれの学習者端末２と異なる会話を行えるようになっていてもよい。

学習者端末２は、主として、収音部２１、表示部２２および音声出力部２３を備える。収音部２１は、例えばマイクロホン等により実現され、学習者の発話内容を収音する装置である。表示部２２は、例えばディスプレイ又は映像投影装置等により実現され、対話装置１から取得されるパートナーの容姿を表示する。音声出力部２３は、例えばスピーカ等により実現され、対話装置１から取得されるパートナーの発言を音声出力する。また、学習者端末２は、これらの構成に加えて、学習者からの文字入力を受け付ける入力部を有していてもよい。入力部は、キーボードやタッチパネルにより実現されてよい。

対話装置１は、ネットワークで互いに接続された複数の装置により、対話システムとして構成されてもよい。また、対話システムを構成する装置の一部又は全部は、サーバ又はクラウドコンピュータにより実現されていてもよい。この対話装置１は例えば、CPU（Central Processing Unit）などの演算装置、CPUによって実行されるコンピュータプログラム、RAM（Random Access Memory）やROM（Read Only Memory）等の内部メモリ等を備えたサーバ等によって実現される。対話装置１はこれにより、ログイン部１１、収音制御部１２、学習部１３、パートナー年齢決定部１４、パートナー生成部１５、会話生成部１６、通信処理部１７、学習者情報記憶部１Ａ、パートナー情報記憶部１Ｂからなる機能ブロックを構成する。

ログイン部１１は、学習者端末２からの対話システムに対するログイン処理を受け付ける機能部である。ログイン部１１は、例えば学習者端末２から入力されるＩＤとパスワードを受け付ける。そして、学習者情報記憶部１Ａに記憶されているＩＤおよびパスワードと照合し、当該学習者端末２のログイン処理を行う。

収音制御部１２は、学習者端末２の収音部２１を介して、学習者の発話を取得する機能部である。

学習部１３は、収音制御部１２により取得される学習者の発話内容を解析することで、学習者の発話に含まれる語彙を蓄積し、蓄積された語彙に基づいて仮想キャラクターの習得語彙数を決定する機能部である。パートナーは、学習者との対話を通じて語彙を収集することで、パートナー自身の語彙力を向上させていく。学習部１３は、例えば蓄積した単語数を、パートナーの習得語彙数とする。また、学習部１３は、各単語について学習者の発話から収集した回数を記憶し、所定回数以上収集した場合に、パートナーが当該単語を習得したものとして、パートナーの習得語彙数としてもよい。単語の習得難易度が単語ごとにあらかじめ記憶されていて、習得に要する収集回数を習得難易度により異ならせてもよい。あらかじめ習得可能な単語リストが記憶されていて、対応する単語のみを習得できるようになっていてもよい。この構成によれば、誤った学習をするおそれが小さくなる。

なお、本実施形態では、学習部１３は、学習者との対話を通じて習得した語彙数を格納するものとしたが、例えば、語彙数に代えて又は加えて、１文の長さや構文の複雑性等を、学習者の対話を通じて学習し、格納してもよい。ただし、語彙数の大小により表される語彙力は、特に話者の年齢と相関の高い尺度であるので、後述するパートナーの設定年齢と対応付けるのに特に好適である。

図２（ａ）は、学習者情報記憶部１Ａに記憶される、学習者の識別情報と、当該学習者と対話するパートナーの情報とを格納する学習者テーブルＴ１０１の例である。学習者テーブルＴ１０１は、例えば、学習者がログイン処理時に入力するＩＤとパスワードを、学習者の情報と対応付けて記憶している。また、学習者テーブルＴ１０１には、学習者の識別情報（ＩＤ）と学習者の顔認証データとが関連付けて記憶されていてもよい。この場合、ログイン部１１は、学習者端末２に適宜備えられる撮像部により撮像した顔画像を、学習者の顔認証データと照合してログイン処理を行う。

また、学習者テーブルＴ１０１には、当該学習者と対話するパートナーの情報が格納されていてもよい。パートナーの情報は、パートナーの設定年齢の他、学習者が適宜選択できるパートナーの性別や容姿の設定情報を含んでいてもよい。また、パートナーの情報は、学習者が適宜選択できるパートナーの声色、発話スピード、学習対象の外国語の種類の情報を含んでいてもよい。

さらに、学習者テーブルＴ１０１に格納されるパートナーの情報として、パートナーの居住地や家族構成、通所する施設(子ども園)、興味関心があるもの、好きな食べ物や色などパートナーの個性を決めるために有効な条件や属性が格納されていてもよい。これらの情報は、パートナーの初回選定時に、学習者により設定されてよい。このような構成によれば、学習者は親近感を持ってストレスなくパートナーと会話ができる。学習者は、パートナーの設定年齢を自身の年齢以下に設定してもよい。例えば、学習者は、自分より年少のパートナーを設定する場合に、過去の自分の情報を登録することもできる。そうすることで、学習者は、幼い頃の自分を育成する感覚を味わうことができ、一層親近感を持って熱心に学習を継続できる。また、パートナーの情報として、職業が登録されていてもよい。設定した職業に応じて、当該職業の分野で用いられる語彙を使用して会話するようになってもよい。パートナーの設定年齢が所定以上になると、職業が選択できるようになっていてもよい。

また、学習者テーブルＴ１０１は、当該学習者が対話するパートナーが習得した語彙数が記憶されている。さらに、各単語の属する分野があらかじめ記憶されていて、例えば習得語彙数が所定以上のパートナーに対しては、分野ごとに習得している語彙数が格納されていてもよい。

図２（ｂ）は、パートナーの習得語彙数とパートナーの設定年齢とを対応付けるパートナー情報テーブルＴ１０２の例である。語彙数と設定年齢とは、人間の子供が成長を通じて言語を習得する場合の、年齢と語彙数との関係と同様に対応付けられている。すなわち、話し始めたばかりの１歳程度の子供の習得語彙数が１０語程度であることから、パートナーが１０語前後の語彙数を習得している場合には、パートナーの設定年齢は1歳となる。なお、学習開始時におけるパートナーの設定年齢は、学習者が任意に選択できる。例えば、１２歳の学習者は、自身がストレスなく会話できるパートナーとして３歳の男の子を選択してもよい。

パートナー情報テーブルＴ１０２には、パートナーの容姿に関するデータ（以降、「容姿データ」ともいう。）およびパートナーの声のデータである音声データが設定年齢と対応付けられて記憶されている。容姿データは、静止画の他、動画であってもよく、立体画像又は立体映像でもよい。パートナーの容姿および声は、パートナーの設定年齢に合わせて変化する。

パートナー年齢決定部１４は、パートナーが習得した語彙数に応じて、パートナーの設定年齢を決定する機能部である。パートナー年齢決定部１４は、習得語彙数がパートナーの設定年齢に対応する語彙数を上回った場合には、パートナーの設定年齢を増加させる。なお、パートナーの設定年齢が減少することはない。

パートナー生成部１５は、主として、学習者端末２の表示部２２にパートナーを表示させる機能部である。パートナー生成部１５は、パートナー年齢決定部１４により決定された設定年齢に応じた容姿データを、表示部２２に表示させる。パートナーの習得語彙数が増えると、パートナーは習得語彙数に相応して成長し、容姿が変更される。すなわち、パートナーの成長は外見上も明確になっている。

会話生成部１６は、パートナーの発話内容を生成する機能部である。会話生成部１６は、所定の学習スケジュールに沿って発話を行ってもよいし、学習者の発話内容を解析して応答してもよい。

会話生成部１６は、パートナーの設定年齢に応じて語彙数を制限して発話内容を生成する。設定年齢が低い場合には子供のように少ない語彙で発話し、設定年齢が高くなるほど、豊富な語彙で発話するようになる。語彙数は、パートナー情報記憶部１Ｂに記憶されている、設定年齢に対応する習得語彙数であってよい。また、設定年齢ごとの習得語彙のリストがあらかじめ記憶されていて、当該リスト内の単語を使用して発話内容を生成するようになっていてもよい。上述のような構成によれば、年相応又は容姿相応の話し方をするため、パートナーとの会話に臨場感が生まれる。また、設定された職業に応じて、当該職業が属する分野の語彙リストを参照し、当該単語リストに含まれる語彙を使用して発話内容を生成してもよい。

また、会話生成部１６は、学習部１３により習得したものとされた語彙を使用して発話内容を生成してもよい。この場合、会話生成部１６は、学習部１３により蓄積された語彙、又は、学習者が複数回以上発話した語彙を使用して発話内容を生成する。複数回インプットされたことで当該単語を習得し、当該単語が使用できるように構成することで、パートナーの成長の様子に一層の臨場感を与えることができる。

会話生成部１６は、パートナーの設定年齢に応じて１文の長さや構文の複雑性を決定し、設定年齢に応じた会話を行ってもよい。また、会話生成部１６は、パートナーの設定年齢に応じて話題を選択してもよい。会話生成部１６は、パートナーが習得している語彙数の多い分野の話題を選択してもよい。また、会話生成部１６は、学習者からの提案により話題を決定してもよい。会話の生成処理は、機械学習技術やＡＩ技術等、適宜の技術が適用できる。

パートナーは、選択により赤ちゃん又は幼児の姿をしており、指導者ではなく、あくまで一緒に外国語を習得する相棒、すなわち学習パートナーである。また、パートナーは、学習者が言葉を教える年少者のような存在であってもよい。学習者がパートナーと会話を重ねることでパートナーも学習し、様々な単語を使用して複雑な会話をするようになる。すなわち、学習者の学習度合いに応じてパートナーも成長するように構成されている。会話を重ねてパートナーの語彙が増えるほど、パートナーの成長は速くなる。パートナーは学習者と生活時間を共有しており、朝の挨拶等時刻に則した発言を行う一方で、カレンダーは語彙力の増加速度によって速く進んだり停滞したりする。

このような構成により、学習者は、一方的に教わる構成とは異なり、主体性を持って外国語学習に取り組むことができる。また、自身の学習に応じてパートナーが成長するため、シミュレーションゲームのようなゲーム性があり、楽しんで学習が継続できる。さらに、パートナーは語彙数に則した年齢に成長するため、学習者は臨場感のある育成体験ができる。

通信処理部１７は、学習者端末２と、インターネット等のネットワークＮＷを介して各種のデータの送受信を実行する。
具体的に、学習者端末２との間では、パートナーと学習者の音声および映像の送受信を行う。
なお、学習者端末２を介したデータのやり取りは、所定のウェブサイト上に設けた学習者のマイページ等を介して行ったり、専用のアプリケーションを介して行ったりするなど、各種の態様によることができる。

●処理の流れ
図３は、対話装置１において実行される処理の１例を示したシーケンス図である。
まず、学習者端末２がログイン処理を行うと（Ｓ１０１）、対話装置１はこれを受信し、学習者テーブルＴ１０１を参照して認証する（Ｓ１０２）。また、対話装置１は学習者テーブルＴ１０１を参照して、当該学習者に設定されるパートナーを生成し、学習者端末２の表示部２２にパートナーを表示させる（Ｓ１０３）。

学習者が発言をすると収音部２１がこれを収音し（Ｓ１０４）、対話装置１により収音される（Ｓ１０５）。次いで、会話生成部１６により、収音された発言に対する返答が生成されて学習者端末２に送信される（Ｓ１０６）。この返答は、音声出力部２３を介して音声として再生される。なお、ステップＳ１０４およびＳ１０５と、ステップＳ１０６とは順不同であり、まず対話装置１からパートナーが発言し、これに対し学習者が返答してもよい。

次いで、対話装置１は、学習部１３により、学習者の音声を解析し、語彙を蓄積し、蓄積された語彙数に基づいて習得語彙数を決定する（Ｓ１０７）。次いで、習得語彙数が、生成されているパートナーの設定年齢に対応する語彙数を上回っている場合には、パートナーの設定年齢を増加させる（Ｓ１０８）。次いで、パートナー生成部１５により、設定年齢に則したパートナーを生成し、学習者端末２の表示部２２にパートナーを表示させる（Ｓ１０９）。ステップＳ１０４乃至Ｓ１０９は適宜繰り返される。

以上の本発明の実施形態に係る対話システムによれば、学習者との対話から語彙を収集し、収集状況に応じて対話相手であるパートナーの設定年齢を変化させることで、学習者の外国語技能、特に話す技能を効果的に向上させることができる。

なお、以上の本実施形態に係る対話システムにおいて、各端末又は装置の機能構成は一例であり、本例で示した機能部が、本例とは異なる端末又は装置に備えさせることもできる。

１ 対話装置
１１ ログイン部
１２ 収音制御部
１３ 学習部
１４ パートナー年齢決定部（仮想キャラクター年齢決定部）
１５ パートナー生成部（仮想キャラクター生成部）
１６ 会話生成部
１７ 通信処理部
１Ａ 学習者情報記憶部
１Ｂ パートナー情報記憶部
２ 学習者端末
ＮＷ ネットワーク

Claims (6)

1. 仮想キャラクターを生成し、学習者と対話させる対話システムであって、
   前記学習者の発話に含まれる語彙を蓄積し、蓄積された前記語彙に基づいて前記仮想キャラクターの習得語彙数を決定する学習部と、
   前記習得語彙数に応じて前記仮想キャラクターの設定年齢を決定する仮想キャラクター年齢決定部と、
   前記設定年齢に応じた前記仮想キャラクターの容姿データを表示させる仮想キャラクター生成部と、
   前記仮想キャラクターの発話内容を生成する会話生成部と、
   を備える、
   対話システム。
   
2. 前記仮想キャラクター年齢決定部は、前記習得語彙数が前記仮想キャラクターの設定年齢に対応する習得語彙数を上回った場合には、前記仮想キャラクターの設定年齢を増加させる、
   請求項１記載の対話システム。
   
3. 前記会話生成部は、パートナーの設定年齢に応じて語彙数を制限して発話内容を生成する、
   請求項１又は２記載の対話システム。
   
4. 前記会話生成部は、前記学習部により蓄積された前記語彙を使用して前記発話内容を生成する、
   請求項１乃至３のいずれかに記載の対話システム。
   
5. 仮想キャラクターを生成し、学習者と対話させる対話システムの制御方法であって、
   前記学習者の発話に含まれる語彙を蓄積し、蓄積された前記語彙に基づいて前記仮想キャラクターの習得語彙数を決定する学習ステップと、
   前記習得語彙数に応じて前記仮想キャラクターの設定年齢を決定する仮想キャラクター年齢決定ステップと、
   前記設定年齢に応じた前記仮想キャラクターの容姿データを表示させる仮想キャラクター生成ステップと、
   前記仮想キャラクターの発話内容を生成する会話生成ステップと、
   を含む、
   対話システムの制御方法。
   
6. 仮想キャラクターを生成し、学習者と対話させる対話システムを制御するコンピュータプログラムであって、
   前記学習者の発話に含まれる語彙を蓄積し、蓄積された前記語彙に基づいて前記仮想キャラクターの習得語彙数を決定する学習命令と、
   前記習得語彙数に応じて前記仮想キャラクターの設定年齢を決定する仮想キャラクター年齢決定命令と、
   前記設定年齢に応じた前記仮想キャラクターの容姿データを表示させる仮想キャラクター生成命令と、
   前記仮想キャラクターの発話内容を生成する会話生成命令と、
   をコンピュータに実行させる、
   コンピュータプログラム。
   
   

Images