JP2011017947A - 穴埋問題生成装置及びそのプログラム - Google Patents

穴埋問題生成装置及びそのプログラム Download PDF

Info

Publication number
JP2011017947A
JP2011017947A JP2009163291A JP2009163291A JP2011017947A JP 2011017947 A JP2011017947 A JP 2011017947A JP 2009163291 A JP2009163291 A JP 2009163291A JP 2009163291 A JP2009163291 A JP 2009163291A JP 2011017947 A JP2011017947 A JP 2011017947A
Authority
JP
Japan
Prior art keywords
sentence
blank
candidate
burial
option
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009163291A
Other languages
English (en)
Other versions
JP5182954B2 (ja
Inventor
Tomoharu Iwata
具治 岩田
Takeshi Yamada
武士 山田
Tomoko Kojiri
智子 小尻
Toyohide Watanabe
豊英 渡邉
Takuya Goto
拓也 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Original Assignee
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya University NUC, Nippon Telegraph and Telephone Corp filed Critical Nagoya University NUC
Priority to JP2009163291A priority Critical patent/JP5182954B2/ja
Publication of JP2011017947A publication Critical patent/JP2011017947A/ja
Application granted granted Critical
Publication of JP5182954B2 publication Critical patent/JP5182954B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】個別学習に適した穴埋問題を生成できる穴埋問題生成技術を提供することを目的とする。
【解決手段】穴埋問題生成装置4は、優先度学習により学習した優先度情報413に基づいて優先度が高い順に穴埋問題文候補を選択する問題文選択手段52と、穴埋問題文に含まれる単語を系列として扱う系列ラベリングにより学習した空欄統計情報414に基づいて穴埋問題文候補における空欄を決定する空欄決定手段53と、空欄に対応する誤選択肢候補を生成する誤選択肢候補生成手段54aと、誤選択肢候補を穴埋問題文の空欄に挿入した検索文でインターネット検索を行い、インターネット検索に失敗した検索文における誤選択肢候補を誤選択肢として選択する誤選択肢選択手段54bとを備える。
【選択図】図6

Description

本発明は、コンピュータを用いた個別学習に関し、特に、コンピュータを用いて穴埋問題を生成する問題生成(Question generation)技術に関する。
学習者が個々に学習を進める形態として、個別学習が知られている。これまで、個別学習で利用する問題は、教師等の専門家によって作成されることが一般的であった。近年、イーラーニング(e-learning)の普及に伴って、ネットワークを介して、コンピュータを用いての個別学習が拡大しつつある。このため、個別学習では、個々の学習者に合わせた大量の問題が必要とされている。
このことから、現在、英文等の一部を空欄とした穴埋問題を生成する技術が提案されている(例えば、非特許文献1,2参照)。非特許文献1,2に記載の技術では、英文に出現する動詞や形容詞を空欄とする。これによって、非特許文献1,2に記載の技術では、特定の品詞を問う穴埋問題の生成を可能としている。
また、個別学習では、空欄を決定するだけでなく、誤った選択肢となる誤選択肢を生成する必要もある。例えば、非特許文献1,2に記載の技術では、類語辞典などを用いて類義語や反義語を誤選択肢として生成する。これによって、非特許文献1,2に記載の技術では、学習者の語彙能力を測る穴埋問題の生成も可能としている。
隅田英一郎,菅谷史昭,山本誠一,"英語能力測定のための空所補充問題の自動生成手法",信学技報,Vol.104,No.503(2004),pp.17-22. Yi-Chien Lin,Li-Chun Sung,and Meng Chang Chen,"An Automatic Multiple-Choice Question Generation Scheme for English Adjective Understanding",ICCE 2007 Workshop Proc. of Modeling, Management and Generation of Problems / Questions in eLearning(2007),pp.137-142.
非特許文献1,2をはじめとする従来技術では、以下のような問題がある。例えば、非特許文献1,2に記載の技術では、学習者自身が複数の英文から問題となる英文を1文選択する必要がある。しかし、学習者自身が、無数に存在する文章から穴埋問題に適した英文を選択することは困難である。
また、問題の難易度を左右することから、穴埋問題に適切な英文を選択することは重要である。例えば、文法的に正しく、一般によく使われる単語や品詞から構成されている文章は、問題文として適している。一方、固有名詞を多く含む文章、会話文、及び、文法的に正しくない文章は、問題文として不適切である。しかし、文章が穴埋問題に適しているかを判定可能な穴埋問題生成技術は、提案されていない。
また、穴埋問題における空欄は、学習者が学習する文法や語彙を示しており、空欄に置き換える単語や品詞も問題の難易度を大きく左右する要因である。ここで、従来技術のように、特定の品詞のみを空欄にする手法や、問題文中で学習者が指定した単語の頻出度に近い単語を空欄として決定する手法では、問題文中で空欄に置き換えられる単語が限定されることが多かった。しかし、空欄の決定には問題文の構造が影響するため、特定の品詞や単語の頻出度等の語彙レベルに限定されない、柔軟な穴埋問題生成技術が強く要望されている。
また、誤選択肢も問題の難易度に大きく影響を及ぼす。例えば、誤選択肢が正解選択肢の品詞や意味と全く異なるものである場合には、学習者が容易に正解することが可能である。一方、誤選択肢が正解選択肢と同じ品詞や似た意味を持つ単語である場合には、問題の難易度は高くなる。しかし、従来技術のように、正解選択肢の単語の類義語や反義語から誤選択肢群を生成する手法や、正解選択肢の単語とその頻出度に応じた語彙レベルが近い単語を誤選択肢群として用いる手法では、語彙を問う穴埋問題の生成に限定されている。このため、文法も学習可能な穴埋問題を生成する穴埋問題生成技術が強く要望されている。
そこで、本発明は、前記した課題を解決し、個別学習に適した穴埋問題を生成できる穴埋問題生成技術を提供することを目的とする。
専門家が穴埋問題を作成する際、経験に基づいて、学習目的に応じた問題文を選択し、空欄や誤選択肢を決定している。つまり、専門家の問題作成の知識は、既に作成された穴埋問題から取得できると考えられる。そこで、本願発明者らは、既存穴埋問題の単語や文法に関する統計情報を機械学習することで、専門家の経験的な知識を穴埋問題に反映できることを見出し、本発明を完成させた。
具体的には、本願第1発明に係る穴埋問題生成装置は、外部から入力された穴埋問題文候補に含まれる1以上の単語を空欄に置き換えた穴埋問題文と、前記空欄に置き換えた前記1以上の単語である正解選択肢と、当該正解選択肢と異なる選択肢である誤選択肢とで構成される穴埋問題を生成する穴埋問題生成装置において、形態素が付加された前記穴埋問題文候補が複数入力され、優先度学習により予め学習した優先度情報に基づいて、前記穴埋問題文候補毎に優先度を算出すると共に、当該優先度が高い順に前記穴埋問題文候補を選択する問題文選択手段と、前記穴埋問題文候補に含まれる前記単語を系列として扱う系列ラベリングにより予め学習した空欄統計情報に基づいて、前記問題文選択手段が選択した前記穴埋問題文候補における前記空欄を決定する空欄決定手段と、前記誤選択肢の候補である誤選択肢候補を生成する生成規則が予め設定され、当該生成規則に基づいて、前記空欄決定手段が決定した前記空欄に対応する前記誤選択肢候補を生成する誤選択肢候補生成手段と、前記誤選択肢候補毎に、当該誤選択肢候補を前記穴埋問題文の前記空欄に挿入した検索文でインターネット検索を行い、前記インターネット検索に失敗した前記検索文における前記誤選択肢候補を前記誤選択肢として選択して、前記穴埋問題を出力する誤選択肢選択手段と、を備えることを特徴とする。
まず、穴埋問題生成装置は、穴埋問題文候補として、学習者が個々に用意した文章(例えば、書籍、ニュース、コラム、論文、インターネット上のドキュメント等の英語文章)が複数入力される。つまり、学習者は、それぞれの好みや興味に応じた文章を、穴埋問題文候補として予め用意しておく。このとき、例えば、穴埋問題文候補には、それぞれに含まれる1個1個の単語に形態素(Part-of-speech tag)を付加しておく。
次に、穴埋問題生成装置は、穴埋問題文候補から、穴埋問題に適した文章(穴埋問題文候補)を選択する。入力された穴埋問題文候補を用いて個別学習する場合、より適切な穴埋問題文候補から順に穴埋問題を生成することが好ましい。そこで、穴埋問題生成装置は、優先度学習により学習した優先度情報を用いて、優先度が高い順に穴埋問題文候補を選択する。これによって、穴埋問題生成装置は、穴埋問題文として不適切な文章(例えば、固有名詞が多い文章や会話文)を穴埋問題文として選択することを少なくできる。なお、優先度学習とは、各々のサンプル間の類似度から、入力されたサンプル内の優先度を算出することによって、サンプルを相対的に分類する手法である。この優先度学習としては、例えば、Ranking Voted Perceptron法(以下、「RVP法」と略記する)、及び、RocSVM(Rocchio Support Vector Machine)法があげられる。
そして、穴埋問題生成装置は、穴埋問題文における空欄を決定する。ここで、文章は、単語や形態素の列から構成されている。つまり、空欄の決定は、単語や形態素の列に「空欄」というラベルを付ける問題と言い換えることができる。そこで、穴埋問題生成装置は、穴埋問題文における空欄の決定を系列ラベリング問題として扱い、穴埋問題文に含まれる単語に、空欄を意味するラベル付けを行う。これによって、穴埋問題生成装置は、穴埋問題文における空欄に置き換えられる単語の偏りを少なくできる。このとき、穴埋問題生成装置は、既存穴埋問題に含まれる単語と形態素との系列情報を学習データとして機械学習した空欄統計情報を予め記憶しておく。この機械学習としては、例えば、条件付き確率場(CRF:Conditional Random Fields)、隠れマルコフモデル(HMM:Hidden Markov Model)、及び、最大エントロピーマルコフモデル(MEMM:Maximum Entropy Markov Model)があげられる。
さらに、穴埋問題生成装置は、誤選択肢を生成する。このとき、正解選択肢で空欄を埋めた穴埋問題文は、意味的・文法的に正しい文でなければならず、一方、誤選択肢で空欄を埋めた穴埋問題文は、意味的・文法的に正しい文であってはならない。つまり、穴埋問題生成装置は、正しい文となる誤選択肢候補を削除し、意味的・文法的に誤りとなる誤選択肢候補を誤選択肢として選択する必要がある。そこで、穴埋問題生成装置は、生成した誤選択肢候補で穴埋問題文の空欄を埋めた検索文を生成し、これを検索条件としてインターネット検索を行う。そして、穴埋問題生成装置は、インターネット検索に失敗した検索文における誤選択肢候補を誤選択肢として選択する。このようにして、穴埋問題生成装置は、個別学習に適した穴埋問題を生成する。
また、本願第2発明に係る穴埋問題生成装置は、既に作成された前記穴埋問題(既存穴埋問題)において前記空欄に置き換えられた前記1以上の単語の形態素と前記生成規則との対応関係を示す統計パターンを記憶する記憶手段をさらに備え、前記誤選択肢候補生成手段は、前記統計パターンを参照して、前記穴埋問題文において前記空欄に置き換えられた前記1以上の単語の形態素に対応した前記生成規則を用いて前記誤選択肢候補を生成することを特徴とする。
ここで、既存穴埋問題における誤選択肢の生成規則を分析し、その統計パターンを記憶させておく。そして、穴埋問題生成装置は、この統計パターンに基づいて、誤選択肢候補を生成する。これによって、穴埋問題生成装置は、語彙だけでなく、文法も学習可能な穴埋問題を生成する
また、本願第3発明に係る穴埋問題生成装置は、前記外部から前記穴埋問題文候補が複数入力され、入力された当該穴埋問題文候補を形態素解析すると共に、形態素を付加した前記穴埋問題文候補を前記問題文選択手段に出力する形態素付加手段をさらに備えることを特徴とする。これによって、穴埋問題生成装置は、学習者自身で穴埋問題文候補に形態素を付加する必要がなくなり、学習者にとって利便性が良い。
また、本願第4発明に係る穴埋問題生成プログラムは、コンピュータを、本願第1発明から本願第3発明までの何れかの穴埋問題生成装置の各手段として動作させることを特徴とする。このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。
本発明によれば、専門家の経験的な知識を反映させて、個別学習に適した穴埋問題を生成できる穴埋問題生成技術を提供することができる。
本発明における、個別学習システムの概略を説明する図である。 本発明における、個別学習システムの構成を示すブロック図である。 本発明における、問題入力画面の一例を示す図である。 本発明における、学習画面の一例を示す図である。 本発明の第1実施形態に係る穴埋問題生成装置の機能を説明する図である。 本発明の第1実施形態に係る穴埋問題生成装置の構成を示すブロック図である。 図6の穴埋問題生成装置が用いるRVP法のアルゴリズムを説明する図である。 本発明に係る穴埋問題生成プログラムをインストールされたコンピュータのブロック図である。 図6の穴埋問題生成装置の動作を示すフローチャートである。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
[個別学習システムの概略]
以下、図1及び図2を参照し、本発明の第1実施形態に係る穴埋問題生成装置4を利用した、個別学習システム1の概略について、説明する。個別学習システム1は、例えば、英語の穴埋問題を生成して学習者の個別学習を支援するものである。なお、穴埋問題生成装置4が個別学習装置3に内蔵されていることから、図1には図示していない。
前記したように、従来技術では、学習者自身が複数の英文から問題となる英文を1文選択する必要がある。しかし、学習者自身が、無数の文章から穴埋問題に適した英文を選択することは困難である。図1に示すように、学習者は、それぞれの好みや興味に応じた文章(図1では、英文)を複数用意し、これらを個別学習装置3に入力する。すると、個別学習装置3は、学習者が入力した文章から穴埋問題文として適切なものを選択し、さらに、誤選択肢を生成し、穴埋問題(図1では、問題と図示)として出力する。そして、学習者は、個別学習装置3が出力した穴埋問題を回答することによって、個別学習を行う。
このため、図2に示すように、個別学習システム1は、学習者端末装置2と、個別学習装置3とを備える。ここで、学習者端末装置2は、個別学習装置3とインターネット等のネットワーク(不図示)介して接続している。なお、図2では、説明のため、1台の学習者端末装置2のみを図示したが、個別学習システム1は、学習者端末装置2を複数台備えても良い。
学習者端末装置2は、学習者が個別学習に用いる端末装置である。例えば、学習者端末装置2は、マウス、キーボード等の入力手段(不図示)、ディスプレイ等の出力手段(不図示)を備え、インタネットーブラウザ(不図示)がインストールされた一般的なコンピュータである。
個別学習装置3は、学習者が個別学習に用いる穴埋問題を生成する装置であり、問題入力画面提示手段31と、穴埋問題文候補取得手段32と、穴埋問題生成装置4と、学習画面提示手段33とを備える。
問題入力画面提示手段31は、学習者が文章(穴埋問題文候補)を入力する問題入力画面Sc1(図3参照)を学習者端末装置2に提示する。例えば、問題入力画面提示手段31は、問題入力画面Sc1となるHTML(HyperText Markup Language)データを生成して学習者端末装置2に出力する。この問題入力画面Sc1は、図3に示すように、学習者が文章(穴埋問題文候補)を複数入力可能なテキストボックスTxと、テキストボックスTxに入力された文章(穴埋問題文候補)を個別学習装置3に送信する送信ボタンBt1とを含んでいる。なお、図3では、テキストボックスTx内の「This is the building where we had our first office.・・・」は、学習者が入力した文章(穴埋問題文候補)の一例である。
ここで、問題入力画面提示手段31からHTMLデータが出力されると、学習者端末装置2は、インタネットーブラウザに問題入力画面Sc1が表示される。そして、学習者は、例えば、書籍、ニュース、コラム、論文、インターネット上のドキュメント等の文章を、問題入力画面Sc1のテキストボックスTxにコピー&ペーストする。その後、学習者が問題入力画面Sc1の送信ボタンBt1をクリックすると、テキストボックスTxに入力された文章(穴埋問題文候補)が個別学習装置3に送信される。
穴埋問題文候補取得手段32は、学習者端末装置2から送信された文章(穴埋問題文候補)を取得し、穴埋問題生成装置4に出力する。ここでは、例えば、穴埋問題文候補取得手段32は、図3の問題入力画面のテキストボックスTxに入力された「This is the building where we had our first office.」を含む複数の文章を、穴埋問題文候補として取得する。
穴埋問題生成装置4は、穴埋問題文候補取得手段32からの穴埋問題文候補に含まれる1以上の単語を空欄に置き換えた穴埋問題文と、空欄に置き換えた1以上の単語である正解選択肢と、正解選択肢と異なる選択肢である誤選択肢とで構成される穴埋問題を生成する。なお、穴埋問題生成装置4の詳細は、後記する。
学習画面提示手段33は、穴埋問題生成装置4が生成した穴埋問題に基づいて学習画面Sc2(図4参照)を生成し、この学習画面Sc2を学習者端末装置2に提示する。例えば、学習画面提示手段33は、学習画面Sc2となるHTMLデータを生成して学習者端末装置2に出力する。この学習画面Sc2は、図4に示すように、例えば、「This is the building ( ) we had our first office.」という穴埋問題文と、「where」という正解選択肢と、「what」、「which」及び「when」という誤選択肢とを含んでいる。また、この学習画面Sc2は、例えば、学習者が選択した選択肢を示すラジオボタンRbと、ラジオボタンRbで選択した選択肢が正解であるか否かを判定する回答ボタンBt2とを含んでいる。さらに、この学習画面Sc2には、回答ボタンBt2がクリックされると、学習者が選択した選択肢が正解であるか否かを判定し、選択肢に応じて正解ダイアログボックス又は誤答ダイアログボックスを出力するスクリプト(不図示)が含まれている。なお、この例では、穴埋問題文における空欄は、カッコ書きの部分である。
ここで、学習画面提示手段33からHTMLデータが出力されると、学習者端末装置2は、インタネットーブラウザに学習画面Sc2が表示される。すると、学習者は、「This is the building ( ) we had our first office.」という穴埋問題文において、穴埋にふさわしい選択肢「what」、「which」、「where」又は「when」に対応するラジオボタンRbを選択し、回答ボタンBt2をクリックする。ここで、学習者が「where」という正解選択肢を選択した場合、学習者端末装置2には、正解メッセージを含む正解ダイアログボックスが表示される。一方、学習者が「what」、「which」又は「when」という誤選択肢を選択した場合、学習者端末装置2には、誤答メッセージを含む誤答ダイアログボックスが表示される。以上のようにして、個別学習システム1では、学習者が個別学習を行うことができる。
[穴埋問題生成装置の構成]
以下、穴埋問題生成装置4の詳細について、説明する。図5に示すように、穴埋問題生成装置4は、大きく、1)学習者が入力した文章から適切な問題文を選択、2)選択した穴埋問題文候補における空欄を決定、及び、3)誤選択肢を生成という機能を備える。そして、これら機能を実現するために、図6に示すように、穴埋問題生成装置4は、記憶手段41と、優先度学習手段42と、空欄統計情報学習手段43と、統計パターン学習手段44と、形態素付加手段51と、問題文選択手段52と、空欄決定手段53と、誤選択肢生成手段54とを備える。
なお、図6では、優先度学習手段42、空欄統計情報学習手段43、及び、統計パターン学習手段44が、穴埋問題を生成するために必要となる各種情報を生成して記憶手段41に記憶する。また、形態素付加手段51、問題文選択手段52、空欄決定手段53、及び、誤選択肢生成手段54が、記憶手段41に記憶した各種情報を用いて穴埋問題を生成する。
記憶手段41は、既存穴埋問題文情報411と、ラベル付既存穴埋問題文情報412と、優先度情報413と、空欄統計情報414と、類語辞書415と、単語辞書416と、活用語リスト417と、統計パターン418とを記憶するメモリ又はハードディスクである。
既存穴埋問題文情報411は、専門家が学習問題として作成した複数の既存穴埋問題の問題文と、その問題文に含まれる単語毎の形態素とを含む情報である。第1実施形態では、例えば、既存穴埋問題として、TOEIC(登録商標)の穴埋問題を用いている。なお、この既存穴埋問題文情報411は、例えば、オペレータによって予め記憶手段41に記憶される。
ラベル付既存穴埋問題文情報412は、既存穴埋問題文情報411に含まれる穴埋問題文の単語毎に固有表現のラベルが付加された情報である。このラベル付既存穴埋問題文情報412は、例えば、オペレータによって予め記憶手段41に記憶される。なお、ラベルの詳細については、後記する。
優先度情報413は、後記する優先度学習手段42が優先度学習によって生成した学習データである。なお、この優先度情報413は、後記する問題文選択手段52が参照する。
空欄統計情報414は、後記する空欄統計情報学習手段43が系列ラベリングによって生成した学習データである。なお、この空欄統計情報414は、後記する空欄決定手段53が参照する。
類語辞書415は、穴埋問題文に含まれる単語に類似する意味を有する類義語、及び、この単語と反対の意味を有する反義語が登録された辞書である。この類語辞書415は、後記する誤選択肢生成手段54が参照する。なお、この類語辞書415は、オペレータによって予め記憶手段41に記憶される。
単語辞書416は、穴埋問題文に含まれる単語が登録された辞書である。この単語辞書416は、後記する誤選択肢生成手段54が参照する。なお、この単語辞書416は、オペレータによって予め記憶手段41に記憶される。
活用語リスト417は、穴埋問題文に含まれる単語の活用語が登録されたリストである。この活用語リスト417は、後記する誤選択肢生成手段54が参照する。なお、この活用語リスト417は、オペレータによって予め記憶手段41に記憶される。
統計パターン418は、既存穴埋問題において空欄に置き換えられた1以上の単語の形態素と生成規則との対応関係を示す情報である。ここで、生成規則は、誤選択肢を生成する様々な規則を示す。なお、この統計パターン418は、後記する誤選択肢生成手段54が参照する。
優先度学習手段42は、記憶手段41のラベル付既存穴埋問題文情報412を参照し、優先度学習を行って優先度情報413を生成して、記憶手段41に記憶させる。以下、図7を参照し、RVP法による優先度学習の一例を説明する(適宜図6参照)。なお、このRVP法の詳細は、例えば、文献「Michael Collins, and Nigel Duffy,“New Ranking Algorithms for Parsing and Tagging:Kernels over Discrete Structures, and the Voted Perceptron”,Proc.of 40th Annual Meeting of the Association for Computational Linguistics (2007),pp.263-270.」に記載されている。
図7では、xi0は、既存穴埋問題の問題文を正解選択肢で埋めた文章であり、これが正例である。また、図7では、xi1,・・・,xij及びyは、任意の文章であり、これが候補である。さらに、図7では、h(xi0)・h(y)は、文章xi0と文章yとの単語及び文法の類似度を示す。そして、図7では、h(xij)・h(y)は、文章xijと文章yとの単語及び文法の類似度を示す。そして、図7では、G(y)は文章xi0と文章yとの優先度を示し、αijは重みを示すパラメータであり、argmaxは、G(xij)を最大化する値を返す関数を示す。
ここで、優先度学習手段42は、h(xij)・h(y)を下記の式(1)及び式(2)によって算出する。なお、式(2)に示すように、k(xij,y)は、文章xijと文章yとの単語の一致数を示すunigram(xij,y)と、文章xijと文章yとの形態素の一致数を示すposunigram(xij,y)との合計値である。つまり、文章xi0と文章yとの類似度が高い場合、優先度G(y)は、より高い値となる。このとき、優先度学習手段42は、候補の文章の類似度が正例の文章の類似度を超えた場合、その値を「1」とし、候補の文章の類似度が高い値とならないように学習する。なお、優先度学習手段42は、この式(1)及び式(2)の他、単語や品詞の系列の一致数や、構文木の一致数を用いても良い。
Figure 2011017947
Figure 2011017947
なお、優先度学習手段42は、RVP法以外に、RocSVM法を用いて優先度学習を行うこともできる。このRocSVM法の詳細は、例えば、文献「Xaioli Li,Bing Liu ,“Learning to Classify Texts Using Positive and Unlabeled Data”」に記載されている。
空欄統計情報学習手段43は、記憶手段41のラベル付既存穴埋問題文情報412を参照し、系列ラベリングを用いて空欄統計情報414を生成して、記憶手段41に記憶させる。例えば、空欄統計情報学習手段43は、穴埋問題文における空欄を固有表現として扱い、IOB2フォーマットを用いて表現する。このIOB2フォーマットは、「I」タグ、「O」タグ及び「B」タグという3種類のタグが定義される。具体的には、空欄統計情報学習手段43は、系列(穴埋問題文)に含まれる単語が、空欄の先頭に位置する場合、「B」タグを付加する。また、空欄統計情報学習手段43は、空欄が複数の単語にわたる場合、2語目以降に位置する単語には、「I」タグを付加する。そして、空欄統計情報学習手段43は、空欄以外の単語、つまり、固有表現ではない単語には「O」タグを付加する。
以下、「His doctor urged him to ( ) doing hard exercise.」という穴埋問題文と、この空欄の正解選択肢「give up」とを例に、IOB2フォーマットについて説明する。この例では、表1に示すように、空欄の先頭となる単語「give」に「B」タグが付加され、これに続く単語「up」に「I」タグが付加され、空欄に位置していない単語には「O」タグが付加されている。
Figure 2011017947
ここで、空欄統計情報学習手段43は、例えば、系列ラベリングとして、条件付き確率場を用いる。この場合、空欄統計情報学習手段43は、ラベル付既存穴埋問題文情報412に含まれる空欄に対応する1以上の単語の形態素を条件付き確率場によって学習し、空欄統計情報414を生成する。なお、条件付き確率場の詳細は、例えば、文献「John Lafferty,Andrew McCallum, and Fernando Pereira,“Conditional Random Fields:Probabilistic Models for Segmenting and Labeling Sequence Data”,Proc. of ICML 2001,(2001),pp.282-289.」に記載されている。
また、空欄統計情報学習手段43は、系列ラベリングとして、特開2008−225907号公報に記載の発明を用いても良い。この場合、空欄統計情報学習手段43は、ラベルなしデータ(つまり、既存穴埋問題文情報411)を利用し、学習済み識別モデル用パラメータベクトル集合とモデル統合用パラメータ集合とを学習し、生成モデル用パラメータベクトル集合を決定する。また、この場合、空欄統計情報学習手段43は、ラベルありデータ(つまり、ラベル付既存穴埋問題文情報412)を利用し、識別モデル用パラメータベクトル集合と生成モデル用パラメータベクトル集合とを学習し、モデル統合用パラメータ集合を決定する。これによって、穴埋問題生成装置4は、低コストで系列ラベリングの予測性能を向上させることができる。なお、空欄統計情報学習手段43は、系列ラベリングとして、隠れマルコフモデル、又は、最大エントロピーマルコフモデルを用いても良い。
統計パターン学習手段44は、記憶手段41のラベル付既存穴埋問題文情報412を参照し、既存穴埋問題文において空欄に置き換えられた1以上の単語の形態素と生成規則との対応関係を求めて統計パターン418を生成して、記憶手段41に記憶させる。第1実施形態では、統計パターン学習手段44は、既存穴埋問題における空欄に置き換えられた単語の形態素を、I類、II−活用語類、II−派生語類、II−接頭語・接尾語類又はII−関連語類の何れかの生成規則に対応させて、統計パターンを生成している。なお、生成規則及び誤選択肢候補の詳細は、後記する。
形態素付加手段51は、学習者端末装置2(図2参照)から穴埋問題文候補が複数入力され、隠れマルコフモデル、条件付き確率場等の形態素解析によって、入力された穴埋問題文候補に含まれる単語に形態素を付加して品詞付けする。そして、形態素付加手段51は、これら穴埋問題文候補を問題文選択手段52に出力する。
問題文選択手段52は、記憶手段41の優先度情報413を参照し、形態素付加手段51から入力された穴埋問題文候補毎に優先度を算出すると共に、優先度が高い順に穴埋問題文候補を選択する。具体的には、問題文選択手段52は、入力された穴埋問題文候補z(k=0,・・・,M)のそれぞれについて、優先度情報413のパラメータαijを用いて、優先度G(z)を算出する。ここで、優先度G(z)が高いほど、穴埋問題として適切な問題文と言える。そして、問題文選択手段52は、穴埋問題文候補zのそれぞれを、算出した優先度G(z)が高い順にランク付けを行い、優先度G(z)が高い順に穴埋問題文候補zを選択する。ここで、穴埋問題を生成する数(問題数)が予め設定されている場合、問題文選択手段52は、この問題数だけ穴埋問題文候補zを選択しても良い。さらに、問題文選択手段52は、選択した穴埋問題文候補zを空欄決定手段53に出力する。なお、優先度G(z)の算出方法としては、図7の優先度G(y)の算出式aを用いることができる。
空欄決定手段53は、記憶手段41の空欄統計情報414を参照し、問題文選択手段52が選択した穴埋問題文候補における空欄を決定する。ここで、空欄統計情報414は、既存穴埋問題において、単語の形態素が、「I」タグ、「O」タグ及び「B」タグのそれぞれになる確率、つまり、空欄となる確率を示している。ここで、「This is the building ( ) we had our first office.」という穴埋問題文の例を下記の表2に示す。なお、表2では、タグ種別の項目は、空欄決定手段53が判定したタグの種別とその周辺確率とを示す。また、表2では、Bタグ、Iタグ及びOタグの項目は、それぞれ、「I」タグ、「O」タグ及び「B」タグとなる周辺確率を示し、空欄統計情報414から求めることができる。
Figure 2011017947
空欄決定手段53は、穴埋問題文候補に含まれる単語について、「I」タグ、「O」タグ及び「B」タグのうち最も周辺確率が高いものを、その形態素のタグと判定する。ここでは、表2に示すように、空欄決定手段53は、単語「This」や単語「is」を「O」タグと判定し、単語「where」を「B」タグ、つまり、空欄と判定する。ここで、空欄決定手段53は、穴埋問題文候補に含まれる全ての単語を「O」タグと判定した場合、それらの中で「B」タグとなる周辺確率が最も高い単語を空欄としても良い。その後、空欄決定手段53は、「B」タグと判定した単語を空欄に置き換えた穴埋問題文と、その単語を正解選択肢として、誤選択肢生成手段54に出力する。
誤選択肢生成手段54は、図6に示すように、誤選択肢候補生成手段54aと、誤選択肢選択手段54bとを備える。
誤選択肢候補生成手段54aは、記憶手段41の統計パターン418を参照して、空欄決定手段53から入力された穴埋問題文において空欄に置き換えられた単語(つまり、正解選択肢の単語)の形態素に対応した生成規則を判定する。そして、誤選択肢候補生成手段54aは、この生成規則を用いて、誤選択肢候補を生成する。ここでは、生成規則を、例えば、I類、II−活用語類、II−派生語類、II−接頭語・接尾語類、又は、II−関連語類に分類している。以下、生成規則及び誤選択肢候補の具体例を説明する。
<生成規則及び誤選択肢候補の具体例>
まず、空欄に置き換えられた単語の形態素に基づいて、生成規則を、I類とII類とに大分類する。I類は、誤選択肢として出現する単語の種類が限られているものである。具体的には、I類は、空欄に置き換えられた単語の形態素が「前置詞」、「従位接続詞」、「疑問詞」、「等位接続詞」、又は、「助動詞」の何れかである。例えば、空欄に置き換えられた単語の形態素が「疑問詞」の場合、その誤選択肢は、「which」、「what」、「who」、「when」、「where」等の単語となる。
例えば、既存穴埋問題において、「疑問詞」が空欄に置き換えられた穴埋問題での形態素の種類の割合を表3に示す。また、例えば、既存穴埋問題において、「疑問詞」が空欄となった問題での「疑問詞」の単語の頻出度を表4に示し、「疑問詞」以外の単語の頻出度を表5に示す。表3〜表5に示すように、I類では、誤選択肢候補生成手段54aは、誤選択肢として出現する形態素の種類の割合と、空欄に置き換えられた単語の頻出度とに基づいて、誤選択肢候補を生成できる。つまり、I類では、誤選択肢候補生成手段54aは、空欄に置き換えられた単語と同一の品詞で頻出度が高いものを誤選択肢候補とする。
Figure 2011017947
Figure 2011017947
Figure 2011017947
II類は、選択肢間に特定のパターンが存在するものである。具体的には、II類は、空欄に置き換えられた単語の形態素が「動詞」、「名詞」、「形容詞」、又は、「副詞」の何れかである。ここでは、このII類を、さらに、II−活用語類、II−派生語類、II−接頭語・接尾語類及びII−関連語類に小分類した。
II−活用語類は、誤選択肢が、正解選択肢となる単語の活用語で構成されているものである。例えば、II−活用語類は、正解選択肢が「ask」であるとき、誤選択肢が「asked」、「asking」、「asks」等の活用語の場合である。この場合、誤選択肢候補生成手段54aは、記憶手段41の活用語リスト417を参照し、誤選択肢候補を生成する。
II−派生語類は、誤選択肢が、正解選択肢となる単語の派生語で構成されているものである。例えば、II−派生語類は、正解選択肢が「work」であるとき、誤選択肢が「worker」、「works」、「working」等の派生語の場合である。この場合、誤選択肢候補生成手段54aは、記憶手段41の単語辞書416を参照し、正解選択肢となる単語の前方から75%の文字列を含む単語を取得する。そして、誤選択肢候補生成手段54aは、正解選択肢となる単語に対してレーベンシュタイン距離が小さい順に、単語辞書416から取得した単語を誤選択肢候補とする。なお、レーベンシュタイン距離とは、正解選択肢となる単語に対して誤選択肢となる単語がどの程度異なっているかを示す数値であり、例えば、動的計画法(DPマッチング法)によって求めることができる。
II−接頭語・接尾語類は、誤選択肢となる単語の一部(接頭語や接尾語)が、正解選択肢となる単語と共通しているものである。具体的には、II−接頭語・接尾語類は、正解選択肢が「circulation」であるとき、誤選択肢が「circumcision」、「circus」、「circumstance」の場合である。この場合、誤選択肢候補生成手段54aは、記憶手段41の単語辞書416を参照し、接頭語の場合、正解選択肢となる単語と第1音節が一致する単語を取得し、接尾語の場合、正解選択肢となる単語と最終音節が一致する単語を取得する。そして、誤選択肢候補生成手段54aは、正解選択肢となる単語に対してレーベンシュタイン距離が小さい順に、単語辞書416から取得した単語を誤選択肢候補とする。
なお、II−派生語類では、誤選択肢となる単語が、正解選択肢となる単語に対し、意味的な関連を持つことが多い。一方、II−接頭語・接尾語類では、誤選択肢となる単語が、正解選択肢となる単語に対し、意味的な関連が無いことが多い。
II−関連語類は、誤選択肢となる単語が、正解選択肢となる単語の類義語又は反義語で構成されるものである。例えば、II−関連語類は、正解選択肢が「car」であるとき、誤選択肢が「automobile」、「vehicle」、「buggy」等の類義語の場合である。この場合、誤選択肢候補生成手段54aは、記憶手段41の類語辞書415を参照し、正解選択肢となる単語に対応する類義語及び/又は反義語を誤選択肢候補として取得する。
既存穴埋問題として、TOEIC(登録商標)における、空欄に置き換えた単語の形態素が「動詞」である77問について、その生成規則の統計を下記の表6に示す。表6より、正解選択肢となる単語の形態素が「動詞」である場合、62%の確率でII−活用語類となっている。
Figure 2011017947
誤選択肢選択手段54bは、誤選択肢候補生成手段54aが生成した誤選択肢候補毎に、空欄決定手段53からの穴埋問題文の空欄にこの誤選択肢候補を挿入した検索文でインターネット検索を行う。インターネット上には、意味的・文法的に正しい文章も、正しくない文章も存在する。そこで、インターネット検索に失敗した文章(検索文)は、誰も書かない文章であり、意味的・文法的に正しい文章でないと考えられる。従って、誤選択肢選択手段54bは、インターネット検索に失敗した検索文における誤選択肢候補のみを誤選択肢とする。
ここでは、I類、II−派生語類、II−接頭語・接尾語類又はII−関連語類の何れかの場合、誤選択肢選択手段54bは、前記したインターネット検索による誤選択肢の選択を行うこととした。また、II−活用語類の場合、正解選択肢と誤選択肢候補と文法的な関係を考慮し、その誤選択肢候補となる単語を穴埋問題文の空欄に挿入した文章が文法的に正しい可能性がある。従って、誤選択肢選択手段54bは、正解選択肢となる単語の形態素と、誤選択肢候補となる単語との形態素とが一致する場合、その誤選択肢候補を選択しない。その後、誤選択肢選択手段54bは、穴埋問題文と、正解選択肢と、選択した誤選択肢との組み合わせを、穴埋問題として出力する。
以上、穴埋問題生成装置4を独立した装置として説明したが、本発明は、一般的なコンピュータを、穴埋問題生成装置4の各手段として動作させるための穴埋問題生成プログラムによっても実現できる。ここで、図8に示すように、コンピュータ9は、演算手段91と、ハードディスク等の記憶手段92と、マウス、キーボード等の入力手段93と、ディスプレイ等の出力手段94とを備える。そして、この穴埋問題生成プログラムをインストールされたコンピュータ9は、そのハードウェア資源を、優先度学習手段42、空欄統計情報学習手段43、統計パターン学習手段44、形態素付加手段51、問題文選択手段52、空欄決定手段53、誤選択肢候補生成手段54a、及び、誤選択肢選択手段54bとして協調動作させる。なお、この穴埋問題生成プログラムは、通信回線を介して配布しても良く、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
[穴埋問題生成装置の動作]
以下、図9を参照して、図6の穴埋問題生成装置4の動作を説明する(適宜図6参照)。なお、図9では、記憶手段41に、既存穴埋問題文情報411と、ラベル付既存穴埋問題文情報412と、優先度情報413と、空欄統計情報414と、類語辞書415と、単語辞書416と、活用語リスト417と、統計パターン418とが予め記憶されていることとして説明する。
まず、穴埋問題生成装置4は、形態素付加手段51によって、学習者端末装置2(図2参照)から穴埋問題文候補が複数入力され、隠れマルコフモデル、条件付き確率場等の形態素解析によって、入力された穴埋問題文候補に含まれる単語に形態素を付加して品詞付けする。そして、穴埋問題生成装置4は、形態素付加手段51によって、これら穴埋問題文候補を出力する(ステップS1)。
ステップS1の処理に続いて、穴埋問題生成装置4は、問題文選択手段52によって、記憶手段41の優先度情報413を参照し、ステップS1で出力した穴埋問題文候補毎に優先度を算出すると共に、優先度が高い順に穴埋問題文候補を選択する。そして、穴埋問題生成装置4は、問題文選択手段52によって、選択した穴埋問題文候補を出力する(ステップS2)。
ステップS2の処理に続いて、穴埋問題生成装置4は、空欄決定手段53によって、記憶手段41の空欄統計情報414を参照し、ステップS2で選択した穴埋問題文候補における空欄を決定する。そして、穴埋問題生成装置4は、空欄決定手段53によって、空欄を含む穴埋問題文と、空欄に置き換えた1以上の単語を正解選択肢として、出力する(ステップS3)。
ステップS3の処理に続いて、穴埋問題生成装置4は、誤選択肢候補生成手段54aによって、記憶手段41の統計パターン418を参照して、ステップS3で空欄に置き換えられた1以上の単語の形態素に対応した生成規則を判定する。そして、穴埋問題生成装置4は、誤選択肢候補生成手段54aによって、この生成規則を用いて誤選択肢候補を生成し、これを出力する(ステップS4)。
ステップS4の処理に続いて、穴埋問題生成装置4は、誤選択肢選択手段54bによって、ステップS4で生成した誤選択肢候補毎に、空欄決定手段53からの穴埋問題文の空欄にこの誤選択肢候補を挿入した検索文でインターネット検索を行う。そして、穴埋問題生成装置4は、誤選択肢選択手段54bによって、インターネット検索に失敗した検索文における誤選択肢候補のみを誤選択肢とする。このとき、穴埋問題生成装置4は、誤選択肢選択手段54bによって、正解選択肢となる単語の形態素と、誤選択肢候補となる単語との形態素とが一致する場合、その誤選択肢候補を選択しなくとも良い(ステップS5)。
ステップS5の処理に続いて、穴埋問題生成装置4は、誤選択肢選択手段54bによって、穴埋問題文と、正解選択肢と、ステップS5で選択した誤選択肢との組み合わせを、穴埋問題として出力する(ステップS6)。
以上のように、本発明の第1実施形態に係る穴埋問題生成装置4によれば、穴埋問題として不適切な文章を穴埋問題文として選択することを少なくでき、穴埋問題文における空欄となる単語の偏りを少なくでき、さらに、意味的・文法的に誤りとなる誤選択肢候補のみを誤選択肢として選択できる。従って、本発明の第1実施形態に係る穴埋問題生成装置4によれば、専門家の経験的な知識を反映させて、個別学習に適した穴埋問題を生成できる。
また、本発明の第1実施形態に係る穴埋問題生成装置4によれば、形態素付加手段51を備えることで、学習者自身で穴埋問題文候補に形態素を付加する必要がなくなり、学習者にとって利便性が良い。なお、本発明では、形態素を付加した穴埋問題文候補が入力されるのであれば、形態素付加手段51を備えなくとも良い。
また、本発明の第1実施形態では、英語の穴埋問題を生成する例で説明したが、本発明の対象は、英語に限定されない。例えば、本発明は、仏語、独語、日本語等の英語以外の言語の穴埋問題を生成できる。
(実施例1)
図6の穴埋問題生成装置4による、RVP法での優先度学習を評価した。この実施例1では、TOEIC(登録商標)における穴埋問題1560文章を正例とし、新聞記事から抽出した同数の文章を1560文章を穴埋問題文候補とし、10重交差検定によって評価した。具体的には、穴埋問題生成装置4に、正例と穴埋問題文候補とを1404文章(9/10)ずつ訓練集合として優先度学習させた。そして、正例と穴埋問題文候補との残り156文章(1/10)をテスト集合として優先度学習させた。この作業を10通り実施した結果を下記の表7に示す。
Figure 2011017947
この表7では、上位半分に含まれる正例、すなわち、156位以上に順位付けされた候補の割合の平均を表している。正例に頻繁に出現した単語や形態素から構成される英文が上位に順位付けされ、文法的な間違いを含む英文、会話文、口語的な表現を含む英文が下位に順位付けされた。以上のように、穴埋問題生成装置4は、適切な穴埋問題を選択できることがわかった。
(実施例2)
図6の穴埋問題生成装置4による、条件付き確率場による空欄の決定を評価した。この実施例2では、既存穴埋問題を用いて、条件付き確率場によって決定した空欄と、既存穴埋問題での元々の空欄とを比較した。具体的には、TOEIC(登録商標)における穴埋問題1560文章に対して、実施例1と同様に10重交差検定を実施した(つまり、1404文章(9/10)を訓練集合、156文章(1/10)をテスト集合)。そして、以下の2つの比較手法と、図6の穴埋問題生成装置4の手法(本発明の手法)とを比較した。
<比較手法1:英文の一番左にある動詞を空欄にする手法>
この比較手法1は、英文の最初に出現する動詞を空欄として決定する手法である。ここで、TOEIC(登録商標)における穴埋問題1560文章に対して適用した。
<比較手法2:空欄の頻出度が最も高い形態素を空欄にする手法>
この比較手法2は、訓練集合の形態素の数と出現順とを計測し、最も頻出度の高い形態素を空欄にする形態素とする手法である。ここで、空欄にする形態素とその出現順とに基づいて、テスト集合の英文で空欄を決定した。
下記の表8に、比較手法1と、比較手法2と、本発明の手法との結果を示した。表8では、一致率の項目は、既存穴埋問題での元々の空欄と、各手法で決定した空欄との一致率(つまり、精度)を示す。
Figure 2011017947
表8に示すように、本発明の手法は、比較手法1や比較手法2に比べて一致率が高く、様々な形態素に対応する単語を空欄として決定でき、かつ、複数の単語を空欄として決定できる。従って、本発明の手法は、比較手法1,2と比べて、適切であると言える。
1 個別学習システム
2 学習者端末装置
3 個別学習装置
31 問題入力画面提示手段
32 穴埋問題文候補取得手段
33 学習画面提示手段
4 穴埋問題生成装置
41 記憶手段
42 優先度学習手段
43 空欄統計情報学習手段
44 統計パターン学習手段
51 形態素付加手段
52 問題文選択手段
53 空欄決定手段
54 誤選択肢生成手段
54a 誤選択肢候補生成手段
54b 誤選択肢選択手段
9 コンピュータ
91 演算手段
92 記憶手段
93 入力手段
94 出力手段

Claims (4)

  1. 外部から入力された穴埋問題文候補に含まれる1以上の単語を空欄に置き換えた穴埋問題文と、前記空欄に置き換えた前記1以上の単語である正解選択肢と、当該正解選択肢と異なる選択肢である誤選択肢とで構成される穴埋問題を生成する穴埋問題生成装置において、
    形態素が付加された前記穴埋問題文候補が複数入力され、優先度学習により予め学習した優先度情報に基づいて、前記穴埋問題文候補毎に優先度を算出すると共に、当該優先度が高い順に前記穴埋問題文候補を選択する問題文選択手段と、
    前記穴埋問題文候補に含まれる前記単語を系列として扱う系列ラベリングにより予め学習した空欄統計情報に基づいて、前記問題文選択手段が選択した前記穴埋問題文候補における前記空欄を決定する空欄決定手段と、
    前記誤選択肢の候補である誤選択肢候補を生成する生成規則が予め設定され、当該生成規則に基づいて、前記空欄決定手段が決定した前記空欄に対応する前記誤選択肢候補を生成する誤選択肢候補生成手段と、
    前記誤選択肢候補毎に、当該誤選択肢候補を前記穴埋問題文の前記空欄に挿入した検索文でインターネット検索を行い、前記インターネット検索に失敗した前記検索文における前記誤選択肢候補を前記誤選択肢として選択して、前記穴埋問題を出力する誤選択肢選択手段と、
    を備えることを特徴とする穴埋問題生成装置。
  2. 既に作成された前記穴埋問題において前記空欄に置き換えられた前記1以上の単語の形態素と前記生成規則との対応関係を示す統計パターンを記憶する記憶手段をさらに備え、
    前記誤選択肢候補生成手段は、前記統計パターンを参照して、前記穴埋問題文において前記空欄に置き換えられた前記1以上の単語の形態素に対応した前記生成規則を用いて前記誤選択肢候補を生成することを特徴とする請求項1に記載の穴埋問題生成装置。
  3. 前記外部から前記穴埋問題文候補が複数入力され、入力された当該穴埋問題文候補を形態素解析すると共に、形態素を付加した前記穴埋問題文候補を前記問題文選択手段に出力する形態素付加手段をさらに備えることを特徴とする請求項1又は請求項2に記載の穴埋問題生成装置。
  4. コンピュータを、請求項1から請求項3の何れか一項に記載の穴埋問題生成装置の各手段として動作させるための穴埋問題生成プログラム。
JP2009163291A 2009-07-10 2009-07-10 穴埋問題生成装置及びそのプログラム Expired - Fee Related JP5182954B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009163291A JP5182954B2 (ja) 2009-07-10 2009-07-10 穴埋問題生成装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009163291A JP5182954B2 (ja) 2009-07-10 2009-07-10 穴埋問題生成装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2011017947A true JP2011017947A (ja) 2011-01-27
JP5182954B2 JP5182954B2 (ja) 2013-04-17

Family

ID=43595770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009163291A Expired - Fee Related JP5182954B2 (ja) 2009-07-10 2009-07-10 穴埋問題生成装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5182954B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830598A (ja) * 1994-07-14 1996-02-02 Matsushita Electric Ind Co Ltd 学習または文書作成の支援装置
JP2006039353A (ja) * 2004-07-29 2006-02-09 Advanced Telecommunication Research Institute International 多肢選択言語試験問題自動作成装置およびコンピュータプログラム
JP2006126319A (ja) * 2004-10-27 2006-05-18 Kddi Corp テスト問題配信システム
JP2008129449A (ja) * 2006-11-22 2008-06-05 Yahoo Japan Corp 問題自動作成装置、問題自動作成方法、及びコンピュータプログラム
JP2008233553A (ja) * 2007-03-20 2008-10-02 Fujitsu Ltd 学習支援装置、学習支援方法およびそのプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830598A (ja) * 1994-07-14 1996-02-02 Matsushita Electric Ind Co Ltd 学習または文書作成の支援装置
JP2006039353A (ja) * 2004-07-29 2006-02-09 Advanced Telecommunication Research Institute International 多肢選択言語試験問題自動作成装置およびコンピュータプログラム
JP2006126319A (ja) * 2004-10-27 2006-05-18 Kddi Corp テスト問題配信システム
JP2008129449A (ja) * 2006-11-22 2008-06-05 Yahoo Japan Corp 問題自動作成装置、問題自動作成方法、及びコンピュータプログラム
JP2008233553A (ja) * 2007-03-20 2008-10-02 Fujitsu Ltd 学習支援装置、学習支援方法およびそのプログラム

Also Published As

Publication number Publication date
JP5182954B2 (ja) 2013-04-17

Similar Documents

Publication Publication Date Title
Gupta et al. Abstractive summarization: An overview of the state of the art
KR101678787B1 (ko) 자동질의응답 방법 및 그 장치
US9342499B2 (en) Round-trip translation for automated grammatical error correction
US10713571B2 (en) Displaying quality of question being asked a question answering system
US11250842B2 (en) Multi-dimensional parsing method and system for natural language processing
US9959776B1 (en) System and method for automated scoring of texual responses to picture-based items
US10896222B1 (en) Subject-specific data set for named entity resolution
US20110184723A1 (en) Phonetic suggestion engine
US10997223B1 (en) Subject-specific data set for named entity resolution
KR101573854B1 (ko) 관계어 기반 확률추정 방법을 이용한 통계적 문맥의존 철자오류 교정 장치 및 방법
WO2012039686A1 (en) Methods and systems for automated text correction
Kiyavitskaya et al. Cerno: Light-weight tool support for semantic annotation of textual documents
EP1644796A2 (en) Method and apparatus for language processing
Riza et al. Question generator system of sentence completion in TOEFL using NLP and k-nearest neighbor
KR20130045547A (ko) 작문 자동 평가를 위한 예제기반 오류 검출 시스템 및 방법
JP7279099B2 (ja) 対話管理
KR102251554B1 (ko) 지문의 난이도 조정을 통하여 교육용 외국어 지문을 생성하는 방법
KR101134455B1 (ko) 음성 인식 장치 및 그 방법
Lee Natural Language Processing: A Textbook with Python Implementation
Rytting et al. Spelling correction for dialectal Arabic dictionary lookup
KR102552811B1 (ko) 클라우드 기반 문법 교정 서비스 제공 시스템
KR102182248B1 (ko) 문법 검사 시스템 및 방법과 이를 위한 컴퓨터 프로그램
Núñez et al. Phonetic normalization for machine translation of user generated content
JP5182954B2 (ja) 穴埋問題生成装置及びそのプログラム
Wolk et al. Unsupervised tool for quantification of progress in L2 English phraseological

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110902

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120509

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130111

R150 Certificate of patent or registration of utility model

Ref document number: 5182954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees