JP2016040580A - 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム - Google Patents

難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム Download PDF

Info

Publication number
JP2016040580A
JP2016040580A JP2014164552A JP2014164552A JP2016040580A JP 2016040580 A JP2016040580 A JP 2016040580A JP 2014164552 A JP2014164552 A JP 2014164552A JP 2014164552 A JP2014164552 A JP 2014164552A JP 2016040580 A JP2016040580 A JP 2016040580A
Authority
JP
Japan
Prior art keywords
difficulty level
question
database
difficulty
feature quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014164552A
Other languages
English (en)
Inventor
安田　圭志
Keishi Yasuda
圭志 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014164552A priority Critical patent/JP2016040580A/ja
Publication of JP2016040580A publication Critical patent/JP2016040580A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ある問題について難易度を自動的に推定し、自動的に推定した難易度を付した問題を生成し、学習者の能力に応じた問題を出題すること。
【解決手段】ある問題に対して、特徴量を抽出し、抽出した特徴量とデータベースに格納されたデータとに基づいて、ある問題の難易度を推定することにより、ある問題について難易度を自動的に推定し、自動的に推定した難易度を付した問題を生成し、学習者の能力に応じた問題を出題すること。
【選択図】図４

Description

本発明は、ある問題について難易度を自動的に推定する難易度推定装置、難易度推定方法およびプログラム、自動的に推定した難易度を付した問題を生成する問題生成装置、問題生成方法およびプログラム、学習者の能力に応じた問題を出題する問題出題装置、問題出題方法およびプログラムに関する。
従来、英語穴埋め問題や、計算問題を自動生成する取り組みが行われている。例えば、多肢選択言語試験問題を自動的に作成することを目的として、コーパスを記憶するコーパス記憶部と、選択肢作成のための言語情報を記憶する各種データ記憶部と、コーパスから問題の元となる文を選択する種文選択部と、選択された文のうちの空所を決定する問題位置選択部と、各種データ記憶部に記憶された言語情報に基づいて、空所に対する選択肢候補を作成する選択肢候補生成処理部と、選択された文において、空所を選択肢候補で置換して得られる文の妥当性を判定する妥当性判定部と、文が妥当でないと判定された選択肢候補と、元となる文とを整形して多肢選択言語試験問題を作成する整形部とを含む装置が提案されている（例えば、特許文献１参照。）。
また、項目応答理論では、あらかじめ準備された問題（項目）を、多くの被験者に解答させ、被験者の能力と問題の難易度を推定する方法が提案されている。つまり、問題を自動生成する方法と難易度を推定する方法とを組み合わせることにより、難易度付き問題（項目）を作成することが可能となっている。
登録第４０１８６７３号公報
上記の方法は、問題自動生成、項目応答理論による難易度の推定という過程を有する。この方法では、問題生成については自動化できているものの、問題が生成される都度、項目応答理論を適用する必要があるため、多くの被験者から解答を得る必要が生じ、一連の処理を自動化できないという問題がある。
そこで、本発明は、上述の課題に鑑みてなされたものであり、ある問題について難易度を自動的に推定する難易度推定装置、難易度推定方法およびプログラム、自動的に推定した難易度を付した問題を生成する問題生成装置、問題生成方法およびプログラム、学習者の能力に応じた問題を出題する問題出題装置、問題出題方法およびプログラムを提供することを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）本発明は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、ある問題に対して、特徴量を抽出する特徴量抽出手段と、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する難易度推定手段と、を備えたことを特徴とする難易度推定装置を提案している。
（２）本発明は、（１）の難易度推定装置について、前記ある問題が算数ドリルの場合、前記特徴量が、被演算子の数、被演算子の桁数、演算子の数、繰り上げの回数のいずれかまたはその組み合わせであることを特徴とする難易度推定装置を提案している。
（３）本発明は、（１）の難易度推定装置について、前記ある問題が英語穴埋め問題の場合、前記特徴量が、問題文の文エントロピー、選択肢の単語の難易度、選択肢の数、選択肢の単語の語長のいずれかまたはその組み合わせであることを特徴とする難易度推定装置を提案している。
（４）本発明は、（１）の難易度推定装置について、前記難易度推定手段が、前記特徴量と前記難易度の関係の分析に重回帰分析を用いることを特徴とする難易度推定装置を提案している。ただし、従属変数、独立変数の一方あるいは双方に質的変数が含まれる場合は、ログリニア分析、判別分析、ロジスティック回帰分析、分散分析、共分散分析、各種機械学習技術を用いても良い。
（５）本発明は、自動生成した問題に対して、（１）に記載の難易度推定装置を用いて、難易度を付与した問題を生成する問題生成装置を提案している。
（６）本発明は、（５）に記載の問題生成装置が生成した問題を格納する問題データベースと、学習者の問題の種別に対する能力を格納する学習者能力データベースと、前記問題データベースと前記学習者能力データベースとに基づいて、前記学習者の能力に応じた問題を出題する問題出題手段と、を備えた問題出題装置を提案している。
（７）本発明は、（６）の問題出題装置について、前記学習者の解答が正解あるいは不正解であるかによって、再出題する問題の難易度の高低を決定する出題難易度決定手段を備えたことを特徴とする問題出題装置を提案している。
（８）本発明は、（７）の問題出題装置について、前記出題難易度決定手段が、先に出題された問題の難易度を基準とする閾値を設け、再出題する問題の難易度を段階的に決定することを特徴とする問題出題装置を提案している。
（９）本発明は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段とを備えた難易度推定装置における難易度推定方法であって、前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、を備えたことを特徴とする難易度推定方法を提案している。
（１０）本発明は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段とを備えた問題生成装置における問題生成方法であって、前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、を備えたことを特徴とする問題生成方法を提案している。
（１１）本発明は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段と、前記問題生成手段が生成した問題を格納する問題データベースと、学習者の問題の種別に対する能力を格納する学習者能力データベースと、問題出題手段とを備えた問題出題装置における問題出題方法であって、前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、前記問題出題手段が、前記問題データベースと前記学習者能力データベースとに基づいて、前記学習者の能力に応じた問題を出題する第４のステップと、を備えたことを特徴とする問題出題方法を提案している。
（１２）本発明は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段とを備えた難易度推定装置における難易度推定方法をコンピュータに実行させるためのプログラムであって、前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、をコンピュータに実行させるためのプログラムを提案している。
（１３）本発明は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段とを備えた問題生成装置における問題生成方法をコンピュータに実行させるためのプログラムであって、前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
（１４）本発明は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段と、前記問題生成手段が生成した問題を格納する問題データベースと、学習者の問題の種別に対する能力を格納する学習者能力データベースと、問題出題手段とを備えた問題出題装置における問題出題方法をコンピュータに実行させるためのプログラムであって、前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、前記問題出題手段が、前記問題データベースと前記学習者能力データベースとに基づいて、前記学習者の能力に応じた問題を出題する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
本発明によれば、既存の問題の集合より、問題の特徴量と難易度との関係を学習しておくため、新しく作成された問題に対して、自動的に難易度を付与することが可能であるという効果がある。また、新しく作成された問題に対して、自動的に難易度を付与することができるという効果がある。さらに、学習者の能力に応じた問題を自動的に出題できるという効果がある。
本発明の第１の実施形態に係る難易度推定装置の構成を示す図である。 本発明の第１の実施形態に係る問題タイプ毎の難易度推定に用いる特徴量を例示した図である。 本発明の第１の実施形態に係る算数ドリルの場合の問題タイプ毎の難易度推定を例示した図である。 本発明の第１の実施形態に係る難易度推定装置の処理を示す図である。 本発明の第２の実施形態に係る問題生成装置の構成を示す図である。 本発明の第２の実施形態に係る問題生成装置の処理を示す図である。 本発明の第３の実施形態に係る問題出題装置の構成を示す図である。 本発明の第３の実施形態の実施例に係る問題出題装置の処理を示す図である。 本発明の第３の実施形態の実施例に係る問題出題装置の処理を示す図である。
以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１の実施形態＞
図１から図４を用いて、本発明の第１の実施形態について説明する。
＜難易度推定装置の構成＞
図１に示すように、本実施形態に係る難易度推定装置１００は、データベース１１０と、特徴量抽出部１２０と、難易度推定部１３０とから構成されている。
データベース１１０は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納する。ここに格納されるデータは、例えば、既知の問題に対する正答率等から、その問題の難易度を分析した結果と後述する問題の特徴量とを関連付けたものである。また、より具体的には、事前に多くの被験者からの解答結果を項目応答理論により処理して構築された問題（項目）バンクでも良いし、問題作成者の主観により難易度が付与されたものでも良い。
特徴量抽出部１２０は、ある問題に対して、特徴量を抽出する。ここで、特徴量とは、図２に示すように、問題タイプが算数ドリルの場合、例えば、被演算子の数、被演算子の桁数、演算子の数、繰り上げの回数のいずれかまたはその組み合わせであり、英語穴埋め問題の場合、例えば、問題文の文エントロピー、選択肢の単語の難易度、選択肢の数、選択肢の単語の語長のいずれかまたはその組み合わせである。
難易度推定部１３０は、抽出した特徴量とデータベース１１０に格納されたデータとに基づいて、ある問題の難易度を推定する。ここで、特徴量と難易度との関係の分析には、重回帰分析を用いることが好ましい。つまり、算数ドリルにおける難易度推定の例では、図２に示すように、難易度が既知である既知の算数ドリルｎ問に対して、被演算子の数などからなる５つの特徴量を抽出し、難易度との関係を重回帰分析により学習する。そして、難易度が未知の問題に対して、同様に、５つの特徴量を抽出し、これと重回帰モデルとを用いて難易度を推定する。なお、難易度推定モデルは、以下の数１により、求められる。
＜難易度推定装置の処理＞
図４に示すように、まず、特徴量抽出部１２０が、ある問題に対して、特徴量を抽出する（ステップＳ１１０）。
そして、難易度推定部１３０が、抽出した特徴量とデータベース１１０に格納されたデータとに基づいて、重回帰分析を実行し（ステップＳ１２０）、ある問題について難易度推定モデルを出力し、難易度を推定する（ステップＳ１３０）。
以上、説明したように、本実施形態によれば、既存の問題の集合より、問題の特徴量と難易度との関係を学習しておくため、新しく作成された問題に対して、自動的に難易度を付与することが可能である。
＜第２の実施形態＞
図５、図６を用いて、本発明の第２の実施形態について説明する。
＜問題生成装置の構成＞
図５に示すように、本実施形態に係る問題生成装置２００は、難易度推定装置１００の構成要素であるデータベース１１０と、特徴量抽出部１２０と、難易度推定部１３０と、問題生成部２１０とから構成されている。なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有するため、その詳細な説明は、省略する。
問題生成部２１０は、自動生成した問題に対して、第１の実施形態に記載の難易度推定装置を用いて、難易度を付与した問題を生成する。ここで、自動生成する問題が、算数ドリルの場合であれば、問題のテンプレートなどに対して、被演算子をランダム発生させるなどして生成する。英語多肢選択問題の場合であれば、前記特許文献１の方法などを用いても良い。最後に、自動生成された問題から難易度に影響する特徴量を抽出し、これらの特徴量と、前述の重回帰分析の結果を用いて問題の難易度を決定する。
＜問題生成装置の処理＞
図６に示すように、まず、問題を自動生成し（ステップＳ２１０）、特徴量抽出部１２０が、ある問題に対して、特徴量を抽出する（ステップＳ２２０）。
そして、難易度推定部１３０が、抽出した特徴量とデータベース１１０に格納されたデータとに基づいて、重回帰分析を実行し（ステップＳ２３０）、ある問題について難易度推定モデルを出力し、難易度を推定する（ステップＳ２４０）。
そして、問題生成部２１０が、自動生成した問題に対して、推定した難易度を付与した問題を生成する（ステップＳ２５０）。
したがって、本実施形態によれば、自動生成した問題に難易度を付した問題を容易に生成することができる。
＜第３の実施形態＞
図７〜図９を用いて、本発明の第３の実施形態について説明する。
＜問題出題装置の構成＞
図７に示すように、本実施形態に係る問題出題装置３００は、問題生成装置２００の構成要素であるデータベース１１０と、特徴量抽出部１２０と、難易度推定部１３０と、問題生成部２１０と、問題データベース３１０と、学習能力データベース３２０と、出題難易度決定部３３０と、問題出題部３４０とから構成されている。なお、第２の実施形態と同一の符号を付す構成要素については、同様の機能を有するため、その詳細な説明は、省略する。
問題データベース３１０は、問題生成装置２００が生成した問題を格納する。学習能力データベース３２０は、学習者の問題の種別に対する能力を格納する。なお、学習者の問題の種別に対する能力は、難易度の異なる問題を用いて事前に取得する。
出題難易度決定部３３０は、学習者の解答が正解あるいは不正解であるかによって、再出題する問題の難易度の高低を決定する。問題出題部３４０は、問題データベース３１０と学習能力データベース３２０とに基づいて、学習者の能力に応じた問題を出題する。
つまり、図８に示すように、生成された難易度付き問題を学習者に提示し、解答の正否の判定を行う。ここで、解答が不正解の場合は、この問題よりも難易度が低い問題が生成されるまで自動生成を繰り返し、次の問題として学習者に提示する。一方、解答が正解の場合は、この問題よりも難易度が高い問題が生成されるまで、自動生成を繰り返し学習者に提示する。間違えた場合の次の問題として極端に簡単すぎる問題や、正解した場合の次の問題として極端に難しすぎる問題が出題されることを防ぐために、変動許容範囲εを設け、問題生成の終了条件を数２のようにしても良い。
具体的には、図８に示すように、問題を生成し（ステップＳ４０１）、生成した問題の難易度の判定をし（ここでは、推定した難易度をＤとする）（ステップＳ４０２）、学習者に出題する（ステップＳ４０３）。
次に、学習者の解答がすべての種類の単元や問題について学習したか否かや、学習者自身が継続の意思の有無などにより判定し（ステップＳ４０４）、終了と判断したときは、すべての処理を終了する（ステップＳ４０４の「Ｙｅｓ」）。
一方で、学習者の解答がすべての種類の単元や問題について終了していないと判定した場合には（ステップＳ４０４の「Ｎｏ」）、解答が終了した問題についての成否判定を行なう（ステップＳ４０５）。
成否判定の結果、正解であった場合には、新たな問題を生成し（ステップＳ４０６）、新たな問題の難易度を判定して（ここでは、推定した難易度をＤ‘‘とする）（ステップＳ４０７）、難易度が先に出題した問題の難易度よりも高ければ（ステップＳ４０８の「Ｙｅｓ」）、新たに生成した問題を学習者に出題し、難易度が先に出題した問題の難易度よりも低ければ（ステップＳ４０８の「Ｎｏ」）、問題を再度生成する。
また、成否判定の結果、不正解であった場合には、新たな問題を生成し（ステップＳ４０９）、新たな問題の難易度を判定して（ここでは、推定した難易度をＤ‘とする）（ステップＳ４１０）、難易度が先に出題した問題の難易度よりも高ければ（ステップＳ４１１の「Ｙｅｓ」）、新たに生成した問題を学習者に出題し、難易度が先に出題した問題の難易度よりも低ければ（ステップＳ４１１の「Ｎｏ」）、問題を再度生成する。
このように、本実施例においては、従来の項目応答理論などのテスティング技術で必要とされていた反応データ（被験者による解答）を新規に収集する必要としないため、問題の作成コストを大幅に削減することが可能である。
また、図９は、自動生成した問題と学習者への出題結果のログを用いて、難易度推定用の重回帰モデルを改善する方法である。ここでは、自動生成された問題の内、ある学習者が正解した問題の平均難易度(mc)と、間違えた問題の平均難易度(mf)とを求める。次に、ログより、正解した問題の内、mcよりも閾値(Thc)以上難しかった問題と、間違えた問題の内、mfよりも閾値(Thf)以上簡単であった問題とを除去する。最後に残ったログと、既存の項目バンクとを合わせて重回帰分析を再度行い、重回帰モデルを更新する。
具体的には、図９に示すように、まず、図８に示すような処理を実行して問題を出題し（ステップＳ５０１）、問題番号（i）、正誤情報、難易度（Ｄi）を保存し（ステップＳ５０２）、すべての出題が終了したか否かを判定する（ステップＳ５０３）。
そして、終了していない判定したとき（ステップＳ５０３の「Ｎｏ」）には、ステップＳ５０１に戻り、終了していると判定したとき（ステップＳ５０３の「Ｙｅｓ」）には、正解した問題の難易度の平均（ｍｃ）を計算する（ステップＳ５０４）。
次に、間違った問題の平均値（ｍｆ）を計算し（ステップＳ５０５）、全出題数をｎとしたときに、ｎ＞＝ｉであれば（ステップＳ５０６の「Ｙｅｓ」）、難易度Ｄiを読み込み、正解した問題であれば、Ｄｉ−ｍｃ＞Ｔｈｃを満足するか否かを判定し（ステップＳ５０９）、満足する場合（ステップＳ５０９の「Ｙｅｓ」）には、ステップＳ５０６に戻る。一方で、Ｄｉ−ｍｃ＞Ｔｈｃを満足しない場合（ステップＳ５０９の「Ｎｏ」）には、重回帰分析用データに本問を追加して（ステップＳ５１１）、ステップＳ５０６に戻る。
また、ステップＳ５０８で正解した問題でない場合（ステップＳ５０８の「Ｎｏ」）には、ｍｆ−Ｄｉ＞Ｔｈｆを満足するか否かを判定し（ステップＳ５１０）、満足する場合（ステップＳ５１０の「Ｙｅｓ」）には、ステップＳ５０６に戻り、満足しない場合（ステップＳ５１０の「Ｎｏ」）には、重回帰分析用データに本問を追加して（ステップＳ５１１）、ステップＳ５０６に戻る。
さらに、ステップＳ５０６において、全出題数をｎとしたときに、ｎ＞＝ｉでない場合（ステップＳ５０６の「Ｎｏ」）には、既存の項目バンクと合わせて重回帰分析を行いモデルを更新して（ステップＳ５１２）、終了する。
なお、難易度推定装置、問題生成装置、問題出題装置の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを難易度推定装置、問題生成装置、問題出題装置に読み込ませ、実行することによって本発明の難易度推定装置、問題生成装置、問題出題装置を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１００；難易度推定装置
１１０；データベース
１２０；特徴量抽出部
１３０；難易度推定部
２００；問題生成装置
２１０；問題生成部
３００；問題出題装置
３１０；問題データベース
３２０；学習能力データベース
３３０；出題難易度決定部
３４０；問題出題部

Claims (14)

  1. 既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、
    ある問題に対して、特徴量を抽出する特徴量抽出手段と、
    該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する難易度推定手段と、
    を備えたことを特徴とする難易度推定装置。
  2. 前記ある問題が算数ドリルの場合、前記特徴量が、被演算子の数、被演算子の桁数、演算子の数、繰り上げの回数のいずれかまたはその組み合わせであることを特徴とする請求項１に記載の難易度推定装置。
  3. 前記ある問題が英語穴埋め問題の場合、前記特徴量が、問題文の文エントロピー、選択肢の単語の難易度、選択肢の数、選択肢の単語の語長のいずれかまたはその組み合わせであることを特徴とする請求項１に記載の難易度推定装置。
  4. 前記難易度推定手段が、前記特徴量と前記難易度の関係の分析に重回帰分析を用いることを特徴とする請求項１に記載の難易度推定装置。
  5. 自動生成した問題に対して、前記請求項１に記載の難易度推定装置を用いて、難易度を付与した問題を生成する問題生成装置。
  6. 前記請求項５に記載の問題生成装置が生成した問題を格納する問題データベースと、
    学習者の問題の種別に対する能力を格納する学習者能力データベースと、
    前記問題データベースと前記学習者能力データベースとに基づいて、前記学習者の能力に応じた問題を出題する問題出題手段と、
    を備えた問題出題装置。
  7. 前記学習者の解答が正解あるいは不正解であるかによって、再出題する問題の難易度の高低を決定する出題難易度決定手段を備えたことを特徴とする請求項６に記載の問題出題装置。
  8. 前記出題難易度決定手段が、先に出題された問題の難易度を基準とする閾値を設け、再出題する問題の難易度を段階的に決定することを特徴とする請求項７に記載の問題出題装置。
  9. 既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段とを備えた難易度推定装置における難易度推定方法であって、
    前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、
    前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、
    を備えたことを特徴とする難易度推定方法。
  10. 既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段とを備えた問題生成装置における問題生成方法であって、
    前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、
    前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、
    前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、
    を備えたことを特徴とする問題生成方法。
  11. 既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段と、前記問題生成手段が生成した問題を格納する問題データベースと、学習者の問題の種別に対する能力を格納する学習者能力データベースと、問題出題手段とを備えた問題出題装置における問題出題方法であって、
    前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、
    前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、
    前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、
    前記問題出題手段が、前記問題データベースと前記学習者能力データベースとに基づいて、前記学習者の能力に応じた問題を出題する第４のステップと、
    を備えたことを特徴とする問題出題方法。
  12. 既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段とを備えた難易度推定装置における難易度推定方法をコンピュータに実行させるためのプログラムであって、
    前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、
    前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、
    をコンピュータに実行させるためのプログラム。
  13. 既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段とを備えた問題生成装置における問題生成方法をコンピュータに実行させるためのプログラムであって、
    前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、
    前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、
    前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、
    をコンピュータに実行させるためのプログラム。
  14. 既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納するデータベースと、特徴量抽出手段と、難易度推定手段と、問題生成手段と、前記問題生成手段が生成した問題を格納する問題データベースと、学習者の問題の種別に対する能力を格納する学習者能力データベースと、問題出題手段とを備えた問題出題装置における問題出題方法をコンピュータに実行させるためのプログラムであって、
    前記特徴量抽出手段が、ある問題に対して、特徴量を抽出する第１のステップと、
    前記難易度推定手段が、該抽出した特徴量と前記データベースに格納されたデータとに基づいて、前記ある問題の難易度を推定する第２のステップと、
    前記問題生成手段が、自動生成した問題に対して、前記推定した難易度を付与した問題を生成する第３のステップと、
    前記問題出題手段が、前記問題データベースと前記学習者能力データベースとに基づいて、前記学習者の能力に応じた問題を出題する第４のステップと、
    をコンピュータに実行させるためのプログラム。
JP2014164552A 2014-08-12 2014-08-12 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム Pending JP2016040580A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014164552A JP2016040580A (ja) 2014-08-12 2014-08-12 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014164552A JP2016040580A (ja) 2014-08-12 2014-08-12 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2016040580A true JP2016040580A (ja) 2016-03-24

Family

ID=55540930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014164552A Pending JP2016040580A (ja) 2014-08-12 2014-08-12 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2016040580A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212956A1 (ja) * 2016-06-09 2017-12-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6416425B1 (ja) * 2018-04-09 2018-10-31 株式会社フォーサイト 問題分析システム、方法、およびプログラム
CN111310463A (zh) * 2020-02-10 2020-06-19 清华大学 试题难度预估方法、装置、电子设备和存储介质
JP6901742B1 (ja) * 2020-10-20 2021-07-14 ｅＢＡＳＥ株式会社 クイズ生成装置、クイズ生成方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130052630A1 (en) * 2011-08-22 2013-02-28 Hitachi Consumer Electronics Co., Ltd. Learning support system and learning support method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130052630A1 (en) * 2011-08-22 2013-02-28 Hitachi Consumer Electronics Co., Ltd. Learning support system and learning support method
JP2013044770A (ja) * 2011-08-22 2013-03-04 Hitachi Consumer Electronics Co Ltd 学習支援システム及び学習支援方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"実践オフィス講座 エクセル編", 「ＭＲ．ＰＣ 2013 02月号」, vol. 第4巻，第2号, JPN6017038083, 24 December 2012 (2012-12-24), JP, pages p.94 *
劉志宇、外1名: "日本語を学習する外国人を対象とした日本詰テキスト難易度推定手法", 「情報処理学会研究報告 2012 FEBRUARY 2011（平成23）年度(5) [CD-ROM]」, JPN6017038084, 15 February 2012 (2012-02-15), JP, pages 1 - 5 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212956A1 (ja) * 2016-06-09 2017-12-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JPWO2017212956A1 (ja) * 2016-06-09 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6416425B1 (ja) * 2018-04-09 2018-10-31 株式会社フォーサイト 問題分析システム、方法、およびプログラム
JP2019185343A (ja) * 2018-04-09 2019-10-24 株式会社フォーサイト 問題分析システム、方法、およびプログラム
CN111310463A (zh) * 2020-02-10 2020-06-19 清华大学 试题难度预估方法、装置、电子设备和存储介质
CN111310463B (zh) * 2020-02-10 2022-08-05 清华大学 试题难度预估方法、装置、电子设备和存储介质
JP6901742B1 (ja) * 2020-10-20 2021-07-14 ｅＢＡＳＥ株式会社 クイズ生成装置、クイズ生成方法、及びプログラム

Similar Documents

Publication Publication Date Title
US10528878B2 (en) Tailoring question answering system output based on user experience
CN110895561B (zh) 基于多模态知识感知的医疗问答检索方法、系统、装置
Lalor et al. Building an evaluation scale using item response theory
Gebril et al. The effect of high-stakes examination systems on teacher beliefs: Egyptian teachers’ conceptions of assessment
AU2020200909A1 (en) Evaluation control
CN110389969A (zh) 提供定制的学习内容的系统和方法
AU2021202521A1 (en) Dynamic search and retrieval of questions
US10599997B2 (en) System and method for ground truth evaluation
US9740769B2 (en) Interpreting and distinguishing lack of an answer in a question answering system
JP2022008867A (ja) 学習効率に基づいて個人カスタマイズ型教育コンテンツを提供するための機械学習方法、装置及びコンピュータプログラム
US20170116695A1 (en) Generating a recommendation regarding a member of an organization
CN109408821B (zh) 一种语料生成方法、装置、计算设备及存储介质
US9514412B2 (en) Techniques for detecting deceptive answers to user questions based on user preference relationships
CN113646788A (zh) 利用主动学习技术操作机器学习框架的方法、设备和计算机程序
US11164136B2 (en) Recommending personalized job recommendations from automated review of writing samples and resumes
JP2018195078A (ja) 評価装置、評価方法、および評価プログラム
JP2016040580A (ja) 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム
CN109360459A (zh) 一种培训管理方法、培训管理装置及电子设备
Lloyd et al. The relative accuracy and interpretability of five sequential analysis methods: A simulation study
Siebert Can novices create alternatives of the same quality as experts?
US9747552B2 (en) Using cohorts to infer attributes for an input case in a question answering system
WO2018168880A1 (ja) 学習支援端末、学習支援サーバ、学習支援システム、学習支援方法、学習支援プログラム、および学習支援プログラムを含むコンピュータ読み取り可能な記録媒体
KR101745874B1 (ko) 학습코스 자동 생성 방법 및 시스템
Van Rijnsoever (I Can’t Get No) Saturation: A Simulation and Guidelines for Minimum Sample Sizes in Qualitative Research
Groß et al. On permissible attribute classes in noncompensatory cognitive diagnosis models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180410