JP2005331615A - Sentence evaluation device and method - Google Patents
Sentence evaluation device and method Download PDFInfo
- Publication number
- JP2005331615A JP2005331615A JP2004148293A JP2004148293A JP2005331615A JP 2005331615 A JP2005331615 A JP 2005331615A JP 2004148293 A JP2004148293 A JP 2004148293A JP 2004148293 A JP2004148293 A JP 2004148293A JP 2005331615 A JP2005331615 A JP 2005331615A
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- reason
- answer
- feature
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 86
- 238000000605 extraction Methods 0.000 claims description 29
- 238000012360 testing method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、電子データ化された文章を評価する文章評価装置および文章評価方法に関するものである。 The present invention relates to a sentence evaluation apparatus and a sentence evaluation method for evaluating sentences converted into electronic data.
近年、安価で演算処理能力の高いコンピュータの普及に伴い、教育分野でもコンピュータやコンピュータネットワークが利用されるようになってきている。
例えば、一部の大学では、遠隔地にある他大学とLAN(Local Area Network)、WAN(Wide Area Network)、インターネット等のコンピュータネットワーク(以下、ネットワークという)で接続し、一方の大学で行われている講義を他方の大学で受講可能な環境を実現している。また、コンピュータに表示可能な教育コンテンツをサイトに用意し、そのサイトにネットワークを介して自宅のコンピュータでアクセスすることにより、在宅学習を可能にするオンライン学習も盛んに行われている。
このようなe-Learningを適切に運営するためには、学習者の習熟度を適切に把握することが重要である。習熟度を把握する1つの方法として、コンピュータを用いたオンラインのテストがある。このテスト問題は、解答として複数の選択肢を予め用意し、この中から何れかを学習者に選択させる方法が主である。しかしながら選択式の試験だけでは、学習者の習熟度を適切に把握できないという問題がある。
In recent years, computers and computer networks have come to be used also in the education field with the spread of inexpensive computers with high processing power.
For example, some universities connect to other remote universities via a local area network (LAN), a wide area network (WAN), or a computer network (hereinafter referred to as a network) such as the Internet. An environment where students can take lectures at the other university is realized. In addition, online learning that enables home study by preparing educational content that can be displayed on a computer on a site and accessing the site with a home computer via a network is also actively performed.
In order to manage such e-Learning properly, it is important to properly understand the proficiency level of the learner. One method for determining the proficiency level is online testing using a computer. This test question is mainly prepared by preparing a plurality of options as answers and allowing the learner to select one of them. However, there is a problem that the proficiency level of the learner cannot be properly grasped only by the selective test.
また、一部の資格試験においても、ネットワークに接続されたコンピュータで受験者が解答を入力し、この答案をコンピュータを用いて自動的に採点するデジタルテストが実施されている。しかし、このデジタルテストの場合もe-Learningの場合と同様、テスト問題の出題形式が選択式であるのが主である。したがって、受験者の深い知識や考え方を測るには、選択式のテストに加えて、文章で回答させる文章形式のテストを実施することが必要となる。 Also, in some qualification tests, a digital test is performed in which an examinee inputs an answer using a computer connected to a network, and this score is automatically scored using the computer. However, in the case of this digital test as well, as in the case of e-Learning, the test question format is mainly a selection formula. Therefore, in order to measure the examinee's deep knowledge and way of thinking, in addition to the selective test, it is necessary to conduct a test in the form of a sentence that answers in a sentence.
文章形式のテストは、選択式の場合とは異なり、正解を1つ、または、少数に限定することが困難である。これは、ある事柄を文章として表現する際、使用する単語や構文によって同じ事柄を様々な文章で表現することが可能だからである。したがって、予め模範解答を用意しておき、答案と模範解答とを文章を構成する文字列で単純に比較するような方法では、適切な答案を正解と評価することができない。
もし、このような文章形式の答案をコンピュータを用いて自動的に採点できるのであれば、e-Learningにおける習熟度確認試験やデジタルテストの採点を全て自動化することができるようになり、e-Learningの効率を高め、採点の人件費を節約することが可能となる。
In the sentence format test, unlike the selection type, it is difficult to limit the number of correct answers to one or a small number. This is because, when expressing a certain matter as a sentence, it is possible to express the same matter in various sentences depending on the word or syntax used. Therefore, by preparing a model answer in advance and simply comparing the answer and the model answer with the character strings constituting the sentence, an appropriate answer cannot be evaluated as a correct answer.
If such a written answer can be automatically scored using a computer, the proficiency confirmation test and digital test scoring in e-Learning can all be automated, and e-Learning It is possible to improve the efficiency of the system and save labor costs for scoring.
文章形式の答案を自動採点する既存技術として、小論文の自動評価技術がある。これは、文章で書かれた設問に対する受験者の考えや意見が表現された答案文章の適当さを数値で評価する技術である。例えばEducational Testing Services(ETS)が行ってるビジネススクール入試試験(Graduate Management Admission Test,GMAT)では、E-raterと呼ばれる自動採点の技術が検討されている(例えば、非特許文献1参照。)。この技術では、文章を構成する文字、単語および文の種類や数量の傾向を分析し、過去の試験や専門家の意見を考慮して決められた最適な値と比較することにより、文章の表現の適切さを評価している。また、過去に行った同一の試験における答案を専門家が分類し、個々の分類に評価点を予め付与しておき、答案の文章とその分類の関連性を計算し、関連の高い文章の評価点をその答案の評価点としている。日本語においても、E-raterと同等の自動採点技術であるjeratorの検討が行われている(例えば、非特許文献2参照。)。jeratorの検討では、過去の答案の代わりに模範答案に関係が深いと考えられる新聞記事によって分類が作成されている。
一方、Intelligent Essay Assessor(IEA)(例えば、非特許文献3参照。)や、長坂らの技術(例えば、非特許文献4参照。)では、答案自体や試験に関係する文章データにより単語間の関連性を計算し、単語間の関連性を考慮して模範解答と答案の近さを計算している。
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
On the other hand, in Intelligent Essay Assessor (IEA) (for example, see Non-Patent Document 3) and Nagasaka et al. (For example, see Non-Patent Document 4) The model calculates the similarity between the model answer and the answer in consideration of the relationship between words.
The applicant has not yet found prior art documents related to the present invention by the time of filing other than the prior art documents specified by the prior art document information described in this specification.
上述した従来の文章の自動評価技術では、同一の試験の過去の答案やそれに類する文章データ、または、これらの答案や文章データの専門家による分類があれば、試験の種類に限らずに自動的に答案文章を評価することが可能である。
しかしながら、答案の内容が、選択肢を表す文章とこの選択肢を選択した理由を表す理由文章から構成される小論文のような試験の場合、従来の方法では、選択肢を表す文章と理由文章という答案や模範解答の構造的な情報を利用しないので、答案の評価が適切に行われない場合があった。
In the conventional automatic text evaluation technology described above, if there are past answers to the same test or similar text data, or classification by experts of these answers and text data, it is not limited to the type of test. It is possible to evaluate the answer text.
However, in the case of an examination such as an essay composed of a sentence expressing an option and a reason sentence indicating the reason for selecting this option, the conventional method uses an answer or example of a sentence indicating the option and a reason sentence. Since structural information of the answer is not used, there are cases where the evaluation of the answer is not properly performed.
例えば、従来の方法では、選択肢を表す文章と理由文章が整合していない場合でも、選択肢を表す文章と理由文章を一括して評価してしまう。通常、理由文章の方が選択肢を表す文章よりも長文となることが多い。したがって、従来の方法では、主として理由文章の内容を模範解答のいくつかある理由文章の内容と近いかを評価することになり、選択肢を表す文章と理由文章の結びつきの適当さは評価されなくなってしまう。
また、従来の方法では、正解ではない等の例外的な選択肢を表す文章を選択した場合であっても、上述したように選択肢を表す文章と理由文章を一括して評価してしまうので、その答案を高く評価してしまう場合があった。
For example, in the conventional method, even when the sentence representing the option and the reason sentence do not match, the sentence representing the option and the reason sentence are collectively evaluated. Usually, the reason sentence is often longer than the sentence representing the option. Therefore, the conventional method mainly evaluates whether the content of the reason text is close to the content of the reason text with some model answers, and the appropriateness of the connection between the text indicating the option and the reason text is not evaluated. End up.
Also, in the conventional method, even when a sentence representing an exceptional option such as not correct is selected, the sentence representing the option and the reason sentence are collectively evaluated as described above. In some cases, the answer was highly appreciated.
そこで、本発明は、上述したような課題を解決するためになされたものであり、文章の評価を適切に行うことができる文章評価装置および文章評価方法を提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems, and an object thereof is to provide a sentence evaluation apparatus and a sentence evaluation method capable of appropriately evaluating a sentence.
上述したような課題を解決するために本発明にかかる文章評価装置は、複数の選択文章のうち任意に選択された1つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価装置において、選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴DBと、選択理由文章から特徴を抽出する抽出手段と、模範理由文章と選択理由文章との類似度を、模範理由特徴集合と抽出手段により抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章を含む模範答案特徴クラスを特定する計算手段と、この計算手段により特定された模範答案特徴クラスに基づいて答案を評価する評価手段とを備えたことを特徴とする。本発明によれば、計算手段により模範答案特徴クラスが特定されると、答案の選択理由文章に類似度が最も高い模範理由文章に対応する選択文章が一意に定まる。したがって、選択理由文章と選択文章との結びつきの適当さを評価することが可能となる。
なお、特徴とは、複数の文章を比較する際に利用可能な要素であり、文章を構成する文字または単語など文章を構成する要素の全てまたは一部を意味する。
In order to solve the above-described problem, the sentence evaluation apparatus according to the present invention includes one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating the reason for selecting the selected sentence. In a sentence evaluation apparatus for evaluating a composed answer, a plurality of model answer feature classes including a selected sentence and an example reason feature set including features of an example reason sentence indicating an example reason for selecting the selected sentence are stored. The model answer feature DB, extraction means for extracting features from the selection reason sentence, and similarity between the model reason sentence and the selection reason sentence are calculated based on the model reason feature set and the features extracted by the extraction means. , A calculation means for specifying the model answer feature class including the model reason sentence with the highest similarity, and an evaluation for evaluating the answer based on the model answer feature class specified by the calculation means Characterized by comprising a stage. According to the present invention, when the model answer feature class is specified by the calculation unit, the selected sentence corresponding to the model reason sentence having the highest similarity to the answer selection reason sentence is uniquely determined. Therefore, it is possible to evaluate the appropriateness of the connection between the selection reason sentence and the selected sentence.
The feature is an element that can be used when comparing a plurality of sentences, and means all or a part of elements constituting the sentence such as characters or words constituting the sentence.
上記文章評価装置において、評価手段は、答案に含まれる選択文章と、計算手段により特定された模範答案特徴クラスに含まれる選択文章とが一致するか否かを判定する判定手段を備え、判定手段が一致しないと判定した場合、答案に対して最も低い評価をするようにしてもよい。
ここで、評価手段は、判定手段が一致すると判定した場合、計算手段により特定された模範答案特徴クラスに含まれる模範理由特徴集合から得られる特徴と、答案理由文章の特徴との類似度に基づいて答案を評価するようにしてもよい。
In the above sentence evaluation apparatus, the evaluation unit includes a determination unit that determines whether or not the selected sentence included in the answer matches the selected sentence included in the model answer feature class specified by the calculation unit. If it is determined that they do not match, the lowest evaluation may be made on the answer.
Here, the evaluation means, based on the similarity between the characteristics obtained from the model reason feature set included in the model answer feature class specified by the calculation means and the characteristics of the answer reason sentence when it is determined that the determination means match. You may make it evaluate an answer.
また、本発明にかかる他の形態の文章評価装置は、複数の選択文章のうち任意に選択された1つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価装置において、選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴DBと、選択理由文章から特徴を抽出する抽出手段と、模範理由文章および無関係理由文章と選択理由文章との類似度を、模範理由特徴集合および無関係理由特徴集合と抽出手段により抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章または無関係理由文章を含む模範答案特徴クラスまたは無関係理由特徴クラスを特定する計算手段と、この計算手段により特定された模範答案特徴クラスまたは無関係理由特徴クラスに基づいて答案を評価する評価手段とを備えたことを特徴とする。 Another embodiment of the sentence evaluation device according to the present invention is an answer composed of one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating the reason for selecting the selected sentence. In the sentence evaluation device for evaluating the selected sentence, a plurality of exemplary answer feature class including an exemplary reason feature set composed of the characteristic of the exemplary reason sentence indicating the exemplary reason for selecting the selected sentence and the exemplary example for selecting the selected sentence Model answer feature DB storing irrelevant reason feature class including irrelevant reason feature set consisting of features of irrelevant reason sentence indicating unreasonable reason, extraction means for extracting feature from selected reason sentence, model reason sentence and irrelevant The similarity between the reason sentence and the selection reason sentence is calculated based on the model reason feature set and the irrelevant reason feature set and the features extracted by the extraction means. Based on the calculation means for identifying the model answer feature class or the irrelevant reason feature class including the model reason sentence or the irrelevant reason sentence having the highest degree, and the answer based on the model answer feature class or the irrelevant reason feature class specified by the calculation means An evaluation means for evaluating is provided.
上記文章評価装置において、評価手段は、計算手段により無関係理由特徴クラスが特定された場合、答案に対して最も低い評価をするようにしてもよい。 In the above sentence evaluation apparatus, the evaluation means may perform the lowest evaluation on the answer when the irrelevant reason feature class is specified by the calculation means.
また、上記文章評価装置において、選択文章およびこの選択文章に対応する模範理由文章を含む複数の模範理由文章クラスと、無関係理由文章を含む無関係理由文章クラスとのうち少なくとも一方を記憶した模範答案DBと、この模範答案DBから模範答案特徴DBを作成する模範答案特徴DB作成手段とをさらに備えるようにしてもよい。 In the above sentence evaluation apparatus, a model answer DB storing at least one of a plurality of model reason sentence classes including a selected sentence and a model reason sentence corresponding to the selected sentence, and an irrelevant reason sentence class including an irrelevant reason sentence And a model answer feature DB creating means for creating a model answer feature DB from the model answer DB.
また、本発明にかかる文章評価方法は、複数の選択文章のうち任意に選択された1つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価方法において、選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴DBを作成する作成ステップと、選択理由文章から特徴を抽出する抽出ステップと、模範理由文章と選択理由文章との類似度を、模範理由特徴集合と抽出ステップにより抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章を含む模範答案特徴クラスを特定する計算ステップと、この計算ステップにより特定された模範答案特徴クラスに基づいて答案を評価する評価ステップとを備えたことを特徴とする。 The sentence evaluation method according to the present invention is a sentence for evaluating an answer composed of one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating the reason for selecting the selected sentence. In the evaluation method, a model answer feature DB is created which stores a plurality of model answer feature classes including a selected sentence and a model reason feature set including features of the model reason sentence indicating a model reason for selecting the selected sentence. The similarity between the creation step, the extraction step of extracting the feature from the selection reason sentence, and the similarity between the example reason sentence and the selection reason sentence is calculated based on the feature extracted from the example reason feature set and the extraction step. The calculation step that identifies the model answer feature class that contains the highest model reason sentence, and the answer is evaluated based on the model answer feature class identified by this calculation step. Characterized by comprising an evaluation step for.
上記文章評価方法において、評価ステップは、答案に含まれる選択文章と、計算ステップにより特定された模範答案特徴クラスに含まれる選択文章とが一致するか否かを判定する判定ステップを備え、判定ステップで一致しないと判定した場合、答案に対して最も低い評価をするようにしてもよい。
ここで、評価ステップは、判定ステップで一致すると判定した場合、計算ステップにより特定された模範答案特徴クラスに含まれる模範理由特徴集合から得られる特徴と、答案理由文章の特徴との類似度に基づいて答案を評価するようにしてもよい。
In the above sentence evaluation method, the evaluation step includes a determination step of determining whether or not the selected sentence included in the answer matches the selected sentence included in the model answer feature class specified in the calculation step. If it is determined that they do not agree with each other, the lowest evaluation may be made on the answer.
Here, the evaluation step is based on the similarity between the feature obtained from the model reason feature set included in the model answer feature class specified by the calculation step and the feature of the answer reason sentence when it is determined that they match in the determination step. You may make it evaluate an answer.
また、本発明にかかる他の形態の文章評価方法は、複数の選択文章のうち任意に選択された1つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価方法において、選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴DBを作成する作成ステップと、選択理由文章から特徴を抽出する抽出ステップと、模範理由文章および無関係理由文章と選択理由文章との類似度を、模範理由特徴集合および無関係理由特徴集合と抽出ステップにより抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章または無関係理由文章を含む模範答案特徴クラスまたは無関係理由特徴クラスを特定する計算ステップと、この計算ステップにより特定された模範答案特徴クラスまたは無関係理由特徴クラスに基づいて答案を評価する評価ステップとを備えたことを特徴とする。 In another form of the sentence evaluation method according to the present invention, an answer composed of one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating the reason for selecting the selected sentence. In the sentence evaluation method for evaluating the selected sentence, a plurality of model answer feature class including a model reason feature set including characteristics of the selected sentence and a model reason sentence indicating a model reason for selecting the selected sentence, and a model for selecting the selected sentence A creation step for creating a model answer feature DB storing an irrelevant reason feature class including an irrelevant reason feature set consisting of features of an irrelevant reason sentence indicating an unreasonable reason; an extraction step for extracting a feature from the selected reason sentence; The similarity between the model reason sentence and the irrelevant reason sentence and the selection reason sentence is extracted by the model reason feature set, the irrelevant reason feature set and the extraction step. A calculation step for identifying a model answer feature class or an irrelevant reason feature class including a model reason sentence or an irrelevant reason sentence having the highest similarity, and a model answer feature class identified by the calculation step Or an evaluation step for evaluating the answer based on the unrelated reason feature class.
上記文章評価方法において、評価ステップは、計算ステップで無関係理由特徴クラスが特定された場合、答案に対して最も低い評価をするようにしてもよい。 In the above sentence evaluation method, the evaluation step may perform the lowest evaluation on the answer when the irrelevant reason feature class is specified in the calculation step.
また、上記文章評価方法において、作成ステップは、選択文章およびこの選択文章に対応する模範理由文章を含む複数の模範理由文章クラスと、無関係理由文章を含む無関係理由文章クラスとのうち少なくとも一方を記憶した模範答案DBとから模範答案特徴DBを作成するようにしてもよい。 In the above sentence evaluation method, the creation step stores at least one of a plurality of model reason sentence classes including a selected sentence and a model reason sentence corresponding to the selected sentence, and an irrelevant reason sentence class including an irrelevant reason sentence. The model answer feature DB may be created from the model answer DB.
本発明によれば、選択理由文章の特徴と、模範理由文章の特徴との類似度に基づいて答案を評価するため、答案や模範解答の構造的な情報を利用して答案を評価することが可能となり、選択肢およびこの選択肢を選択した理由を述べる小論文のような試験の答案の評価を適切に行うことができる。
また、本発明によれば、答案に含まれる選択文章と、特定された模範答案特徴クラスに含まれる選択文章が一致するか否かを判定し、一致しない場合はその答案に対して最も低い評価をする。これにより、選択肢と理由文章の結びつきの適当さを考慮した適切な評価が可能となる。
さらに、本発明によれば、無関係理由特徴クラスが特定された場合、答案に対して最も低い評価をする。これにより、正解ではない等の例外的な選択肢が答案に含まれる場合でも、適切な評価が行うことが可能となる。
According to the present invention, since the answer is evaluated based on the similarity between the feature of the selection reason sentence and the feature of the model reason sentence, the answer can be evaluated using the structural information of the answer or the model answer. It is possible to appropriately evaluate the answers to the exam, such as an essay that states the choice and the reason for choosing this choice.
Further, according to the present invention, it is determined whether or not the selected sentence included in the answer and the selected sentence included in the identified model answer feature class match, and if not, the lowest evaluation for the answer do. Thereby, it is possible to perform an appropriate evaluation in consideration of the appropriateness of the connection between the option and the reason sentence.
Furthermore, according to the present invention, when an irrelevant reason feature class is specified, the lowest evaluation is given to the answer. Thereby, even when an exceptional option such as not correct is included in the answer, an appropriate evaluation can be performed.
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図1は、本実施の形態にかかる文章評価装置の構成を示すブロック図である。
本実施の形態にかかる文章評価装置1は、任意の質問に対して予め用意された模範となる答案を模範答案DB2から予め受信し、その質問に対してユーザ(以下、受験者という)が作成した答案3を模範答案DB2から受信した模範となる答案を用いて評価し、この評価を数値化した評価値4を外部に出力するものである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a sentence evaluation apparatus according to the present embodiment.
The sentence evaluation apparatus 1 according to the present embodiment receives a model answer prepared in advance for an arbitrary question from the
図2は、質問を説明するための模式図である。
ここで、質問とは、図2に示すように、受験者への問いかけを表す文章であり、質問文章5と、この質問文章5について受験者が選択する2つ以上の答案選択文章6とから構成される。図2の場合は、質問文章5に対して、2つの答案選択文章6a,6bが設けられていることになる。
なお、質問文章5は、文章のみならず、画像や音声が含まれてもよい。
また、本実施の形態全般において、文章とは、複数の文字コードから構成される電子データのことを意味する。
FIG. 2 is a schematic diagram for explaining the question.
Here, as shown in FIG. 2, the question is a sentence representing an inquiry to the examinee. From the
The
In the present embodiment as a whole, the sentence means electronic data composed of a plurality of character codes.
模範答案DB2は、複数の模範理由文章クラス21と、無関係理由文章クラス22とから構成される。図3は、模範理由文章クラス21と無関係理由文章クラス22を説明するための模式図である。
模範理由文章クラス21の数量は、質問文章5に対する答案選択文章6の数量に対応する。例えば、図2に示すように質問文章5に対して2つの答案選択文章6a、6bが設定されている場合、模範理由文章クラス21は、答案選択文章6a、6bに1対1に対応する2つの模範理由文章クラス21a,21bが設定される。
The
The quantity of the model reason sentence class 21 corresponds to the quantity of the
模範理由文章クラス21は、質問文章5に対する1つの答案選択文章6と、この答案選択文章6を選択した理由を示す少なくとも1つの模範理由文章7とから構成される。
例えば、図3(a)に示す模範理由文章クラス21aは、答案選択文章6aに対して3つの模範理由文章7a〜7cが設けられている。また、図3(b)に示す模範理由文章クラス21bは、選択文章6bに対して2つの模範理由文章7d〜7eが設けられている。
ここで、模範理由文章7は、答案選択文章6を選択する理由として適切であれば、個々の答案選択文章6に対して質問の作成者(以下、試験者という)が予め作成したり、または、質問に関連する文章、書籍、www(world wide web)などより収集した文章の中で適切なものを選択したものでもよい。
The model reason sentence class 21 includes one
For example, in the model
Here, the
無関係理由文章クラス22は、答案選択文章6を選択した理由とは関係のない文章である複数の無関係理由文章8を有する。例えば、図3(c)に示す無関係理由文章クラス22の場合は、3つの無関係理由文章8a〜8cが設定されている。
The irrelevant
このような模範答案DB2は、公知のコンピュータの記憶装置や磁気ディスク等に記録されるようにしてもよい。
本実施の形態では、模範答案DB2が文章評価装置1と独立して設けられている。これにより、模範答案DB2を作成するための場所や時間等の自由度が増すので、試験者にとってとても使い勝手がよい。
なお、模範答案DB2は、文章評価装置1に内蔵するようにしてもよい。
Such an
In the present embodiment, the
The
答案3は、答案選択文章31と、答案理由文章32とから構成される。図4は、答案3を説明するための模式図である。
答案選択文章31は、図2に示すような複数の答案選択文章6の中から受験者が選択した選択文章に相当する。
答案理由文章32は、受験者が答案選択文章31を選択した理由について記述した文章に相当する。
例えば、図4に示す答案3は、図2に示す質問5に対する受験者の答案であり、答案選択文章6から選択した答案選択文章31と、この答案選択文章31を選択した理由について記述した答案理由文章32とから構成されている。
The
The
The
For example, the
文章評価装置1は、模範答案特徴DB作成部11と、模範答案特徴DB12と、文章特徴抽出部13と、類似度計算部14と、答案理由文章クラス情報計算部15と、評価値DB16と、評価値算出部17とから構成される。
The sentence evaluation apparatus 1 includes an exemplary answer feature
模範答案特徴DB作成部11は、模範答案DB2に基づいて模範答案特徴DB12を作成する。
模範答案特徴DB12は、複数の模範理由特徴クラス120と、無関係理由特徴クラス130とから構成される。図5は、模範理由特徴クラス120と無関係理由特徴クラス130を説明するための模式図である。
各模範理由特徴クラス120は、模範答案DB2の各模範理由文章クラス21に1対1で対応する。例えば、図1に示すように、模範答案DB2に2つの模範理由文章クラス21a,21bが設けられている場合、模範答案特徴DB12には、図3に示すように、それぞれに1対1で対応する模範理由特徴クラス120a,120bが設けられる。
The model answer feature
The model
Each model
模範理由特徴クラス120は、1対1に対応する模範理由文章クラス21の答案選択文章6と、少なくとも1つの模範理由特徴集合121と、模範平均特徴集合122と、類似度統計情報123とから構成される。
例えば、図5(a)に示す模範理由特徴クラス120aは、図3(a)の模範理由文章クラス21aに対応し、答案選択文章6aと、模範理由特徴集合121a〜121cと、模範平均特徴集合122と、類似度統計情報123とから構成される。同様に、図5(b)に示す模範理由特徴クラス120bは、図3(b)の模範理由文章クラス21bに対応し、答案選択文章6bと、模範理由特徴集合121d,121eと、模範平均特徴集合122と、類似度統計情報123とから構成される。
The model
For example, the model
模範理由特徴集合121は、対応する模範理由文章クラス21の各模範理由文章7から抽出した特徴の集合から構成される。
ここで、特徴とは、複数の文章を比較する際に利用可能な要素であるならば適宜自由に設定することができ、例えば文章を構成する文字または単語など、文章を構成する要素の全てまたは一部を意味する。このような特徴は、文章に含まれる全ての単語の内で文章を内容で比較する際に重要な名詞や動詞のような特定の品詞の語や、予め文章評価装置1に登録された辞書に一致した語などでもよい。
例えば、図5(a)に示す模範理由特徴集合121a〜121cは、それぞれ対応する図3(a)の模範理由文章7a〜7cから抽出した特徴の集合から構成されている。同様に、図5(b)に示す模範理由特徴集合121d,121eは、それぞれ対応する図3(b)の模範理由文章7d,7eから抽出した特徴の集合から構成されている。
The model reason feature set 121 includes a set of features extracted from each
Here, the feature can be arbitrarily set as long as it is an element that can be used when comparing a plurality of sentences. For example, all or all of the elements constituting the sentence, such as characters or words constituting the sentence, can be set. Mean part. Such features can be found in words of specific parts of speech such as nouns and verbs that are important when comparing sentences among all words included in sentences, or in a dictionary registered in the sentence evaluation apparatus 1 in advance. It may be a matched word.
For example, the model reason feature sets 121a to 121c shown in FIG. 5A are configured from feature sets extracted from the corresponding
模範平均特徴集合122は、例えば、各模範理由特徴集合121に重複する特徴の集合、重複を除去した各模範理由特徴集合121の特徴の集合、全ての模範理由特徴集合121の特徴のうち一定回数以上出現する特徴の集合、各模範理由特徴集合121の特徴の和集合または積集合など、模範理由特徴クラス120に含まれる模範理由特徴集合121を特徴付ける特徴の集合から構成される。
例えば、図5(a)に示す模範平均特徴集合122aは、模範理由特徴集合121a〜121cを特徴付ける特徴の集合から構成されている。同様に、図5(b)に示す模範平均特徴集合122bは、模範理由特徴集合121d,121eを特徴付ける特徴の集合から構成されている。
The model average feature set 122 includes, for example, a set of features overlapping each model reason feature set 121, a set of features of each model reason feature set 121 from which duplication is removed, and a fixed number of times among the features of all model reason feature sets 121. A set of features that characterize the exemplary reason feature set 121 included in the exemplary
For example, the model average feature set 122a illustrated in FIG. 5A includes a set of features that characterize the model reason feature sets 121a to 121c. Similarly, the model average feature set 122b illustrated in FIG. 5B includes a set of features that characterize the model reason feature sets 121d and 121e.
類似度統計情報123は、模範平均特徴集合122と各模範理由特徴集合121との似ている度合いに関する類似度に基づく統計情報であり、類似度の平均と標準偏差とから構成される。
例えば、図5(a)に示す類似度統計情報123aは、模範理由特徴集合121a〜121cと模範平均特徴集合122aとの類似度の平均と標準偏差とから構成されている。同様に、図5(b)に示す類似度統計情報123bは、模範理由特徴集合121d,121eと模範平均特徴集合122bとの類似度の平均と標準偏差とから構成されている。
The similarity
For example, the similarity
無関係理由特徴クラス130は、無関係理由文章クラス22の無関係理由文章8から抽出した特徴の集合から構成される無関係理由特徴集合131を有する。例えば、図5(c)に示す無関係理由特徴クラス130の無関係理由特徴集合131a〜131cは、それぞれ対応する図3(c)の無関係理由文章8a〜8cから抽出した特徴の集合から構成されている。
The irrelevant
文章特徴抽出部13は、模範答案特徴DB作成部11または答案理由文章クラス情報計算部15から文の集合である文章を受信し、受信した文章から特徴をを抽出して模範答案特徴DB作成部11または答案理由文章クラス情報計算部15に出力する。
なお、文章特徴抽出部13は、単語を分類したデータベースである類似辞典(シソーラス)を設け、文章中の各単語が含まれる類語辞典中の分類を特徴として出力するようにしてもよい。
The sentence
Note that the sentence
類似度計算部14は、模範答案特徴DB作成部11または答案理由文章クラス情報計算部15から異なる2つの特徴の集合を受信すると、これらの集合の似ている度合いを表す類似度を計算し、この計算結果を模範答案特徴DB作成部11または答案理由文章クラス情報計算部15に出力する。
ここで、類似度は、予め設定された最大値と最小値の間の値をとり、似ている度合いが高いほどその値が大きくなる。
When the
Here, the similarity takes a value between a preset maximum value and minimum value, and the value increases as the degree of similarity increases.
類似度の計算方法としては、2つの特徴の集合間に一致する特徴の数量を計測し、2つの特徴の集合それぞれで一致する特徴が含まれる割合を求め、この値の大きい方または小さい方の値を出力する方法や、予め類似度計算部14で最大の一致数を類似度の最大値、最小の一致数を類似度の最小値として設定し、比較する特徴の集合間で一致する特徴数が最大値よりも大きな場合には予め設定した類似度の最大値、最小値よりも小さな場合には予め設定した類似度の最小値、これら以外の場合には一致する特徴数を類似度として出力する方法等が挙げられる。
The similarity is calculated by measuring the number of matching features between two feature sets, obtaining the percentage of matching features in each of the two feature sets, and calculating the ratio of the larger or smaller value. A method of outputting a value, or the number of features that match between sets of features to be compared by setting the maximum number of matches as the maximum value of similarity and the minimum number of matches as the minimum value of similarity in advance in the
また、文章の特徴が単語で表現されている場合には、類似度の計算方法として上述した方法のみならず、単語の概念ベクトルを用いて計算するようにしてもよい。単語の概念ベクトルとは、考慮する全ての単語に共通する属性を複数予め用意し、個々の単語についてそれぞれの属性における重み付けを表す値を用意し、このような属性や重み付けを要素としたベクトルである。概念ベクトルを自動的に作成する方法としては、国語辞典を利用する方法(笠原要,松澤和光,石川勉,「国語辞書を利用した日常語の類似性判別」,情報処理学会論文誌,1997年,Vol.38, No.7, p.1272-1284)や、新聞記事などのコーパスを利用する方法(Schutze, H,Dimensions of Meaning,Proceedings of Supercomputing 92,1992,p.787-796)が提案されている。このような概念ベクトルを予め類似度計算部14内に設け、2つの特徴の集合それぞれに対応する概念ベクトルを足し合わせ、2つの概念ベクトルがなす角度の余弦にて類似度を算出するようにしてもよい。
Further, when the feature of the sentence is expressed by a word, not only the method described above but also the concept vector of the word may be calculated as the similarity calculation method. A word concept vector is a vector in which a plurality of attributes common to all words to be considered are prepared in advance, and a value representing the weighting of each attribute is prepared for each word. is there. As a method for automatically creating concept vectors, a method using a Japanese dictionary (Kasasa Kasahara, Kazumitsu Matsuzawa, Tsutomu Ishikawa, “Similarity of Daily Words Using a Japanese Language Dictionary”, IPSJ Journal, 1997 , Vol.38, No.7, p.1272-1284) and methods using a corpus such as newspaper articles (Schutze, H, Dimensions of Meaning, Proceedings of Supercomputing 92, 1992, p.787-796) Has been. Such a concept vector is provided in the
答案理由文章クラス情報計算部15は、受験者が作成した答案3が入力されると、文書特徴抽出部13に答案3の答案理由文章32から特徴の集合(以下、答案特徴集合という)を抽出させる。
次に、答案理由文章クラス情報計算部15は、模範答案特徴DB12を参照して、答案理由文章32から抽出した答案特徴集合と、模範答案特徴DB12の各模範理由特徴クラス120の各模範理由特徴集合121および無関係理由特徴クラス130の各無関係理由特徴集合131との類似度を類似度計算部14に計算させ、この計算結果に基づいてその答案理由文章32がどの模範理由特徴クラス120または無関係理由特徴クラス130に分類するかを決定する。分類する模範理由特徴クラス120または無関係理由特徴クラス130を決定すると、答案理由文章クラス情報計算部15は、答案3の答案選択文章31、答案3の答案理由文章32より抽出された特徴の集合、名称等の分類を決定した模範理由特徴クラス120または無関係理由特徴クラス130(以下、便宜上、それぞれ決定模範理由特徴クラス120または決定無関係理由特徴クラス130という)に関する情報を評価値算出部17に出力する。
When the
Next, the answer reason text class
答案3の答案理由文書32より抽出される答案特徴集合の分類を決定する方法は、各クラスに含まれる模範理由特徴集合121および無関係理由特徴集合131と答案3の答案理由文章32より抽出される特徴の集合とを比較して決定する方法であるならば、各種方法を適宜自由に用いることができる。例えば、各クラスk個の模範理由特徴集合121および無関係理由特徴集合131と、答案理由文章32より抽出される特徴の集合との類似度を算出し、この算出値の最大の類似度をとる模範理由特徴集合121または無関係理由特徴集合131が属するクラスを、答案理由文章32を有する答案3が属する分類として決定するようにしてもよい。ここで、kは任意の値を意味する。
The method of determining the classification of the answer feature set extracted from the
評価値DB16は、最も答案が適切であることを示す評価値上限と、最も答案が不適切であることを示す評価値下限とを記憶している。このような評価値下限および評価値上限は、ユーザにより予め設定される。評価値上限が評価値下限よりも大きな値であるならば、評価値上限および評価値下限の値は、適宜自由に設定することができる。
The
評価値算出部17は、答案理由文書クラス情報計算部15から出力される答案3の答案選択文章31、答案3の答案理由文章32より抽出された特徴の集合、決定模範理由特徴クラス120または決定無関係理由特徴クラス130に関する情報を受け取り、模範答案特徴DB12と評価値DB16を参照して評価値を計算し、計算結果を出力する。
The evaluation
評価値の計算方法は、まず、答案3の答案選択文章31と、決定模範理由特徴クラス120の答案選択文章6とが一致しているか否かを確認する。
一致していない場合、評価値算出部17は、評価値下限を出力する。答案理由文章32が無関係理由特徴クラス130に分類されている場合も、評価値算出部17は評価値下限を出力する。
答案3の答案選択文章31と決定模範理由特徴クラス120の答案選択文章6とが一致している場合、評価値算出部17は、答案3の答案理由文章32より抽出された答案特徴集合と、決定模範理由特徴クラス120の模範平均特徴集合122との類似度を、類似度計算部14に計算させる。この計算した類似度と、決定模範理由特徴クラス120の類似度統計情報123とを比較することにより、評価値算出部17は評価値を決定する。
As a method for calculating the evaluation value, first, it is confirmed whether or not the
If they do not match, the evaluation
When the
評価値の決定方法としては、答案3の答案理由文章32より抽出された答案特徴集合と決定模範理由特徴クラス120の模範平均特徴集合122の類似度、および、決定模範理由特徴クラス120の類似度統計情報123を用い、評価値を評価値上限と評価値下限の間に設定するものであるならば、各種方法を適宜自由に用いることができる。例えば、類似度統計情報123の類似度の平均値と標準偏差を用い、その平均値から一定数倍の標準偏差を足した値と引いた値の間に計算された類似度が含まれている場合は評価値上限、これ以外の場合には評価値下限とするようにしてもよい。また、別の評価値の決定方法としては、計算された類似度が類似度統計情報123の類似度の平均値から標準偏差を差し引いた値以上の場合は評価値上限、これ以外の場合には評価値下限とするようにしてもよい。
As evaluation value determination methods, the similarity between the answer feature set extracted from the
このような文章評価装置1は、CPU等の演算装置、メモリ、HDD等の記憶装置、模範答案DB2や受験者の端末装置と情報の送受を行うI/F装置、キーボード、マウス等の入力装置、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、FED(Field Emission Display)または有機EL(Electro Luminescence)等の表示装置などを備えたコンピュータと、このコンピュータにインストールされたプログラムとからそれぞれ構成されており、上記ハードウェア装置がプログラムによって制御されることによって、すなわちハードウェア資源とソフトウェアが協働することによって、上述した模範答案特徴DB作成部11、模範答案特徴DB12、文章特徴抽出部13、類似度計算部14、答案理由文章クラス情報計算部15、評価値DB16および評価値算出部17を実現する。
Such a sentence evaluation device 1 includes an arithmetic device such as a CPU, a storage device such as a memory and an HDD, an I / F device that transmits and receives information to and from the
次に、本実施の形態にかかる文章評価装置1の動作について図1〜7を参照して説明する。図6は、本実施の形態にかかる文章評価装置1の動作を示すフローチャート、図7は、本実施の形態にかかる文章評価装置1による類似度の算出動作の具体例を示す模式図である。
まず、図2に示す質問文章5に対して、この質問文章5に対応する図3に示す模範理由文章クラス21a,21bおよび無関係理由文章クラス22を有する模範答案DB2を本実施の形態にかかる文章評価装置1に入力する(ステップS601)。
Next, operation | movement of the text evaluation apparatus 1 concerning this Embodiment is demonstrated with reference to FIGS. FIG. 6 is a flowchart showing the operation of the sentence evaluation apparatus 1 according to the present embodiment, and FIG. 7 is a schematic diagram showing a specific example of the similarity calculation operation by the sentence evaluation apparatus 1 according to the present embodiment.
First, with respect to the
文章評価装置1の模範答案特徴DB作成部11は、文章特徴抽出部13に、入力された模範答案DB2の各模範理由文章クラス21および無関係理由文章クラス22の模範理由文章7および無関係理由文章8から特徴を抽出させ、模範理由特徴集合121および無関係理由特徴集合131を作成させる(ステップS602)。
例えば、文章特徴抽出部13は、図3(a),(b)に示す模範答案DB2に含まれる模範理由文章クラス21a,21bの模範理由文章7a〜7eから特徴を抽出し、図5(a),(b)に示す模範答案特徴DB12に含まれる模範理由特徴クラス120a,120bの模範理由特徴集合121a〜121eを作成する。同様に、文章特徴抽出部13は、図3(c)に示す模範答案DB2に含まれる無関係理由文章クラス22の無関係理由文章8から特徴を抽出し、図5(c)に示す模範答案特徴DB12に含まれる無関係理由特徴クラス130の無関係理由特徴集合131を作成する。
The model answer feature
For example, the sentence
本実施の形態の場合、文章特徴抽出部13は、模範理由文章7または無関係理由文章から名詞のみを特徴として抽出する。したがって、例えば図3(a)に示す模範理由文章クラス21aの模範理由文章7aの場合、文章特徴抽出部13は、模範理由文章7aから「日本、山、地形、梅雨、台風、一時期、降雨、ダム、防災、手段」という特徴を抽出する。この抽出した特徴の集合が、図5(a)に示す模範理由特徴クラス120aの模範理由特徴集合121aとなる。
上述した模範理由文章7aの場合と同様、模範理由文章7b〜7eおよび無関係理由文章8ついても、文章特徴抽出部13は、それぞれ名詞からなる特徴を抽出し、模範理由特徴集合121b〜121eおよび無関係理由特徴集合131を作成する。
In the present embodiment, the sentence
As in the case of the
各模範理由特徴クラス120の模範理由特徴集合121を作成すると、模範答案特徴DB作成部11は、個々の模範理由特徴クラス120について模範平均特徴集合122を作成する(ステップS603)。
例えば、図5(a)に示す模範理由特徴クラス120aにおいては、模範答案特徴DB作成部11は、模範理由特徴集合121a〜121cの中に2個以上存在する特徴の集合を模範平均特徴集合122aとして作成する。同様に、図5(b)に示す模範理由特徴クラス120bにおいては、模範答案特徴DB作成部11は、模範理由特徴集合121d,121eの中に2個以上存在する特徴の集合を模範平均特徴集合122bとして作成する。
When the model reason feature set 121 for each model
For example, in the model
模範平均特徴集合122を作成すると、模範答案特徴DB作成部11は、個々の模範理由特徴クラス120について類似度統計情報123を類似度計算部14に作成させる(ステップS604)。一例として、図5(a),(b)に示す模範理由特徴クラス120a,120bの類似度統計情報123a,bの作成方法について、図7(a),(b)を参照して説明する。
When the model average feature set 122 is created, the model answer feature
まず、図5(a)に示す模範理由特徴クラス120aの場合について説明する。
本実施の形態では、2つの特徴集合間で共通する特徴数がそれぞれの特徴集合で占める割合の平均を類似度とする。したがって、模範理由特徴集合121aと模範平均特徴集合122aの類似度は、模範理由特徴集合121aの特徴数が10個、模範平均特徴集合122aと共通する特徴数が9個、模範平均特徴集合122aの特徴数が9個なので、下式(1)で算出され、0.95となる。
(9/10+9/9)/2=0.95 ・・・(1)
同様に、模範理由特徴集合121bと模範平均特徴集合122aの類似度、模範理由特徴集合121cと模範平均特徴集合122aの類似とは、それぞれ下式(2),(3)で算出される。
(8/10+8/9)/2=0.84 ・・・(2)
(2/5+2/9)/2=0.31 ・・・(3)
上記3つの類似度の平均と標準偏差が類似度統計情報123aの平均と標準偏差となる。したがって、類似度統計情報123aの平均は0.70、標準偏差は0.28となる。
First, the case of the exemplary
In the present embodiment, the average of the ratio of the number of features common to two feature sets in each feature set is defined as the similarity. Therefore, the similarity between the model reason feature set 121a and the model average feature set 122a is such that the number of features of the model reason feature set 121a is 10, the number of features in common with the model average feature set 122a is 9, and the similarity of the model average feature set 122a Since the number of features is 9, it is calculated by the following formula (1) and becomes 0.95.
(9/10 + 9/9) /2=0.95 (1)
Similarly, the similarity between the model reason feature set 121b and the model average feature set 122a and the similarity between the model reason feature set 121c and the model average feature set 122a are calculated by the following equations (2) and (3), respectively.
(8/10 + 8/9) /2=0.84 (2)
(2/5 + 2/9) /2=0.31 (3)
The average and standard deviation of the three similarities are the average and standard deviation of the similarity
同様に、図5(b)に示す模範理由特徴クラス120bの場合、模範理由特徴集合121d,121eと模範平均特徴集合122bとの類似度は、それぞれ下式(4),(5)で算出される。
(4/11+4/4)/2=0.68 ・・・(4)
(4/8+4/4)/2=0.75 ・・・(5)
これらの類似度から、類似度統計情報123bの平均は0.72、標準偏差は0.03となる。
Similarly, in the case of the model
(4/11 + 4/4) /2=0.68 (4)
(4/8 + 4/4) /2=0.75 (5)
From these similarities, the average of the similarity
上述した類似度統計情報123が作成されると、模範答案特徴DB12が完成する。
When the above-described similarity
模範答案特徴DB12の完成後、受験者により作成された答案3が文章評価装置1に入力されると、答案理由文章クラス情報計算部15は、文章特徴抽出部13に答案3の答案理由文章32から答案特徴集合を抽出させる(ステップS605)。
例えば、図4に示すような答案3が入力された場合、文章特徴抽出部13は、上述したように本実施の形態では模範理由文章7a〜7eおよび無関係理由文章8から名詞からなる特徴を抽出しているので、答案理由文章32からも「ダム、自然、破壊」という名詞の特徴を抽出する。
When the
For example, when the
答案理由文章32の答案特徴集合が抽出されると、答案理由文章クラス情報計算部15は、その答案特徴集合の類似度を算出し(ステップS606)、答案理由文章32の分類を決定する(ステップS607)。
本実施の形態では、最も単純な分類方法であるk近傍法を用いて分類を決定する。このk近傍法とは、各分類より最大k個の要素を取り出し、分類対象との類似度を計算し、最も類似度が大きい要素の分類を対象の分類として決定する方法である。なお、本実施の形態では、全ての要素を用いて分類を決定することとする。
When the answer feature set of the
In the present embodiment, the classification is determined using the k-nearest neighbor method which is the simplest classification method. The k-nearest neighbor method is a method in which a maximum of k elements are extracted from each classification, the similarity with the classification target is calculated, and the classification of the element with the highest similarity is determined as the target classification. In the present embodiment, the classification is determined using all elements.
まず、答案理由文章クラス情報計算部15は、図7(c)に示すように、各模範理由特徴クラス120および無関係理由特徴クラス130の模範理由特徴集合121a〜121eおよび無関係理由特徴集合131a〜131cそれぞれと、答案理由文章32の答案特徴集合との類似度を算出する。
First, the answer reason sentence class
一例として、模範理由特徴集合121aと答案理由文章32の答案特徴集合との類似度は、模範理由特徴集合121aの特徴数が10個、答案理由文章32の答案特徴集合が3個、模範理由特徴集合121aと答案理由文章32の答案特徴集合とで共通する特徴の数が1個なので、下式(6)で算出され、0.22となる。
(1/10+1/3)/2=0.22 ・・・(6)
As an example, the similarity between the model reason feature set 121a and the answer feature set of the
(1/10 + 1/3) /2=0.22 (6)
同様の方法で、答案理由文章クラス情報計算部15は、模範理由特徴集合121b〜121eおよび無関係理由特徴集合131a〜131cそれぞれと、答案理由文章32の答案特徴集合との類似度についても算出する。すると、各類似度は、0.22(模範理由特徴集合121b)、0.27(模範理由特徴集合121c)、0.42(模範理由特徴集合121d)、0.46(模範理由特徴集合121e)、0.33(無関係理由特徴集合131a)、0(無関係理由特徴集合131b)、0.33(無関係理由特徴集合131c)となる。
In the same way, the answer reason sentence class
各類似度を算出すると、答案理由文章クラス情報計算部15は、類似度が最も高い模範理由特徴集合121eを含む模範理由特徴クラス120bを、答案理由文章32を分類するクラス、すなわち決定模範理由特徴クラス120bと決定する。
When each similarity is calculated, the answer reason sentence class
このように、本実施の形態によれば、答案選択文章を選択した理由に関する答案理由文章32の答案特徴集合と、答案選択文章を選択した模範となる理由模範理由特徴集合121a〜121eとの類似度を算出する、すなわち答案選択文章を選択した理由に関する文章同士を対比させるので、答案や模範解答の構造的な情報を利用して答案を評価することが可能となり、択一的な質問に対する受験者の解答およびこの解答に至る理由を述べるような試験の答案を評価する場合も、適切な評価を行うことができる。
As described above, according to the present embodiment, the answer feature set of the
答案理由文章32を分類するクラスが決定すると、答案理由文章クラス情報計算部15は、答案3の答案選択文章31、答案3の答案理由文章32より抽出された答案特徴集合、分類を決定した模範理由特徴クラス120または無関係理由特徴クラス130に関する情報を評価値算出部17に出力する(ステップS608)。
したがって、模範理由特徴クラス120bを答案理由文章32を分類するクラスと決定すると、答案理由文章クラス情報計算部15は、模範理由特徴クラス120bに関する情報と、答案3の答案選択文章31である「2.推進すべきではない」と、模範理由特徴クラス120bの答案選択文章6である「2.推進すべきではない」と、答案理由文章32より抽出された特徴の集合である「ダム、自然、破壊」を評価値算出部17に送出する。
When the class for classifying the
Therefore, when the model
答案理由文章クラス情報計算部15から各情報を受信すると、評価値算出部17は、評価値を算出する(ステップS609)。
When each piece of information is received from the answer reason sentence class
まず、評価値算出部17は、答案3の答案選択文章31と、決定模範理由特徴クラス120の答案選択文章6との2つの答案選択文章が一致しているか否かを確認する。
本実施の形態では、答案3の答案選択文章31が「2.推進すべきではない」であり、模範理由特徴クラス120bの答案選択文章6が「2.推進すべきではない」であるので、2つの答案選択文章が一致していることがわかる。
First, the evaluation
In the present embodiment, the
2つの答案選択文章が一致している場合、評価値算出部17は、評価値上限と評価値下限の差の半分を部分評価値として与える。
2つの答案選択文章が一致していない場合、評価値算出部17は、評価値下限を外部に出力する。
例えば、評価値上限を10、評価値下限を0と評価値DB16を予め設定すると、模範理由特徴クラス120bを答案理由文章32を分類するクラスと決定した場合は、2つの答案選択文章が一致しているので、部分評価点として5点が与えられることになる。
When the two answer selection sentences match, the evaluation
When the two answer selection sentences do not match, the evaluation
For example, if the evaluation value upper limit is set to 10 and the evaluation value lower limit is set to 0 and the
このように本実施の形態によれば、答案選択文章が一致しない場合はその答案3に対して最も低い評価をするので、答案選択文章31と答案理由文章32の結びつきの適当さを評価することが可能となり、結果として適切な評価を行うことができる。
As described above, according to the present embodiment, when the answer selection sentences do not match, the
なお、評価値算出部17は、答案理由文章32の無関係理由特徴クラス130に分類されている場合も、評価値算出部17は評価値下限を出力する。
このように本実施の形態によれば、無関係理由特徴クラス130が特定された場合、答案3に対して最も低い評価をするので、同じ理由に関する様々な文章の記述に対して、それが予め用意した理由の文章の集まりの中で代表的であるか、また正解ではない等の例外的であるかに応じて適切に答案の評価値を算出することができるため、結果として適切な評価が可能となる。
The evaluation
As described above, according to the present embodiment, when the irrelevant
続いて、2つの答案選択文章が一致している場合、評価値算出部17は、決定模範理由特徴クラス120の模範平均特徴集合122と、答案理由文章32の答案特徴集合との類似度を計算する。
図7(d)に示すように、決定模範理由特徴クラス120bの場合、模範平均特徴集合122bの特徴が「ダム、建設、周辺、環境」の4個、答案理由文章32の特徴が「ダム、自然、破壊」の3個、これらに共通する特徴が「ダム」の1個なので、模範平均特徴集合122bと答案理由文章32の答案特徴集合との類似度は、下式(7)で算出され、0.29となる。
(1/4+1/3)/2=0.29 ・・・(7)
Subsequently, when the two answer selection sentences match, the evaluation
As shown in FIG. 7D, in the case of the decision example
(1/4 + 1/3) /2=0.29 (7)
本実施の形態では、算出した類似度を類似度統計情報123と比較して評価値を決定するが、部分点が評価値下限よりも大きく、かつ、類似度が類似度統計情報123の平均から標準偏差を差し引いた値以上である場合には、評価点にさらに5点を与えることとする。
したがって、模範平均特徴集合122bと答案理由文章32の答案特徴集合との類似度0.29は、類似度統計情報123bの平均から標準偏差を引いた値、すなわち0.72−0.03=0.69より小さいので、評価値算出部17は、最初に与えられた部分点5点を答案3に対する評価値4として出力する(ステップS610)。
In the present embodiment, the calculated similarity is compared with the similarity
Therefore, the similarity 0.29 between the model average feature set 122b and the answer feature set of the
このように、本実施の形態によれば、文章形式の答案において、いくつかの選択肢が考えられ、それぞれについて適切な理由を提示できれば正解とする小論文のような試験であっても、選択肢に対応した理由に関する文章を予め用意することにより、それぞれに応じて答案の評価を自動的に適切に計算することが可能となる。
さらに、同じ理由に関する様々な文章の記述に関して、それが予め用意した理由の文章の集まりの中で代表的であるか、例外的であるかに応じて適切に答案の評価値を算出することが可能となる。
As described above, according to the present embodiment, there are several options in the sentence format answer, and even if it is a test like an essay that is correct as long as an appropriate reason can be presented for each option, it corresponds to the option By preparing in advance a sentence relating to the reason, it is possible to automatically and appropriately calculate the evaluation of the answer according to each.
In addition, regarding the description of various sentences concerning the same reason, it is possible to appropriately calculate the evaluation value of the answer depending on whether it is representative or exceptional in the collection of sentences of the reason prepared in advance. It becomes possible.
1…文章評価装置、2…模範答案DB、3…答案、4…評価値、5…質問文章、6,6a,6b…選択文章、7,7a〜7e…模範理由文章、8,8a〜8c…無関係理由文章、11…模範答案特徴DB作成部、12…模範答案特徴DB、13…文章特徴抽出部、14…類似度計算部、15…答案理由文章クラス情報計算部、16…評価値DB、17…評価値算出部、21…模範理由文章クラス、22…無関係理由文章クラス、31…答案選択文章、32…答案理由文章、120,120a,120b…模範理由特徴クラス、121,121a〜121e…模範理由特徴集合、122,122a,122b…模範平均特徴集合、123,123a,123b…類似度統計情報、130…無関係理由特徴クラス、131…無関係理由特徴集合。
DESCRIPTION OF SYMBOLS 1 ... Text evaluation apparatus, 2 ... Model answer DB, 3 ... Answer, 4 ... Evaluation value, 5 ... Question text, 6, 6a, 6b ... Selected text, 7, 7a-7e ... Model reason text, 8, 8a-8c ... unrelated reason sentence, 11 ... model answer feature DB creation unit, 12 ... model answer feature DB, 13 ... sentence feature extraction unit, 14 ... similarity calculation unit, 15 ... answer reason sentence class information calculation unit, 16 ... evaluation value DB , 17 ... evaluation value calculation unit, 21 ... model reason sentence class, 22 ... unrelated reason sentence class, 31 ... answer selection sentence, 32 ... answer reason sentence, 120, 120a, 120b ... model reason feature class, 121, 121a to 121e ... model reason feature set, 122, 122a, 122b ... model average feature set, 123, 123a, 123b ... similarity statistical information, 130 ... unrelated reason feature class, 131 ... unrelated reason feature set.
Claims (12)
前記選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴DBと、
前記選択理由文章から特徴を抽出する抽出手段と、
前記模範理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合と前記抽出手段により抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章を含む前記模範答案特徴クラスを特定する計算手段と、
この計算手段により特定された前記模範答案特徴クラスに基づいて前記答案を評価する評価手段と
を備えたことを特徴とする文章評価装置。 In a sentence evaluation device for evaluating an answer composed of one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating a reason for selecting the selected sentence,
A model answer feature DB storing a plurality of model answer feature class including the selected sentence and a model reason feature set consisting of features of the model reason sentence indicating a model reason for selecting the selected sentence;
Extraction means for extracting features from the selection reason sentence;
The similarity between the example reason sentence and the selection reason sentence is calculated based on the example reason feature set and the feature extracted by the extraction means, and the example reason sentence including the example reason sentence having the highest degree of similarity is calculated. A calculation means for identifying the answer feature class;
A sentence evaluation apparatus comprising: evaluation means for evaluating the answer based on the model answer feature class specified by the calculation means.
前記答案に含まれる前記選択文章と、前記計算手段により特定された前記模範答案特徴クラスに含まれる前記選択文章とが一致するか否かを判定する判定手段を備え、
前記判定手段が一致しないと判定した場合、前記答案に対して最も低い評価をする
ことを特徴とする請求項1記載の文章評価装置。 The evaluation means includes
A determination unit that determines whether or not the selected sentence included in the answer matches the selected sentence included in the exemplary answer feature class specified by the calculation unit;
The sentence evaluation apparatus according to claim 1, wherein if the determination unit determines that they do not match, the lowest evaluation is made on the answer.
前記判定手段が一致すると判定した場合、前記計算手段により特定された前記模範答案特徴クラスに含まれる前記模範理由特徴集合から得られる特徴と、前記答案理由文章の特徴との類似度に基づいて前記答案を評価する
ことを特徴とする請求項2記載の文章評価装置。 The evaluation means includes
If it is determined that the determination means match, the feature obtained from the model reason feature set included in the model answer feature class specified by the calculation means and the similarity between the feature of the answer reason sentence based on the feature The sentence evaluation apparatus according to claim 2, wherein the answer is evaluated.
前記選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、前記選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴DBと、
前記選択理由文章から特徴を抽出する抽出手段と、
前記模範理由文章および前記無関係理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合および前記無関係理由特徴集合と前記抽出手段により抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章または前記無関係理由文章を含む前記模範答案特徴クラスまたは前記無関係理由特徴クラスを特定する計算手段と、
この計算手段により特定された前記模範答案特徴クラスまたは前記無関係理由特徴クラスに基づいて前記答案を評価する評価手段と
を備えたことを特徴とする文章評価装置。 In a sentence evaluation device for evaluating an answer composed of one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating a reason for selecting the selected sentence,
A plurality of exemplary answer feature class including an exemplary reason feature set consisting of features of the exemplary reason sentence indicating the selected sentence and an exemplary reason for selecting the selected sentence, and a non-exemplary reason for selecting the selected sentence A model answer feature DB storing an irrelevant reason feature class including an irrelevant reason feature set consisting of features of an irrelevant reason sentence;
Extraction means for extracting features from the selection reason sentence;
The similarity between the model reason sentence and the irrelevant reason sentence and the selection reason sentence is calculated based on the model reason feature set, the irrelevant reason feature set and the feature extracted by the extraction unit, and the similarity Calculating means for identifying the model answer feature class or the irrelevant reason feature class that includes the highest model reason sentence or the irrelevant reason sentence;
A sentence evaluation apparatus comprising: evaluation means for evaluating the answer based on the model answer feature class specified by the calculation means or the unrelated reason feature class.
ことを特徴とする請求項4記載の文章評価装置。 The sentence evaluation apparatus according to claim 4, wherein when the irrelevant reason feature class is specified by the calculation means, the evaluation means performs the lowest evaluation on the answer.
この模範答案DBから前記模範答案特徴DBを作成する模範答案特徴DB作成手段と
をさらに備えることを特徴とする請求項1乃至5の何れか1項記載の文章評価装置。 A model answer DB storing at least one of the plurality of model reason sentence classes including the model sentence and the model reason sentence corresponding to the selected sentence, and the irrelevant reason sentence class including the irrelevant reason sentence;
The sentence evaluation apparatus according to claim 1, further comprising: a model answer feature DB creating unit that creates the model answer feature DB from the model answer DB.
前記選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴DBを作成する作成ステップと、
前記選択理由文章から特徴を抽出する抽出ステップと、
前記模範理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合と前記抽出ステップにより抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章を含む前記模範答案特徴クラスを特定する計算ステップと、
この計算ステップにより特定された前記模範答案特徴クラスに基づいて前記答案を評価する評価ステップと
を備えたことを特徴とする文章評価方法。 In a sentence evaluation method for evaluating an answer composed of one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating a reason for selecting the selected sentence,
A creation step of creating a model answer feature DB that stores a plurality of model answer feature feature classes including the selected sentence and a model reason feature set composed of features of the model reason sentence indicating a model reason for selecting the selected sentence; ,
An extraction step of extracting features from the selection reason sentence;
The similarity between the example reason sentence and the selection reason sentence is calculated based on the example reason feature set and the feature extracted by the extraction step, and the example reason sentence including the example reason sentence having the highest degree of similarity is calculated. A calculation step for identifying an answer feature class;
A sentence evaluation method comprising: an evaluation step for evaluating the answer based on the model answer feature class specified by the calculation step.
前記答案に含まれる前記選択文章と、前記計算ステップにより特定された前記模範答案特徴クラスに含まれる前記選択文章とが一致するか否かを判定する判定ステップを備え、
前記判定ステップで一致しないと判定した場合、前記答案に対して最も低い評価をする
ことを特徴とする請求項7記載の文章評価方法。 The evaluation step includes
A determination step of determining whether or not the selected sentence included in the answer matches the selected sentence included in the model answer feature class identified by the calculation step;
The sentence evaluation method according to claim 7, wherein, when it is determined that they do not coincide in the determination step, the lowest evaluation is performed on the answer.
前記判定ステップで一致すると判定した場合、前記計算ステップにより特定された前記模範答案特徴クラスに含まれる前記模範理由特徴集合から得られる特徴と、前記答案理由文章の特徴との類似度に基づいて前記答案を評価する
ことを特徴とする請求項8記載の文章評価方法。 The evaluation step includes
When it is determined that they match in the determination step, based on the similarity between the feature obtained from the model reason feature set included in the model answer feature class specified by the calculation step and the feature of the answer reason sentence The sentence evaluation method according to claim 8, wherein the answer is evaluated.
前記選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、前記選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴DBを作成する作成ステップと、
前記選択理由文章から特徴を抽出する抽出ステップと、
前記模範理由文章および前記無関係理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合および前記無関係理由特徴集合と前記抽出ステップにより抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章または前記無関係理由文章を含む前記模範答案特徴クラスまたは前記無関係理由特徴クラスを特定する計算ステップと、
この計算ステップにより特定された前記模範答案特徴クラスまたは前記無関係理由特徴クラスに基づいて前記答案を評価する評価ステップと
を備えたことを特徴とする文章評価方法。 In a sentence evaluation method for evaluating an answer composed of one selected sentence arbitrarily selected from a plurality of selected sentences and a selection reason sentence indicating a reason for selecting the selected sentence,
A plurality of exemplary answer feature class including an exemplary reason reason feature set including features of the exemplary reason sentence indicating the selected sentence and an exemplary reason for selecting the selected sentence, and a non-exemplary reason for selecting the selected sentence A creation step for creating an exemplary answer plan feature DB storing an irrelevant reason feature class including an irrelevant reason feature set consisting of features of an irrelevant reason sentence;
An extraction step of extracting features from the selection reason sentence;
The similarity between the model reason sentence and the irrelevant reason sentence and the selection reason sentence is calculated based on the model reason feature set, the irrelevant reason feature set and the feature extracted by the extraction step, and the similarity Calculating the exemplary answer feature class or the irrelevant reason feature class that includes the highest example reason sentence or the irrelevant reason sentence;
A sentence evaluation method comprising: an evaluation step for evaluating the answer based on the model answer feature class or the unrelated reason feature class specified by the calculation step.
ことを特徴とする請求項10記載の文章評価方法。 The sentence evaluation method according to claim 10, wherein the evaluation step performs the lowest evaluation on the answer when the irrelevant reason feature class is specified in the calculation step.
前記選択文章およびこの選択文章に対応する模範理由文章を含む複数の模範理由文章クラスと、前記無関係理由文章を含む無関係理由文章クラスとのうち少なくとも一方を記憶した模範答案DBとから前記模範答案特徴DBを作成する
ことを特徴とする請求項7乃至11の何れか1項記載の文章評価装置。
The creating step includes
The model answer feature from the model answer DB storing at least one of the selected sentence and a plurality of model reason sentence classes including the model reason sentence corresponding to the selected sentence and the irrelevant reason sentence class including the irrelevant reason sentence. The sentence evaluation apparatus according to claim 7, wherein a DB is created.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004148293A JP2005331615A (en) | 2004-05-18 | 2004-05-18 | Sentence evaluation device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004148293A JP2005331615A (en) | 2004-05-18 | 2004-05-18 | Sentence evaluation device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005331615A true JP2005331615A (en) | 2005-12-02 |
Family
ID=35486334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004148293A Pending JP2005331615A (en) | 2004-05-18 | 2004-05-18 | Sentence evaluation device and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005331615A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010078637A (en) * | 2008-09-24 | 2010-04-08 | Japan Institute For Educational Measurement Inc | Answer sorting system and answer sorting method |
JP2010224323A (en) * | 2009-03-24 | 2010-10-07 | Japan Institute For Educational Measurement Inc | Thesis content evaluation device and program |
JP2012190220A (en) * | 2011-03-10 | 2012-10-04 | Seiko Epson Corp | Identification device and identification method |
JP2017167413A (en) * | 2016-03-17 | 2017-09-21 | 独立行政法人大学入試センター | Marking auxiliary system |
JP2017188039A (en) * | 2016-04-08 | 2017-10-12 | Kddi株式会社 | Program, device and method for estimating score of text by calculating multiple similarity degrees |
JP2022189908A (en) * | 2017-12-21 | 2022-12-22 | カシオ計算機株式会社 | Point rating support device, and control method and control program therefor |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05307349A (en) * | 1992-04-28 | 1993-11-19 | Shimadzu Corp | Automatic enquete @(3754/24)questionnaire) device |
JPH08272773A (en) * | 1995-04-03 | 1996-10-18 | Nippon Telegr & Teleph Corp <Ntt> | System and method for questionnaire collection and analysis |
JP2001056634A (en) * | 1999-08-20 | 2001-02-27 | Toshiba Corp | Automatic marking system |
JP2001249608A (en) * | 2000-03-02 | 2001-09-14 | Vlc Co Ltd | Method and system for automatic marking and correction using electronic telecommunication |
JP2003177660A (en) * | 2001-12-10 | 2003-06-27 | Maeda Corp | Intranet education system and intranet education method, and comment generating program |
JP2003271811A (en) * | 2002-03-18 | 2003-09-26 | Nec Corp | On-line answer collection system and program for on-line answer collection |
JP2004094436A (en) * | 2002-08-30 | 2004-03-25 | Ccg:Kk | System for automatically determining job knowledge level |
-
2004
- 2004-05-18 JP JP2004148293A patent/JP2005331615A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05307349A (en) * | 1992-04-28 | 1993-11-19 | Shimadzu Corp | Automatic enquete @(3754/24)questionnaire) device |
JPH08272773A (en) * | 1995-04-03 | 1996-10-18 | Nippon Telegr & Teleph Corp <Ntt> | System and method for questionnaire collection and analysis |
JP2001056634A (en) * | 1999-08-20 | 2001-02-27 | Toshiba Corp | Automatic marking system |
JP2001249608A (en) * | 2000-03-02 | 2001-09-14 | Vlc Co Ltd | Method and system for automatic marking and correction using electronic telecommunication |
JP2003177660A (en) * | 2001-12-10 | 2003-06-27 | Maeda Corp | Intranet education system and intranet education method, and comment generating program |
JP2003271811A (en) * | 2002-03-18 | 2003-09-26 | Nec Corp | On-line answer collection system and program for on-line answer collection |
JP2004094436A (en) * | 2002-08-30 | 2004-03-25 | Ccg:Kk | System for automatically determining job knowledge level |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010078637A (en) * | 2008-09-24 | 2010-04-08 | Japan Institute For Educational Measurement Inc | Answer sorting system and answer sorting method |
JP2010224323A (en) * | 2009-03-24 | 2010-10-07 | Japan Institute For Educational Measurement Inc | Thesis content evaluation device and program |
JP2012190220A (en) * | 2011-03-10 | 2012-10-04 | Seiko Epson Corp | Identification device and identification method |
JP2017167413A (en) * | 2016-03-17 | 2017-09-21 | 独立行政法人大学入試センター | Marking auxiliary system |
JP2017188039A (en) * | 2016-04-08 | 2017-10-12 | Kddi株式会社 | Program, device and method for estimating score of text by calculating multiple similarity degrees |
JP2022189908A (en) * | 2017-12-21 | 2022-12-22 | カシオ計算機株式会社 | Point rating support device, and control method and control program therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aesaert et al. | Gender and socioeconomic related differences in performance based ICT competences | |
Porter et al. | BDSI: A validated concept inventory for basic data structures | |
US20110076653A1 (en) | Systems and Methods for Semantic Knowledge Assessment, Instruction, and Acquisition | |
US20090198488A1 (en) | System and method for analyzing communications using multi-placement hierarchical structures | |
Tigchelaar et al. | Assessing the validity of ACTFL can‐do statements for spoken proficiency: A Rasch analysis | |
KR20050042743A (en) | Test system and control method thereof | |
Chang et al. | Automatic applying Bloom's taxonomy to classify and analysis the cognition level of English question items | |
Báez et al. | Language documentation and revitalization in Latin American contexts | |
Tack et al. | Human and automated CEFR-based grading of short answers | |
CN111597305B (en) | Entity marking method, entity marking device, computer equipment and storage medium | |
Bussaman et al. | Prediction models of learning strategies and learning achievement for lifelong learning | |
JP3634856B2 (en) | Test result analysis apparatus, method and program | |
Tengberg | Validation of sub-constructs in reading comprehension tests using teachers’ classification of cognitive targets | |
CN116401341A (en) | Interactive answering system oriented to understanding | |
Zhu et al. | Value orientation inventory: Development, applications, and contributions | |
Atapattu et al. | Educational question answering motivated by question-specific concept maps | |
JP2005331615A (en) | Sentence evaluation device and method | |
Aryadoust | Topic and accent coverage in a commercialized L2 listening test: Implications for test-takers’ identity | |
Cisneros-Barahona et al. | Multivariate data analysis: Validation of an instrument for the evaluation of teaching digital competence | |
Conoyer et al. | Meta-analysis of validity and review of alternate form reliability and slope for curriculum-based measurement in science and social studies | |
Lin et al. | Association between test item’s length, difficulty, and students’ perceptions: Machine learning in schools’ term examinations | |
Klingbeil et al. | Universal screening with aimswebPlus reading in middle school | |
Bhaduri et al. | A word-space visualization approach to study college of engineering mission statements | |
Ford et al. | Automated content analysis of multiple-choice test item banks | |
Gümüş et al. | Examination of digital competences of teachers according to different variables |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100104 |