JP2018142249A - Answer sheet grading method - Google Patents
Answer sheet grading method Download PDFInfo
- Publication number
- JP2018142249A JP2018142249A JP2017036983A JP2017036983A JP2018142249A JP 2018142249 A JP2018142249 A JP 2018142249A JP 2017036983 A JP2017036983 A JP 2017036983A JP 2017036983 A JP2017036983 A JP 2017036983A JP 2018142249 A JP2018142249 A JP 2018142249A
- Authority
- JP
- Japan
- Prior art keywords
- information
- answer
- scoring
- score
- answer sheet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000013077 scoring method Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 abstract description 22
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、記述式問題に対して作成された多数の答案を採点者の複数で採点するにあたってその客観性を担保しつつも効率的に採点を行い得る答案採点方法に関する。 The present invention relates to an answer scoring method capable of efficiently scoring while ensuring objectivity when scoring a large number of answers created for a descriptive question by a plurality of scorers.
記述式問題では、問題の問いに対する一定量の自由な記述による答案の作成(解答)を答案作成者(受験者)に求めることになる。採点者においては、答案の記述を解釈し、その正誤だけでなくどの程度正解に近づいているかなどを、例えば、部分点の付与の如きによって、多段階的に評価することになる。その一方でこの多段階評価、すなわち部分点の付与における客観性を確保することも必要となる。 In a descriptive question, an answer creator (examiner) is requested to create an answer (answer) with a certain amount of free description for the question in question. The grader interprets the description of the answer and evaluates not only the correctness but also how close it is to the correct answer, for example, by assigning partial points in a multi-step manner. On the other hand, it is also necessary to ensure objectivity in this multistage evaluation, that is, the assignment of partial points.
ここで問題の作成の仕方次第では、答案の記述のバリエーションを一定範囲に限定することもでき得て多段階評価の客観性を高め得る。しかしながら、あらかじめ答案の記述のバリエーションを提示しておいてこの中から答案作成者(受験者)に選択をさせる選択式問題との差異が失われてしまう。そこで、記述式問題を採用する以上、答案の記述のバリエーションの多様さを一定程度、許容すべきことになる。また、一国内の同一学年の受験者を対象とするような大規模且つ受験者のバックグランドを様々とするような試験では、問題の作成者の意図通りに答案の記述のバリエーションを一定範囲に限定できないことも良く知られているところである。更に、大規模な試験では、所定の期間内に大量の答案の採点の集計を終えることを求められるため、複数の採点者で採点をすることになり、採点者間の判断差における客観性の確保も必要となる。 Here, depending on how the question is created, variations in the description of the answer can be limited to a certain range, and the objectivity of the multi-level evaluation can be improved. However, the difference from the selection type question in which variations of the description of the answer are presented in advance and the answer creator (taker) makes a selection from among them is lost. Therefore, as long as the descriptive problem is adopted, a certain degree of variation in the description of the answer should be allowed. In addition, in a large-scale examination that targets examinees of the same grade in a country and the background of the examinees varies, variations in the description of the answer are within a certain range as intended by the question creator. It is well known that it cannot be limited. Furthermore, in a large-scale examination, it is required to complete the summarization of a large number of answers within a predetermined period. Therefore, multiple scores will be scored, and the objectivity of the judgment difference between the scorers will be reduced. Securing is also necessary.
例えば、特許文献1では、ネットワークを通じて接続された複数の端末入力装置から記述式問題に対して作成された多数の答案を複数の採点者で採点するシステムにおいて、1の採点者の採点結果を他の採点者の採点根拠を参照しながら再評価して修正でき、複数の採点者間の判断差における客観性を確保しようとする答案採点支援システムを開示している。採点結果が一致せず、採点結果の客観性に疑問がある場合には、他の採点者の採点根拠を参照しながら採点結果を再検討し、一度登録した採点結果を修正できるとしている。
For example, in
ここで、同じ答案を2人の採点者が評価したときに、どちらの採点者の評価がより正しいかは明確でない。更に、大量の答案の採点を迅速に行おうとすると同じ答案を複数の採点者で評価することになり作業効率に欠ける。また、採点による影響の理解関係などから、質の高い採点者を多く確保することは非常に難しいとの現状もある。そこで、採点者の採点方法自体を変更しようとする提案がなされている。 Here, when two graders evaluate the same answer, it is not clear which grader's evaluation is more correct. Furthermore, if a large number of answers are to be scored quickly, the same answer will be evaluated by a plurality of graders, resulting in a lack of work efficiency. In addition, due to the understanding of the impact of scoring, it is very difficult to secure many high-quality graders. Therefore, a proposal has been made to change the scoring method itself of the grader.
例えば、特許文献2では、答案作成者側における答案の記述のバリエーションを制限するのではなく、採点者の判断を集約させるようにあらかじめ定めた択一的な質問に採点者が回答していく、いわば採点者側の「選択式問題」が用意される採点方法を提案している。かかる方法では、採点者側の採点のバリエーションを制限することにはなるが、質問毎に設定された得点を積み上げる従来の直列的な部分採点方式とは異なり、採点者の回答をパターン化して集計することで答案を分類分けし並列的に採点することができるのである。 For example, in Patent Document 2, the grader answers an alternative question that has been determined in advance to consolidate the judgment of the grader, rather than restricting variations in the description of the answer on the answer creator side. In other words, we have proposed a scoring method that prepares “selective questions” on the grader side. This method limits the scoring variation on the grader side, but unlike the conventional serial partial scoring system, in which the score set for each question is accumulated, the answers of the grader are patterned and aggregated. By doing so, the answers can be classified and graded in parallel.
採点対象をマーク式以外の答案としこれを機械ではなく人(採点者)が採点するとき、その採点結果の正誤判断も人が行わねばならず、これを効率よく処理することは簡単ではない。ここで、採点者の傾向に合わせて適切な答案の採点を担当させることで、個々の答案の採点結果の正誤の検証を殊更に慎重に行う必要はなくなり、全体の処理効率を大幅に高め得る。 When the target of scoring is an answer other than the mark type, and a person (scorer) scores a score instead of a machine, the person must also judge whether the scoring result is correct or not, and it is not easy to process this efficiently. Here, by assigning an appropriate answer according to the grader's tendency, it is not necessary to verify the correctness of the score of each answer more carefully, and the overall processing efficiency can be greatly increased. .
本発明はかかる状況に鑑みてなされたものであって、その目的とするところは、記述式問題に対して作成された多数の答案を採点者の複数で採点するにあたってその客観性を担保しつつも効率的に採点を行い得る答案採点方法を提供することにある。 The present invention has been made in view of such a situation, and the object of the present invention is to ensure the objectivity of scoring a large number of answers created for a descriptive question by a plurality of graders. Is to provide a method for scoring answers that can be scored efficiently.
本発明による答案採点方法は、選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けて各答案に対する点数結果を収集しこのうちから信頼性の高い該点数結果を採用していく答案採点方法であって、前記採点情報は、前記答案情報のうちの1つである特定答案情報を識別する個別情報と、前記特定答案情報に対して、配点に基づいた点数測定による前記点数結果である答案点数情報、及びこれを入力した前記採点者を識別する採点者情報、からなる採点セット情報と、前記特定答案情報に対して、肯定又は否定の二択質問文の複数からなる質問群についての回答パターンからなる答案形式情報と、を含み、前記採点セット情報を前記答案形式情報でフィルタリングして前記点数結果を採用していく採用ステップを含むことを特徴とする。 In the answer scoring method according to the present invention, the selected answer information is transmitted from the host computer to the client computer, the score information input by the grader is received in response to the answer information, and score results for each answer are collected. The answer scoring method adopting the score result with high reliability from the inside, wherein the scoring information includes individual information for identifying specific answer information which is one of the answer information, and the specific answer information On the other hand, with respect to the specific answer information, the scoring set information consisting of the answer score information that is the score result based on the score measurement based on the scoring, and the scorer information that identifies the scorer that has input the score, Answer format information consisting of answer patterns for a group of questions consisting of a plurality of positive or negative two-choice question sentences, and the scoring set information in the answer format information Irutaringu to characterized in that it comprises a adoption steps to continue to employ the score results.
かかる発明によれば、答案形式情報によるフィルタリングで採点者情報に基づく特定の答案形式情報に対応する信頼性の高い点数結果だけを採用できて、多数の答案を採点者の複数で採点する場合にあっても客観性を担保しつつも効率的に採点を行い得る。 According to this invention, when filtering with the answer format information, only highly reliable score results corresponding to specific answer format information based on the grader information can be adopted, and a large number of answers are scored by a plurality of graders. Even if it is, it is possible to score efficiently while ensuring objectivity.
上記した発明において、前記採点者が前記点数結果を与えることを許可する前記回答パターンを決定する採点許可ステップを含み、前記採用ステップは、前記採点者とこれに許可された前記回答パターンの組み合わせに基づいてフィルタリングを行うことを特徴としてもよい。かかる発明によれば、回答パターンに基づいて許可された採点者による点数結果だけを採用できて、客観性を担保しつつも効率的に採点を行い得る。 In the above-mentioned invention, the scoring step includes a scoring permission step for determining the answer pattern permitting the scorer to give the score result, and the recruiting step includes a combination of the scorer and the answer pattern permitted to the scoring person. Filtering may be performed based on this. According to this invention, it is possible to employ only the score result by the grader permitted based on the answer pattern, and it is possible to score efficiently while ensuring objectivity.
上記した発明において、前記答案情報のうちの1に対応して複数の採点者の入力を許容することで、前記採点情報が1の前記個別情報に対して前記採点セット情報を複数含み得ることを特徴としてもよい。かかる発明によれば、1の個別情報に対して複数の採点セット情報から許可された採点者による点数結果を抽出できる。 In the above-described invention, by allowing the input of a plurality of scorers corresponding to one of the answer information, the scoring information can include a plurality of the scoring set information for the individual information of one. It may be a feature. According to this invention, it is possible to extract a score result by a scorer who is permitted from a plurality of score set information for one piece of individual information.
上記した発明において、前記採点情報において、前記個別情報及び前記答案形式情報をあらかじめ用意しておくことを特徴としてもよい。かかる発明によれば、答案形式情報に基づいて答案情報の処理を決定できる。 In the above-described invention, the individual information and the answer format information may be prepared in advance in the scoring information. According to this invention, the processing of the answer information can be determined based on the answer format information.
上記した発明において、前記答案情報についてこれに対応する前記答案形式情報の前記回答パターンに対して許可された前記採点者に向けて送信するステップを含むことを特徴としてもよい。かかる発明によれば、回答パターンに基づいて許可された採点者による点数結果だけを収集して採用できる。 The above-described invention may include a step of sending the answer information to the grader who is permitted for the answer pattern of the answer format information corresponding to the answer information. According to this invention, it is possible to collect and adopt only the score results obtained by the grader who is permitted based on the answer pattern.
まず、本発明による答案採点方法に用いられる答案採点システムについて図1を用いて説明する。 First, the answer scoring system used in the answer scoring method according to the present invention will be described with reference to FIG.
[システム構成]
図1に示すように、答案採点システム1は、問題作成者等を含む管理者によって使用されるホストコンピュータ10と、これにインターネット回線やLAN等の通信回線20を介して接続される複数のクライアントコンピュータ21とを含む。クライアントコンピュータ21は、モニタ、キーボード及びマウス等の入出力装置を備える。
[System configuration]
As shown in FIG. 1, the
ホストコンピュータ10は、ハードディスク装置等の大容量の記憶装置11、制御部としてのCPU12、ROM13やRAM14及び図示しない通信インターフェースを備える。また、ホストコンピュータ10は、ユーザインターフェースとしてモニタ10a、キーボード10b及び答案の画像データの入力を可能とする図示しないスキャナなどの入出力装置に接続される。
The
記憶装置11は、プログラム等記憶領域30及び各種データを記憶するデータベース(DB)領域40を有している。
The
プログラム等記憶領域30には、CPU12によって実行されるプログラムとしてのデータ収容手段31と、答案情報送信手段32と、採点情報受信手段33と、採点情報採用手段34とが記憶されている。
The
図2を併せて参照すると、データベース領域40には、少なくとも答案情報記憶領域41、採点基準情報記憶領域42、採点情報記憶領域43、採点許可情報記憶領域44が設けられている。答案情報記憶領域41には受験者の作成した答案を画像化した答案画像41bと特定の答案を識別する識別符号などの個別情報41aが記憶される。採点基準情報記憶領域42には、いわゆる採点基準である測定基準42a及び二択質問文の複数からなる質問群42bが記憶される。また、採点情報記憶領域43には、採点情報50(図3参照)が記憶される。採点情報50のそれぞれには、上記した個別情報41a、個別情報41aにより識別される答案の類型を示す形式情報45、その答案を採点した採点者の採点者情報46a及び採点結果のうちの点数結果である点数情報(答案点数情報)46bの組からなるセット情報(採点セット情報)52(図3参照)が含まれる。さらに、採点許可情報記憶領域44に記憶される採点許可情報には、上記した採点者情報46aとこれに対応する各採点者に採点の許可される答案の類型を示す類型情報47がそれぞれ含まれる。
Referring also to FIG. 2, the
このようなシステム構成により、予め複数の受験者に問題文を受験させて答案を収集しておいた上で、答案採点システム1においては、データ収容手段31によって答案を答案情報として答案情報記憶領域41に記憶させ、これを答案情報送信手段32によって複数の採点者の使用するクライアントコンピュータ21に送信させ、採点情報受信手段33によって答案情報に対する採点者の採点結果である採点情報50の返信を受けて採点情報記憶領域43に記憶させ蓄積することができる。これらの動作の詳細については後述する。
With such a system configuration, a plurality of examinees have previously taken question sentences and collected the answers. In the
[問題文の作成]
答案採点システム1の使用に先立ち、管理者は、受験者に試験問題として与える問題文を作成しておく。ここで対象とする問題文は、採点者(人)による採点を必要とする問題文であり、例えば受験者に直筆で答案を作成させるテストなど機械によって採点できない問題文である。少なくとも、機械によって採点できるマークシート式の問題文は対象としていない。作成した問題文は、必要に応じてホストコンピュータ10のキーボードやスキャナなどの入力装置から入力され、記憶装置11に記憶されて、ホストコンピュータ10やクライアントコンピュータ21から、適宜、参照できるようにしてもよい。
[Create question sentence]
Prior to using the
[採点基準情報の作成]
管理者は、次いで採点基準情報を作成し、データ収容手段31によって採点基準情報記憶領域42に記憶させておく。採点基準情報には、問題文に対する答案の点数測定を一定の判断基準で行うよう採点者に提示する測定基準42aと、答案の記載に関する肯定又は否定の二択質問文の複数からなる質問群42bとを含む。
[Create scoring standard information]
The administrator then creates scoring standard information and stores it in the scoring standard information storage area 42 by the data storage means 31. The scoring standard information includes a
測定基準42aは、特定の内容が答案に記述されているか否かを実質的に判断するためのいわゆる採点基準であり、従来と同様である。例えば、正答例や配点を含み、部分点を与えるべき場合には部分点を付与されるべき答案の内容の条件、加点や減点となる部分点などの配点を含む。
The
質問群42bのうちの二択質問文のそれぞれは、答案に関しての肯定又は否定の二者択一の回答を採点者に選択させる質問文であり、その選択の判断を容易とするような内容である。即ち、二択質問文は、特定の内容が答案に記述されているかを実質的に判断するものではなく、答案の記載を形式的に判断できるものとする。これにより、各採点者の主観差を排した回答を得るのである。また、二択質問文は、1つの問題文に対する答案について複数作成されて質問群42bとされ、質問群42bに対する回答の肯定又は否定の組み合わせ(回答パターン)によって少なくとも答案を複数の類型に分類できるものである。
Each of the two-choice question sentences in the
[実施例1]
次に、答案採点システム1の使用方法を図3に沿って図1、図2及び図4を参照しつつ説明する。
[Example 1]
Next, a method of using the
図3に図1及び図2を併せて参照すると、データ収容手段31は、ホストコンピュータ10の記憶装置11に答案情報を記憶させる(S1)。詳細には、管理者は複数の受験者に作成した問題文を与え、これに対する答案を予め得ておく。答案の記載された答案用紙群は、ホストコンピュータ10の図示しないスキャナ等の入力装置などによって答案情報となる答案画像41bとして読み込まれる。読み込まれた答案画像41bはデータ収容手段31によって各受験者の識別符号を付されるなど識別されて答案情報記憶領域41に記憶される。ここで、受験者の作成した答案は複数の問題文に対するひとまとまりのものであるが、答案情報として問題文毎に分けて答案画像41bとされており、先の識別符号に各問題文の符号等も併せた個別情報41aを付して記憶される。なお、実際には、複数の問題文に対する処理を同時並行して行ってもよいが、以下では1つの問題文に対する処理について説明する。
Referring to FIG. 3 together with FIGS. 1 and 2, the data accommodating means 31 stores the answer information in the
次いで、採点者にどのような類型の答案についての採点を許可するかを定める(S2)。上記したように、質問群42bに対する回答パターンにより答案を複数の類型に分類できる。詳細は後述するが、多数の採点者による採点を行う場合、採点者の経験や能力によっては誤採点の発生しやすい答案の類型がある。つまり、採点の客観性を担保するために、誤採点の発生しないような採点者の経験や能力に適合した答案の類型を指定し、その点数測定(採点)を許可するのである。そして、データ収容手段31により、採点者情報46aにより識別される採点者に採点の許可された答案の類型を類型情報47として採点許可情報記憶領域44に記憶させる。ここで類型情報47は、質問群42bに対する回答パターンである形式情報45に対応する。このような答案の類型情報47に対応する回答パターンは二択質問文による質問群42bによって決まるので、採点許可(S2)については、質問群42bを作成した時点で行っておいてもよい。
Next, it is determined what type of answer is allowed for the grader (S2). As described above, the answers can be classified into a plurality of types according to the answer pattern for the
次いで、答案情報送信手段32は、答案情報記憶領域41から答案情報を選択し、採点基準情報記憶領域42の採点基準情報とともにクライアントコンピュータ21へ送信する(S3)。各クライアントコンピュータ21にはこれを使用する複数の採点者がそれぞれ対応しており、各採点者の処理すべき答案を複数ずつ振り分けるように選択し、最終的に全ての答案情報についての採点処理を行わせるのである。この複数の答案情報はまとめて送信されてもよいし、採点処理毎に1つずつ送信されてもよい。なお、1つの答案情報を同時に複数の採点者に振り分けてもよい。
Next, the answer information transmitting means 32 selects answer information from the answer
クライアントコンピュータ21では答案情報を採点基準情報とともに受信する(S3’)。採点基準情報は、上記したように測定基準42a及び質問群42bを含み、採点者による採点作業に用いられる。1つの問題文に対する答案情報を複数回に分けて受信する場合に、採点基準情報は初回に受信した以降において不要となるので、ホストコンピュータ10からの送信を省略できる。また、採点基準情報を予め各採点者に配布しておき、答案情報の送信に伴うホストコンピュータ10からの採点基準情報の送信そのものを省略してもよい。
The
図4を併せて参照すると、採点者は、クライアントコンピュータ21において採点基準情報に従い答案情報について採点処理し、各答案情報に対応した採点情報50を作成し、入力する。採点処理には、点数測定(点数情報46bの作成)と質問群42bに対する回答(形式情報45の作成)とが含まれる。クライアントコンピュータ21の画面上に表示される採点情報50には、形式情報45、セット情報52及びこれらに付されて採点対象の答案情報を特定する個別情報41aを含む。
Referring also to FIG. 4, the scorer scores the answer information according to the scoring standard information in the
まず、採点者は測定基準42aに従って点数情報46bを作成する。点数情報46bは、答案についてのいわゆる点数であり一般的な採点によって得られ、例えば、測定基準42aに示される部分点などの配点に基づき、これを加算したり減算したりして作成される。点数情報46bを作成する作業をここでは点数測定と称する。
First, the grader creates
次に、採点者は、二択質問文の複数からなる質問群42bに従って形式情報45を作成する。二択質問文のそれぞれは、上記したように答案の記載に関して肯定又は否定を選択する判断を容易とするような内容であり、採点処理作業に大きな負担を与えるものではない。採点者は、複数の二択質問文のそれぞれに対する回答を肯定「Y」又は否定「N」のチェックボックス51から選択してチェックを入力して回答する。このような作業によって、質問群42bに対する肯定又は否定の回答の組み合わせ(回答パターン)を形式情報45として作成する。
Next, the grader creates the
採点者は点数結果(採点結果)である点数情報46bに自らを識別するIDなどの採点者情報46aを付してセット情報52とし、形式情報45及び採点の対象となった答案を特定する個別情報41aとともに採点情報50としてクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S4’)。
The scorer adds the
ホストコンピュータ10では、採点情報受信手段33によって受信した採点情報50を採点情報記憶領域43に記憶させる(S4)。ホストコンピュータ10では、受信した採点情報50を蓄積し、必要に応じて次の処理に進む。つまり、全ての答案についての採点情報50返信を得る前に、次の処理を開始してもよい。
In the
そして、ホストコンピュータ10では、採点情報採用手段34によって採点情報50のうちの所定の条件の点数情報46bを採用する(S5)。ここでは、採点許可情報記憶領域44を参照し採点許可情報に基づいて、答案に対して適切な採点者による採点結果である点数情報46bを採用することで、採点の客観性を担保することを目的としている。つまり、採点許可情報のうちの採点者情報46a及び類型情報47と、採点情報50のうちの採点者情報46a及び形式情報45とを照合し、類型情報47に形式情報45が合致する場合にのみ点数情報46bをその答案の点数として採用するのである。換言すれば、点数情報46bの含まれるセット情報52を、採点許可情報に基づき形式情報45でフィルタリングするのである。
In the
採点者による採点(点数測定)では、同じ答案であっても採点者によって採点結果が異なり得る。例えば、多肢選択式で単文字による単純な答案の記載を要求する問題文であっても、受験者毎に異なる書き癖などのために、この判読を伴う採点にはそれなりに誤りが発生する。つまり、このような問題文に対する答案を採点する採点者には受験者の直筆による単文字を判読できる経験や能力が要求される。受験者に一定量の自由な記述を要求するようないわゆる記述式問題であっても、採点には多数の判断を伴うため採点者によって採点結果が異なり得る。つまり、どちらの場合でも、採点者には採点基準(測定基準)に従った客観的な採点のできる経験や能力が要求される。よって、採点の客観性を担保するためにはそのような問題文の種類に対して適切な採点者による採点結果を採用する必要がある。 In scoring (score measurement) by a grader, even if the answer is the same, the scoring result may differ depending on the grader. For example, even for a question sentence that requires a simple answer written in a single letter with multiple choices, there will be some errors in scoring with this interpretation due to different writing for each examinee. . In other words, a grader who scores an answer to such a question sentence is required to have experience and ability to read a single letter written by the examinee. Even so-called descriptive questions that require a certain amount of free description from the examinee, the scoring results may vary depending on the grader because the scoring involves many judgments. That is, in either case, the grader is required to have experience and ability to objectively score in accordance with the scoring standard (measurement standard). Therefore, in order to guarantee the objectivity of scoring, it is necessary to adopt a scoring result by an appropriate scoring person for such a problem sentence type.
さらに、同じ問題文であっても、答案のバリエーションによって採点に適切な採点者が変わり得る。例えば、上記したような単文字を判読できる能力を採点者に求められる問題文に対する答案であっても、白紙答案であれば採点者によって採点結果は異なることはほとんどなく、採点者に単文字を判読できる経験や能力は要求されない。つまり、答案の形式的な違いでも、その採点に適切な採点者が異なり得る。さらに、記述式問題の場合は、そのバリエーションがより多岐に亘るため、答案の記載量や、特定の文字列又は数式等の記載の有無などの形式的な違いによってその答案を誤採点せずに採点できる適切な採点者は異なり得る。つまり、上記した問題文の種類に加え、答案の形式的な類型によっても適切な採点者は異なるのである。そして、上記した質問群42bの二択質問文は、このような答案の類型に分類できるような答案の記載についての形式的な差異を問うものであることが好ましい。
Furthermore, even for the same question sentence, the grader suitable for scoring can change depending on the answer variations. For example, even for an answer to a question sentence that requires a grader to be able to read a single character as described above, if the answer is a blank paper, the grade result will hardly differ depending on the grader. No readable experience or ability is required. In other words, even if there is a formal difference in the answer, the appropriate grader may be different. Furthermore, in the case of a descriptive question, there are more variations, so the answer will not be mis-scored due to formal differences such as the amount of answer written and whether or not a specific character string or mathematical expression is written. The appropriate grader that can be scored can vary. In other words, in addition to the types of question sentences described above, the appropriate grader varies depending on the formal type of the answer. And it is preferable that the above-mentioned two-choice question sentence of the
そこで、上記したように問題文毎にその問題文に対する答案の類型によってその答案の採点を許可する採点者をその経験や能力に基づいて定めておき、採点許可情報として採点許可情報記憶領域44に記憶させておくのである。そして、上記したように、セット情報52を、採点許可情報に基づき形式情報45でフィルタリングしてその答案の点数結果として採用する点数情報46bを決定することで、採点の客観性を担保できるのである。
Therefore, as described above, a scorer who permits the scoring of the answer according to the type of the answer to the question sentence is determined based on the experience and ability as described above, and the scoring permission information is stored in the scoring permission
このとき、一部の答案について、採用できる点数情報46bのないことがある。この場合、採用できる点数情報46bのなかった答案について再度採点を行うが、返信される点数情報46bを採用できるように採点者を選択する(S6)。すなわち、採用できる点数情報46bのなかった答案も、各答案の類型を示す形式情報45が既に明らかになっているので、かかる形式情報45に基づき採点者を選択するのである。つまり、採点許可情報を照会してその答案の採点を許可されている採点者を採点者情報46aから選択する。具体的には、形式情報45に対応する類型情報47を含む採点許可情報から採点者情報46aを選択すればよい。
At this time, there may be no
そして、選択された採点者に対応するクライアントコンピュータ21に向けて対応する答案の答案情報がそれぞれ送信される(S7)。
Then, the answer information of the corresponding answer is transmitted to the
クライアントコンピュータ21では答案情報を受信する(S7’)。採点基準情報を過去に受信していない場合は、ここで受信してもよい。つまり、初回の採点処理に参加していなかった採点者を新たに選択することもできる。
The
図4を併せて参照すると、選択された採点者は、クライアントコンピュータ21において採点基準情報に従い答案情報について採点処理し、答案情報に対応した採点情報50を作成し、入力する。既に、形式情報45については明らかになっているので、採点者は採点処理として測定基準42aに従って点数情報46bを作成する点数測定を行えばよい。そして、採点者は点数結果(採点結果)である点数情報46bに自らを識別するIDなどの採点者情報46aを付したセット情報52を個別情報41aとともにクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S8’)。
Referring also to FIG. 4, the selected grader performs a scoring process on the answer information in accordance with the scoring standard information in the
ホストコンピュータ10では、採点情報受信手段33によって受信したセット情報52(採点者情報46a及び点数情報46b)を採点情報記憶領域43の対応する個別情報41aを含む採点情報50に加えて記憶させる(S8)。これにより、全ての答案に対する採点情報50の形式情報45と採点者情報46aとが採点許可情報において許可されている組み合わせに合致することになる。つまり、採点情報採用手段34によって、上記した点数情報の採用(S5)において採用されなかった残りの点数情報46bを採用でき(S9)、その結果、全ての点数情報46bを採用できる。ホストコンピュータ10は、蓄積した採点情報50を必要に応じて適宜集計するなどしてもよい。
In the
以上のように、答案採点システム1を用いた上記の答案採点方法によれば、全ての答案に対してその形式情報45に基づいて採点の許可された採点者による点数情報46bを採用することができて、採点の客観性を担保することができる。また、点数情報46bを得る一般的な点数測定(採点)の処理作業に対して、形式的な二択質問文からなる質問群42bに対する回答を追加作業とするだけで答案の形式情報45を得られ、これに基づき一部の答案についてのみ再度点数測定を行えばよく、採点処理を迅速に行うことができる。つまり、採点者による採点を必要とする問題文に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができる。
As described above, according to the above-mentioned answer scoring method using the
なお、答案情報の送信(S3)の説明に付記したように、1つの答案情報を同時に複数の採点者に重複するように振り分けてもよい。これによれば、1つの個別情報41aにより特定される答案情報についての複数のセット情報52の中から許可された採点者による点数情報46bを抽出して採用できる。つまり、初回の採点処理(S3’及びS4’の間)の後の採点情報50において、採用する点数情報46bの存在しない答案の数を少なくできる。よって、二回目の採点処理(S7’及びS8’の間)での点数測定の対象となる答案も少なくなる。そのため、確保できる採点者とその日程に基づき、適宜、初回の答案の重複を含めた振り分けの数を調整し、より迅速に採点を行い得るようにすることもできる。
Note that, as described in the explanation of the transmission of answer information (S3), one answer information may be distributed so as to overlap with a plurality of graders at the same time. According to this, it is possible to extract and adopt the
[実施例2]
さらに、答案採点システム1の他の使用方法を図5に沿って図1、図2及び図4を参照しつつ説明する。本実施例では、先に形式情報45を得て、これを基に採点者を選択した上で点数情報46bを作成させる。
[Example 2]
Further, another method of using the
図5に図1及び図2を併せて参照すると、ホストコンピュータ10では、まず答案情報の記憶を行う(S11)。以下、答案情報の受信(S13’)までは、実施例1における答案情報の記憶(S1)から答案情報の受信(S3’)までと同様である。但し、ここまでで答案情報とともに送信される採点基準情報は、質問群42bを含んでいればよく、測定基準42aを含む必要はない。
1 and 2 together with FIG. 5, the
図4を併せて参照すると、採点者は、クライアントコンピュータ21において採点基準情報に従い答案情報について採点処理し、答案情報に対応した採点情報50を作成し、入力する。クライアントコンピュータ21の画面上に表示される採点情報50には、形式情報45、セット情報52及びこれらに付される個別情報41aを含む。
Referring also to FIG. 4, the scorer scores the answer information according to the scoring standard information in the
採点者は、二択質問文の複数からなる質問群42bに従って形式情報45を作成するが、この時点で点数情報46bを作成する必要はない。つまり、ここでの採点処理には形式情報45の作成は含まれるが、点数測定を含まない。その結果、セット情報52は、点数情報46bを含まず採点者情報46aが含まれる。そして、採点者は、採点情報50として、セット情報52及び答案を特定する個別情報41aとともに作成した形式情報45をクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S14’)。
The grader creates the
ホストコンピュータ10では、採点情報受信手段33によって受信した採点情報50を採点情報記憶領域43に記憶させる(S14)。ホストコンピュータ10では、受信した採点情報50を蓄積し、必要に応じて次の処理に進む。つまり、全ての答案についての採点情報50返信を得る前に、次の処理を開始してもよい。
In the
受信した採点情報50は点数情報46bを含まないが、形式情報45を含んでおり、対応する答案について採点(点数測定)の許可される採点者を選択できる(S15)。すなわち、形式情報45に対応する類型情報47を含む採点許可情報から採点者情報46aを選択する。
The received scoring
そして、実施例1と同様に、選択された採点者に対応するクライアントコンピュータ21に答案情報をそれぞれ送信し(S16)、クライアントコンピュータ21に答案情報を受信させる(S16’)。測定基準42aを過去に受信させていない場合は、ここで受信させるとよい。
As in the first embodiment, the answer information is transmitted to the
さらに、実施例1と同様に、選択された採点者は、測定基準42aに従って点数情報46bを作成する点数測定を行う。そして、採点者は点数情報46bに採点者情報46aを付したセット情報52をクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S17’)。
Further, as in the first embodiment, the selected grader performs score measurement for creating
ホストコンピュータ10では、採点情報受信手段33によって受信したセット情報52(採点者情報46a及び点数情報46b)を採点情報記憶領域43の採点情報50に加えて記憶させる(S17)。これにより、全ての答案に対する採点情報50の形式情報45と採点者情報46aとが採点許可情報において許可されている組み合わせに合致することになり、採点情報採用手段34によって全ての点数情報46bを一括して採用できる(S18)。ホストコンピュータ10は、蓄積した採点情報50を必要に応じて適宜集計するなどしてもよい。なお、その他は実施例1と同様である。
In the
以上のように、答案採点システム1を用いた上記の答案採点方法によれば、形式情報45に基づいて採点の許可された採点者による点数情報46bのみを収集できる。結果的に、実施例1と同様に、全ての答案に対して採点の許可された採点者による点数情報46bを採用することができて、採点の客観性を担保することができる。また、点数情報46bを得る点数測定(採点)の処理作業に対して、あらかじめ形式情報45を用意しておくために形式的な二択質問文からなる質問群42bに対する回答を追加作業として先に行うだけでよく、採点処理を迅速に行うことができる。つまり、採点者による採点を必要とする問題文に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができる。
As described above, according to the above-described answer scoring method using the
なお、上記した答案採点方法の使用において、答案情報の数や採点者の数は自由であるが、採点者に経験や能力の差のあることを前提として客観性を担保できるのであるから、特に採点者の数の多い場合に好適である。例えば、一つの問題文に対する答案を採点処理する採点者の数は数百人となり、受験者の数で言えば数十万人となることも想定し得る。このような大規模な採点処理を行う場合であっても、客観性を担保しつつ迅速に採点を行うことができる。 In addition, in the use of the above answer scoring method, the number of answer information and the number of scorers are free, but since it is possible to guarantee objectivity on the premise that there are differences in experience and ability of the scorers, This is suitable when there are many graders. For example, it can be assumed that the number of graders who score an answer to one question sentence is several hundred, and that the number of examinees is several hundred thousand. Even when such a large-scale scoring process is performed, scoring can be performed quickly while ensuring objectivity.
ここまで本発明による代表的実施例及びこれに基づく変形例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができる。 So far, representative embodiments and modifications based on the embodiments have been described. However, the present invention is not necessarily limited thereto, and those skilled in the art will not depart from the scope of the appended claims. Various alternative embodiments and modifications can be found.
1 答案採点システム
40 データベース領域
41 答案情報記憶領域
42 採点基準情報記憶領域
42b 質問群
43 採点情報記憶領域
44 採点許可情報
45 形式情報(答案形式情報)
46 セット情報(採点セット情報)
46a 採点者情報
46b 点数情報(答案点数情報)
1 answer scoring
46 set information (scoring set information)
Claims (5)
前記採点情報は、
前記答案情報のうちの1つである特定答案情報を識別する個別情報と、
前記特定答案情報に対して、配点に基づいた点数測定による前記点数結果である答案点数情報、及びこれを入力した前記採点者を識別する採点者情報、からなる採点セット情報と、
前記特定答案情報に対して、肯定又は否定の二択質問文の複数からなる質問群についての回答パターンからなる答案形式情報と、を含み、
前記採点セット情報を前記答案形式情報でフィルタリングして前記点数結果を採用していく採用ステップを含むことを特徴とする答案採点方法。 The selected answer information is transmitted from the host computer to the client computer, the score information input by the grader is received in response to the answer information, and score results for each answer are collected, and the score with high reliability from these An answer scoring method that adopts the results,
The scoring information is
Individual information for identifying specific answer information that is one of the answer information;
With respect to the specific answer information, scoring set information consisting of answer score information that is the score result by scoring based on scoring, and scorer information that identifies the scorer who has input the score, and
Answer format information consisting of answer patterns for a group of questions consisting of a plurality of positive or negative two-choice questions for the specific answer information,
An answer scoring method comprising an adopting step of filtering the scoring set information with the answer format information and adopting the score result.
前記採用ステップは、前記採点者とこれに許可された前記回答パターンの組み合わせに基づいてフィルタリングを行うことを特徴とする請求項1記載の答案採点方法。 A scoring permission step for determining the answer pattern permitting the scorer to give the score result;
The answer scoring method according to claim 1, wherein the adopting step performs filtering based on a combination of the scorer and the answer pattern permitted to the scorer.
5. The answer scoring method according to claim 4, further comprising a step of transmitting the answer information to the grader who is permitted for the answer pattern of the answer format information corresponding to the answer information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017036983A JP6832194B2 (en) | 2017-02-28 | 2017-02-28 | Answer scoring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017036983A JP6832194B2 (en) | 2017-02-28 | 2017-02-28 | Answer scoring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142249A true JP2018142249A (en) | 2018-09-13 |
JP6832194B2 JP6832194B2 (en) | 2021-02-24 |
Family
ID=63528156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017036983A Active JP6832194B2 (en) | 2017-02-28 | 2017-02-28 | Answer scoring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6832194B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114333461A (en) * | 2020-09-30 | 2022-04-12 | 董黎明 | Automatic scoring method and system for subjective questions |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006099031A (en) * | 2004-08-31 | 2006-04-13 | Toshiba Corp | System, server, and program for providing examination |
JP2006268860A (en) * | 2006-03-24 | 2006-10-05 | Wao Corporation | Information processor and its program |
JP2006277086A (en) * | 2005-03-28 | 2006-10-12 | Nippon Tokei Jimu Center:Kk | Marking support method, marking support system, marking support device, marking management device and computer program |
JP2008180838A (en) * | 2007-01-24 | 2008-08-07 | Shingaku Kenkyukai:Kk | Grade report creation system and grade report creation method |
JP2009145773A (en) * | 2007-12-17 | 2009-07-02 | Wao Corporation | Answer information processor, marking information processor, answer information processing method, marking information processing method, and program |
JP2012022185A (en) * | 2010-07-15 | 2012-02-02 | Japan Institute For Educational Measurement Inc | Answer sorting support system |
-
2017
- 2017-02-28 JP JP2017036983A patent/JP6832194B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006099031A (en) * | 2004-08-31 | 2006-04-13 | Toshiba Corp | System, server, and program for providing examination |
JP2006277086A (en) * | 2005-03-28 | 2006-10-12 | Nippon Tokei Jimu Center:Kk | Marking support method, marking support system, marking support device, marking management device and computer program |
JP2006268860A (en) * | 2006-03-24 | 2006-10-05 | Wao Corporation | Information processor and its program |
JP2008180838A (en) * | 2007-01-24 | 2008-08-07 | Shingaku Kenkyukai:Kk | Grade report creation system and grade report creation method |
JP2009145773A (en) * | 2007-12-17 | 2009-07-02 | Wao Corporation | Answer information processor, marking information processor, answer information processing method, marking information processing method, and program |
JP2012022185A (en) * | 2010-07-15 | 2012-02-02 | Japan Institute For Educational Measurement Inc | Answer sorting support system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114333461A (en) * | 2020-09-30 | 2022-04-12 | 董黎明 | Automatic scoring method and system for subjective questions |
CN114333461B (en) * | 2020-09-30 | 2024-03-12 | 董黎明 | Automatic subjective question scoring method and system |
Also Published As
Publication number | Publication date |
---|---|
JP6832194B2 (en) | 2021-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rusticus et al. | Impact of sample size and variability on the power and type I error rates of equivalence tests: A simulation study | |
CN109101469B (en) | Extracting searchable information from digitized documents | |
Karuri et al. | DHIS2: the tool to improve health data demand and use in Kenya | |
AU2020200909A1 (en) | Evaluation control | |
US9418098B2 (en) | Method and system for verification of source data in pharmaceutical studies and other applications | |
CN108389147A (en) | Item difficulty hierarchical processing method and system | |
CN108052973B (en) | Map symbol user interest analysis method based on multiple items of eye movement data | |
US20160110826A1 (en) | Forensic system, forensic method, and forensic program | |
KR101832791B1 (en) | Hybrid computer scoring system and method based on image for increasing reliability and accuracy | |
CN108492223A (en) | paper processing method and system | |
JP2006277086A (en) | Marking support method, marking support system, marking support device, marking management device and computer program | |
CN110931097A (en) | Processing and analyzing system for inspection report | |
CN108073517B (en) | Management method, device, medium and computer equipment for third-party software test | |
KR102186936B1 (en) | Evaluating system and method for matching applicants | |
Dell et al. | Integrating ODK Scan into the community health worker supply chain in Mozambique | |
JP2012022185A (en) | Answer sorting support system | |
CN105741080A (en) | Digital interview assessment system | |
CN110555488A (en) | Image sequence auditing method and system, electronic equipment and storage medium | |
CN113870983A (en) | Social health transfer method, device, computer equipment and storage medium | |
JP6170662B2 (en) | Understanding tendency measurement system | |
US20150088876A1 (en) | Forensic system, forensic method, and forensic program | |
JP2018142249A (en) | Answer sheet grading method | |
CN113918609A (en) | Test paper creating method and device, computer equipment and storage medium | |
JP4104617B2 (en) | Product information management system and product information management program | |
CN106611530A (en) | An information processing method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6832194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |