JP2018142249A - Answer sheet grading method - Google Patents

Answer sheet grading method Download PDF

Info

Publication number
JP2018142249A
JP2018142249A JP2017036983A JP2017036983A JP2018142249A JP 2018142249 A JP2018142249 A JP 2018142249A JP 2017036983 A JP2017036983 A JP 2017036983A JP 2017036983 A JP2017036983 A JP 2017036983A JP 2018142249 A JP2018142249 A JP 2018142249A
Authority
JP
Japan
Prior art keywords
information
answer
scoring
score
answer sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017036983A
Other languages
Japanese (ja)
Other versions
JP6832194B2 (en
Inventor
厚 吉川
Atsushi Yoshikawa
厚 吉川
俊夫 山梨
Toshio Yamanashi
俊夫 山梨
健成 松本
Takeshige Matsumoto
健成 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Edulab
Edulab Inc
JAPAN INST FOR EDUCATIONAL MEASUREMENT Inc
JAPAN INSTITUTE FOR EDUCATIONAL MEASUREMENT Inc
Original Assignee
Edulab
Edulab Inc
JAPAN INST FOR EDUCATIONAL MEASUREMENT Inc
JAPAN INSTITUTE FOR EDUCATIONAL MEASUREMENT Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Edulab, Edulab Inc, JAPAN INST FOR EDUCATIONAL MEASUREMENT Inc, JAPAN INSTITUTE FOR EDUCATIONAL MEASUREMENT Inc filed Critical Edulab
Priority to JP2017036983A priority Critical patent/JP6832194B2/en
Publication of JP2018142249A publication Critical patent/JP2018142249A/en
Application granted granted Critical
Publication of JP6832194B2 publication Critical patent/JP6832194B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an answer sheet grading method with which, in grading a number of answer sheets created for descriptive questions by a plurality of graders, grading can be efficiently performed while guaranteeing objectivity.SOLUTION: An answer sheet grading method includes transmitting selected answer sheet information from a host computer to client computers, receiving replies with grading information input by graders in response to the answer sheet information, collecting results of scores for the answer sheets, and employing a highly reliable result of scores. The grading information includes: personal information identifying specific answer sheet information that is one of the answer sheet information; score set information consisting of answer sheet score information that is results of scores through score measurement for the specific answer sheet information and grader information identifying a grader who inputs the answer sheet score information; and answer sheet format information consisting of answering patterns for a question group consisting of a plurality of positive and negative alternative question sentences for the specific answer sheet information. The answer sheet grading method includes an employing step of filtering the score set information with the answer sheet format information, and employing results of scores.SELECTED DRAWING: Figure 3

Description

本発明は、記述式問題に対して作成された多数の答案を採点者の複数で採点するにあたってその客観性を担保しつつも効率的に採点を行い得る答案採点方法に関する。   The present invention relates to an answer scoring method capable of efficiently scoring while ensuring objectivity when scoring a large number of answers created for a descriptive question by a plurality of scorers.

記述式問題では、問題の問いに対する一定量の自由な記述による答案の作成(解答)を答案作成者(受験者)に求めることになる。採点者においては、答案の記述を解釈し、その正誤だけでなくどの程度正解に近づいているかなどを、例えば、部分点の付与の如きによって、多段階的に評価することになる。その一方でこの多段階評価、すなわち部分点の付与における客観性を確保することも必要となる。   In a descriptive question, an answer creator (examiner) is requested to create an answer (answer) with a certain amount of free description for the question in question. The grader interprets the description of the answer and evaluates not only the correctness but also how close it is to the correct answer, for example, by assigning partial points in a multi-step manner. On the other hand, it is also necessary to ensure objectivity in this multistage evaluation, that is, the assignment of partial points.

ここで問題の作成の仕方次第では、答案の記述のバリエーションを一定範囲に限定することもでき得て多段階評価の客観性を高め得る。しかしながら、あらかじめ答案の記述のバリエーションを提示しておいてこの中から答案作成者(受験者)に選択をさせる選択式問題との差異が失われてしまう。そこで、記述式問題を採用する以上、答案の記述のバリエーションの多様さを一定程度、許容すべきことになる。また、一国内の同一学年の受験者を対象とするような大規模且つ受験者のバックグランドを様々とするような試験では、問題の作成者の意図通りに答案の記述のバリエーションを一定範囲に限定できないことも良く知られているところである。更に、大規模な試験では、所定の期間内に大量の答案の採点の集計を終えることを求められるため、複数の採点者で採点をすることになり、採点者間の判断差における客観性の確保も必要となる。   Here, depending on how the question is created, variations in the description of the answer can be limited to a certain range, and the objectivity of the multi-level evaluation can be improved. However, the difference from the selection type question in which variations of the description of the answer are presented in advance and the answer creator (taker) makes a selection from among them is lost. Therefore, as long as the descriptive problem is adopted, a certain degree of variation in the description of the answer should be allowed. In addition, in a large-scale examination that targets examinees of the same grade in a country and the background of the examinees varies, variations in the description of the answer are within a certain range as intended by the question creator. It is well known that it cannot be limited. Furthermore, in a large-scale examination, it is required to complete the summarization of a large number of answers within a predetermined period. Therefore, multiple scores will be scored, and the objectivity of the judgment difference between the scorers will be reduced. Securing is also necessary.

例えば、特許文献1では、ネットワークを通じて接続された複数の端末入力装置から記述式問題に対して作成された多数の答案を複数の採点者で採点するシステムにおいて、1の採点者の採点結果を他の採点者の採点根拠を参照しながら再評価して修正でき、複数の採点者間の判断差における客観性を確保しようとする答案採点支援システムを開示している。採点結果が一致せず、採点結果の客観性に疑問がある場合には、他の採点者の採点根拠を参照しながら採点結果を再検討し、一度登録した採点結果を修正できるとしている。   For example, in Patent Document 1, in a system in which a large number of answers created for a descriptive question from a plurality of terminal input devices connected through a network are scored by a plurality of scorers, the scoring results of one scorer An answer scoring support system is disclosed that can be re-evaluated and corrected while referring to the scoring grounds of the scoring staff to ensure objectivity in the judgment difference among a plurality of scoring staff. If the scoring results do not match and there is a question about the objectivity of the scoring results, the scoring results can be reexamined while referring to the scoring grounds of other scoring personnel, and the scoring results once registered can be corrected.

ここで、同じ答案を2人の採点者が評価したときに、どちらの採点者の評価がより正しいかは明確でない。更に、大量の答案の採点を迅速に行おうとすると同じ答案を複数の採点者で評価することになり作業効率に欠ける。また、採点による影響の理解関係などから、質の高い採点者を多く確保することは非常に難しいとの現状もある。そこで、採点者の採点方法自体を変更しようとする提案がなされている。   Here, when two graders evaluate the same answer, it is not clear which grader's evaluation is more correct. Furthermore, if a large number of answers are to be scored quickly, the same answer will be evaluated by a plurality of graders, resulting in a lack of work efficiency. In addition, due to the understanding of the impact of scoring, it is very difficult to secure many high-quality graders. Therefore, a proposal has been made to change the scoring method itself of the grader.

例えば、特許文献2では、答案作成者側における答案の記述のバリエーションを制限するのではなく、採点者の判断を集約させるようにあらかじめ定めた択一的な質問に採点者が回答していく、いわば採点者側の「選択式問題」が用意される採点方法を提案している。かかる方法では、採点者側の採点のバリエーションを制限することにはなるが、質問毎に設定された得点を積み上げる従来の直列的な部分採点方式とは異なり、採点者の回答をパターン化して集計することで答案を分類分けし並列的に採点することができるのである。   For example, in Patent Document 2, the grader answers an alternative question that has been determined in advance to consolidate the judgment of the grader, rather than restricting variations in the description of the answer on the answer creator side. In other words, we have proposed a scoring method that prepares “selective questions” on the grader side. This method limits the scoring variation on the grader side, but unlike the conventional serial partial scoring system, in which the score set for each question is accumulated, the answers of the grader are patterned and aggregated. By doing so, the answers can be classified and graded in parallel.

特開2006−277086号公報JP 2006-277086 A 特開2012−22185号公報JP 2012-22185 A

採点対象をマーク式以外の答案としこれを機械ではなく人(採点者)が採点するとき、その採点結果の正誤判断も人が行わねばならず、これを効率よく処理することは簡単ではない。ここで、採点者の傾向に合わせて適切な答案の採点を担当させることで、個々の答案の採点結果の正誤の検証を殊更に慎重に行う必要はなくなり、全体の処理効率を大幅に高め得る。   When the target of scoring is an answer other than the mark type, and a person (scorer) scores a score instead of a machine, the person must also judge whether the scoring result is correct or not, and it is not easy to process this efficiently. Here, by assigning an appropriate answer according to the grader's tendency, it is not necessary to verify the correctness of the score of each answer more carefully, and the overall processing efficiency can be greatly increased. .

本発明はかかる状況に鑑みてなされたものであって、その目的とするところは、記述式問題に対して作成された多数の答案を採点者の複数で採点するにあたってその客観性を担保しつつも効率的に採点を行い得る答案採点方法を提供することにある。   The present invention has been made in view of such a situation, and the object of the present invention is to ensure the objectivity of scoring a large number of answers created for a descriptive question by a plurality of graders. Is to provide a method for scoring answers that can be scored efficiently.

本発明による答案採点方法は、選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けて各答案に対する点数結果を収集しこのうちから信頼性の高い該点数結果を採用していく答案採点方法であって、前記採点情報は、前記答案情報のうちの1つである特定答案情報を識別する個別情報と、前記特定答案情報に対して、配点に基づいた点数測定による前記点数結果である答案点数情報、及びこれを入力した前記採点者を識別する採点者情報、からなる採点セット情報と、前記特定答案情報に対して、肯定又は否定の二択質問文の複数からなる質問群についての回答パターンからなる答案形式情報と、を含み、前記採点セット情報を前記答案形式情報でフィルタリングして前記点数結果を採用していく採用ステップを含むことを特徴とする。   In the answer scoring method according to the present invention, the selected answer information is transmitted from the host computer to the client computer, the score information input by the grader is received in response to the answer information, and score results for each answer are collected. The answer scoring method adopting the score result with high reliability from the inside, wherein the scoring information includes individual information for identifying specific answer information which is one of the answer information, and the specific answer information On the other hand, with respect to the specific answer information, the scoring set information consisting of the answer score information that is the score result based on the score measurement based on the scoring, and the scorer information that identifies the scorer that has input the score, Answer format information consisting of answer patterns for a group of questions consisting of a plurality of positive or negative two-choice question sentences, and the scoring set information in the answer format information Irutaringu to characterized in that it comprises a adoption steps to continue to employ the score results.

かかる発明によれば、答案形式情報によるフィルタリングで採点者情報に基づく特定の答案形式情報に対応する信頼性の高い点数結果だけを採用できて、多数の答案を採点者の複数で採点する場合にあっても客観性を担保しつつも効率的に採点を行い得る。   According to this invention, when filtering with the answer format information, only highly reliable score results corresponding to specific answer format information based on the grader information can be adopted, and a large number of answers are scored by a plurality of graders. Even if it is, it is possible to score efficiently while ensuring objectivity.

上記した発明において、前記採点者が前記点数結果を与えることを許可する前記回答パターンを決定する採点許可ステップを含み、前記採用ステップは、前記採点者とこれに許可された前記回答パターンの組み合わせに基づいてフィルタリングを行うことを特徴としてもよい。かかる発明によれば、回答パターンに基づいて許可された採点者による点数結果だけを採用できて、客観性を担保しつつも効率的に採点を行い得る。   In the above-mentioned invention, the scoring step includes a scoring permission step for determining the answer pattern permitting the scorer to give the score result, and the recruiting step includes a combination of the scorer and the answer pattern permitted to the scoring person. Filtering may be performed based on this. According to this invention, it is possible to employ only the score result by the grader permitted based on the answer pattern, and it is possible to score efficiently while ensuring objectivity.

上記した発明において、前記答案情報のうちの1に対応して複数の採点者の入力を許容することで、前記採点情報が1の前記個別情報に対して前記採点セット情報を複数含み得ることを特徴としてもよい。かかる発明によれば、1の個別情報に対して複数の採点セット情報から許可された採点者による点数結果を抽出できる。   In the above-described invention, by allowing the input of a plurality of scorers corresponding to one of the answer information, the scoring information can include a plurality of the scoring set information for the individual information of one. It may be a feature. According to this invention, it is possible to extract a score result by a scorer who is permitted from a plurality of score set information for one piece of individual information.

上記した発明において、前記採点情報において、前記個別情報及び前記答案形式情報をあらかじめ用意しておくことを特徴としてもよい。かかる発明によれば、答案形式情報に基づいて答案情報の処理を決定できる。   In the above-described invention, the individual information and the answer format information may be prepared in advance in the scoring information. According to this invention, the processing of the answer information can be determined based on the answer format information.

上記した発明において、前記答案情報についてこれに対応する前記答案形式情報の前記回答パターンに対して許可された前記採点者に向けて送信するステップを含むことを特徴としてもよい。かかる発明によれば、回答パターンに基づいて許可された採点者による点数結果だけを収集して採用できる。   The above-described invention may include a step of sending the answer information to the grader who is permitted for the answer pattern of the answer format information corresponding to the answer information. According to this invention, it is possible to collect and adopt only the score results obtained by the grader who is permitted based on the answer pattern.

本発明による実施例としての答案採点方法に用いられる答案採点システムのブロック図である。It is a block diagram of the answer scoring system used for the answer scoring method as an Example by this invention. 採点システムの要部のブロック図である。It is a block diagram of the principal part of a scoring system. 答案採点方法のフロー図である。It is a flowchart of an answer scoring method. 採点情報の表示例の図である。It is a figure of the example of a display of scoring information. 他の答案採点方法のフロー図である。It is a flowchart of another answer scoring method.

まず、本発明による答案採点方法に用いられる答案採点システムについて図1を用いて説明する。   First, the answer scoring system used in the answer scoring method according to the present invention will be described with reference to FIG.

[システム構成]
図1に示すように、答案採点システム1は、問題作成者等を含む管理者によって使用されるホストコンピュータ10と、これにインターネット回線やLAN等の通信回線20を介して接続される複数のクライアントコンピュータ21とを含む。クライアントコンピュータ21は、モニタ、キーボード及びマウス等の入出力装置を備える。
[System configuration]
As shown in FIG. 1, the answer scoring system 1 includes a host computer 10 used by an administrator including a problem creator and a plurality of clients connected to the host computer 10 via a communication line 20 such as an Internet line or a LAN. Computer 21. The client computer 21 includes input / output devices such as a monitor, a keyboard, and a mouse.

ホストコンピュータ10は、ハードディスク装置等の大容量の記憶装置11、制御部としてのCPU12、ROM13やRAM14及び図示しない通信インターフェースを備える。また、ホストコンピュータ10は、ユーザインターフェースとしてモニタ10a、キーボード10b及び答案の画像データの入力を可能とする図示しないスキャナなどの入出力装置に接続される。   The host computer 10 includes a large-capacity storage device 11 such as a hard disk device, a CPU 12 as a control unit, a ROM 13 and a RAM 14, and a communication interface (not shown). The host computer 10 is connected as a user interface to a monitor 10a, a keyboard 10b, and an input / output device such as a scanner (not shown) that enables input of answer image data.

記憶装置11は、プログラム等記憶領域30及び各種データを記憶するデータベース(DB)領域40を有している。   The storage device 11 has a storage area 30 for programs and the like, and a database (DB) area 40 for storing various data.

プログラム等記憶領域30には、CPU12によって実行されるプログラムとしてのデータ収容手段31と、答案情報送信手段32と、採点情報受信手段33と、採点情報採用手段34とが記憶されている。   The program storage area 30 stores data accommodation means 31 as a program executed by the CPU 12, answer information transmission means 32, scoring information reception means 33, and scoring information adoption means 34.

図2を併せて参照すると、データベース領域40には、少なくとも答案情報記憶領域41、採点基準情報記憶領域42、採点情報記憶領域43、採点許可情報記憶領域44が設けられている。答案情報記憶領域41には受験者の作成した答案を画像化した答案画像41bと特定の答案を識別する識別符号などの個別情報41aが記憶される。採点基準情報記憶領域42には、いわゆる採点基準である測定基準42a及び二択質問文の複数からなる質問群42bが記憶される。また、採点情報記憶領域43には、採点情報50(図3参照)が記憶される。採点情報50のそれぞれには、上記した個別情報41a、個別情報41aにより識別される答案の類型を示す形式情報45、その答案を採点した採点者の採点者情報46a及び採点結果のうちの点数結果である点数情報(答案点数情報)46bの組からなるセット情報(採点セット情報)52(図3参照)が含まれる。さらに、採点許可情報記憶領域44に記憶される採点許可情報には、上記した採点者情報46aとこれに対応する各採点者に採点の許可される答案の類型を示す類型情報47がそれぞれ含まれる。   Referring also to FIG. 2, the database area 40 includes at least an answer information storage area 41, a scoring reference information storage area 42, a scoring information storage area 43, and a scoring permission information storage area 44. In the answer information storage area 41, an answer image 41b obtained by imaging an answer created by the examinee and individual information 41a such as an identification code for identifying a specific answer are stored. The scoring standard information storage area 42 stores a measurement group 42a, which is a so-called scoring standard, and a question group 42b composed of a plurality of two-choice question sentences. The scoring information storage area 43 stores scoring information 50 (see FIG. 3). Each of the scoring information 50 includes the individual information 41a, the format information 45 indicating the type of the answer identified by the individual information 41a, the scorer information 46a of the scorer who scored the answer, and the score result of the scoring result Set information (scoring set information) 52 (see FIG. 3) consisting of a set of score information (answer score information) 46b. Further, the scoring permission information stored in the scoring permission information storage area 44 includes the above-described scoring information 46a and type information 47 indicating the types of answers that are allowed to be scored by each scoring person corresponding thereto. .

このようなシステム構成により、予め複数の受験者に問題文を受験させて答案を収集しておいた上で、答案採点システム1においては、データ収容手段31によって答案を答案情報として答案情報記憶領域41に記憶させ、これを答案情報送信手段32によって複数の採点者の使用するクライアントコンピュータ21に送信させ、採点情報受信手段33によって答案情報に対する採点者の採点結果である採点情報50の返信を受けて採点情報記憶領域43に記憶させ蓄積することができる。これらの動作の詳細については後述する。   With such a system configuration, a plurality of examinees have previously taken question sentences and collected the answers. In the answer scoring system 1, the answer storage system 31 stores the answers as answer information by the data storage means 31. 41, which is transmitted to the client computer 21 used by a plurality of scorers by the answer information transmitting means 32, and a reply of the scoring information 50 which is a scorer's scoring result for the answer information is received by the scoring information receiving means 33. And stored in the scoring information storage area 43. Details of these operations will be described later.

[問題文の作成]
答案採点システム1の使用に先立ち、管理者は、受験者に試験問題として与える問題文を作成しておく。ここで対象とする問題文は、採点者(人)による採点を必要とする問題文であり、例えば受験者に直筆で答案を作成させるテストなど機械によって採点できない問題文である。少なくとも、機械によって採点できるマークシート式の問題文は対象としていない。作成した問題文は、必要に応じてホストコンピュータ10のキーボードやスキャナなどの入力装置から入力され、記憶装置11に記憶されて、ホストコンピュータ10やクライアントコンピュータ21から、適宜、参照できるようにしてもよい。
[Create question sentence]
Prior to using the answer scoring system 1, the administrator creates a question sentence to be given to the examinee as a test question. The question sentence to be used here is a question sentence that needs to be scored by a grader (person), for example, a question sentence that cannot be scored by a machine, such as a test in which an examinee creates an answer by handwriting. At least mark sheet type question sentences that can be scored by machines are not covered. The created problem sentence is input from an input device such as a keyboard or a scanner of the host computer 10 as necessary, stored in the storage device 11, and can be referred to as appropriate from the host computer 10 or the client computer 21. Good.

[採点基準情報の作成]
管理者は、次いで採点基準情報を作成し、データ収容手段31によって採点基準情報記憶領域42に記憶させておく。採点基準情報には、問題文に対する答案の点数測定を一定の判断基準で行うよう採点者に提示する測定基準42aと、答案の記載に関する肯定又は否定の二択質問文の複数からなる質問群42bとを含む。
[Create scoring standard information]
The administrator then creates scoring standard information and stores it in the scoring standard information storage area 42 by the data storage means 31. The scoring standard information includes a measurement standard 42a that is presented to the grader so as to measure the score of the answer to the question sentence according to a certain criterion, and a question group 42b that includes a plurality of positive or negative alternative question sentences regarding the description of the answer Including.

測定基準42aは、特定の内容が答案に記述されているか否かを実質的に判断するためのいわゆる採点基準であり、従来と同様である。例えば、正答例や配点を含み、部分点を与えるべき場合には部分点を付与されるべき答案の内容の条件、加点や減点となる部分点などの配点を含む。   The measurement standard 42a is a so-called scoring standard for substantially determining whether or not specific contents are described in the answer, and is the same as in the past. For example, it includes examples of correct answers and scoring points. When a partial point is to be given, it includes conditions for the content of the answer to which a partial point is to be given, and scoring points such as partial points to be added or subtracted.

質問群42bのうちの二択質問文のそれぞれは、答案に関しての肯定又は否定の二者択一の回答を採点者に選択させる質問文であり、その選択の判断を容易とするような内容である。即ち、二択質問文は、特定の内容が答案に記述されているかを実質的に判断するものではなく、答案の記載を形式的に判断できるものとする。これにより、各採点者の主観差を排した回答を得るのである。また、二択質問文は、1つの問題文に対する答案について複数作成されて質問群42bとされ、質問群42bに対する回答の肯定又は否定の組み合わせ(回答パターン)によって少なくとも答案を複数の類型に分類できるものである。   Each of the two-choice question sentences in the question group 42b is a question sentence that causes the grader to select either an affirmative or negative answer regarding the answer, and the contents make it easy to determine the choice. is there. In other words, the two-choice question text does not substantially determine whether or not specific contents are described in the answer, but can formally determine the description of the answer. Thereby, the answer which excluded the subjective difference of each grader is obtained. Further, a plurality of two-choice question sentences are created for an answer to one question sentence to form a question group 42b, and at least the answer can be classified into a plurality of types by combinations of affirmative or negative answers (answer patterns) to the question group 42b. Is.

[実施例1]
次に、答案採点システム1の使用方法を図3に沿って図1、図2及び図4を参照しつつ説明する。
[Example 1]
Next, a method of using the answer scoring system 1 will be described along FIG. 3 with reference to FIG. 1, FIG. 2, and FIG.

図3に図1及び図2を併せて参照すると、データ収容手段31は、ホストコンピュータ10の記憶装置11に答案情報を記憶させる(S1)。詳細には、管理者は複数の受験者に作成した問題文を与え、これに対する答案を予め得ておく。答案の記載された答案用紙群は、ホストコンピュータ10の図示しないスキャナ等の入力装置などによって答案情報となる答案画像41bとして読み込まれる。読み込まれた答案画像41bはデータ収容手段31によって各受験者の識別符号を付されるなど識別されて答案情報記憶領域41に記憶される。ここで、受験者の作成した答案は複数の問題文に対するひとまとまりのものであるが、答案情報として問題文毎に分けて答案画像41bとされており、先の識別符号に各問題文の符号等も併せた個別情報41aを付して記憶される。なお、実際には、複数の問題文に対する処理を同時並行して行ってもよいが、以下では1つの問題文に対する処理について説明する。   Referring to FIG. 3 together with FIGS. 1 and 2, the data accommodating means 31 stores the answer information in the storage device 11 of the host computer 10 (S1). Specifically, the manager gives a question sentence prepared to a plurality of examinees and obtains an answer to the question sentence in advance. The answer sheet on which the answer is described is read as an answer image 41b serving as answer information by an input device such as a scanner (not shown) of the host computer 10. The read answer image 41 b is identified by the data accommodating means 31 with an identification code of each examinee and stored in the answer information storage area 41. Here, the answer created by the examinee is a group for a plurality of question sentences. However, the answer information is divided into question pictures 41b as answer information, and the code of each question sentence is used as the previous identification code. Are stored with individual information 41a. In practice, processing for a plurality of question sentences may be performed in parallel, but processing for one question sentence will be described below.

次いで、採点者にどのような類型の答案についての採点を許可するかを定める(S2)。上記したように、質問群42bに対する回答パターンにより答案を複数の類型に分類できる。詳細は後述するが、多数の採点者による採点を行う場合、採点者の経験や能力によっては誤採点の発生しやすい答案の類型がある。つまり、採点の客観性を担保するために、誤採点の発生しないような採点者の経験や能力に適合した答案の類型を指定し、その点数測定(採点)を許可するのである。そして、データ収容手段31により、採点者情報46aにより識別される採点者に採点の許可された答案の類型を類型情報47として採点許可情報記憶領域44に記憶させる。ここで類型情報47は、質問群42bに対する回答パターンである形式情報45に対応する。このような答案の類型情報47に対応する回答パターンは二択質問文による質問群42bによって決まるので、採点許可(S2)については、質問群42bを作成した時点で行っておいてもよい。   Next, it is determined what type of answer is allowed for the grader (S2). As described above, the answers can be classified into a plurality of types according to the answer pattern for the question group 42b. Although details will be described later, when scoring by a large number of graders, depending on the experience and ability of the graders, there are types of answers that are likely to cause erroneous scoring. In other words, in order to guarantee the objectivity of scoring, a type of answer that matches the experience and ability of the scorer that does not cause erroneous scoring is specified, and the score measurement (scoring) is permitted. Then, the data storage means 31 stores in the scoring permission information storage area 44 the type of the answer that the scoring person identified by the scoring information 46 a is allowed to score as the type information 47. Here, the type information 47 corresponds to the format information 45 that is an answer pattern to the question group 42b. Since the answer pattern corresponding to the answer type information 47 is determined by the question group 42b based on the two-choice question sentence, the scoring permission (S2) may be performed when the question group 42b is created.

次いで、答案情報送信手段32は、答案情報記憶領域41から答案情報を選択し、採点基準情報記憶領域42の採点基準情報とともにクライアントコンピュータ21へ送信する(S3)。各クライアントコンピュータ21にはこれを使用する複数の採点者がそれぞれ対応しており、各採点者の処理すべき答案を複数ずつ振り分けるように選択し、最終的に全ての答案情報についての採点処理を行わせるのである。この複数の答案情報はまとめて送信されてもよいし、採点処理毎に1つずつ送信されてもよい。なお、1つの答案情報を同時に複数の採点者に振り分けてもよい。   Next, the answer information transmitting means 32 selects answer information from the answer information storage area 41 and transmits it to the client computer 21 together with the scoring reference information in the scoring reference information storage area 42 (S3). Each client computer 21 is associated with a plurality of graders who use it, and each grader chooses to assign a plurality of answers to be processed, and finally performs a scoring process for all answer information. It is done. The plurality of answer information may be transmitted together or may be transmitted one by one for each scoring process. In addition, you may distribute one answer information to several graders simultaneously.

クライアントコンピュータ21では答案情報を採点基準情報とともに受信する(S3’)。採点基準情報は、上記したように測定基準42a及び質問群42bを含み、採点者による採点作業に用いられる。1つの問題文に対する答案情報を複数回に分けて受信する場合に、採点基準情報は初回に受信した以降において不要となるので、ホストコンピュータ10からの送信を省略できる。また、採点基準情報を予め各採点者に配布しておき、答案情報の送信に伴うホストコンピュータ10からの採点基準情報の送信そのものを省略してもよい。   The client computer 21 receives the answer information together with the scoring reference information (S3 '). The scoring standard information includes the measurement standard 42a and the question group 42b as described above, and is used for scoring work by the scorer. When the answer information for one question sentence is received in a plurality of times, the scoring standard information becomes unnecessary after the first reception, and therefore transmission from the host computer 10 can be omitted. Further, the scoring standard information may be distributed in advance to each grader, and the transmission of the scoring standard information from the host computer 10 accompanying the transmission of the answer information may be omitted.

図4を併せて参照すると、採点者は、クライアントコンピュータ21において採点基準情報に従い答案情報について採点処理し、各答案情報に対応した採点情報50を作成し、入力する。採点処理には、点数測定(点数情報46bの作成)と質問群42bに対する回答(形式情報45の作成)とが含まれる。クライアントコンピュータ21の画面上に表示される採点情報50には、形式情報45、セット情報52及びこれらに付されて採点対象の答案情報を特定する個別情報41aを含む。   Referring also to FIG. 4, the scorer scores the answer information according to the scoring standard information in the client computer 21, and creates and inputs the scoring information 50 corresponding to each answer information. The scoring process includes score measurement (creation of score information 46b) and an answer to the question group 42b (creation of format information 45). The scoring information 50 displayed on the screen of the client computer 21 includes format information 45, set information 52, and individual information 41a that is attached thereto and identifies answer information to be scored.

まず、採点者は測定基準42aに従って点数情報46bを作成する。点数情報46bは、答案についてのいわゆる点数であり一般的な採点によって得られ、例えば、測定基準42aに示される部分点などの配点に基づき、これを加算したり減算したりして作成される。点数情報46bを作成する作業をここでは点数測定と称する。   First, the grader creates score information 46b according to the measurement standard 42a. The score information 46b is a so-called score for the answer, and is obtained by general scoring. For example, the score information 46b is created by adding or subtracting points based on a score such as a partial point shown in the measurement standard 42a. The operation of creating the score information 46b is referred to as score measurement here.

次に、採点者は、二択質問文の複数からなる質問群42bに従って形式情報45を作成する。二択質問文のそれぞれは、上記したように答案の記載に関して肯定又は否定を選択する判断を容易とするような内容であり、採点処理作業に大きな負担を与えるものではない。採点者は、複数の二択質問文のそれぞれに対する回答を肯定「Y」又は否定「N」のチェックボックス51から選択してチェックを入力して回答する。このような作業によって、質問群42bに対する肯定又は否定の回答の組み合わせ(回答パターン)を形式情報45として作成する。   Next, the grader creates the format information 45 according to the question group 42b consisting of a plurality of two-choice question sentences. Each of the two-choice question sentences has a content that facilitates the decision to select affirmation or denial regarding the description of the answer as described above, and does not give a large burden to the scoring process. The grader selects an answer to each of a plurality of two-choice question sentences from an affirmative “Y” or negative “N” check box 51 and inputs a check to answer. By such work, a combination (answer pattern) of affirmative or negative answers to the question group 42 b is created as the format information 45.

採点者は点数結果(採点結果)である点数情報46bに自らを識別するIDなどの採点者情報46aを付してセット情報52とし、形式情報45及び採点の対象となった答案を特定する個別情報41aとともに採点情報50としてクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S4’)。   The scorer adds the scorer information 46a such as an ID for identifying himself / herself to the score information 46b which is the score result (scoring result) as the set information 52, and specifies the format information 45 and the answer to be scored individually. Along with the information 41a, the client computer 21 returns the information as scoring information 50 to the host computer 10 (S4 ').

ホストコンピュータ10では、採点情報受信手段33によって受信した採点情報50を採点情報記憶領域43に記憶させる(S4)。ホストコンピュータ10では、受信した採点情報50を蓄積し、必要に応じて次の処理に進む。つまり、全ての答案についての採点情報50返信を得る前に、次の処理を開始してもよい。   In the host computer 10, the scoring information 50 received by the scoring information receiving means 33 is stored in the scoring information storage area 43 (S4). The host computer 10 accumulates the received grading information 50 and proceeds to the next process as necessary. In other words, the next process may be started before obtaining the scoring information 50 replies for all the answers.

そして、ホストコンピュータ10では、採点情報採用手段34によって採点情報50のうちの所定の条件の点数情報46bを採用する(S5)。ここでは、採点許可情報記憶領域44を参照し採点許可情報に基づいて、答案に対して適切な採点者による採点結果である点数情報46bを採用することで、採点の客観性を担保することを目的としている。つまり、採点許可情報のうちの採点者情報46a及び類型情報47と、採点情報50のうちの採点者情報46a及び形式情報45とを照合し、類型情報47に形式情報45が合致する場合にのみ点数情報46bをその答案の点数として採用するのである。換言すれば、点数情報46bの含まれるセット情報52を、採点許可情報に基づき形式情報45でフィルタリングするのである。   In the host computer 10, the scoring information adoption means 34 employs the score information 46b of a predetermined condition in the scoring information 50 (S5). Here, by referring to the scoring permission information storage area 44 and based on the scoring permission information, the score information 46b, which is a scoring result by an appropriate scorer, is adopted for the answer, thereby ensuring the objectivity of scoring. It is aimed. That is, the grader information 46 a and the type information 47 in the scoring permission information are collated with the grader information 46 a and the format information 45 in the scoring information 50, and only when the format information 45 matches the type information 47. The score information 46b is adopted as the score of the answer. In other words, the set information 52 included in the score information 46b is filtered by the format information 45 based on the scoring permission information.

採点者による採点(点数測定)では、同じ答案であっても採点者によって採点結果が異なり得る。例えば、多肢選択式で単文字による単純な答案の記載を要求する問題文であっても、受験者毎に異なる書き癖などのために、この判読を伴う採点にはそれなりに誤りが発生する。つまり、このような問題文に対する答案を採点する採点者には受験者の直筆による単文字を判読できる経験や能力が要求される。受験者に一定量の自由な記述を要求するようないわゆる記述式問題であっても、採点には多数の判断を伴うため採点者によって採点結果が異なり得る。つまり、どちらの場合でも、採点者には採点基準(測定基準)に従った客観的な採点のできる経験や能力が要求される。よって、採点の客観性を担保するためにはそのような問題文の種類に対して適切な採点者による採点結果を採用する必要がある。   In scoring (score measurement) by a grader, even if the answer is the same, the scoring result may differ depending on the grader. For example, even for a question sentence that requires a simple answer written in a single letter with multiple choices, there will be some errors in scoring with this interpretation due to different writing for each examinee. . In other words, a grader who scores an answer to such a question sentence is required to have experience and ability to read a single letter written by the examinee. Even so-called descriptive questions that require a certain amount of free description from the examinee, the scoring results may vary depending on the grader because the scoring involves many judgments. That is, in either case, the grader is required to have experience and ability to objectively score in accordance with the scoring standard (measurement standard). Therefore, in order to guarantee the objectivity of scoring, it is necessary to adopt a scoring result by an appropriate scoring person for such a problem sentence type.

さらに、同じ問題文であっても、答案のバリエーションによって採点に適切な採点者が変わり得る。例えば、上記したような単文字を判読できる能力を採点者に求められる問題文に対する答案であっても、白紙答案であれば採点者によって採点結果は異なることはほとんどなく、採点者に単文字を判読できる経験や能力は要求されない。つまり、答案の形式的な違いでも、その採点に適切な採点者が異なり得る。さらに、記述式問題の場合は、そのバリエーションがより多岐に亘るため、答案の記載量や、特定の文字列又は数式等の記載の有無などの形式的な違いによってその答案を誤採点せずに採点できる適切な採点者は異なり得る。つまり、上記した問題文の種類に加え、答案の形式的な類型によっても適切な採点者は異なるのである。そして、上記した質問群42bの二択質問文は、このような答案の類型に分類できるような答案の記載についての形式的な差異を問うものであることが好ましい。   Furthermore, even for the same question sentence, the grader suitable for scoring can change depending on the answer variations. For example, even for an answer to a question sentence that requires a grader to be able to read a single character as described above, if the answer is a blank paper, the grade result will hardly differ depending on the grader. No readable experience or ability is required. In other words, even if there is a formal difference in the answer, the appropriate grader may be different. Furthermore, in the case of a descriptive question, there are more variations, so the answer will not be mis-scored due to formal differences such as the amount of answer written and whether or not a specific character string or mathematical expression is written. The appropriate grader that can be scored can vary. In other words, in addition to the types of question sentences described above, the appropriate grader varies depending on the formal type of the answer. And it is preferable that the above-mentioned two-choice question sentence of the question group 42b asks a formal difference about the description of the answer that can be classified into such answer types.

そこで、上記したように問題文毎にその問題文に対する答案の類型によってその答案の採点を許可する採点者をその経験や能力に基づいて定めておき、採点許可情報として採点許可情報記憶領域44に記憶させておくのである。そして、上記したように、セット情報52を、採点許可情報に基づき形式情報45でフィルタリングしてその答案の点数結果として採用する点数情報46bを決定することで、採点の客観性を担保できるのである。   Therefore, as described above, a scorer who permits the scoring of the answer according to the type of the answer to the question sentence is determined based on the experience and ability as described above, and the scoring permission information is stored in the scoring permission information storage area 44. Remember it. As described above, the set information 52 is filtered by the format information 45 based on the scoring permission information, and the score information 46b to be adopted as the score result of the answer is determined, thereby ensuring the scoring objectivity. .

このとき、一部の答案について、採用できる点数情報46bのないことがある。この場合、採用できる点数情報46bのなかった答案について再度採点を行うが、返信される点数情報46bを採用できるように採点者を選択する(S6)。すなわち、採用できる点数情報46bのなかった答案も、各答案の類型を示す形式情報45が既に明らかになっているので、かかる形式情報45に基づき採点者を選択するのである。つまり、採点許可情報を照会してその答案の採点を許可されている採点者を採点者情報46aから選択する。具体的には、形式情報45に対応する類型情報47を含む採点許可情報から採点者情報46aを選択すればよい。   At this time, there may be no point information 46b that can be adopted for some of the answers. In this case, the score that has no score information 46b that can be employed is scored again, but a scorer is selected so that the score information 46b that is returned can be employed (S6). That is, since the format information 45 indicating the type of each answer has already been clarified for the answer without the score information 46b that can be adopted, the grader is selected based on the format information 45. That is, the scoring permission information is inquired, and the scorer who is permitted to score the answer is selected from the scorer information 46a. Specifically, the grader information 46 a may be selected from the scoring permission information including the type information 47 corresponding to the format information 45.

そして、選択された採点者に対応するクライアントコンピュータ21に向けて対応する答案の答案情報がそれぞれ送信される(S7)。   Then, the answer information of the corresponding answer is transmitted to the client computer 21 corresponding to the selected grader (S7).

クライアントコンピュータ21では答案情報を受信する(S7’)。採点基準情報を過去に受信していない場合は、ここで受信してもよい。つまり、初回の採点処理に参加していなかった採点者を新たに選択することもできる。   The client computer 21 receives the answer information (S7 '). If the scoring reference information has not been received in the past, it may be received here. That is, a scorer who has not participated in the initial scoring process can be newly selected.

図4を併せて参照すると、選択された採点者は、クライアントコンピュータ21において採点基準情報に従い答案情報について採点処理し、答案情報に対応した採点情報50を作成し、入力する。既に、形式情報45については明らかになっているので、採点者は採点処理として測定基準42aに従って点数情報46bを作成する点数測定を行えばよい。そして、採点者は点数結果(採点結果)である点数情報46bに自らを識別するIDなどの採点者情報46aを付したセット情報52を個別情報41aとともにクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S8’)。   Referring also to FIG. 4, the selected grader performs a scoring process on the answer information in accordance with the scoring standard information in the client computer 21, and creates and inputs the scoring information 50 corresponding to the answer information. Since the format information 45 has already been clarified, the scorer may perform score measurement for creating score information 46b according to the measurement standard 42a as scoring processing. Then, the scorer returns the set information 52 with the score information 46a such as an ID for identifying himself / herself to the score information 46b as the score result (scoring result) from the client computer 21 to the host computer 10 together with the individual information 41a. (S8 ').

ホストコンピュータ10では、採点情報受信手段33によって受信したセット情報52(採点者情報46a及び点数情報46b)を採点情報記憶領域43の対応する個別情報41aを含む採点情報50に加えて記憶させる(S8)。これにより、全ての答案に対する採点情報50の形式情報45と採点者情報46aとが採点許可情報において許可されている組み合わせに合致することになる。つまり、採点情報採用手段34によって、上記した点数情報の採用(S5)において採用されなかった残りの点数情報46bを採用でき(S9)、その結果、全ての点数情報46bを採用できる。ホストコンピュータ10は、蓄積した採点情報50を必要に応じて適宜集計するなどしてもよい。   In the host computer 10, the set information 52 (scorer information 46a and score information 46b) received by the scoring information receiving means 33 is stored in addition to the scoring information 50 including the corresponding individual information 41a in the scoring information storage area 43 (S8). ). As a result, the format information 45 of the scoring information 50 and the grader information 46a for all the answers match the combinations permitted in the scoring permission information. That is, the scoring information adoption means 34 can employ the remaining score information 46b that was not employed in the adoption of the score information (S5) (S9), and as a result, all the score information 46b can be employed. The host computer 10 may aggregate the accumulated scoring information 50 as necessary.

以上のように、答案採点システム1を用いた上記の答案採点方法によれば、全ての答案に対してその形式情報45に基づいて採点の許可された採点者による点数情報46bを採用することができて、採点の客観性を担保することができる。また、点数情報46bを得る一般的な点数測定(採点)の処理作業に対して、形式的な二択質問文からなる質問群42bに対する回答を追加作業とするだけで答案の形式情報45を得られ、これに基づき一部の答案についてのみ再度点数測定を行えばよく、採点処理を迅速に行うことができる。つまり、採点者による採点を必要とする問題文に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができる。   As described above, according to the above-mentioned answer scoring method using the answer scoring system 1, it is possible to adopt the score information 46b by the grader who is allowed to score based on the format information 45 for all the answers. It is possible to guarantee the objectivity of scoring. In addition to the general score measurement (scoring) processing operation for obtaining the score information 46b, the answer format information 45 is obtained simply by adding an answer to the question group 42b composed of formal two-choice questions. Based on this, only a part of the answers need to be measured again, and the scoring process can be performed quickly. That is, even when a large number of answers created for a question sentence that needs to be scored by a scorer are scored by a plurality of scorers, it is possible to score quickly while ensuring objectivity.

なお、答案情報の送信(S3)の説明に付記したように、1つの答案情報を同時に複数の採点者に重複するように振り分けてもよい。これによれば、1つの個別情報41aにより特定される答案情報についての複数のセット情報52の中から許可された採点者による点数情報46bを抽出して採用できる。つまり、初回の採点処理(S3’及びS4’の間)の後の採点情報50において、採用する点数情報46bの存在しない答案の数を少なくできる。よって、二回目の採点処理(S7’及びS8’の間)での点数測定の対象となる答案も少なくなる。そのため、確保できる採点者とその日程に基づき、適宜、初回の答案の重複を含めた振り分けの数を調整し、より迅速に採点を行い得るようにすることもできる。   Note that, as described in the explanation of the transmission of answer information (S3), one answer information may be distributed so as to overlap with a plurality of graders at the same time. According to this, it is possible to extract and adopt the score information 46b by the permitted grader from the plurality of set information 52 for the answer information specified by one individual information 41a. That is, in the scoring information 50 after the initial scoring process (between S3 'and S4'), the number of answers that do not have the score information 46b to be employed can be reduced. Therefore, the number of answers to be scored in the second scoring process (between S7 'and S8') is reduced. Therefore, the number of assignments including duplication of the first answer can be adjusted as appropriate based on the scorer who can be secured and the schedule, so that scoring can be performed more quickly.

[実施例2]
さらに、答案採点システム1の他の使用方法を図5に沿って図1、図2及び図4を参照しつつ説明する。本実施例では、先に形式情報45を得て、これを基に採点者を選択した上で点数情報46bを作成させる。
[Example 2]
Further, another method of using the answer scoring system 1 will be described along FIG. 5 with reference to FIG. 1, FIG. 2, and FIG. In the present embodiment, the format information 45 is obtained first, and the scorer 46b is created after selecting the grader based on this.

図5に図1及び図2を併せて参照すると、ホストコンピュータ10では、まず答案情報の記憶を行う(S11)。以下、答案情報の受信(S13’)までは、実施例1における答案情報の記憶(S1)から答案情報の受信(S3’)までと同様である。但し、ここまでで答案情報とともに送信される採点基準情報は、質問群42bを含んでいればよく、測定基準42aを含む必要はない。   1 and 2 together with FIG. 5, the host computer 10 first stores answer information (S11). Hereinafter, the process up to reception of answer information (S13 ') is the same as the process from storage of answer information (S1) to reception of answer information (S3') in the first embodiment. However, the scoring standard information transmitted together with the answer information so far only needs to include the question group 42b, and does not need to include the measurement standard 42a.

図4を併せて参照すると、採点者は、クライアントコンピュータ21において採点基準情報に従い答案情報について採点処理し、答案情報に対応した採点情報50を作成し、入力する。クライアントコンピュータ21の画面上に表示される採点情報50には、形式情報45、セット情報52及びこれらに付される個別情報41aを含む。   Referring also to FIG. 4, the scorer scores the answer information according to the scoring standard information in the client computer 21, and creates and inputs the scoring information 50 corresponding to the answer information. The scoring information 50 displayed on the screen of the client computer 21 includes format information 45, set information 52, and individual information 41a attached thereto.

採点者は、二択質問文の複数からなる質問群42bに従って形式情報45を作成するが、この時点で点数情報46bを作成する必要はない。つまり、ここでの採点処理には形式情報45の作成は含まれるが、点数測定を含まない。その結果、セット情報52は、点数情報46bを含まず採点者情報46aが含まれる。そして、採点者は、採点情報50として、セット情報52及び答案を特定する個別情報41aとともに作成した形式情報45をクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S14’)。   The grader creates the format information 45 according to the question group 42b composed of a plurality of two-choice question sentences, but it is not necessary to create the score information 46b at this point. That is, the scoring process here includes creation of the format information 45 but does not include score measurement. As a result, the set information 52 does not include the score information 46b but includes the scorer information 46a. Then, the scorer returns, as the scoring information 50, the format information 45 created together with the set information 52 and the individual information 41a specifying the answer from the client computer 21 to the host computer 10 (S14 ').

ホストコンピュータ10では、採点情報受信手段33によって受信した採点情報50を採点情報記憶領域43に記憶させる(S14)。ホストコンピュータ10では、受信した採点情報50を蓄積し、必要に応じて次の処理に進む。つまり、全ての答案についての採点情報50返信を得る前に、次の処理を開始してもよい。   In the host computer 10, the scoring information 50 received by the scoring information receiving means 33 is stored in the scoring information storage area 43 (S14). The host computer 10 accumulates the received grading information 50 and proceeds to the next process as necessary. In other words, the next process may be started before obtaining the scoring information 50 replies for all the answers.

受信した採点情報50は点数情報46bを含まないが、形式情報45を含んでおり、対応する答案について採点(点数測定)の許可される採点者を選択できる(S15)。すなわち、形式情報45に対応する類型情報47を含む採点許可情報から採点者情報46aを選択する。   The received scoring information 50 does not include the scoring information 46b, but includes the format information 45, and it is possible to select a scoring person who is allowed to scoring (scoring the score) for the corresponding answer (S15). That is, the grader information 46 a is selected from the scoring permission information including the type information 47 corresponding to the format information 45.

そして、実施例1と同様に、選択された採点者に対応するクライアントコンピュータ21に答案情報をそれぞれ送信し(S16)、クライアントコンピュータ21に答案情報を受信させる(S16’)。測定基準42aを過去に受信させていない場合は、ここで受信させるとよい。   As in the first embodiment, the answer information is transmitted to the client computer 21 corresponding to the selected grader (S16), and the client computer 21 receives the answer information (S16 '). If the measurement reference 42a has not been received in the past, it may be received here.

さらに、実施例1と同様に、選択された採点者は、測定基準42aに従って点数情報46bを作成する点数測定を行う。そして、採点者は点数情報46bに採点者情報46aを付したセット情報52をクライアントコンピュータ21からホストコンピュータ10に向けて返信させる(S17’)。   Further, as in the first embodiment, the selected grader performs score measurement for creating score information 46b in accordance with the measurement standard 42a. Then, the scorer returns the set information 52 with the scorer information 46a added to the score information 46b from the client computer 21 to the host computer 10 (S17 ').

ホストコンピュータ10では、採点情報受信手段33によって受信したセット情報52(採点者情報46a及び点数情報46b)を採点情報記憶領域43の採点情報50に加えて記憶させる(S17)。これにより、全ての答案に対する採点情報50の形式情報45と採点者情報46aとが採点許可情報において許可されている組み合わせに合致することになり、採点情報採用手段34によって全ての点数情報46bを一括して採用できる(S18)。ホストコンピュータ10は、蓄積した採点情報50を必要に応じて適宜集計するなどしてもよい。なお、その他は実施例1と同様である。   In the host computer 10, the set information 52 (scorer information 46a and score information 46b) received by the scoring information receiving means 33 is stored in addition to the scoring information 50 in the scoring information storage area 43 (S17). As a result, the format information 45 of the scoring information 50 and the scorer information 46a for all the answers match the combination permitted in the scoring permission information, and the scoring information recruiting means 34 collects all the score information 46b at once. (S18). The host computer 10 may aggregate the accumulated scoring information 50 as necessary. Others are the same as in the first embodiment.

以上のように、答案採点システム1を用いた上記の答案採点方法によれば、形式情報45に基づいて採点の許可された採点者による点数情報46bのみを収集できる。結果的に、実施例1と同様に、全ての答案に対して採点の許可された採点者による点数情報46bを採用することができて、採点の客観性を担保することができる。また、点数情報46bを得る点数測定(採点)の処理作業に対して、あらかじめ形式情報45を用意しておくために形式的な二択質問文からなる質問群42bに対する回答を追加作業として先に行うだけでよく、採点処理を迅速に行うことができる。つまり、採点者による採点を必要とする問題文に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができる。   As described above, according to the above-described answer scoring method using the answer scoring system 1, it is possible to collect only the score information 46 b by the scorer permitted to score based on the format information 45. As a result, as in the first embodiment, the score information 46b by the grader permitted to grade can be adopted for all the answers, and the objectivity of the scoring can be ensured. Also, in response to the score measurement (scoring) processing work for obtaining the score information 46b, an answer to the question group 42b composed of a formal two-choice question sentence is added as an additional work to prepare the format information 45 in advance. It is only necessary to perform the scoring process. That is, even when a large number of answers created for a question sentence that needs to be scored by a scorer are scored by a plurality of scorers, it is possible to score quickly while ensuring objectivity.

なお、上記した答案採点方法の使用において、答案情報の数や採点者の数は自由であるが、採点者に経験や能力の差のあることを前提として客観性を担保できるのであるから、特に採点者の数の多い場合に好適である。例えば、一つの問題文に対する答案を採点処理する採点者の数は数百人となり、受験者の数で言えば数十万人となることも想定し得る。このような大規模な採点処理を行う場合であっても、客観性を担保しつつ迅速に採点を行うことができる。   In addition, in the use of the above answer scoring method, the number of answer information and the number of scorers are free, but since it is possible to guarantee objectivity on the premise that there are differences in experience and ability of the scorers, This is suitable when there are many graders. For example, it can be assumed that the number of graders who score an answer to one question sentence is several hundred, and that the number of examinees is several hundred thousand. Even when such a large-scale scoring process is performed, scoring can be performed quickly while ensuring objectivity.

ここまで本発明による代表的実施例及びこれに基づく変形例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができる。   So far, representative embodiments and modifications based on the embodiments have been described. However, the present invention is not necessarily limited thereto, and those skilled in the art will not depart from the scope of the appended claims. Various alternative embodiments and modifications can be found.

1 答案採点システム
40 データベース領域
41 答案情報記憶領域
42 採点基準情報記憶領域
42b 質問群
43 採点情報記憶領域
44 採点許可情報
45 形式情報(答案形式情報)
46 セット情報(採点セット情報)
46a 採点者情報
46b 点数情報(答案点数情報)
1 answer scoring system 40 database area 41 answer information storage area 42 scoring reference information storage area 42b question group 43 scoring information storage area 44 scoring permission information 45 format information (answer format information)
46 set information (scoring set information)
46a Grader information 46b Score information (answer score information)

Claims (5)

選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けて各答案に対する点数結果を収集しこのうちから信頼性の高い該点数結果を採用していく答案採点方法であって、
前記採点情報は、
前記答案情報のうちの1つである特定答案情報を識別する個別情報と、
前記特定答案情報に対して、配点に基づいた点数測定による前記点数結果である答案点数情報、及びこれを入力した前記採点者を識別する採点者情報、からなる採点セット情報と、
前記特定答案情報に対して、肯定又は否定の二択質問文の複数からなる質問群についての回答パターンからなる答案形式情報と、を含み、
前記採点セット情報を前記答案形式情報でフィルタリングして前記点数結果を採用していく採用ステップを含むことを特徴とする答案採点方法。
The selected answer information is transmitted from the host computer to the client computer, the score information input by the grader is received in response to the answer information, and score results for each answer are collected, and the score with high reliability from these An answer scoring method that adopts the results,
The scoring information is
Individual information for identifying specific answer information that is one of the answer information;
With respect to the specific answer information, scoring set information consisting of answer score information that is the score result by scoring based on scoring, and scorer information that identifies the scorer who has input the score, and
Answer format information consisting of answer patterns for a group of questions consisting of a plurality of positive or negative two-choice questions for the specific answer information,
An answer scoring method comprising an adopting step of filtering the scoring set information with the answer format information and adopting the score result.
前記採点者が前記点数結果を与えることを許可する前記回答パターンを決定する採点許可ステップを含み、
前記採用ステップは、前記採点者とこれに許可された前記回答パターンの組み合わせに基づいてフィルタリングを行うことを特徴とする請求項1記載の答案採点方法。
A scoring permission step for determining the answer pattern permitting the scorer to give the score result;
The answer scoring method according to claim 1, wherein the adopting step performs filtering based on a combination of the scorer and the answer pattern permitted to the scorer.
前記答案情報のうちの1に対応して複数の採点者の入力を許容することで、前記採点情報が1の前記個別情報に対して前記採点セット情報を複数含み得ることを特徴とする請求項2記載の答案採点方法。   The plurality of scoring set information can be included for one piece of the individual information in the scoring information by allowing the input of a plurality of scorers corresponding to one of the answer information. 2. The scoring method for answers. 前記採点情報において、前記個別情報及び前記答案形式情報をあらかじめ用意しておくことを特徴とする請求項2記載の答案採点方法。   3. The answer scoring method according to claim 2, wherein the individual information and the answer format information are prepared in advance in the scoring information. 前記答案情報についてこれに対応する前記答案形式情報の前記回答パターンに対して許可された前記採点者に向けて送信するステップを含むことを特徴とする請求項4記載の答案採点方法。

5. The answer scoring method according to claim 4, further comprising a step of transmitting the answer information to the grader who is permitted for the answer pattern of the answer format information corresponding to the answer information.

JP2017036983A 2017-02-28 2017-02-28 Answer scoring method Active JP6832194B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017036983A JP6832194B2 (en) 2017-02-28 2017-02-28 Answer scoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017036983A JP6832194B2 (en) 2017-02-28 2017-02-28 Answer scoring method

Publications (2)

Publication Number Publication Date
JP2018142249A true JP2018142249A (en) 2018-09-13
JP6832194B2 JP6832194B2 (en) 2021-02-24

Family

ID=63528156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017036983A Active JP6832194B2 (en) 2017-02-28 2017-02-28 Answer scoring method

Country Status (1)

Country Link
JP (1) JP6832194B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333461A (en) * 2020-09-30 2022-04-12 董黎明 Automatic scoring method and system for subjective questions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099031A (en) * 2004-08-31 2006-04-13 Toshiba Corp System, server, and program for providing examination
JP2006268860A (en) * 2006-03-24 2006-10-05 Wao Corporation Information processor and its program
JP2006277086A (en) * 2005-03-28 2006-10-12 Nippon Tokei Jimu Center:Kk Marking support method, marking support system, marking support device, marking management device and computer program
JP2008180838A (en) * 2007-01-24 2008-08-07 Shingaku Kenkyukai:Kk Grade report creation system and grade report creation method
JP2009145773A (en) * 2007-12-17 2009-07-02 Wao Corporation Answer information processor, marking information processor, answer information processing method, marking information processing method, and program
JP2012022185A (en) * 2010-07-15 2012-02-02 Japan Institute For Educational Measurement Inc Answer sorting support system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099031A (en) * 2004-08-31 2006-04-13 Toshiba Corp System, server, and program for providing examination
JP2006277086A (en) * 2005-03-28 2006-10-12 Nippon Tokei Jimu Center:Kk Marking support method, marking support system, marking support device, marking management device and computer program
JP2006268860A (en) * 2006-03-24 2006-10-05 Wao Corporation Information processor and its program
JP2008180838A (en) * 2007-01-24 2008-08-07 Shingaku Kenkyukai:Kk Grade report creation system and grade report creation method
JP2009145773A (en) * 2007-12-17 2009-07-02 Wao Corporation Answer information processor, marking information processor, answer information processing method, marking information processing method, and program
JP2012022185A (en) * 2010-07-15 2012-02-02 Japan Institute For Educational Measurement Inc Answer sorting support system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333461A (en) * 2020-09-30 2022-04-12 董黎明 Automatic scoring method and system for subjective questions
CN114333461B (en) * 2020-09-30 2024-03-12 董黎明 Automatic subjective question scoring method and system

Also Published As

Publication number Publication date
JP6832194B2 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
Rusticus et al. Impact of sample size and variability on the power and type I error rates of equivalence tests: A simulation study
CN109101469B (en) Extracting searchable information from digitized documents
Karuri et al. DHIS2: the tool to improve health data demand and use in Kenya
AU2020200909A1 (en) Evaluation control
US9418098B2 (en) Method and system for verification of source data in pharmaceutical studies and other applications
CN108389147A (en) Item difficulty hierarchical processing method and system
CN108052973B (en) Map symbol user interest analysis method based on multiple items of eye movement data
US20160110826A1 (en) Forensic system, forensic method, and forensic program
KR101832791B1 (en) Hybrid computer scoring system and method based on image for increasing reliability and accuracy
CN108492223A (en) paper processing method and system
JP2006277086A (en) Marking support method, marking support system, marking support device, marking management device and computer program
CN110931097A (en) Processing and analyzing system for inspection report
CN108073517B (en) Management method, device, medium and computer equipment for third-party software test
KR102186936B1 (en) Evaluating system and method for matching applicants
Dell et al. Integrating ODK Scan into the community health worker supply chain in Mozambique
JP2012022185A (en) Answer sorting support system
CN105741080A (en) Digital interview assessment system
CN110555488A (en) Image sequence auditing method and system, electronic equipment and storage medium
CN113870983A (en) Social health transfer method, device, computer equipment and storage medium
JP6170662B2 (en) Understanding tendency measurement system
US20150088876A1 (en) Forensic system, forensic method, and forensic program
JP2018142249A (en) Answer sheet grading method
CN113918609A (en) Test paper creating method and device, computer equipment and storage medium
JP4104617B2 (en) Product information management system and product information management program
CN106611530A (en) An information processing method and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6832194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350