JP6862707B2

JP6862707B2 - Information generation program, information generation method and information generation device

Info

Publication number: JP6862707B2
Application number: JP2016147711A
Authority: JP
Inventors: 寛子田中; 英夫阿保谷; 里夏河原; 孝子笠原; 嘉明道野; 恵一君嶋; 利幸辻村
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-07-27
Filing date: 2016-07-27
Publication date: 2021-04-21
Anticipated expiration: 2036-07-27
Also published as: JP2018017874A

Description

本発明は、情報生成プログラム、情報生成方法および情報生成装置に関する。 The present invention relates to an information generation program, an information generation method, and an information generation device.

従来から、ベンダー等の資格認定試験がｅ−ｌｅａｒｎｉｎｇにより行われることが多い。近年では、資格認定試験の解答結果から理解度を判定する技術として、評価指数を用いた技術が知られている。例えば、過去の正解率に基づいて算出された評価指数などの不均一な重み情報が設定された問題を出題し、解答された問題の評価指数の合計が閾値を越えるまで出題を繰り返すことで、解答状況に応じた適切な出題数で理解度を判定する技術が知られている。 Traditionally, qualification tests for vendors and the like are often conducted by e-learning. In recent years, a technique using an evaluation index has been known as a technique for determining the degree of comprehension from the answer results of a qualification examination. For example, by asking a question with non-uniform weight information such as an evaluation index calculated based on the past correct answer rate, and repeating the question until the total evaluation index of the answered questions exceeds the threshold value. There is known a technique for judging the degree of comprehension based on an appropriate number of questions according to the answer situation.

特開２０１４−２２８５５５号公報Japanese Unexamined Patent Publication No. 2014-228555 特開２００２−２２１８９３号公報Japanese Unexamined Patent Publication No. 2002-221893 特開２００９−３００８７７号公報JP-A-2009-300877

しかしながら、上記技術では、解答者の理解度の判定精度が高くない。例えば、資格認定試験などは、択一式の問題が多いので、理解度の高い人にとっては悩む時間も少なく正解を解答することができる一方で、理解度の低い人であっても正解することもできる。このため、上記技術を用いた正解か不正解かによる判定では、解答者の理解度を正しく判定することが難しい。 However, in the above technique, the accuracy of determining the comprehension level of the answerer is not high. For example, in the qualification examination, there are many alternative questions, so a person with a high degree of understanding can answer the correct answer with less time to worry, but even a person with a low degree of understanding can answer the correct answer. it can. Therefore, it is difficult to correctly determine the comprehension level of the answerer in the determination based on whether the answer is correct or incorrect using the above technique.

１つの側面では、理解度の判定精度を向上することができる情報生成プログラム、情報生成方法および情報生成装置を提供することを目的とする。 In one aspect, it is an object of the present invention to provide an information generation program, an information generation method, and an information generation device capable of improving the determination accuracy of the comprehension level.

第１の案では、情報生成プログラムは、コンピュータに、テストに含まれる複数の問題への解答の入力を受け付け、受け付けた前記複数の問題の各解答が正解か否かの判定を行い、前記複数の問題それぞれについて、前記各解答の入力までの時間を算出する処理を実行させる。情報生成プログラムは、コンピュータに、前記複数の問題のうち正解が入力された特定の問題について算出した解答の入力までの時間が、前記複数の問題のそれぞれについて算出した各時間が示す傾向に対して相対的に長い場合に、前記特定の問題についての理解度に関する評価を理解度が低い方向に制御する処理を実行させる。 In the first plan, the information generation program accepts the input of the answers to the plurality of questions included in the test to the computer, determines whether or not each of the received answers to the plurality of questions is correct, and the plurality of answers. For each of the questions, the process of calculating the time until the input of each of the answers is executed. The information generation program has a tendency that the time until the input of the answer calculated for a specific question in which the correct answer is input among the plurality of questions is indicated by each time calculated for each of the plurality of questions is shown in the computer. When it is relatively long, a process of controlling the evaluation of the comprehension level of the specific problem in the direction of the low comprehension level is executed.

一実施形態によれば、理解度の判定精度を向上することができる。 According to one embodiment, the accuracy of determining the degree of comprehension can be improved.

図１は、実施例１に係るシステムの全体構成例を示す図である。FIG. 1 is a diagram showing an overall configuration example of the system according to the first embodiment. 図２は、実施例１に係るスキル評価サーバの機能構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing a functional configuration of the skill evaluation server according to the first embodiment. 図３は、問題セットＤＢに記憶される情報の例を示す図である。FIG. 3 is a diagram showing an example of information stored in the problem set DB. 図４は、解答結果ＤＢに記憶される情報の例を示す図である。FIG. 4 is a diagram showing an example of information stored in the answer result DB. 図５は、受験者統計データの例を説明する図である。FIG. 5 is a diagram illustrating an example of examinee statistical data. 図６は、解答時間の分布と係数の割当てを説明する図である。FIG. 6 is a diagram illustrating the distribution of answer times and the allocation of coefficients. 図７は、解答時間による補正係数を説明する図である。FIG. 7 is a diagram for explaining a correction coefficient based on the answer time. 図８は、補正例および補正抑制例を説明する図である。FIG. 8 is a diagram illustrating a correction example and a correction suppression example. 図９は、評価の補正処理の流れを示すフローチャートである。FIG. 9 is a flowchart showing the flow of the evaluation correction process. 図１０は、補正の抑制手法の別例を説明する図である。FIG. 10 is a diagram illustrating another example of the correction suppression method. 図１１は、スキル評価サーバのハードウェア構成例を示す図である。FIG. 11 is a diagram showing a hardware configuration example of the skill evaluation server.

以下に、本願の開示する情報生成プログラム、情報生成方法および情報生成装置の実施例を図面に基づいて詳細に説明する。また、この実施例によりこの発明が限定されるものではない。なお、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。 Hereinafter, examples of the information generation program, the information generation method, and the information generation apparatus disclosed in the present application will be described in detail with reference to the drawings. Moreover, this embodiment does not limit the present invention. In addition, each embodiment can be appropriately combined within a consistent range.

［全体構成例］
図１は、実施例１に係るシステムの全体構成例を示す図である。図１に示すように、このシステムは、複数の受験者端末１とスキル評価サーバ１０とを有し、受験者のスキルレベルの評価や資格認定を行うシステムである。なお、本システムは、ベンダー等が行う製品の認定試験や情報処理技術に限らず、様々な分野のスキルを評価することができる。 [Overall configuration example]
FIG. 1 is a diagram showing an overall configuration example of the system according to the first embodiment. As shown in FIG. 1, this system has a plurality of examinee terminals 1 and a skill evaluation server 10, and evaluates the skill level of the examinees and certifies their qualifications. This system can evaluate skills in various fields, not limited to product certification tests and information processing technologies conducted by vendors.

受験者端末１は、理解度を判定するスキル評価対象の受験者が使用する端末であり、Ｗｅｂブラウザなどを用いてスキル評価サーバ１０へアクセスし、スキルを評価する試験を受験する端末装置である。この受験者端末１の一例としては、一般的なコンピュータ装置やスマートフォンなどの移動端末がある。 The examinee terminal 1 is a terminal used by a skill evaluation target examinee for determining the degree of comprehension, and is a terminal device for accessing the skill evaluation server 10 using a Web browser or the like and taking a test for evaluating the skill. .. As an example of the examinee terminal 1, there is a mobile terminal such as a general computer device or a smartphone.

スキル評価サーバ１０は、Ｗｅｂブラウザなどを用いて受験者端末１に問題を出題し、解答した受験者の理解度の指標として、スキル評価や合否判定を行う情報生成装置の一例であり、例えばサーバ装置である。例えば、スキル評価サーバ１０は、択一式の問題を出力し、理解度の高い人にとっては悩む時間も少なく正解を解答することができる問題を出力する。 The skill evaluation server 10 is an example of an information generation device that evaluates skills and makes a pass / fail judgment as an index of understanding of an examinee who asks a question on the examinee terminal 1 using a Web browser or the like and answers the question. For example, a server. It is a device. For example, the skill evaluation server 10 outputs an alternative question, and outputs a question that a person with a high degree of understanding can answer the correct answer with less time to worry.

このようなスキル評価サーバ１０は、受験者のスキルレベルの評価や資格認定を行うテストに含まれる複数の問題への解答の入力を受け付ける。そして、スキル評価サーバ１０は、受け付けた複数の問題の各解答が正解か否かの判定を行う。続いて、スキル評価サーバ１０は、複数の問題それぞれについて、各解答の入力までの時間を算出する。その後、スキル評価サーバ１０は、複数の問題のうち正解が入力された特定の問題について算出した解答の入力までの時間が、複数の問題のそれぞれについて算出した各時間が示す傾向に対して相対的に長い場合に、特定の問題についての理解度に関する評価を理解度が低い方向に制御する。 Such a skill evaluation server 10 accepts input of answers to a plurality of questions included in a test for evaluating a test taker's skill level and qualifying. Then, the skill evaluation server 10 determines whether or not each answer of the received plurality of questions is correct. Subsequently, the skill evaluation server 10 calculates the time required to input each answer for each of the plurality of questions. After that, the skill evaluation server 10 is relative to the tendency that the time until the input of the answer calculated for the specific question in which the correct answer is input among the plurality of questions is indicated by each time calculated for each of the plurality of questions. When it is long, the evaluation of comprehension of a specific problem is controlled in the direction of low comprehension.

つまり、スキル評価サーバ１０は、各問題の解答を受け付けて正否を判定し、正解問題の解答時間が全問題の解答時間に対して相対的に長い場合、理解度を低くするので、解答時間を考慮でき、問題の理解度の判定精度を向上できる。 That is, the skill evaluation server 10 accepts the answers to each question and determines whether the answer is correct or not, and if the answer time of the correct question is relatively long with respect to the answer time of all the questions, the degree of understanding is lowered. It can be taken into consideration, and the accuracy of determining the degree of understanding of the problem can be improved.

［スキル評価サーバの構成］
図２は、実施例１に係るスキル評価サーバの機能構成を示す機能ブロック図である。図２に示すように、スキル評価サーバ１０は、通信制御部１１、記憶部１２、制御部２０を有する。 [Skill evaluation server configuration]
FIG. 2 is a functional block diagram showing a functional configuration of the skill evaluation server according to the first embodiment. As shown in FIG. 2, the skill evaluation server 10 has a communication control unit 11, a storage unit 12, and a control unit 20.

通信制御部１１は、他の装置との通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどである。例えば、通信制御部１１は、各受験者端末１とＷｅｂセッションなどを確立して、Ｗｅｂページを用いた通信を実行する。 The communication control unit 11 is a processing unit that controls communication with other devices, such as a network interface card. For example, the communication control unit 11 establishes a Web session or the like with each examinee terminal 1 and executes communication using a Web page.

記憶部１２は、制御部２０が実行するプログラムやデータなどを記憶する記憶装置であり、例えば、メモリやハードディスクなどである。この記憶部１２は、受験者ＤＢ１３、問題セットＤＢ１４、解答結果ＤＢ１５を有する。 The storage unit 12 is a storage device that stores programs, data, and the like executed by the control unit 20, such as a memory and a hard disk. The storage unit 12 has an examinee DB 13, a question set DB 14, and an answer result DB 15.

受験者ＤＢ１３は、各受験者に関する情報を記憶するデータベースである。例えば、受験者ＤＢ１３は、受験者を識別する識別子、最新の受験日時、到達したスキルレベル、過去の成績、過去の合格状況などを対応付けて記憶する。 The examinee DB 13 is a database that stores information about each examinee. For example, the examinee DB 13 stores an identifier that identifies an examinee, the latest examination date and time, the skill level reached, past grades, past pass status, and the like in association with each other.

問題セットＤＢ１４は、スキルレベルごとに受験者に提供する問題を記憶するデータベースである。図３は、問題セットＤＢに記憶される情報の例を示す図である。なお、ここで図示した問題セットは、例えばスキルレベル３の問題セットである。図３に示すように、問題セットＤＢ１４は、「番号、正解率、スキル評価指数」を対応付けた問題セットを記憶する。 The question set DB 14 is a database that stores questions to be provided to the examinee for each skill level. FIG. 3 is a diagram showing an example of information stored in the problem set DB. The question set illustrated here is, for example, a skill level 3 question set. As shown in FIG. 3, the question set DB 14 stores a question set associated with "number, correct answer rate, skill evaluation index".

ここで記憶される「番号」は、問題を識別する識別子である。「正解率」は、過去に出題された際の正解率である。「スキル評価指数」は、各問題に設定された不均一な重みの一例であり、例えば、当該問題の正解率と全受験者の得点率との相関係数などである。なお、得点率とは、スキル評価の成績である。すなわち、スキル評価指数が「１」に近いほど、得点率が高い受験者の正解率が高く、かつ、得点率が低い受験者の正解率が低い問題となる。図３の場合、番号１の問題は、正解率が９２．５％であり、スキル評価指数として０．６４６３が設定されていることを示す。なお、ここで表示される正解率は、小数点第２位を四捨五入した数値であり、具体的には９２．４７％などと管理される。 The "number" stored here is an identifier that identifies the problem. The "correct answer rate" is the correct answer rate when questions were asked in the past. The "skill evaluation index" is an example of non-uniform weight set for each question, and is, for example, a correlation coefficient between the correct answer rate of the question and the score rate of all examinees. The score rate is the result of skill evaluation. That is, the closer the skill evaluation index is to "1", the higher the correct answer rate of the examinees with a high score rate, and the lower the correct answer rate of the examinees with a low score rate. In the case of FIG. 3, the question No. 1 shows that the correct answer rate is 92.5% and 0.6463 is set as the skill evaluation index. The correct answer rate displayed here is a numerical value rounded off to the second decimal place, and is specifically managed as 92.47%.

解答結果ＤＢ１５は、受験者ごとに、受験者の解答状況を記憶するデータベースである。図４は、解答結果ＤＢに記憶される情報の例を示す図である。図４に示すように、解答結果ＤＢ１５は、受験者ごとに、「解答、ポイント（スキル習得度）、スキル評価指数」を対応付けて記憶する。 The answer result DB 15 is a database that stores the answer status of the examinee for each examinee. FIG. 4 is a diagram showing an example of information stored in the answer result DB. As shown in FIG. 4, the answer result DB 15 stores "answers, points (skill acquisition degree), skill evaluation index" in association with each examinee.

ここで記憶される「解答」は、受験者の解答を示し、正解であった場合には「○」、不正解であった場合には「×」、解答なしであった場合には「−」が設定される。「ポイント（スキル習得度）」は、正解の場合に加算され、不正解の場合に減算される値であり、受験者のスキルを評価する指標である。例えば、「ポイント（スキル習得度）」には、正解の場合には「１−正解率」の算出結果が設定され、不正解の場合には「−正解率」が設定され、解答なしの場合には「０」が設定される。「スキル評価指数」は、問題に設定されているスキル評価指数である。 The "answer" memorized here indicates the examinee's answer, "○" if the answer is correct, "x" if the answer is incorrect, and "-" if there is no answer. Is set. The "point (skill acquisition level)" is a value that is added when the answer is correct and subtracted when the answer is incorrect, and is an index for evaluating the skill of the examinee. For example, in the "point (skill acquisition level)", the calculation result of "1-correct answer rate" is set in the case of a correct answer, "-correct answer rate" is set in the case of an incorrect answer, and there is no answer. Is set to "0". The "skill evaluation index" is a skill evaluation index set in the question.

なお、ここで格納される順番は、図３の問題セットの順番と同じ順番である。つまり、図４の受験者Ａの先頭の解答結果は、図３の先頭すなわち問題１の解答結果である。この例では、受験者Ａは、問題１（番号１）が正解であったことを示している。 The order of storage here is the same as the order of the problem sets in FIG. That is, the answer result at the beginning of the examinee A in FIG. 4 is the answer result at the beginning of FIG. 3, that is, question 1. In this example, examinee A indicates that question 1 (number 1) was the correct answer.

制御部２０は、スキル評価サーバ１０全体の処理を司る処理部であり、例えばプロセッサなどである。この制御部２０は、出題制御部２１、出題判定部２２、評価実行部２３、評価補正部２４を有する。例えば、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。 The control unit 20 is a processing unit that controls the processing of the entire skill evaluation server 10, such as a processor. The control unit 20 includes a question control unit 21, a question determination unit 22, an evaluation execution unit 23, and an evaluation correction unit 24. For example, each processing unit is an example of an electronic circuit included in the processor or an example of a process executed by the processor.

出題制御部２１は、受験者に問題を出題する処理部である。具体的には、出題制御部２１は、Ｗｅｂブラウザを介して受験者端末１から識別子等を受け付けて、受験者ＤＢ１３を参照し、受験者および受験者が到達しているスキルレベルを特定する。そして、出題制御部２１は、特定した到達済みのスキルレベルの次のスキルレベルの問題を問題セットＤＢ１４から特定する。また、出題制御部２１は、当該受験者の解答を格納するために、当該受験者に対応する解答結果を解答結果ＤＢ１５に生成する。その後、出題制御部２１は、特定したスキルレベルの問題を問題１から順に受験者端末１に送信し、その解答結果を解答結果ＤＢ１５に格納する。 The question control unit 21 is a processing unit that gives questions to the examinee. Specifically, the question control unit 21 receives an identifier or the like from the examinee terminal 1 via a Web browser, refers to the examinee DB 13, and identifies the examinee and the skill level reached by the examinee. Then, the question control unit 21 identifies the problem of the next skill level of the specified reached skill level from the question set DB 14. Further, the question control unit 21 generates an answer result corresponding to the examinee in the answer result DB 15 in order to store the answer of the examinee. After that, the question control unit 21 transmits the questions of the specified skill level to the examinee terminal 1 in order from the question 1, and stores the answer result in the answer result DB 15.

例えば、出題制御部２１は、到達したスキルレベルが２の受験者Ａに対して、図３に示したスキルレベル３の問題１を出題する。そして、出題制御部２１は、問題１に正解した場合には、「解答」として「○」、「ポイント」として「１−正解率（０．９２４７）＝０．０７５３」、スキル評価指数として「０．６４６３」を、受験者Ａの解答結果として解答結果ＤＢ１５に格納する。 For example, the question control unit 21 gives the question 1 of the skill level 3 shown in FIG. 3 to the examinee A who has reached the skill level of 2. Then, when the question control unit 21 answers the question 1 correctly, the "answer" is "○", the "point" is "1-correct answer rate (0.9247) = 0.0753", and the skill evaluation index is " "0.6463" is stored in the answer result DB 15 as the answer result of the examinee A.

また、出題制御部２１は、問題１が不正解であった場合には、「解答」として「×」、「ポイント」として「−正解率（０．９２４７）＝−０．９２４７」、スキル評価指数として「０．６４６３」を、受験者Ａの解答結果として解答結果ＤＢ１５に格納する。また、出題制御部２１は、問題１の解答がなかった場合には、「解答」として「−」、「ポイント」として「０」、スキル評価指数として「０」を、受験者Ａの解答結果として解答結果ＤＢ１５に格納する。 In addition, when question 1 is an incorrect answer, the question control unit 21 sets "x" as the "answer", "-correct answer rate (0.9247) = -0.9247" as the "point", and skill evaluation. “0.6463” as an index is stored in the answer result DB 15 as the answer result of the examinee A. If there is no answer to question 1, the question control unit 21 sets "-" as the "answer", "0" as the "point", and "0" as the skill evaluation index, and the answer result of the examinee A. The answer result is stored in the DB15.

出題判定部２２は、各問題のそれぞれについて設定されたスキル評価指数を用いて、受験者によって解答がなされた問題についてのスキル評価指数の総計を算出する。そして、出題判定部２２は、算出したスキル評価指数の総計が所定の基準を満たすか否かに応じて、受験者に対して解答を求める更なる問題を提供するか否かを判定する処理部である。 The question determination unit 22 calculates the total skill evaluation index for the question answered by the examinee by using the skill evaluation index set for each question. Then, the question determination unit 22 determines whether or not to provide a further question for asking the examinee for an answer, depending on whether or not the total of the calculated skill evaluation indexes satisfies a predetermined criterion. Is.

具体的には、出題判定部２２は、各受験者について、受験者の解答が解答結果ＤＢ１５に格納されるたびに、その時点までのスキル評価指数の総計を算出する。そして、出題判定部２２は、算出した総計が閾値より小さい場合には、次の問題を出題する指示を出題制御部２１に出力する。この結果、出題制御部２１は、次の問題を出題する。 Specifically, the question determination unit 22 calculates the total skill evaluation index up to that point each time the examinee's answer is stored in the answer result DB 15 for each examinee. Then, when the calculated total is smaller than the threshold value, the question determination unit 22 outputs an instruction to ask the next question to the question control unit 21. As a result, the question control unit 21 asks the following questions.

一方、出題判定部２２は、算出した総計が閾値以上の場合には、次の問題の出題を停止する指示を出題制御部２１に出力し、評価実行部２３に評価の開始を指示する。この結果、出題制御部２１は、出題を停止する。なお、出題判定部２２は、５問ごとなど、定期的に判定するようにしてもよい。 On the other hand, when the calculated total is equal to or greater than the threshold value, the question determination unit 22 outputs an instruction to stop the question of the next question to the question control unit 21 and instructs the evaluation execution unit 23 to start the evaluation. As a result, the question control unit 21 stops the question. The question determination unit 22 may periodically determine every five questions.

例えば、図４の場合、出題判定部２２は、１０問が終了した時点で、受験者Ａと受験者Ｂのスキル評価指数の総計がそれぞれ「５」以上なので、受験者Ａと受験者Ｂの出題を停止すると判定する。一方、出題判定部２２は、受験者Ｃのスキル評価指数の総計が「５」未満なので、出題を維持する。 For example, in the case of FIG. 4, the question judgment unit 22 has a total skill evaluation index of examinee A and examinee B of "5" or more when 10 questions are completed, so that examinee A and examinee B have their total skill evaluation indexes of "5" or more. Judge that the question will be stopped. On the other hand, the question determination unit 22 maintains the question because the total skill evaluation index of the examinee C is less than "5".

評価実行部２３は、出題判定部２２によってスキル評価指数の総計が所定の基準を満たすと判定された場合に、出題された各問題のポイント（スキル習得度）を用いて、受験者の合計ポイントを算出して受験者を評価する処理部である。 When the question judgment unit 22 determines that the total skill evaluation index meets a predetermined criterion, the evaluation execution unit 23 uses the points (skill acquisition level) of each question given and the total points of the examinees. It is a processing unit that calculates and evaluates the examinees.

具体的には、評価実行部２３は、出題判定部２２によって新たな問題の出題が停止された受験者の解答結果を解答結果ＤＢ１５から特定し、その時点までのポイント（スキル習得度）の総計を算出する。そして、評価実行部２３は、ポイント（スキル習得度）の合計が閾値以上の場合には、スキルレベルに到達したと評価する。この場合、評価実行部２３は、受験者ＤＢ１３における受験者の到達スキルレベルを更新する。また、評価実行部２３は、受験者が更なる試験を要求する場合には、次のスキルレベルの問題の出題を出題制御部２１に指示する。 Specifically, the evaluation execution unit 23 identifies the answer result of the examinee whose new question has been stopped by the question judgment unit 22 from the answer result DB 15, and totals the points (skill acquisition level) up to that point. Is calculated. Then, the evaluation execution unit 23 evaluates that the skill level has been reached when the total of points (skill acquisition degree) is equal to or greater than the threshold value. In this case, the evaluation execution unit 23 updates the achievement skill level of the examinee in the examinee DB 13. Further, when the examinee requests a further examination, the evaluation execution unit 23 instructs the question control unit 21 to ask a question of the next skill level.

一方、評価実行部２３は、ポイント（スキル習得度）の総計が閾値未満の場合や不正解の数が閾値以上の場合には、スキルレベルに到達していないと評価する。この場合、評価実行部２３は、受験者ＤＢ１３における受験者の到達スキルレベルを更新せずに前回のレベル設定を維持する。また、評価実行部２３は、受験者が更なる試験を要求する場合には、同じスキルレベルの問題の出題を出題制御部２１に指示する。なお、評価実行部２３は、受験者が更なる試験を要求した場合でも、ポイント（スキル習得度）の合計が下限値を下回っている場合には、今回出題したスキルレベルより１つ下の問題の出題を出題制御部２１に指示することもできる。 On the other hand, the evaluation execution unit 23 evaluates that the skill level has not been reached when the total number of points (skill acquisition degree) is less than the threshold value or when the number of incorrect answers is equal to or more than the threshold value. In this case, the evaluation execution unit 23 maintains the previous level setting without updating the achievement skill level of the examinee in the examinee DB 13. In addition, the evaluation execution unit 23 instructs the question control unit 21 to ask questions of the same skill level when the examinee requests a further examination. In addition, even if the examinee requests a further examination, the evaluation execution unit 23 asks a question one level lower than the skill level given this time if the total points (skill acquisition level) are below the lower limit. It is also possible to instruct the question control unit 21 to ask the question.

例えば、図４の場合、評価実行部２３は、出題が終了した受験者Ａについては、ポイント（スキル習得度）の合計が０以上であることから、スキルレベル３に到達したと評価する。一方、評価実行部２３は、出題が終了した受験者Ｂについては、ポイント（スキル習得度）の合計が０未満であることから、スキルレベル３に未到達であると評価する。 For example, in the case of FIG. 4, the evaluation execution unit 23 evaluates that the examinee A who has completed the question has reached the skill level 3 because the total points (skill acquisition degree) is 0 or more. On the other hand, the evaluation execution unit 23 evaluates that the examinee B who has completed the question has not reached the skill level 3 because the total points (skill acquisition degree) is less than 0.

評価補正部２４は、係数算出部２５と補正部２６とを有し、評価実行部２３によって評価されたポイント（スキル習得度）の判定結果を補正する処理部である。具体的には、評価補正部２４は、評価実行部２３によって算出されたポイント（スキル習得度）に対して、解答時間を考慮した補正を行う。 The evaluation correction unit 24 is a processing unit that has a coefficient calculation unit 25 and a correction unit 26, and corrects a determination result of points (skill acquisition degree) evaluated by the evaluation execution unit 23. Specifically, the evaluation correction unit 24 corrects the points (skill acquisition level) calculated by the evaluation execution unit 23 in consideration of the answer time.

例えば、評価補正部２４は、理解している人は正解を導き出すまでに要する時間が短いという一般特性を考慮した一般補正を行う。補正例を挙げると、評価補正部２４は、あまり理解していない人は正解を導き出すまでに時間を要するので、ポイント（スキル習得度）で成績が良くても時間がかかっていれば、理解度が低い方向になるように補正を行う。 For example, the evaluation correction unit 24 makes a general correction in consideration of the general characteristic that it takes a short time for an understanding person to derive a correct answer. To give an example of correction, the evaluation correction unit 24 takes time to derive the correct answer for those who do not understand much, so even if the grade is good in terms of points (skill acquisition level), if it takes time, the degree of understanding Make corrections so that is in the lower direction.

また、評価補正部２４は、性格的に慎重派で答えはすぐに分かっても問題を読み直すなどして時間をかける人がいるという人物特性を考慮した人物補正を行う。補正例を挙げると、評価補正部２４は、一般補正で理解度が低い方向に補正された人物のうち、慎重派の人については、理解度が高い方向になるように補正を行う。 In addition, the evaluation correction unit 24 corrects the person in consideration of the person's characteristic that there is a person who is cautious in character and takes time to read the problem even if the answer is immediately known. To give an example of correction, the evaluation correction unit 24 corrects a person who is cautious among those who have been corrected in the direction of low comprehension by general correction so as to have a high degree of understanding.

係数算出部２５は、問題ごとに、正解者の解答時間を算出し、算出した正解の解答時間に基づいて、ポイント（スキル習得度）の補正係数を決定する処理部である。例えば、係数算出部２５は、問題ごとに、受験者の解答の正否と解答までにかかった時間のデータを取得し、正解の解答までの時間をプロットしたヒストグラムを生成する。そして、係数算出部２５は、問題ごとに、正解者の解答時間の平均値と分散値を算出し、分散値等に基づいて補正係数を決定する。 The coefficient calculation unit 25 is a processing unit that calculates the answer time of the correct answerer for each question and determines the correction coefficient of points (skill acquisition degree) based on the calculated answer time of the correct answer. For example, the coefficient calculation unit 25 acquires data on the correctness of the answer of the examinee and the time required for the answer for each question, and generates a histogram in which the time until the correct answer is plotted. Then, the coefficient calculation unit 25 calculates the average value and the variance value of the answer time of the correct answerer for each question, and determines the correction coefficient based on the variance value and the like.

ここで、係数決定の具体例を説明する。図５は、受験者統計データの例を説明する図である。まず、係数算出部２５は、受験者の解答データを随時取得して、図５に示す受験者統計データを生成する。受験者統計データは、図５に示すように、各受験者について、各問題の正否と解答時間とを対応付けたデータである。図５の例では、受験者ＡからＥについて、各問題の正否と解答時間とが対応付けられている。 Here, a specific example of coefficient determination will be described. FIG. 5 is a diagram illustrating an example of examinee statistical data. First, the coefficient calculation unit 25 acquires the answer data of the examinees at any time and generates the examinee statistical data shown in FIG. As shown in FIG. 5, the examinee statistical data is data in which the correctness of each question and the answering time are associated with each examinee. In the example of FIG. 5, the correctness of each question and the answering time are associated with each of the examinees A to E.

次に、係数算出部２５は、各問題について、図５に示す受験者統計データから正解した受験者と当該受験者の解答時間とを抽出する。例えば、問題１の場合、係数算出部２５は、受験者Ａと受験者Ｃとを対象者として選定し、解答時間を抽出する。そして、係数算出部２５は、平均値や標準偏差（σ）を算出し、正解者が解答までにかかった時間の分布を示すヒストグラムを生成する。 Next, the coefficient calculation unit 25 extracts the examinee who answered correctly and the answer time of the examinee from the examinee statistical data shown in FIG. 5 for each question. For example, in the case of question 1, the coefficient calculation unit 25 selects the examinee A and the examinee C as the target persons, and extracts the answer time. Then, the coefficient calculation unit 25 calculates the mean value and the standard deviation (σ), and generates a histogram showing the distribution of the time taken by the correct answerer to answer.

図６は、解答時間の分布と係数の割当てを説明する図である。図６に示す図は、問題Ｘについての解答時間と正解者との分布を示しており、横軸が解答時間（秒）であり縦軸が正解者（人数）であり、平均値と標準偏差（σ）を用いた分布を示している。ここで、係数算出部２５は、解答時間が長い受験者の理解度が低くなり、解答時間が短い受験者の理解度が高くなるように、補正係数を決定する。 FIG. 6 is a diagram illustrating the distribution of answer times and the allocation of coefficients. The figure shown in FIG. 6 shows the distribution of the answer time and the correct answerer for question X, and the horizontal axis is the answer time (seconds) and the vertical axis is the correct answerer (number of people), and the average value and the standard deviation. The distribution using (σ) is shown. Here, the coefficient calculation unit 25 determines the correction coefficient so that the degree of understanding of the examinee having a long answer time is low and the degree of understanding of the examinee having a short answer time is high.

図５の例では、係数算出部２５は、平均値から−１σ秒に該当する解答時間の正解者に補正係数「１．１」、−１σ秒から−２σ秒に該当する解答時間の正解者に補正係数「１．２」、−２σ秒から４秒に該当する解答時間の正解者に補正係数「１．３」、問題を読んでみないとみなされる正解者に補正係数「１．０」を設定する。同様に、係数算出部２５は、平均値から＋１σ秒に該当する解答時間の正解者に補正係数「１．０」、＋１σ秒から＋２σ秒に該当する解答時間の正解者に補正係数「０．９」、＋２σ秒以上に該当する解答時間の正解者に補正係数「０．８」を設定する。 In the example of FIG. 5, the coefficient calculation unit 25 gives the correct answerer of the answer time corresponding to -1σ seconds from the average value the correction coefficient “1.1”, and the correct answerer of the answer time corresponding to -1σ seconds to -2σ seconds. Correction coefficient "1.2", correction coefficient "1.3" for correct answerers with answer time corresponding to -2σ seconds to 4 seconds, correction coefficient "1.0" for correct answerers who are considered not to read the question "Is set. Similarly, the coefficient calculation unit 25 determines the correction coefficient “1.0” for the correct answerer with the answer time corresponding to + 1σ seconds from the average value, and the correction coefficient “0. 9 ”, set the correction coefficient“ 0.8 ”for the correct answerer with the answer time corresponding to + 2σ seconds or more.

ここで、上記平均値と標準偏差（σ）によって決定された補正係数による解答パターンの分類について説明する。図７は、解答時間による補正係数を説明する図である。図７に示すように、解答パターン１は、０秒から３秒までに正解したパターンであり、補正係数「１．０」が設定され、解答パターン２は、４秒から−２σ秒までに正解したパターンであり、補正係数「１．３」が設定される。解答パターン３は、−２σ秒から−１σ秒までに正解したパターンであり、補正係数「１．２」が設定され、解答パターン４は、−１σ秒から解答平均時間までに正解したパターンであり、補正係数「１．１」が設定される。解答パターン５は、解答平均時間から＋１σ秒までに正解したパターンであり、補正係数「１．０」が設定され、解答パターン６は、＋１σ秒から＋２σ秒までに正解したパターンであり、補正係数「０．９」が設定され、解答パターン７は、解答平均時間＋２σ秒以降に正解したパターンであり、補正係数「０．８」が設定される。 Here, the classification of the answer pattern based on the correction coefficient determined by the above mean value and the standard deviation (σ) will be described. FIG. 7 is a diagram for explaining a correction coefficient based on the answer time. As shown in FIG. 7, the answer pattern 1 is a pattern that answers correctly from 0 seconds to 3 seconds, a correction coefficient "1.0" is set, and the answer pattern 2 is a correct answer from 4 seconds to -2σ seconds. This is the pattern, and the correction coefficient "1.3" is set. The answer pattern 3 is a pattern that answers correctly from -2σ seconds to -1σ seconds, a correction coefficient "1.2" is set, and the answer pattern 4 is a pattern that answers correctly from -1σ seconds to the average answer time. , The correction coefficient "1.1" is set. The answer pattern 5 is a pattern in which the correct answer is made from the average answer time to + 1σ seconds, and a correction coefficient "1.0" is set. The answer pattern 6 is a pattern in which the correct answer is made from + 1σ seconds to + 2σ seconds, and the correction coefficient is set. “0.9” is set, and the answer pattern 7 is a pattern in which the answer is correct after the average answer time + 2σ seconds, and the correction coefficient “0.8” is set.

また、判定ラインは、ポイント（補正後のスキル習得度）が０以上か否かによって判定され、０以上の場合に、理解度が高いと判定されて「十分」と判定される。なお、スキル習得度は、上述した１−正解率で算出され、問題数の十分性は、上記スキル評価指数を用いるので、詳細な説明は省略する。 Further, the determination line is determined by whether or not the point (skill acquisition degree after correction) is 0 or more, and if it is 0 or more, the degree of understanding is determined to be high and it is determined to be "sufficient". The skill acquisition level is calculated by the 1-correct answer rate described above, and the sufficiency of the number of questions uses the skill evaluation index, so detailed description thereof will be omitted.

なお、ここでは平均値と標準偏差とを用いた例を説明したが、これに限定されるものではない。例えば、平均値だけを算出し、平均値から＋３秒までを解答パターン５、平均値＋３から＋６秒までを解答パターン６に設定するなど、平均値と任意の閾値とを用いて、補正係数を決定することもできる。 Although an example using the mean value and the standard deviation has been described here, the present invention is not limited to this. For example, only the average value is calculated, and the answer pattern 5 is set from the average value to +3 seconds, and the answer pattern 6 is set from the average value +3 to +6 seconds. You can also decide.

図２に戻り、補正部２６は、係数算出部２５によって算出された補正係数を用いて、評価実行部２３によって算出されたポイント（スキル習得度）を補正し、補正後のポイント（スキル習得度）にしたがって理解度の判定を実行する処理部である。 Returning to FIG. 2, the correction unit 26 corrects the points (skill acquisition degree) calculated by the evaluation execution unit 23 using the correction coefficient calculated by the coefficient calculation unit 25, and the corrected points (skill acquisition degree). ) Is a processing unit that determines the degree of comprehension.

具体的には、補正部２６は、係数算出部２５が収集した受験者ごとの各問題の正否と解答時間とを取得し、ポイント（スキル習得度）が算出済みの受験者の各問題が、図７に示すどの解答パターンに該当するかを特定する。その後、補正部２６は、受験者の各問題のポイント（スキル習得度）を、特定した解答パターンに対応する補正係数を用いて補正する。そして、補正部２６は、補正後のポイントの合計値を算出する。 Specifically, the correction unit 26 acquires the correctness and answer time of each question for each examinee collected by the coefficient calculation unit 25, and each question of the examinee whose points (skill acquisition degree) has been calculated is Identify which answer pattern shown in FIG. 7 corresponds to. After that, the correction unit 26 corrects the points (skill acquisition degree) of each question of the examinee by using the correction coefficient corresponding to the specified answer pattern. Then, the correction unit 26 calculates the total value of the corrected points.

ここで、補正部２６は、補正後のポイントの合計値が閾値以上の場合は、判定を「十分」と判定する。一方で、補正部２６は、補正後のポイントの合計値が閾値未満の場合は、当該受験者の解答時間が平均して遅いか否かを判定し、解答時間が遅い受験者である場合は、解答時間による補正を抑制する。そして、補正部２６は、解答時間による補正を抑制した後のポイントの合計値が閾値以上の場合は、判定を「十分」と判定し、解答時間による補正を抑制した後のポイントの合計値も閾値未満の場合は、判定を「不十分」と判定する。 Here, the correction unit 26 determines that the determination is "sufficient" when the total value of the corrected points is equal to or greater than the threshold value. On the other hand, if the total value of the corrected points is less than the threshold value, the correction unit 26 determines whether or not the answer time of the examinee is slow on average, and if the examinee has a late answer time, the correction unit 26 determines whether or not the answer time is slow on average. , Suppress the correction due to the answer time. Then, when the total value of the points after suppressing the correction by the answer time is equal to or more than the threshold value, the correction unit 26 determines that the determination is "sufficient", and also the total value of the points after suppressing the correction by the answer time. If it is less than the threshold value, the judgment is judged as "insufficient".

つまり、補正部２６は、上記一般補正を行った結果、ポイントが閾値以上の受験者のスキル判定を「十分」と判定し、一般補正を行った後のポイントが閾値未満の受験者に対して上記人物補正を行う。そして、補正部２６は、人物補正の結果、ポイントが閾値以上となった受験者のスキル判定を「十分」と判定し、人物補正の後もポイントが閾値未満の受験者のスキル判定を「不十分」と判定する。 That is, as a result of performing the above general correction, the correction unit 26 determines that the skill determination of the examinee whose points are equal to or higher than the threshold value is "sufficient", and the correction unit 26 determines that the test taker whose points after the general correction is less than the threshold value. Perform the above person correction. Then, the correction unit 26 determines that the skill determination of the examinee whose points are equal to or higher than the threshold value as a result of the person correction is "sufficient", and the skill determination of the examinee whose points are less than the threshold value is "not sufficient" even after the person correction. It is judged as "sufficient".

ここで、補正の具体例を説明する。図８は、補正例および補正抑制例を説明する図である。図８の左図は、評価実行部２３による判定結果を示しており、スキル習得度が「０．０６３２」であり、０以上であることから、スキル判定が「十分」と判定されている。 Here, a specific example of the correction will be described. FIG. 8 is a diagram illustrating a correction example and a correction suppression example. The left figure of FIG. 8 shows the determination result by the evaluation execution unit 23, and since the skill acquisition degree is “0.0632” and is 0 or more, the skill determination is determined to be “sufficient”.

この状態から、図８に示すように、補正部２６は、問題１から１０までの各問題のうち無解答および不正解を除く各問題について、解答パターンを特定する。図８の例では、補正部２６は、問題１と問題３については解答パターン５と特定し、問題４については解答パターン６と特定し、問題５については解答パターン３と特定し、問題７と問題８については解答パターン７と特定する。 From this state, as shown in FIG. 8, the correction unit 26 specifies an answer pattern for each of the questions 1 to 10 except for unanswered and incorrect answers. In the example of FIG. 8, the correction unit 26 specifies the question 1 and the question 3 as the answer pattern 5, the question 4 as the answer pattern 6, the question 5 as the answer pattern 3, and the question 7. Question 8 is specified as answer pattern 7.

この結果、補正部２６は、問題１と問題３についてはスキル習得度に補正係数「１．０」を乗算し、問題４についてはスキル習得度に補正係数「０．９」を乗算し、問題５についてはスキル習得度に補正係数「１．２」を乗算し、問題７と問題８についてはスキル習得度に補正係数「０．８」を乗算する。 As a result, the correction unit 26 multiplies the skill acquisition degree by the correction coefficient "1.0" for the problem 1 and the problem 3, and multiplies the skill acquisition degree by the correction coefficient "0.9" for the problem 4. For 5, the skill acquisition level is multiplied by the correction coefficient "1.2", and for problems 7 and 8, the skill acquisition level is multiplied by the correction coefficient "0.8".

例えば、補正部２６は、問題１についてはスキル習得度「０．０７５３」×補正係数「１．０」＝「０．０７５３」を補正後のスキル習得度として算出し、問題３についてはスキル習得度「０．１０３８」×補正係数「１．０」＝「０．１０３８」を補正後のスキル習得度として算出する。また、補正部２６は、問題４についてはスキル習得度「０．１６５１」×補正係数「０．９」＝「１．１４８５９」を補正後のスキル習得度として算出し、問題５についてはスキル習得度「０．０３３」×補正係数「１．２」＝「０．０３９６」を補正後のスキル習得度として算出する。また、補正部２６は、問題６は不正解なので、そのままの値「−０．８７０６」をスキル習得度とする。また、補正部２６は、問題７についてはスキル習得度「０．２３１１」×補正係数「０．８」＝「０．１８４８８」を補正後のスキル習得度として算出し、問題８についてはスキル習得度「０．３２５５」×補正係数「０．８」＝「０．２６０４」を補正後のスキル習得度として算出する。 For example, the correction unit 26 calculates the skill acquisition level “0.0753” × correction coefficient “1.0” = “0.0753” for problem 1 as the corrected skill acquisition level, and skill acquisition for problem 3. The degree "0.1038" x correction coefficient "1.0" = "0.1038" is calculated as the corrected skill acquisition degree. Further, the correction unit 26 calculates the skill acquisition degree “0.1651” × correction coefficient “0.9” = “1.14859” for problem 4 as the corrected skill acquisition degree, and skill acquisition for problem 5. The degree "0.033" x correction coefficient "1.2" = "0.0396" is calculated as the corrected skill acquisition degree. Further, since the problem 6 is an incorrect answer, the correction unit 26 uses the value "-0.8706" as it is as the skill acquisition degree. Further, the correction unit 26 calculates the skill acquisition degree “0.2311” × correction coefficient “0.8” = “0.18488” for problem 7 as the corrected skill acquisition degree, and skill acquisition for problem 8. The degree "0.3255" x correction coefficient "0.8" = "0.2604" is calculated as the corrected skill acquisition degree.

そして、補正部２６は、補正後の各問題のスキル習得度の合計値「０．０７５３＋０．１０３８＋０．１４８５９＋０．０３９６−０．８７０６＋０．１８４８８＋０．２６０４＝−０．０５８０３≒−０．０５８０」を算出する。この補正部２６は、補正後のスキル習得度「−０．０５８０」が０未満であることから、図８の右図に示すように、スキル判定を「不十分」と判定する。なお、ここで、補正部２６は、補正後のスキル習得度の合計値が０以上の場合には、スキル判定を「十分」と判定するが、補正後のスキル習得度「−０．０５８０」が０未満であることから、続いて人物補正を行う。 Then, the correction unit 26 calculates the total value of the skill acquisition degree of each problem after correction "0.0753 + 0.1038 + 0.14859 + 0.0396-0.8706 + 0.18488 + 0.2604 = -0.05803 ≒ -0.0580". To do. Since the corrected skill acquisition degree “−0.0580” is less than 0, the correction unit 26 determines that the skill determination is “insufficient” as shown in the right figure of FIG. Here, the correction unit 26 determines that the skill determination is "sufficient" when the total value of the corrected skill acquisition degree is 0 or more, but the corrected skill acquisition degree "-0.0580". Since is less than 0, the person is subsequently corrected.

すなわち、補正部２６は、一般補正後のスキル習得度が閾値を満たさない受験者について、正解した解答時間が相対的に長いか否かを特定する。例えば、補正部２６は、正解した全ての問題の解答パターンが解答パターン６か解答パターン７のいずれかである場合、解答時間が相対的に長いと判定する。そうすると、補正部２６は、補正係数を乗算するのを抑制し、元の状態でスキル判定を行う。 That is, the correction unit 26 specifies whether or not the correct answer time is relatively long for the examinee whose skill acquisition degree after the general correction does not satisfy the threshold value. For example, the correction unit 26 determines that the answer time is relatively long when the answer patterns of all the correctly answered questions are either the answer pattern 6 or the answer pattern 7. Then, the correction unit 26 suppresses the multiplication of the correction coefficient and performs the skill determination in the original state.

つまり、図８の場合、補正部２６は、スキル判定が「十分」と判定された左図の状態から、解答時間を考慮した一般補正を行って右図の状態を特定することで、スキル判定を「不十分」と判定する。しかし、補正部２６は、この受験結果における正解の解答時間が平均的に長いことから、受験者は慎重派の人物であると推定し、右図の状態から左図の状態に戻して、スキル判定を行う。この結果、補正部２６は、スキル判定を「十分」と判定する。このようにして、補正部２６は、解答時間を考慮した一般補正に加えて、人物の特性を考慮した人物補正を行うことができる。 That is, in the case of FIG. 8, the correction unit 26 determines the skill by performing general correction in consideration of the answer time from the state shown in the left figure in which the skill determination is determined to be “sufficient” and specifying the state shown in the right figure. Is judged to be "insufficient". However, the correction unit 26 presumes that the examinee is a cautious person because the answer time of the correct answer in this examination result is long on average, and returns the state shown in the right figure to the state shown in the left figure to perform the skill. Make a judgment. As a result, the correction unit 26 determines that the skill determination is "sufficient". In this way, the correction unit 26 can perform the person correction in consideration of the characteristics of the person in addition to the general correction in consideration of the answer time.

［処理の流れ］
図９は、評価の補正処理の流れを示すフローチャートである。なお、ここでは、一定値以上のスキル評価指数に到達済みであり、解答結果ＤＢ１５に解答が格納されているとともに、ポイント（スキル習得度）も算出済みとする。 [Processing flow]
FIG. 9 is a flowchart showing the flow of the evaluation correction process. Here, it is assumed that the skill evaluation index of a certain value or higher has been reached, the answer is stored in the answer result DB 15, and the points (skill acquisition degree) have already been calculated.

図９に示すように、試験が終了すると（Ｓ１０１：Ｙｅｓ）、係数算出部２５は、各問題について、正解者の解答時間の平均値である解答平均時間と標準偏差を算出する（Ｓ１０２）。続いて、Ｓ１０３以降については、受験者ごとについて実行される。 As shown in FIG. 9, when the test is completed (S101: Yes), the coefficient calculation unit 25 calculates the average answer time and the standard deviation, which are the average values of the answer times of the correct answerers, for each question (S102). Subsequently, from S103 onward, it is executed for each examinee.

具体的には、補正部２６は、正解問題について解答パターンを特定し、特定した解答パターンに対応する補正係数を用いて、「スキル習得度×補正係数」によって補正後のポイントを算出する（Ｓ１０３）。続いて、補正部２６は、全解答のポイントを合計して合計値を算出する（Ｓ１０４）。 Specifically, the correction unit 26 specifies an answer pattern for the correct answer question, uses the correction coefficient corresponding to the specified answer pattern, and calculates the corrected points by "skill acquisition degree x correction coefficient" (S103). ). Subsequently, the correction unit 26 totals the points of all the answers to calculate the total value (S104).

そして、補正部２６は、ポイントの合計が０以上である場合（Ｓ１０５：Ｙｅｓ）、対象の受験者のスキル判定を「十分」と判定する（Ｓ１０６）。一方、補正部２６は、ポイントの合計が０未満である場合（Ｓ１０５：Ｎｏ）、正解した問題の解答時間がすべて平均より長いか否かを判定する（Ｓ１０７）。 Then, when the total points are 0 or more (S105: Yes), the correction unit 26 determines that the skill determination of the target examinee is “sufficient” (S106). On the other hand, when the total points are less than 0 (S105: No), the correction unit 26 determines whether or not the answering times of all the correctly answered questions are longer than the average (S107).

ここで、補正部２６は、正解した問題の解答時間がすべて平均より長い場合（Ｓ１０７：Ｙｅｓ）、解答時間による補正を抑制し（Ｓ１０８）、正解問題についてポイントを再度算出し（Ｓ１０９）、補正係数を乗算する前の状態でポイントの合計値を再算出する（Ｓ１１０）。 Here, when the answering time of all the correctly answered questions is longer than the average (S107: Yes), the correction unit 26 suppresses the correction by the answering time (S108), recalculates the points for the correct answer question (S109), and corrects. The total value of points is recalculated in the state before the coefficient is multiplied (S110).

そして、補正部２６は、再算出したポイントの合計値が０以上の場合（Ｓ１１１：Ｙｅｓ）、対象の受験者のスキル判定を「十分」と判定する（Ｓ１０６）。一方、補正部２６は、再算出したポイントの合計値が０未満の場合（Ｓ１１１：Ｎｏ）、対象の受験者のスキル判定を「不十分」と判定する（Ｓ１１２）。なお、Ｓ１０７において、正解した問題の解答時間のいずれかが平均より短い場合（Ｓ１０７：Ｎｏ）、補正部２６は、対象の受験者のスキル判定を「不十分」と判定する（Ｓ１１２）。 Then, when the total value of the recalculated points is 0 or more (S111: Yes), the correction unit 26 determines that the skill determination of the target examinee is “sufficient” (S106). On the other hand, when the total value of the recalculated points is less than 0 (S111: No), the correction unit 26 determines that the skill determination of the target examinee is “insufficient” (S112). In S107, when any of the answering times of the correctly answered questions is shorter than the average (S107: No), the correction unit 26 determines that the skill determination of the target examinee is "insufficient" (S112).

［効果］
上述したように、スキル評価サーバ１０は理解している人というのは正解を導き出すまでが早いという一般特性を考慮したスキル判定を行うことができ、スキル判定の精度を向上することができる。また、スキル評価サーバ１０は、一般特性だけではなく、人物特性をさらに考慮してスキル判定を行うことができる。したがって、スキル評価サーバ１０は、スキルが高いが慎重であり解答に時間がかかる受験者に対しては、正当なスキル評価を実行することができる。このように、スキル評価サーバ１０は、単なる正否だけではなく、解答時間を考慮したスキル評価を行う一方で、解答に時間がかかる慎重な受験者も正当に評価することができるので、理解度の判定精度を向上することができる。 [effect]
As described above, the skill evaluation server 10 can perform skill determination in consideration of the general characteristic that a person who understands is quick to derive a correct answer, and can improve the accuracy of skill determination. Further, the skill evaluation server 10 can perform skill determination in consideration of not only general characteristics but also person characteristics. Therefore, the skill evaluation server 10 can perform a legitimate skill evaluation for an examinee who has a high skill but is cautious and takes a long time to answer. In this way, the skill evaluation server 10 not only evaluates the correctness but also the skill evaluation in consideration of the answering time, and at the same time, it can properly evaluate the cautious examinee who takes a long time to answer. The determination accuracy can be improved.

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。 By the way, although the examples of the present invention have been described so far, the present invention may be implemented in various different forms other than the above-mentioned examples.

（人物補正の別例）
上記実施例では、補正係数を乗算しない状態に戻すことで、補正係数をかけないように抑制する人物補正を行う例を説明したが、これに限定されるものではない。例えば、スキル評価サーバ１０は、補正係数の平均値で人物補正を行うことができる。図１０は、補正の抑制手法の別例を説明する図である。図１０の左図は、図８の左図と同様である。 (Another example of person correction)
In the above embodiment, an example of performing person correction that suppresses the correction coefficient by returning it to a state in which the correction coefficient is not multiplied has been described, but the present invention is not limited to this. For example, the skill evaluation server 10 can perform person correction with the average value of the correction coefficients. FIG. 10 is a diagram illustrating another example of the correction suppression method. The left figure of FIG. 10 is the same as the left figure of FIG.

このような状態で、スキル評価サーバ１０は、各問題について一般補正を行うが、一般補正後のポイントの合計が０未満かつ正解した問題の解答時間が平均より長いことから、人物補正を実行する。例えば、スキル評価サーバ１０は、一般補正後のスキル習得度が０未満、かつ、解答パターンのうち解答パターン６と７の数が閾値以上の場合、人物補正を行う。例を挙げると、スキル評価サーバ１０は、スキル習得度（ポイント）に乗算した補正係数にさらに、補正係数の平均値を除算することで、人物補正を行う。図１０の右図の例では、スキル評価サーバ１０は、補正係数の平均値「（１．０＋１．０＋０．９＋１．２＋０．８＋０．８）／６＝０．９５」でスキル習得度を除算する。ここでは、スキル評価サーバ１０は、人物補正後のスキル習得度の合計値が０未満であることから、スキル判定を「不十分」と判定する。 In such a state, the skill evaluation server 10 makes a general correction for each question, but since the total of the points after the general correction is less than 0 and the answering time of the correct answer is longer than the average, the person correction is executed. .. For example, the skill evaluation server 10 performs person correction when the skill acquisition level after general correction is less than 0 and the number of answer patterns 6 and 7 among the answer patterns is equal to or more than the threshold value. For example, the skill evaluation server 10 corrects a person by further dividing the average value of the correction coefficients by the correction coefficient multiplied by the skill acquisition degree (points). In the example shown on the right side of FIG. 10, the skill evaluation server 10 divides the skill acquisition level by the average value of the correction coefficients "(1.0 + 1.0 + 0.9 + 1.2 + 0.8 + 0.8) / 6 = 0.95". .. Here, the skill evaluation server 10 determines that the skill determination is "insufficient" because the total value of the skill acquisition degree after the person correction is less than 0.

このようにすることで、スキル評価サーバ１０は、スキルは高いが慎重過ぎる受験者に対しては、不用意にスキル判定が高評価となる状態の発生を抑制することができる。なお、ここで使用する補正係数の平均値は、該当受験者に対して特定された補正係数の平均値でもよく、正解者に対して特定された補正係数の平均値でもよく、各問題の正解者の補正係数の平均値でもよい。 By doing so, the skill evaluation server 10 can suppress the occurrence of a state in which the skill determination is inadvertently highly evaluated for the examinee who has high skill but is too careful. The average value of the correction coefficients used here may be the average value of the correction coefficients specified for the corresponding examinee, or the average value of the correction coefficients specified for the correct answerer, and the correct answer for each question. It may be the average value of the correction coefficient of the person.

また、スキル評価サーバ１０は、一般補正だけを行ってスキル判定を行うこともできる。また、スキル評価サーバ１０は、解答時間が長い解答パターン６と７に該当する問題だけに補正係数を乗算してスキル判定を行うこともでき、解答時間が短い解答パターン２と３に該当する問題だけに補正係数を乗算してスキル判定を行うこともできる。 Further, the skill evaluation server 10 can also perform skill determination by performing only general correction. Further, the skill evaluation server 10 can perform skill determination by multiplying only the questions corresponding to the answer patterns 6 and 7 having a long answer time by the correction coefficient, and the questions corresponding to the answer patterns 2 and 3 having a short answer time can be determined. It is also possible to judge the skill by multiplying only the correction coefficient.

（慎重な人の判定）
上記実施例では、すべての解答が解答パターン６または７に該当する受験者が慎重な人であると判定する例を説明したが、判定手法はこれに限定されるものではない。例えば、スキル評価サーバ１０は、正解解答の各解答パターンのうち解答パターン６または７が所定数以上含まれる場合に、慎重な人と判定して人物補正を行うこともできる。また、スキル評価サーバ１０は、正解解答の解答時間の平均値が閾値以上である場合に、慎重な人と判定して人物補正を行うこともできる。 (Careful person judgment)
In the above embodiment, an example in which it is determined that the examinee who corresponds to the answer pattern 6 or 7 in all the answers is a cautious person has been described, but the determination method is not limited to this. For example, the skill evaluation server 10 may determine that the person is cautious and perform person correction when the answer patterns 6 or 7 are included in a predetermined number or more among the answer patterns of the correct answers. Further, the skill evaluation server 10 can determine that the person is cautious and correct the person when the average value of the answering time of the correct answer is equal to or more than the threshold value.

（解答時間が早い）
上記実施例では、正解率が高くかつ解答時間が相対的に遅い人に対して、人物補正を行う例を説明したが、正解率が高くかつ解答時間が相対的に早い人に対して、人物補正を行うこともできる。例えば、スキル評価サーバ１０は、正解率が高くかつすべての解答が解答パターン１または２に該当する受験者に対しては、さらに補正係数（１．２）などを乗算してスキル習得度を高くするように制御することもできる。なお、人物補正は、解答時間が相対的に早い人と相対的に遅い人のいずれかにだけ実行してもよく、両方に実行することもできる。なお、相対的に早い人の判定も想定的に遅い人の判定と同様の手法を採用することができる。 (Answer time is early)
In the above embodiment, an example of performing person correction for a person having a high correct answer rate and a relatively slow answer time has been described, but a person has a high correct answer rate and a relatively fast answer time. You can also make corrections. For example, the skill evaluation server 10 further multiplies an examinee whose correct answer rate is high and all answers correspond to answer patterns 1 or 2 by a correction coefficient (1.2) or the like to increase the skill acquisition level. It can also be controlled to do so. It should be noted that the person correction may be executed only for a person whose answer time is relatively early or a person whose answer time is relatively slow, or may be executed for both. It should be noted that the same method as the judgment of a person who is supposedly slow can be adopted for the judgment of a relatively early person.

（解答例）
上記実施例では、スキル評価を行う試験の解答を用いた例を説明したが、これに限定されるものではなく、正否のみを記録する試験等であっても同様に適用することができる。例えば、ポイントではなく点数などに補正係数を乗算することもできる。 (Example of answer)
In the above-described embodiment, an example using the answer of the test for evaluating the skill has been described, but the present invention is not limited to this, and the same can be applied to a test or the like that records only the correctness. For example, the correction coefficient can be multiplied by the number of points instead of the points.

（解答時間の算出対象）
上記実施例では、正解の受験者の解答時間を用いて補正係数を決定する例を説明したが、これに限定されるものではなく、全解答者の解答時間を用いた場合でも同様に処理することができる。 (Calculation target of answer time)
In the above embodiment, an example of determining the correction coefficient using the answer time of the correct examinee has been described, but the present invention is not limited to this, and the same processing is performed even when the answer time of all the answerers is used. be able to.

（ハードウェア）
図１１は、スキル評価サーバのハードウェア構成例を示す図である。図１１に示すように、スキル評価サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ＨＤＤ（Hard Disk Drive）１０３、通信インタフェース１０４、入力装置１０５、表示装置１０６を有する。また、図１１に示した各部は、バス等で相互に接続される。 (hardware)
FIG. 11 is a diagram showing a hardware configuration example of the skill evaluation server. As shown in FIG. 11, the skill evaluation server 10 includes a CPU (Central Processing Unit) 101, a memory 102, an HDD (Hard Disk Drive) 103, a communication interface 104, an input device 105, and a display device 106. Further, the parts shown in FIG. 11 are connected to each other by a bus or the like.

ＨＤＤ１０３は、図２に示した機能を動作させるプログラムやテーブルを記憶する。通信インタフェース１０４は、ネットワークインタフェースカードなどである。入力装置１０５は、例えばキーボードなどであり、表示装置１０６は、例えばタッチパネルやディスプレイなど、各種情報を表示する表示装置である。 The HDD 103 stores programs and tables that operate the functions shown in FIG. The communication interface 104 is a network interface card or the like. The input device 105 is, for example, a keyboard, and the display device 106 is a display device, such as a touch panel or a display, that displays various information.

ＣＰＵ１０１は、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０３等から読み出してメモリ１０２に展開することで、図２等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、スキル評価サーバ１０が有する各処理部と同様の機能を実行する。具体的には、ＣＰＵ１０１は、出題制御部２１、出題判定部２２、評価実行部２３、評価補正部２４等と同様の機能を有するプログラムをＨＤＤ１０３等から読み出す。そして、ＣＰＵ１０１は、出題制御部２１、出題判定部２２、評価実行部２３、評価補正部２４等と同様の処理を実行するプロセスを実行する。 The CPU 101 reads a program that executes the same processing as each processing unit shown in FIG. 2 from the HDD 103 or the like and expands the program into the memory 102 to operate a process that executes each function described in FIG. 2 or the like. That is, this process executes the same function as each processing unit of the skill evaluation server 10. Specifically, the CPU 101 reads a program having the same functions as the question control unit 21, the question determination unit 22, the evaluation execution unit 23, the evaluation correction unit 24, and the like from the HDD 103 and the like. Then, the CPU 101 executes a process of executing the same processing as the question control unit 21, the question determination unit 22, the evaluation execution unit 23, the evaluation correction unit 24, and the like.

このようにスキル評価サーバ１０は、プログラムを読み出して実行することで情報生成方法を実行する情報処理装置として動作する。また、スキル評価サーバ１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、スキル評価サーバ１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。 In this way, the skill evaluation server 10 operates as an information processing device that executes the information generation method by reading and executing the program. Further, the skill evaluation server 10 can realize the same function as that of the above-described embodiment by reading the program from the recording medium by the medium reading device and executing the read program. The program referred to in the other embodiment is not limited to being executed by the skill evaluation server 10. For example, the present invention can be similarly applied when another computer or server executes a program, or when they execute a program in cooperation with each other.

（システム）
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 (system)
In addition, among the processes described in this embodiment, all or part of the processes described as being automatically performed can also be performed manually. Alternatively, all or part of the processing described as being performed manually can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above document and drawings can be arbitrarily changed unless otherwise specified.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific forms of distribution and integration of each device are not limited to those shown in the figure. That is, all or a part thereof can be functionally or physically distributed / integrated in any unit according to various loads, usage conditions, and the like. Further, each processing function performed by each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

１受験者端末
１０スキル評価サーバ
１１通信制御部
１２記憶部
１３受験者ＤＢ
１４問題セットＤＢ
１５解答結果ＤＢ
２０制御部
２１出題制御部
２２出題判定部
２３評価実行部
２４評価補正部
２５係数算出部
２６補正部 1 Candidate terminal 10 Skill evaluation server 11 Communication control unit 12 Storage unit 13 Candidate DB
14 Problem set DB
15 Answer result DB
20 Control unit 21 Question control unit 22 Question judgment unit 23 Evaluation execution unit 24 Evaluation correction unit 25 Coefficient calculation unit 26 Correction unit

Claims

Accepts input of answers to multiple questions included in the test, which are stored in association with the correct answer rate.
It is determined whether or not each of the received answers to the plurality of questions is correct, and the degree of acquisition using the correct answer rate, which is determined by whether each question is correct or incorrect, is calculated.
For each of the plurality of questions, the answer time until the input of each answer is calculated.
For the examinee, the answer time until the input of the answer calculated for the correct answer question in which the correct answer is input among the plurality of questions tends to indicate the answer time of each correct answerer who correctly answered the correct answer question among the plurality of examinees. When it is relatively long , the correction control is executed to reduce the degree of acquisition of the correct answer question, and when it is relatively short, the correction control is executed to correct the degree of acquisition of the correct answer question.
By the sum of the learning degree of the plurality of issues, to assess the understanding of the examinee,
Let the computer do the work
In the process of executing the correction control, when all the answer times for all the correct answer questions are relatively long, the examinee is determined to be a person who takes time to answer, and the degree of mastery of all the correct answer questions is corrected. Suppress and
The evaluation process is characterized in that the comprehension level of the examinee is evaluated by the total of the mastery level for the correct answer question in the plurality of questions and the mastery level for the incorrect answer question in which the incorrect answer is input. program.

For each of the plurality of problems, it calculates the average value and the standard deviation of the answering time to the input of the answer of each correct person,
Using the mean value and the standard deviation, the computer is further subjected to a process of determining a predetermined coefficient corresponding to the answer time.
In the process of executing the correction control, when evaluating the comprehension level of the examinee, the acquisition level of the correct answer question is multiplied by the predetermined coefficient corresponding to the answering time of the correct answer question to acquire the correct answer question. The information generation program according to claim 1, wherein the degree is corrected.

The correction control to the execution process, the for all the answering time is relatively long the examinee, information generation program according to claim 2, characterized in that to suppress the multiplication of the predetermined coefficient.

The process of executing the correction control is an average value of each predetermined coefficient corresponding to each answer time of each question correctly answered by the examinee, which has a relatively long answer time until the input of the answer calculated for the correct answer question. The information generation program according to claim 2, wherein the degree of acquisition of the correct answer question is corrected by dividing the multiplication result of the predetermined coefficient corresponding to the answer time of the correct answer question.

In the plurality of questions, an evaluation index determined by the correlation between the correct answer rate of each of the plurality of questions and the score rate of all the examinees is stored in association with each other.
Add the evaluation index of the question you asked,
The first to fourth aspects of claims 1 to 4, wherein the question is repeated while the total of the evaluation indexes is less than the threshold value, and the question is ended when the total of the evaluation indexes is equal to or more than the threshold value. The information generation program described in any one.

Accepts input of answers to multiple questions included in the test, which are stored in association with the correct answer rate.
It is determined whether or not each of the received answers to the plurality of questions is correct, and the degree of acquisition using the correct answer rate, which is determined by whether each question is correct or incorrect, is calculated.
For each of the plurality of questions, the answer time until the input of each answer is calculated.
For the examinee, the answer time until the input of the answer calculated for the correct answer question in which the correct answer is input among the plurality of questions tends to indicate the answer time of each correct answerer who correctly answered the correct answer question among the plurality of examinees. When it is relatively long , the correction control is executed to reduce the degree of acquisition of the correct answer question, and when it is relatively short, the correction control is executed to correct the degree of acquisition of the correct answer question.
By the sum of the learning degree of the plurality of issues, to assess the understanding of the examinee,
The computer executes the process,
In the process of executing the correction control, when all the answer times for all the correct answer questions are relatively long, the examinee is determined to be a person who takes time to answer, and the degree of mastery of all the correct answer questions is corrected. Suppress and
The evaluation process is characterized in that the comprehension level of the examinee is evaluated by the total of the mastery level for the correct answer question in the plurality of questions and the mastery level for the incorrect answer question in which the incorrect answer is input. Method.

The reception section that accepts the input of answers to multiple questions that are included in the test and are stored in association with the correct answer rate,
A judgment unit that determines whether each of the received answers to the plurality of questions is correct or not, and calculates the degree of mastery using the correct answer rate, which is determined by whether each question is correct or incorrect.
For each of the plurality of questions, a calculation unit that calculates the answer time until the input of each answer, and a calculation unit.
For the examinee, the answer time until the input of the answer calculated for the correct answer question in which the correct answer is input among the plurality of questions tends to indicate the answer time of each correct answerer who correctly answered the correct answer question among the plurality of examinees. When it is relatively long , the correction control is executed to reduce the degree of acquisition of the correct answer question, and when it is relatively short, the correction control is executed to correct the degree of acquisition of the correct answer problem. by the sum of the learning degree of the problem, the evaluation control unit for evaluating the intelligibility of the examinee,
Have,
When all the answer times for all the correct answer questions are relatively long, the evaluation control unit determines that the examinee is a person who takes time to answer, suppresses the correction of the degree of mastery of all the correct answer questions, and suppresses the correction. An information generation device characterized in that the degree of understanding of an examinee is evaluated by the total of the degree of acquisition of the correct answer question in the plurality of problems and the degree of acquisition of the incorrect answer question in which an incorrect answer is input.