JP2008097119A - 質問採点システム及び方法 - Google Patents

Abstract

【課題】複数のアンケート回答者の回答状況に応じた採点が可能な技術を提供する。
【解決手段】回答装置２において複数のアンケート回答者の回答状況を入力イベントとして取得し、サーバ１に送信する。サーバ１において入力イベントを回答者ごとに記憶し、各回答者の回答状況から回答順序が異なる質問項目を回答選択番号の修正対象候補の質問項目として抽出し、全体として各質問項目について抽出された修正対象候補数が一定数以上の場合は、当該質問項目を全体として回答選択番号を修正する質問項目と決定する。全体としての各質問項目の回答選択番号を決定し、かつ前記修正対象の質問項目であれば前記決定された回答選択番号を配点の低い回答選択番号に修正し、前記決定および修正された回答選択番号に基づいてアンケートを採点する。
【選択図】図２

Description

本発明は、アンケートやテスト等における質問（問題）の自動採点技術に関する。

特許文献１には、選択肢形式の質問が記載された質問紙において、回答者の回答過程のデータを記録する技術が開示されている。この技術では、回答がなされた質問番号と、選択された選択肢と、各質問の回答時間と、回答がなされた質問の順とが、回答過程のデータとして記録紙に記録される。

特開２０００−３３５１号公報

特許文献１の技術は、回答過程のデータを取得するのみで、取得したデータから意味のある採点結果を得るための方法を開示していない。また、特許文献１の技術では、複数の回答者の回答結果を記憶することはできないので、アンケート調査のように、複数の回答者からの回答内容を集約し全体として一つの採点結果を出すことを目的とするものに適用することができない。

本発明は、上記課題を解決すべくなされたもので、複数の回答者が回答することが前提である質問（アンケート、テストなど）において、回答者の回答状況に基づいて、より有意義な採点結果を効率的に求めることを目的とする。

上記課題を解決すべく、本発明では、複数の回答者の回答結果を、回答状況に応じて、修正し、集約し、採点結果を得る。

例えば、本発明の第１の態様は、質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムである。前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信する入力イベント送信手段を有している。前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段とを有している。前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧手段を有している。

また、本発明の第２の態様は、コンピュータにより実現される質問採点システムであって、複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段とを備える。

以下、図面を用いて本発明の一実施形態について説明する。

本実施形態では、企業内における内部統制の実施状況を、アンケート回答により評価するアンケート採点システムの例を用いる。ただし、本発明の技術的思想は、この例に限定されるものではない。

一般に、企業内における内部統制やＩＴガバナンスなどの実施状況を診断するアンケートは、複数の回答者がアンケートに回答し、それらを総合的に判断して、当該企業の実施状況を診断するものである。このようなアンケートは、質問ごとに達成度または成熟度を示す複数の回答選択肢を準備している。

各質問について、複数の回答者が回答した選択肢の中から当該企業の状況を最もよく表していると考えられる選択肢を代表として一つ選出し、その選択肢が質問に対する企業の実施状況を表すものと考える。

例えば、複数の回答者が選択したものの中で一番多くの人が回答した選択肢を選出する方法や、最も点数が低い選択肢を選出する方法などがある。

このように複数の回答者がアンケートに回答することにより、当該企業内での内部統制やＩＴガバナンスなどの実施状況を一人の回答者が回答する場合よりも、より正確に診断することができる。

本発明の実施の形態においても、企業内における内部統制の実施状況を診断するために、複数の担当者がアンケートに回答するものとする。

そして、複数のアンケート回答者の回答状況を判断し、確信または自信を持てずに回答したと判断される質問項目については、より厳しく診断するという観点から、その質問の回答に対しては点数を低く与え、より実態に近くなるように採点するものとする。

ただし、アンケートの回答者が一人であったとしても以下で説明する方法は有効である。

図１は、本発明の一実施形態が適用されたアンケート採点システムの構成例を示す図である。

アンケート採点システムは、インタネットなどの通信網４を介して接続された、サーバ１と、複数の回答装置２と、複数の閲覧装置３とを有している。

これらの、サーバ１、回答装置２、及び閲覧装置３は、ＣＰＵ（Central Processing Unit）、メモリ（ＲＡＭ，ＲＯＭ）、補助記憶装置（ＨＤＤ）、通信インタフェース、これらの接続するシステムバス、キーボード、マウス等の入力装置、液晶ディスプレイ等の表示装置などを備えてなる汎用的なコンピュータシステムにより構成される。下記に説明するサーバ１、回答装置２、及び閲覧装置３の各構成要素及び機能は、ＣＰＵがメモリにロードした所定のプログラムを実行することにより達成される。各装置１、２、３のＲＯＭ、ＨＤＤには、各装置１、２、３が実行する処理のためのプログラムが予め格納されている。

サーバ１は、回答装置２にアンケートを表示するのに使用されるアンケート情報１３０を回答装置２に送信するアンケート送信部１１と、回答装置２から受信した回答結果を集計し配点情報１３６を用いて採点する採点処理部１２と、採点処理部１２で生成した採点結果を閲覧装置３に送信する採点結果送信部１３とを有する。

回答装置２は、サーバ１から受信したアンケートを表示装置に表示するアンケート表示部２１と、回答者から入力装置を介してなされる操作を入力イベントとして取得する入力イベント取得部２２と、入力イベント取得部２２が取得した入力イベントをサーバ１に送信する送信部２４とを有する。

閲覧装置３は、サーバ１から採点結果を受信する採点結果受信部３１と、採点結果を表示装置に表示する採点結果表示部３２とを有する。

サーバ１から回答装置２に送信されるアンケート情報１３０は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上のアプリケーションプログラムであっても、ＰＣ上で動作するＪａｖａアプリケーションのようなクライアントプログラムであってもよい。

回答装置２、閲覧装置３は１台であっても、複数台であってもよい。

また、サーバ１、回答装置２、閲覧装置３は、通信網４を介さない物理的に１台の装置であって、上記で説明した機能を１台の装置の中に有するものであってもよい。あるいは、回答装置２は、閲覧装置３を兼ねてもよく、閲覧装置３が有する採点結果受信部３１および採点結果表示部３２を備えていてもよい。

次に、上記のように構成されるアンケート採点システムの動作について説明する。

図２は、アンケート採点システムの処理フローを示す図である。

まず、サーバ１のアンケート送信部１１は、サーバ１の記憶装置に記憶されているアンケート情報１３０を、回答装置２に送信する（Ｓ１１０）。上述のとおり、アンケート情報１３０は、回答装置２に複数の質問からなるアンケートを表示するための情報である。

回答装置２のアンケート表示部２１は、サーバ１からアンケート情報１３０を受信すると、アンケート情報１３０に基づいて表示装置にアンケートを表示する（Ｓ１１２）。

図３は、アンケート情報１３０に基づいて表示装置にアンケートを表示した様子を示す。アンケート表示部２１は、回答装置２の表示装置の表示画面２０１に、アンケートの質問ごとに、質問内容２０２と、回答者が回答を選択するためのラジオボタン２０３と、選択肢番号２０４と、選択肢番号に対応する選択肢の内容２０５とを表示する。また、回答者から回答結果の送信命令を受け付けるための「送信ボタン」２０６を、すべての質問の最後（最下部）に配置し表示する。

ラジオボタン２０３は、１つの質問に１つのみ選択可能となっている。また、各ラジオボタン２０３には、選択肢番号２０４に対応させた識別コード（ＩＤ）が付与されている。

なお、回答の選択肢の数はアンケート全体を通して同じ数であっても、質問ごとに異なっていてもよい。また、図３では、選択肢を、達成度または成熟度が高い順番に上から並べているが、必ずしも達成度または成熟度が高い順番に並べる必要はない。

回答者は、各質問について最も近い内容の選択肢を一つ選び、その選択肢の左隣にあるラジオボタン２０３を押す（クリックする）ことになる。例えば、図３の質問Ｑ１「組織としてシステムやアプリケーションの調達・開発に関する方針や手続きを文章化していますか？」という質問に対して、回答者が「十分に文章化している」と考えた場合は、選択肢番号「１」の左隣にあるラジオボタン２０３がマウスによりクリックされる。

入力イベント取得部２２は、いずれかのラジオボタン２０３が選択された場合、選択されたラジオボタン２０３のＩＤに対応する回答内容（選択肢番号）を、選択された時刻とともに取得し、入力イベントデータ１３１として蓄積する（図２のＳ１１４）。

図４は、入力イベントデータ１３１の構成例を示す。入力イベントデータ１３１は、時刻ごとのレコード１３１１からなり、各レコード１３１１には、時刻１３１２と、質問番号１３１３、回答内容（選択肢番号）１３１４とが格納される。

具体的には、入力イベント取得部２２は、いずれかの質問のラジオボタン２０３が押されたことをイベントとして検知すると、押されたラジオボタン２０３のＩＤに対応する質問番号と回答内容を特定する。そして、入力イベントデータ１３１に、レコード１３１１を追加し、追加したレコード１３１１に、ラジオボタン２０３が押された時刻１３１２と、特定した質問番号１３１３と、回答内容１３１４とを格納する。なお、回答が修正された場合、回答が修正された質問の質問番号１３１４が付与されたレコード１３１１が追加される。すなわち、回答が修正された場合、質問番号１３１３が同じレコード１３１１が複数登録されることになる。

入力イベント取得部２２は、回答者がすべての質問に対して回答を終了し、最後に送信ボタン２０６が押されたことを検知すると、それまでに蓄積した入力イベントデータ１３１をサーバ１に送信するように送信部２４に指示する。これを受けて、送信部２４は、蓄積された入力イベントデータ１３１を、サーバ１に送信する。

なお、送信部２４は、入力イベント取得部２２がイベントの発生を検知して入力イベントデータ１３１を生成するたびに、サーバ１と非同期通信を行い、新たに生成された入力イベントデータ１３１をサーバ１にリアルタイムに送信するようにしてもよい。または、送信部２３は、定期的に、蓄積された入力イベントデータをサーバ１に送信するようにしてもよい。

いずれの場合においても、ＷＷＷ上のアプリケーションとして提供するなら、既存のＡｊａｘ（Ａｓｙｎｃｈｒｏｎｏｕｓ ＪａｖａＳｃｒｉｐｔ＋ＸＭＬ）技術やＡｄｏｂｅ社のＦｌａｓｈ技術を利用することにより実現可能である。一方、Ｊａｖａアプリケーションのようなクライアントプログラムとして提供するなら、クライアントプログラムとサーバ間で既存のソケット通信技術やＷｅｂサービス技術などを利用することにより実現可能である。

次に、サーバ１の採点処理部１２は、回答装置２の送信部２４から送信された入力イベントデータ１３１を受信し、入力イベント情報１３２に変換した後、サーバ１の記憶装置に格納する（図２のＳ１２０）。

図５は、入力イベント情報１３２の構成例を示す図である。全ての回答者がアンケートに回答した場合、記憶装置には、回答者の数の入力イベント情報１３２が格納される。すなわち、回答者ごとに入力イベント情報１３２は管理される。

入力イベント情報１３２は、質問番号１３２１ごとのレコードからなり、各レコードには、質問番号１３２１と、回答内容１３２２と、回答順序１３２３と、回答時間１３２４とが格納される。

回答内容１３２２は、その質問（質問番号１３２１の質問）の最終的な回答である。まず、採点処理部１２は、入力イベントデータ１３１の中から、その質問の質問番号１３１３のレコード１３１１を抽出する。そして、抽出したレコード１３１１の中で時刻１３１２が最も遅いレコード１３１１を特定し、特定したレコード１３１１の回答内容１３１４を求める。求めた回答内容１３１４を、入力イベント情報１３２の対応する質問番号１３２１のレコードの回答内容１３２２として格納する。

回答順序１３２３は、その質問（質問番号１３２１の質問）について最終的な回答がされた順番である。まず、採点処理部１２は、上記のようにして、各質問について、最終的な回答内容１３２２が格納されたレコード１３１１を特定して、特定した各レコード１３１１の時刻１３１２から、各質問の最終的な回答時刻を求める。そして、最終的な回答時刻が早い順に各質問を並べてることにより、回答順序１３２３を定め格納する。

回答時間１３２４は、１つ前の質問を回答してからその質問を回答するまでに要した時間である。また、回答が修正された場合、修正前の回答時間も合算する。まず、採点処理部１２は、入力イベントデータ１３１の中から、その質問の質問番号１３１３のレコード１３１１を抽出する。そして、抽出した各レコード１３１１について、時刻１３１２と、そのレコード１３１１の直前に格納されたレコード１３１１の時刻１３１２との差を求める。さらに、求めた差を合計して、最終的な回答時間１３２４として格納する。

図５に示した入力イベント情報１３２において、１番上の行は、「質問番号Ｑ１の質問において、回答者は回答内容として３を選択し、この質問を回答するのに１０秒を要し、１番目に回答した」ことを意味する。一方、上から３番目の行は、「質問番号Ｑ３の質問において、回答者は回答内容として１を選択し、この質問を回答するのに３０秒を要し、４番目に回答した」ことを意味する。

なお、リアルタイムに入力イベントデータ１３１を受信する場合、採点処理部１２は、新たに入力イベントデータ１３１を受信するたびに、それまでに蓄積された入力イベントデータ１３１に基づいて、上記の方法で、回答内容１３２２と、回答順序１３２３と、回答時間１３２４とを求め直し、入力イベント情報１３２を上書きする。

すなわち、回答者が一度回答した質問の回答内容を修正した場合には、採点処理部１２は、新しく選択された回答内容を当該質問の回答内容１３２２に格納する。また、修正により回答順序が変わる可能性があるが、採点処理部１２は、入力イベント情報１３２の全体の回答順序を再計算し、回答順序に変更があれば該当する質問の回答順序１３２３を上書きし修正する。

また、回答時間については、採点処理部１２は、これまでの回答時間および修正に要した回答時間の総和を計算し直し、当該質問の回答時間１３２４に上書きし修正する。

以上の方法により、リアルタイムで入力イベントデータ１３１を受信する場合でも、採点処理部１２は、入力イベント情報１３２を常に最新の回答状況を反映したものとすることができる。

こうして、採点処理部１２は、回答者ごとに、入力イベント情報１３２を生成する。そして、所定の複数の回答者からアンケートの回答が完了した後に、以下のアンケートの採点処理を行う。

まず、採点処理部１２は、入力イベント情報１３２を利用して、回答者が確信または自信を持てずに回答したと判断される質問を抽出し、回答修正候補情報１３３に格納する（図２のＳ１３０）。

図６は、回答修正候補情報１３３の構成例を示す図である。回答修正候補情報１３３には、質問番号１３１１ごとに、各回答者（図６ではＡさん〜Ｅさん）の回答修正候補フラグ１３３２が格納されている。回答修正候補フラグ１３３２には、回答者が確信または自信を持てずに回答したと判断された場合、回答修正候補であるとして「１」が格納され、それ以外の場合は初期値の「０」が格納される。

一般に、アンケートの上から順番に質問を読んで回答し、質問内容に対して確信または自信を持って回答する場合は回答選択に時間はかからない。しかし、質問内容に対して確信または自信を持てずに回答する場合は回答選択に時間がかかったり、当該質問の回答を保留し、次の質問に進み、再び後で戻ってきて回答し直すと考えられる。

そこで、採点処理部１２は、回答順序が元の質問番号順か否か、及び回答時間が所定の閾値（例えば、３０秒）を超えるか否かを調べる。そして、回答順序が質問番号順でない場合、かつ回答時間が所定の閾値を超える場合は、回答者が確信または自信を持てずに回答したと判断し、回答修正候補フラグ１３３２に「１」を格納する。なお、採点処理部１２は、回答順序が質問番号順であるか否かを、入力イベント情報１３２を参照して、その質問の質問番号１３２１の回答順序１３２３が、質問番号１３２１が１つ前である質問の回答順序１３２３の次であるか否かを判定し、次である場合は質問番号順であると判定し、そうでない場合、質問番号順でないと判定する。

例えば、図５の入力イベント情報１３２の場合、回答順序を変更した（つまり、回答を一度保留し再び後で戻ってきて回答した）質問は、質問番号Ｑ３、質問番号Ｑ５、質問番号Ｑ６である。また、回答時間が予め定められた閾値（３０秒）以上である質問は質問番号Ｑ３、質問番号Ｑ４、質問番号Ｑ５、質問番号Ｑ７である。従って、採点処理部１２は、これらの回答順序と回答時間に基づいて、質問番号Ｑ３と質問番号Ｑ５に関しては、回答者が確信または自信を持てずに回答したと判断し、回答修正候補フラグ１３３２に「１」を格納する。

なお、本実施形態では、回答者が確信または自信を持てずに回答したと判断する基準は、回答順序および回答時間に基づいているが、回答順序または回答時間のどちらか一方のみに基づいて判断することも可能である。

また、修正の回数により判定してもよい。例えば、採点処理部１２は、入力イベントデータ１３１の中に、その質問番号１３１２のレコード１３１１が所定数以上格納されている場合、回答者が確信または自信を持てずに回答したと判断し、その質問を回答修正候補とすることができる。

こうして、採点処理部１２は、すべての回答者のアンケート結果（入力イベント情報１３２）について回答修正候補フラグ１３３２を求め、回答修正候補情報１３３に格納する。

次に、採点処理部１２は、回答修正候補情報１３３を利用して、複数回答者全体の回答内容から各質問について確信または自信を持てずに回答したと判断できる質問を決定し、回答修正項目情報１３４に格納する（図２のＳ１４０）。

かかる処理を行うのは、ある質問に対して、一人の回答者が確信または自信を持てずに回答したとしても、その他の多数の回答者が確信または自信を持って回答したならば、その質問については全体として確信または自信を持って回答したと判断することができるからでる。

図７は、回答修正項目情報１３４の構成例を示す図である。

回答修正項目情報１３４には、質問番号１３４１ごとに、回答修正項目フラグ１３４２が格納される。回答修正項目フラグ１３４２には、その質問について回答者全体として確信または自信を持てずに回答したと判断された場合、回答修正項目であるとして「１」が格納される。一方、回答修正項目ではない場合は「０」が格納される。

具体的には、採点処理部１２は、回答修正候補情報１３３を参照して、質問番号１３３１ごとに、回答者の所定数（例えば、半数以上）において、回答修正候補フラグ１３３２が「１」か否か判定する。そして、回答者の所定数において、回答修正候補フラグ１３３２が「１」である場合、回答修正項目情報１３４の対応する質問番号１３４１の回答修正項目１３４２に、「１」を格納する。それ以外の場合は、「０」を格納する。

例えば、図３の質問Ｑ１に対して、一人の回答者Ｃさんが「十分文章化している」かどうかという記憶が曖昧で回答選択番号「２」を選択したとしても、他のすべての回答者が自信を持って「十分文章化している」と考えて回答選択番号「１」を選択したならば、この質問Ｑ１に関しては全体としては確信または自信を持って回答されていると判断される。そこで、採点処理部１２は、回答修正項目フラグ１３４２に「０」を格納する。

その他の質問についても同様に、図６の回答者修正候補情報１３３を利用して、質問番号Ｑ２に関しては、すべての回答者が「０」である（つまり、回答修正候補ではない）ので、全体としては確信または自信を持って回答されていると判断される。そこで、採点処理部１２は、回答修正項目フラグ１３４２に「０」を格納する。

一方、質問番号Ｑ３に関しては、Ｃさん以外の回答者（つまり、半数以上の回答者）はすべて「１」である（つまり、回答修正候補である）ので、全体としては確信または自信を持てずに回答したと判断される。そこで、採点処理部１２は、回答修正項目フラグ１３４２に「１」を格納する。

なお、全体として確信または自信を持てずに回答したと判断する基準は、「全回答者の半数以上」と定めたが、複数回答の全員である場合、または一人でもいた場合、または全体の一定割合以上などとしてもよい。

こうして、採点処理部１２は、全ての質問について回答修正項目フラグ１３４２を求めて、回答修正項目情報１３４に格納する。

次に、採点処理部１２は、入力イベント情報１３２および回答修正項目情報１３４を利用して、各質問について回答者全体として選択された代表的な回答内容（選択肢番号）を決定し、回答結果情報１３５に格納する（図２のＳ１５０）。

図８は、回答結果情報１３５の構成例を示す図である。回答結果情報１３５には、質問番号１３５１ごとに、最終的に決定された回答内容１３５２が格納される。以下に具体的に説明する。

例えば、入力イベント情報１３２に基づくと、実施状況を問う質問に対して、ある回答者は「十分実施している」と考えて回答内容「１」が選択されており、ある回答者は「実施状況は十分ではない」と考えて回答内容「２」を選択されている場合がある。さらに、その回答内容が、回答修正項目情報１３４によれば、確信または自信を持てずに回答したと決定されている場合もある。

そこで、確信または自信を持てずに回答したと決定された質問に対しては、より厳しく診断するという観点から、その質問における達成度または成熟度は回答されたものより一段階低いと判断して、達成度または成熟度が一段階低い回答内容に修正する。

具体的には、まず、採点処理部１２は、全体としてどの回答内容が選択されたかを決定するために、各質問について、入力イベント情報１３２を参照して、複数の回答者の中で最も多く回答された回答内容１３２２を抽出し、全体として選択された回答内容１３５２とする。

さらに、採点処理部１２は、質問ごとに、回答修正項目情報１３４を参照して、回答修正項目フラグ１３４２を調べ、「０」の場合は、回答内容１３５２を修正しない。一方、回答修正項目フラグ１３４２が「１」の場合、回答内容１３５２を一段低いレベルに落とす。例えば、選択肢番号がレベル順の場合、回答内容１３５２の選択肢番号に１を足して修正する。

図６の例では、質問番号Ｑ３の質問に対して、複数の回答者の回答の中で回答内容「１」と回答している人が最も多い。また、図７の回答修正項目情報１３４より質問番号Ｑ３は回答修正項目であるため、採点処理部１２は、回答内容「１」より達成度または成熟度が一段階低い回答内容「２」に修正する。

一方、図６の例では、質問番号Ｑ４の質問に対して、複数の回答者の回答の中で回答選択番号「２」と回答している人が最も多い。また、図７の回答修正項目情報１３４により質問番号Ｑ４は回答修正項目ではないため、採点処理部１２は、回答内容１３５２を「２」のままで修正しない。

こうして、採点処理部１２は、各質問について代表的な回答内容１３５２を決定し、回答結果情報１３５に格納する。

なお、全体としてどの回答内容が選択されたかを決定する基準は、最も多くの回答者が選んだ回答内容としたが、さらに厳しく診断するという観点から、最も低い達成度または成熟度を表す回答内容とすることも可能である。

次に、採点処理部１２は、回答結果情報１３５および配点情報１３６を利用して、アンケートを採点し、その採点結果を閲覧装置３に送信する（図２のＳ１６０）。

図９は、配点情報１３６の構成例を示す図である。配点情報１３６には、質問番号１３６１ごとに、各回答内容の配点１３６２が格納されている。

例えば、図９の例の場合、一番上の行は、「質問番号Ｑ１の質問において、回答内容１が選択された場合は１０点、回答内容２が選択された場合は５点、回答内容３が選択された場合は０点を与える」ことを意味する。

なお、図３のアンケート表示画面２０１で示したように、質問番号Ｑ１の質問には、選択肢が３個しか与えられていないため、図９の配点１３６２には、配点が格納されておらず、「−」と表記している。

なお、配点は、所定の配点方法により予め定められているが、配点方法については、質問内容に対する回答内容の達成度または成熟度を示す点数であればよい。従って、質問によっては図９の質問番号Ｑ１のように１０点満点の質問もあれば、質問番号Ｑ５のように１５点満点の質問があってもよい。また、各質問において一番低い点数が必ずしも０点である必要はない。

採点処理部１２は、回答結果情報１３５から各質問の回答内容１３５２を特定し、配点情報１３１を参照して、その回答内容１３５２の配点を求める。さらに、各質問を、類似する領域のものでグループ分けし、その質問領域に属する質問の点数を合計することにより、各グループの点数（得点）を求める。グループには、「技術インフラ調達」、「方針・手続の作成・保守」などがあり、各質問の属するグループは予め定められているものとする。

なお、採点結果は、単に、各質問の配点の総和に対して何点獲得したかをパーセント表示しただけのものでもよい。

採点処理部１２は、こうして採点結果を生成すると、閲覧装置３から採点結果の送信要求を受け付ける。

閲覧装置３の採点結果受信部３１は、サーバ１から採点結果を受信すると、採点結果表示部３２を介して、表示装置に、採点結果を表示する（図２のＳ１６５）。

図１０は、採点結果の表示画面３０１の一例を示す図である。採点結果表示部３２は、サーバ１から受信した採点結果（各質問が属するグループごとの達成度（点数））を用い、質問領域を軸として採点結果を視覚表示したレーダチャート３０２を表示する。さらに、質問領域の名称３０３及び質問領域における達成度３０４からなる表を表示する。

こうして、アンケート採点システムは、閲覧装置３に採点結果を表示する。

以上、本発明の一実施形態について説明した。本実施形態によれば、複数のアンケート回答者の回答状況に基づいて、確信または自信を持てずに回答したと判断される質問項目については、採点を修正（例えば、達成度は低くなるように減点）することができるので、より実態に近い診断結果を与えることが可能となる。

本発明は、上記実施形態に制限されない。上記実施形態は、様々な変形が可能である。

＜変形例１＞
上記実施形態の回答内容決定処理Ｓ１５０では、回答修正項目情報１３４を参照して、回答修正項目である質問に対しては、質問の実施状況が回答されたものより達成度または成熟度が一段階低いと判断して、達成度または成熟度が一段階低い回答内容（選択肢番号）に修正した。しかし、これに限定されず、採点処理部１２は、回答内容を修正するのではなく、回答内容をそのままにして、採点処理Ｓ１６０において一定点数を減点する方法でもよい。

この場合、回答結果情報１３５の回答内容１３５２には、入力イベント情報１３２から計算された回答内容が格納され、修正されることはない。

なお、採点処理部１２は、減点対象となる質問番号を記憶しておき、採点処理Ｓ１６０において、減点対象でありかつ回答修正項目の質問については、採点を行う際に、得点の減点を行ってもよい。

＜変形例２＞
企業向け診断では、企業の規模や業種によって、質問の重みが変わることがある。そこで、サーバ１は、記憶装置に、配点情報１３６とは別に「質問重み情報」を記憶していてもよい。採点処理部１２は、各質問について点数を決定する際に、重みが付いている質問に対して、配点情報１３６の配点１３６２を一定割合増加させた点数を付ける。

例えば、企業向け内部統制の実施状況を診断するアンケートにおいて、特に重要な質問を主要統制として配点および得点を一定数（例えば、１．５倍）増加させることにより、実施状況の有無をより際立たせて、実態により近い結果を得ることができる。

＜変形例３＞
上記実施形態では、各質問の回答修正候補か否かの判定を、その質問の回答時間が所定の閾値を超えたか否かで判定した。しかしながら、予め想定した回答時間の閾値では、アンケート対象企業（団体）の実体に即した適切な値になっていない可能性がある。また、質問内容によっては、読むのに時間がかかり、回答時間にばらつきが生じる場合がある。そこで、かかる閾値を、一律な値とせず、回答者の回答状況（回答時間）に応じて随時変更してもよい。

図１１は、回答修正候補か否かを判定するのに用いる閾値を決めるための判定時間情報１４０の構成例である。

例えば、採点処理部１２は、入力イベント情報１３２を生成した後（Ｓ１２０）、生成した入力イベント情報１３２を用いて、質問番号１４０１ごとに、全回答者の回答時間１３２４の平均値１４０２を求める。そして、質問番号１４０１ごとに、その回答時間の平均値１４０２に所定の時間（例えば、１０秒）を足した時間を求め、求めた時間を、その質問が回答修正候補か否かを判定する閾値１４０３に設定する。

このように回答者の回答状況に応じて閾値を変更することで、回答修正候補か否かの判定をより精度よく行うことができる。

＜変形例４＞
サーバ１でリアルタイムにアンケート回答を取得する場合、回答状況に応じて、アンケート内容を変更してもよい。例えば、ある質問について「回答順序を後回しにして回答に時間を要した」と判断される質問があった場合は、図１２に示すように、その質問に関連する別の具体的な補足質問２１０を動的に追加する。

具体的には、サーバ１の記憶装置のアンケート情報１３０には、予め各質問について補足質問が記憶されている。そして、採点処理部１２は、回答装置２から入力イベントデータ１３１をリアルタイムに受信し、上記実施形態と同様にして入力イベント情報１３２を生成する。また、回答された質問について、回答修正候補か否かを判定し、回答修正候補であると判定された場合、アンケート送信部１１に、その質問の補足質問を回答装置２に送信するように指示する。これを受けて、アンケート送信部１１は、補足質問を、対応する回答装置２に送信する。回答装置２のアンケート表示部２１は、図１２に示すように、表示画面２０１に、補足質問２１０を付加して表示する。なお、補足質問の回答は、通常の質問と同様に、入力イベントデータ１３１として、サーバ１に送信される。また、アンケート画面２０１の動的な書換えは、Ａｊａｘ技術またはＤｙｎａｍｉｃ ＨＴＭＬ技術などを利用して行うことができる。

こうすれば、回答者のアンケートの回答中に、その回答状況によって質問内容を動的に変更することができる。これによって、回答者が曖昧な回答を行っても、具体的にどのあたりが曖昧なのかを突き詰めることが可能になる。

＜変形例５＞
上記実施形態では、入力イベント情報１３２の各質問の回答時間１３２４を、その質問の回答時刻と、前の質問の回答時刻との差により求めていた。しかし、回答者によっては、質問を読んでも回答しないでスキップする場合があるので、その質問の回答時間１３２４に、他の質問の検討に要した時間が含まれてしまう場合がある。そこで、より実体に即した回答時間を求めるようにしてもよい。

例えば、回答順序が「Ｑ１→Ｑ２→Ｑ４→Ｑ３→Ｑ５」の場合、上記実施形態で求めたＱ４の回答時間１３２４には、「Ｑ３の質問内容を読んで保留した時間」が含まれている。そこで、「Ｑ３の質問を読んで保留した時間」を推定し、その時間を差し引くことにより、Ｑ４の回答時間の精度を向上させる。

具体的には、採点処理部１２は、質問の回答時間を求める際、質問番号１３２１と回答順序１３２３を比較して、その質問の回答までにスキップされた質問を特定する。上記の例では、Ｑ４については、Ｑ３がスキップした質問である。そして、スキップした質問の保留時間（上記の例では、「Ｑ３の質問を読んで保留した時間」）を、例えば、上記変形例３で説明したように、回答者の平均回答時間を計算し求める。そして、対象の質問の回答時刻と、前の質問の回答時刻との差により求めた回答時間（すなわち、上記実施形態の回答時間１３２４に相当）から、スキップした質問の保留時間（全回答者の回答時間の平均）を差し引いて、その質問の回答時間１３２４とする。

例えば、入力イベントデータ１３１から「Ｑ２を回答してからＱ４を回答するまでの時間」が４０秒であり、スキップされたＱ３の平均回答時間が１５秒である場合は、採点処理部１２は、Ｑ４の回答時間１３２４を４０−１５＝２５秒と計算する。

また、スキップした質問の保留時間を検知して回答時間１３２４を求めてもよい。例えば、採点処理部１２は、スキップされた質問の回答が入力された際に、そのスキップした質問の回答時刻と前の質問の回答時刻との差（上記実施形態の回答時間１３２４に相当）と、そのスキップした質問の保留時間との総和を計算し、回答時間１３２４とする。例えば、「Ｑ３に１５秒を要して、回答を保留した」ことを入力イベントデータ１３１により取得し、スキップされたＱ３の回答が入力された際には、そのときに要した回答時間と保留時間（１５秒）の総和を計算し、Ｑ３の回答時間１３２４とする。

なお、アンケートをＷｅｂ画面（ＨＴＭＬページ）で提供している場合、Ａｊａｘ技術（ＪａｖａＳｃｒｉｐｔプログラム）を利用すれば、アンケート画面上でのマウスのスクロールをイベントデータとして取得することで、スキップされた質問の保留時間を検知することができる。

例えば、採点処理部１２は、マウススクロールのイベントの発生時刻を、次の質問に移った時刻とする。この場合、前の質問の回答時刻から、マウススクロールのイベント発生時刻までが、スキップした質問の保留時間（上記の例では、「Ｑ３の質問を読んで保留した時間」）として求められる。

なお、同じ画面内に最初Ｑ１〜Ｑ３の質問の表示がされ、Ｑ１の回答後にマウススクロールがありＱ４の質問が表示された場合で、回答順序が「Ｑ１→Ｑ４→Ｑ２→Ｑ３→・・・」となった場合、「マウススクロールからＱ４回答までの時間」をＱ４の回答時間と求められる。しかし、同じ画面内にＱ１，Ｑ２の質問が表示され、その後ページめくりにより、Ｑ３，Ｑ４の表示がされる場合は、「マウススクロールからＱ４回答までの時間」は、「Ｑ３の保留時間とＱ４の回答時間の総和」になってしまう。

従って、スクロールイベントを検知して保留時間を求める方法は、スクロールされた場合に新たに表示される質問の数が限定されている場合、画面サイズが固定されている、画面内の質問数が固定されている（１〜２問程度）などの制限がある場合に、有効である。

なお、本発明は、企業、個人、グループなどを対象としたアンケート、アセスメント、意見収集などを支援する情報システムまたは情報サービスとして利用可能である。

また、質問は、アンケートに限らず、テスト問題であってもよい。複数の回答者のテストの結果を評価・分析するのに有効である。

本発明の実施形態におけるアンケート採点システムの構成例を示す図である。 実施形態のアンケート採点システムの処理フローを示す図である。 実施形態のアンケート表示画面の一例を示す図である。 実施形態の入力イベントデータの一例を示す図である。 実施形態の入力イベント情報の一例を示す図である。 実施形態の回答修正候補情報の一例を示す図である。 実施形態の回答修正項目情報の一例を示す図である。 実施形態の回答結果情報の一例を示す図である。 実施形態の配点情報の一例を示す図である。 実施形態の採点結果表示画面の一例を示す図である。 実施形態の判定時間情報の一例を示す図である。 実施形態のアンケート表示画面の一例を示す図である。

符号の説明

１ サーバ
２ 回答装置
３ 閲覧装置
４ 通信網

Claims (15)

1. 質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムであって、
   前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信する入力イベント送信手段を有し、
   前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、
   前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、
   前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、
   前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、
   予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段とを有し、
   前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧手段を有する
   ことを特徴とする質問採点システム。
2. 請求項１に記載の質問採点システムであって、
   前記入力イベント取得手段は、回答者による質問に対する入力イベントを入力イベントを受け付けるたびに前記サーバ装置に送信する
   ことを特徴とする質問採点システム。
3. 請求項１に記載の質問採点システムであって、
   前記入力イベント取得手段は、回答者による質問への入力イベントを、送信ボタンが押されたときにまとめて前記サーバ装置に送信する
   ことを特徴とする質問採点システム。
4. 請求項１に記載の質問採点システムであって、
   前記回答修正候補抽出手段は、前記入力イベント情報を利用して、回答時間が所定時間を超えた質問を回答修正候補として抽出し、回答修正候補情報に格納する
   ことを特徴とする質問採点システム。
5. 請求項１に記載の質問採点システムであって、
   前記回答修正候補抽出手段は、前記入力イベント情報を利用して、回答順序が変更され、かつ回答時間が所定時間を超えた質問を回答修正候補として抽出し、回答修正候補情報に格納する
   ことを特徴とする質問採点システム。
6. 請求項１に記載の質問採点システムであって、
   前記回答修正項目決定手段は、前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問であり、かつ当該質問が質問の重要度を表す重みが付加された質問であるなら、当該質問を回答修正項目として決定し、回答修正項目情報に格納する
   ことを特徴とする質問採点システム。
7. 請求項１に記載の質問採点システムであって、
   前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として回答された回答内容の中で最も達成度の低いとされる回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を一段階達成度の低いとされる回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する
   ことを特徴とする質問採点システム。
8. 請求項１に記載の質問採点システムであって、
   前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として一番多く回答された回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、当該質問の得点を所定の点数減点する
   ことを特徴とする質問採点システム。
9. 請求項１に記載の質問採点システムにおいて、
   前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として一番多く回答された回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であり、かつ当該質問が質問の重要度を表す重みが付加された質問であるなら、当該質問の配点を所定の割合で増加させる
   ことを特徴とする質問採点システム。
10. 請求項１から請求項１０のいずれか一項に記載の質問採点システムであって、
    複数の回答者による回答内容から一つの採点結果を計算することを特徴とする質問採点システム。
11. 質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムの質問採点方法であって、
    前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信し、
    前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納ステップと、
    前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出ステップと、
    前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定ステップと、
    前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定ステップと、
    予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理ステップとを行い、
    前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧ステップを行う
    ことを特徴とする質問採点システム。
12. コンピュータを質問採点システムとして機能させるプログラムであって、
    回答者による質問への入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、
    前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、
    前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、
    前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、
    予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段として、
    前記コンピュータを機能させることを特徴とするプログラム。
13. コンピュータにより実現される質問採点システムであって、
    複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、
    前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、
    前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、
    前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、
    前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、
    前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段と
    を備えることを特徴とする質問採点システム。
14. コンピュータにより実現される質問採点システムの質問採点方法であって、
    複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得ステップと、
    前記回答結果取得ステップで取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得ステップと、
    前記回答状況取得ステップで求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定ステップと、
    前記修正候補決定ステップで決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定ステップと、
    前記回答結果取得ステップで取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得ステップと、
    前記代表回答取得ステップで取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正ステップと
    を有することを特徴とする質問採点システムの質問採点方法。
15. コンピュータを質問採点システムとして機能させるプログラムであって、
    複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、
    前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、
    前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、
    前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、
    前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、
    前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段として、
    前記コンピュータを機能させることを特徴とするプログラム。

Images