JP2000112924A - 投票方式による評価支援方法およびシステム - Google Patents

Abstract

(57)【要約】 【課題】 従来は、評価の客観性、正当性、透明性を維
持することが困難であり、かつ意図的に不公平な評価が
行われることがあるという課題があった。 【解決手段】 複数の評価者が被評価対象ごとに採点し
た結果を、コンピュータシステムを利用した評価システ
ムに入力することにより被評価対象の評価結果を算出す
ると共に、評価者の採点傾向をに分析し、評価者自身に
知らせ、評価者は、自己の評価傾向をみて再評価を行
い、その結果を再入力し、被評価対象の最終評価結果を
得ることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、投票方式による人
またはものの評価支援システムおよび方法に関する。

【０００２】

【従来の技術】企業内の人事考課、各種コンクールでの
作品等の評価等では、評価の権限を有する者の主観的評
価や委員会による協議等によって行われる場合が多い。
また、体操競技やフィギュアスケート競技の採点のよう
に複数の評価者が採点を行い、最高点と最低点を除外し
残りの採点を加算する方法も行われている。また、人気
投票のように投票数をカウントする方法もある。

【０００３】コンピュータシステムを利用し、人または
ものの評価を支援するシステムについては、例えば特開
平10−１０５５９７に開示されているように、サーバー
マシンを用いて技術者が取得した資格、および実務能力
をポイントで入力し、これらをポイントを計算し前年度
の技術等級に基づき今年度の技術等級を判定し出力する
ことを特徴とする評価システムがある。

【０００４】

【発明が解決しようとする課題】人事考課、各種コンク
ールなど、人またはものの評価をする方法は、上述した
ような従来の評価システム等様々あるが、評価の客観
性、正当性、透明性を維持することは困難であるという
問題点があった。ときには、意図的に不公平な評価が行
われることがあるという問題点もあった。また、ある評
価者が採点した結果が周知になることにより、評価者が
何らかの不利益を被ることもあるという問題点もあっ
た。コンピュータシステムおよび通信ネットワークを利
用したデータベースシステムにおいては、データベース
に登録された被評価対象を一定の要件を満たす評価者に
よりリアルタイムでかつ自動的な評価を行うことが期待
されている。

【０００５】そこで、発明が解決しようとする課題は以
下の通りである。 （１）正当な評価者であることの担保および評価者への
なりすましの排除。 （２）意図的な不公平な評価の排除。 （３）多数の評価者の評価を容易にすることによる客観
性の確保 （４）評価者ごとの採点結果の秘密保持。

【０００６】

【課題を解決するための手段】本発明のでは、被評価対
象の評価点を入力する入力部から評価点を入力し、入力
された被評価対象の評価点を集計し評価結果を算出する
と同時に、評価者の評価傾向を分析し、この分析した結
果を評価者にフィードバックし、再入力を促すことによ
り評価の客観性・正当性を維持することを特徴とするも
のである。

【０００７】さらに、評価点を入力する入力部と、評価
者が本人であることを確認する本人確認部と、評価者
別、被評価対象別、評価項目別の集計を行う評価点管理
部と、評価者ごとの評価基準点を一致させる正規化部
と、評価者の評価の特異性を抽出する特異点抽出部と、
各種処理を実行するためのプログラムおよび各種データ
を記憶する記憶部と、評価結果、評価者の評価傾向を含
む処理結果を出力する出力部とを備えたものである。

【０００８】

【発明の実施の形態】本発明の実施の形態については、
図１から図１７までを参照しながら説明する。図1は、
本発明の概略的構成概念図を示す図である。本発明の構
成は、図１に示すように、評価者の採点を入力する入力
部１１と、入力者が正当であることを確認する本人確認
部１２と、評価点を管理する各種テーブルを記憶する記
憶部１８と、前記テーブルを生成・制御する評価点管理
部１３と、評価者ごとの基準点の相対性の補正すなわ
ち、評価者ごとの採点の甘さ、辛さを補正するための正
規化部１４と、評価者の採点傾向を分析し特異点を抽出
する特異点抽出部１５と、「評価システム」の分析結果
を出力するための出力部１６とを備えている。

【０００９】次に、上述した構成による本発明の動作に
ついて説明する。あるテーマについての評価にあたり、
適任の評価者を選任し、評価者IDを与える。各評価者
は、一定の期限までに、または、任意の時期に被評価対
象ごとの評価項目につき評価を行いその結果を評価者ID
と共に、入力部１１から入力する。

【００１０】本人確認部１２では、入力が権限のある評
価者か否かをチェックするが、これは、暗証番号入力、
指紋入力、眼の映像入力などの方法がすでに知られてい
るのでここでは詳述しない。

【００１１】本人と認められない場合は、前記評価結果
入力は、拒絶され、その旨出力部１６に表示される。

【００１２】一方、本人確認がなされると、評価点管理
部１３において、図２に示すように、当該評価者ごとに
当該採点データが評価テーブルＡに登算される。評価テ
ーブルＡは、評価者ごとに作成される。ある評価者Ｙｊ
が被評価対象Ｘ２について採点したときは、図2の２６
Ｘ２の行に評価点、ｐ２１、ｐ２２・・・ｐ２ｓが登算
される。このとき、すでに、前回の評価点が登算されて
いるときは、今回の評価点をこれに加算することをしな
いで、単に、今回の評価点に置き換える。このことによ
り、同一の評価者あるいは成りすまし評価者による意図
的な複数回入力による評価点の水増しを防止すると同時
に、評価者の任意の時点での評価の見直し・修正が可能
となる。すべての評価者が入力し終わるか、採点入力の
期間が経過したとき、または、入力部１１から指示があ
ったときは、図1の評価点管理部１３において、図2に示
すように、評価項目ごとに被評価対象の採点を加算し
（１≦i≦ｎ）、計２３を出す。さらにこれを、被評価
対象数ｎで割り評価項目ごとの平均値２１を求める。同
様に、被評価対象ごとに各項目の採点を加算し（1≦r≦
ｓ）、計２４を出す。さらにこれを、項目数で割り被評
価対象ごとの平均値２２を求める。以上で、図2の評価
テーブルＡが完成する。

【００１３】次に、評価テーブルＡをもとに２つの評価
テーブルＢ，Ｃが生成される。すなわち、評価テーブル
Ａは、評価者ごとに作成されるが、これを変形して、あ
る被評価対象についての評価者別、項目別の評価テーブ
ルＢ（図3）とある項目についての評価者別、被評価対
象別の評価テーブルＣ（図4）が生成される。評価テー
ブルＢおよび評価テーブルＣについても、評価テーブル
Ａと同様に経て横の合計値と平均値が求められる。評価
テーブルＣ（図4）の被評価対象別の合計値４３と平均
値４１は当該被評価対象の総合評価を示す。なお、評価
点ｐは、評価者Ｙj、被評価対象Ｘi、評価項目ｒを変数
とするＰの函数として次式で表される。 Ｐjir＝Ｐ（Ｙj：Ｘi：r） 式１ 図2はある評価者Ｙjのつけた評価点Ｐ（Ｘi：r）を表し
たもの、図３はある被評価対象Ｘiについての評価点Ｐ
（Ｙj：r）を表したもの、図４はある項目ｒについての
評価点Ｐ（Ｙj：Ｘi）を表したものである。

【００１４】次に、評価者の評価が特定の被評価対象に
よって偏りがないかを調べるため評価者ごとの採点傾向
をみる。採点傾向の分析の考え方を図5、図6、図7およ
び図8で説明する。ここで、Ｙ1、Ｙ2は、ある評価者
を、Ｘ1、Ｘ2、Ｘ３、Ｘiは、ある被評価対象を、av
は、評価点の平均値を示す。

【００１５】評価者の採点傾向は、次の3種に分類され
る。 （１）図5、図6に示すように、全体に高得点をつける評
価者と全体に低得点をつける評価者とその中間の評価
者。 （２）図7のように、特定項目によっては、評価点が平
均値から大きく離れる評価者。 （３）図8のＹ1ように、特定の被評価対象に高得点また
は低得点をつける評価者。

【００１６】図8では、Ｙ２は全体に平均値より辛い点
をつけているが平均値との採点差がほぼ均一なので評価
に特異性はない。一方、Ｙ１は、被評価者により平均値
との差異が異なり評価に特異性がある。

【００１７】このような、評価の特異性を発見するため
には、前記（１）のケースのように、全体に高得点をつ
ける評価者と全体に低得点をつける評価者とその中間の
評価者の採点に補正を加え評価者の採点相互の比較がで
きるように正規化を行う必要がある。この正規化は図1
の正規化部１４で行われる。

【００１８】始めに、ある被評価対象Ｘiについて、あ
る評価者Ｙj（仮にＹ2とする）の項目別の正規化を行
う。図３において、評価者Ｙ２の採点ｐ2rと３１平均値
のav（pjr）の差分の和を求め（1≦r≦ｓ）これを項目
数ｓ３５で割り、これを、被評価対象Ｘiに関する評価
者Ｙ２の平均差分davとする。 dav（Ｙ２：Ｘi）=1/ｓΣ（ｐ2r−av） 式２ 次に被評価対象Ｘiについて評価者Ｙ2の項目別の各評価
点ｐ2rから前記平均差分を減算し、正規化を行う。 Ｎ2r＝Ｎ2r（Ｙ２：Ｘi）＝ｐ2r−dav（Ｙ２：Ｘi） 式３ ここで、Ｎ2r（Ｙ２：Ｘi）は、被評価対象Ｘiに関し、
評価者Ｙ２の各項目ごとの評価値を平均値と比較し補正
した結果である。したがって、すべての項目について平
均値との偏差が等距離であれば平均値と等しくなる。同
様にすべての評価者Ｙとすべての被評価対象Ｘについて
Ｎjrが決まる。

【００１９】次にある項目r（仮に項目５とする）につ
いて、ある評価者Ｙj（仮にＹ２とする）の被評価対象
別の正規化を行う。図４において、評価者Ｙ２の採点ｐ
2iと平均値４１のav（pji）の差分の和（１≦i≦ｎ）を
求めこれを被評価対象数ｎで割り、これを、項目５に関
する評価者Ｙ２の平均差分dav（Ｙ２：５）とする。 dav（Ｙ２：５）=1/nΣ（ｐ2i−av） 式４ 次に項目rについて、評価者Ｙ２の被評価者別の各評価
点ｐ2iから前記平均差分を減算し、正規化を行う。 Ｍ2i＝Ｍ2i（Ｙ２：５）＝ｐ2i−dav（Ｙ２：５） 式５ ここで、Ｍ2i（Ｙ２：５）は項目５に関し評価者Ｙ２の
各被評価対象Ｘiごとの評価値を平均値と比較し補正し
た結果である。したがって、すべての被評価者について
平均値との偏差が等距離であれば平均値と等しくなる。
同様にすべての評価者Ｙとすべての項目についてＭjiが
決まる。

【００２０】正規化が完了すると図1の特異点抽出部１
５において特異点の抽出を行う。始めに、ある被評価対
象Ｘi（仮にＸ1とする）について、ある評価者Ｙj（仮
にＹ２とする）の項目別の特異点を抽出する。すなわ
ち、Ｎirと平均値av３１の差分が一定数より大きものを
特異点とする。 Ｗ2r＝|Ｎ2r−av|≧Ｃ （１≦r≦ｓ） 式６ この計算をすべての評価者、すべての被評価対象につい
て実行する。すなわち、ある被評価者Ｘiに関するある
評価者Ｙjについての項目別特異点は次の式で表現され
る。 Ｗ（Ｙj：Ｘi）＝|Ｎjr−av（jr）|≧Ｃ （１≦ｒ≦ｓ） 式７

【００２１】次にある項目i（仮に項目５とする）につ
いて、ある評価者Ｙj（仮にＹ２とする）の被評価対象
別の特異点を抽出をする。すなわち、Ｎ2iと平均値av４
１の差分が一定数より大きものを特異点とする。 Ｗ2i＝|Ｍ2i−av| （１≦i≦ｎ） 式８ この計算をすべての評価者、すべての項目について実行
する。すなわち、ある項目に関するある評価者Ｙjにつ
いての被評価対象別特異点は次の式で表現される。 Ｗ（Ｙj：ｒ）＝|Ｍji−av（ji）|≧Ｃ 式９

【００２２】特異点の抽出が完了するとその結果を図1
の出力部１６によりシステムの外部に出力する。出力
は、プリンタ、パーソナルコンピュータ等の表示部、イ
ンターネット等がある。

【００２３】出力は、図9、図10のように、表の形態と
図１１、図12のようにグラフ表示がある。図9の９１
は、評価者Ｙjの被評価者Ｘiについての評価項目別の評
価点、92は被評価者Ｘiについてのある項目の評価者の
平均点で図3の31と同一である。図9の93は、評価者Ｙj
の正規化値で、94は、平均値９２と正規化値９３の差分
で一定数C以上を特異点とする。特異点となった差分９
４は、太字表示、網掛け等の特異点を示すマークがされ
る。

【００２４】図11はある評価対象Ｘｉについて、Ｙjの
評価点が平均値９２から乖離している様子を示す。

【００２５】図１０の101は、評価者Ｙjの項目rついて
の被評価者別の評価点、102は被項目rについてのある被
評価者の評価者の平均点で図4の41と同一である。図10
の103は、評価者Ｙjの正規化値で、104は、平均値１０
２と正規化値１０３の差分で一定数C以上を特異点とす
る。特異点となった差分１０４は、太字表示、網掛け等
の特異点を示すマークがされる。

【００２６】図12はある項目rについて、Ｙjの評価点が
平均値１０２から乖離している様子を示す。図9、図1
0、図11、図12は、例示であり、このほかに各種の方法
が考えられる。

【００２７】特異点を有する評価者は、再考の上、再評
価を行い、入力部１１から評価点を入力をする。評価シ
ステム１３２の管理者は、評価者の評価傾向分析を行う
か、一連の評価のアクションを終了し最終的な被評価者
の評価結果を出力するかを判断する。

【００２８】本発明の実施の形態は、上述した構成及び
動作の通りである。以下、本発明の具体例を用いて説明
する。

【００２９】本発明の具体例として、マルチメディアク
リエータのデータベースにおける登録クリエータの評価
について説明する。情報化時代、マルチメディア時代を
迎え、マルチメディアのコンテンツを作成するマルチメ
ディアコンテンツクリエータ(以下単にクリエータとい
う）のマルチメディア産業における役割が重要になって
きている。

【００３０】しかしながら、クリエータの制作活動の実
態は、企業に属さずフリーで活動するケースか、企業に
属している場合がある。クリエータを抱えるコンテンツ
製作会社は、一般に零細企業であり仕事の発注は、人的
ネットワークによっている場合が多い。

【００３１】そこで、コンテンツ製作会社およびクリエ
ータのデータベース（以下、クリエータデータベースと
いう）を構築しインターネットを経由してこれらを検索
することにより、発注者の利便を図ると同時にコンテン
ツ製作会社およびクリエータ（以下、クリエータ等とい
う）の仕事の機会の増大を図り、ひいては、マルチメデ
ィアコンテンツ産業の活性化を目指している。

【００３２】この場合、発注者あるいは協業を行おうと
する者にとっては登録されたクリエータ等の質が重大な
関心事である。このため、クリエータ等の客観的評価を
いかに実現するかが課題となる。

【００３３】図１４において、図１の入力部１１は、ク
ライアント１４３またはサーバ１４２の図示されない入
力部に対応する。図1の評価点管理部１３、正規化部１
４、特異点抽出部１５は制御部１４６と記憶部１４７に
格納されるデータおよびプログラムと１４１に格納され
るデータに対応し、これらによってその機能が実現され
る。図1の出力部はクライアント１４３およびサーバ１
４２の図示されない出力部に対応し、図1の記憶部１８
は、データベース１４１と１４７一時記憶部を含む。ク
リエータの情報は、図１４のデータベース１４１に、記
憶・格納され、その構成の主なものは図１５に示す通り
である。

【００３４】クリエータデータベースの登録者の評価を
行うにあたり評価者を選任しなければならないが、当
然、当該クリエータを能力を客観的評価できることが評
価者の要件であり、発注経験者、共同制作経験者、各種
コンテストの審査委員経験者等から選任し評価者と被評
価者の対応づけを行う。図16は、評価者と被評価者の対
応づけのマトリックスで記憶部１８に記憶される。丸印
は評価者Ｙjが被評価者Ｘiに対する評価権限を有するこ
とを示す。バツ印は権限を有しないことを示す。

【００３５】評価者が選任されると評価者ＩＤと暗証番
号が付与され氏名、住所、電話番号などとともに記憶部
１８に記憶される。一定期間を設け各評価者に担当の被
評価者の採点を依頼する。評価点の入力はクライアント
１４３のキーボードから行うがこのときガイダンス画面
は被評価者ごとに表示されるが当該評価者が評価権限を
有する被評価者のみが表示される。始めに評価者ＩＤと
暗証番号を入力し評価点を入力する。これらのデータは
インターネット１４４を経由してサーバ１４２に送られ
る。本人確認部１２において１７１評価者情報テーブル
と照合が行われ正当な評価者か否かのチェックが行われ
る。暗証不一致のときはその旨１４３のクライアントの
画面に表示がされる。

【００３６】暗証一致のときは、当該評価者の図2評価
テーブルＡが被評価者ごとに生成される。このとき既に
評価点があっても今回の採点を有効にする。一定期間が
経過したときは、サーバ１４２の入力部からの指示によ
り評価点入力を打ち切り図3評価テーブルＢ、評価テー
ブルＣが生成される。以下、課題を解決するための手段
で述べたように正規化と特異点の抽出が行われる。特異
点の抽出が行われると図9、図10、図11、図12が作成さ
れ全評価者に電子メールで評価の集計が完了したことを
通知し自己の評価傾向を見るよう促す。このときも、評
価者ＩＤと暗証番号の入力を行い、本人確認を行って当
該の評価者の表とグラフのみを見ることができるように
する。これにより、評価者の採点結果の秘密保持が可能
となる。評価システムの管理者は、一定期限を設け再評
価を評価者に依頼する。

【００３７】以上で述べたように本人確認、評価点管理
処理、正規化、特異点の抽出が再度、行われ、図3をも
とに図15のクリエータごとの評価点テーブル155が作成
される。

【００３８】

【発明の効果】評価者を一定の権限を付与された者に限
定したこと、評価点入力時の本人確認および同一評価者
の同一被評価者の採点が複数回行われたときは、前回の
評価点に新評価点を加算せず単に評価点を置き換えるこ
とから、意図的な不正の登算の排除、正当な評価者であ
ることの担保および評価者の成りすましの排除を可能と
した。評価者の採点傾向を分析し本人に知らせ再評価を
促し、意図的な不公平な評価を排除した。また、採点傾
向の分析において、評価者ごとの採点の基準点が相対的
であることからこれらを正規化し相互の比較ができるよ
うにした。評価者ごとの採点傾向の情報は、本人確認に
より本人以外に閲覧をできないようにし、秘密保持を図
った。

【図面の簡単な説明】

【図１】本発明における構成を示す概念図である。

【図２】本発明における評価を示すテーブル表Ａであ
る。

【図３】本発明における評価を示すテーブル表Ｂであ
る。

【図４】本発明における評価を示すテーブル表Ｃであ
る。

【図５】本発明における評価者の項目別評価点のグラフ
イメージである。

【図６】本発明における評価者の被評価対象別評価点の
グラフイメージである。

【図７】本発明における評価者の項目別評価点のグラフ
イメージである。

【図８】本発明における評価者の被評価対象別評価点の
グラフイメージである。

【図９】本発明における評価者の評価結果表である。

【図１０】本発明における評価者の評価結果表である。

【図１１】本発明における評価者の評価結果のグラフで
ある。

【図１２】本発明における評価者の評価結果のグラフで
ある。

【図１３】本発明における基本構成を示す概念図であ
る。

【図１４】本発明におけるクリエータデータベースの概
念図である。

【図１５】本発明におけるクリエータの個人情報テーブ
ルである。

【図１６】本発明における被評価者と評価者の対応テー
ブル表である。。

【図１７】本発明における評価者情報テーブル表であ
る。

【符号の説明】 11 入力部 12 本人確認部 13 評価点管理部 14 正規化部 15 特異点抽出部 16 出力部 18 記憶部 21 項目別の被評価対象の平均値 22 被評価対象別の項目の平均値 23 項目別の被評価対象の合計 24 被評価対象別の項目の合計 25 項目 26 被評価対象 31 項目別の評価者の平均値 32 評価者別の項目の平均値 33 項目別の評価者の合計 34 評価者別の項目の合計 35 項目 36 評価者 41 被評価対象別の評価者の平均値 42 評価者別の被評価対象の平均値 43 被評価対象別の評価者の合計 44 評価者別の被評価対象の合計 45 被評価対象 46 評価者 91 ある被評価者に関するある評価者の項目別評価点 92 ある被評価者に関する項目別評価点の平均値 93 ある被評価者に関するある評価者の項目別正規化値 94 92と93の差分 101 ある項目に関するある評価者の被評価者別評価点 102 ある項目に関する被評価対象別評価点のの平均値 103 ある項目に関するある評価者の被評価対象別正規
化値 104 102と103の差分

Claims (4)

【特許請求の範囲】
1. 【請求項１】 被評価対象の評価点を入力する入力部か
   ら評価点を入力し、 該入力された前記被評価対象の評価点を集計し評価結果
   を算出し、 同時に、評価者の評価傾向を分析し、 該分析した結果を前記評価者にフィードバックし、 再入力を促すことにより評価の客観性・正当性を維持す
   ることを特徴とする評価の方法。
2. 【請求項２】 評価点を入力する入力部と、 評価者が本人であることを確認する本人確認部と、 評価者別、被評価対象別、評価項目別の集計を行う評価
   点管理部と、 前記評価者ごとの評価基準点を一致させる正規化部と、 前記評価者の評価の特異性を抽出する特異点抽出部と、 各種処理を実行するためのプログラムおよび各種データ
   を記憶する記憶部と、 評価結果、前記評価者の評価傾向を含む処理結果を出力
   する出力部とを備えたことを特徴とする評価システム。
3. 【請求項３】 コンピュータの評価点を入力する入力手
   段と、 評価者が本人であることを確認する本人確認手段と、 評価者別、被評価対象別、評価項目別の集計を行う評価
   点管理手段と、 前記評価者ごとの評価基準点を一致させる正規化手段
   と、 前記評価者の評価の特異性を抽出する特異点抽出手段
   と、 前記評価者の評価傾向を含む処理結果を出力する出力手
   段と、 前記出力手段として機能させるためのプログラムを記録
   したコンピュータ読み取り可能な記録媒体とを特徴とす
   る評価システム。
4. 【請求項４】 前記評価者の評価点と全評価者の平均点
   との差分の和を加算項数で割り、これを平均差分とし、
   前記評価者の評価点と前記平均差分の差を算出し、前記
   評価者の正規化値とすることを特徴とする請求項２記載
   の評価システム