JP2014074966A - タスク処理方法、プログラム及びシステム - Google Patents

Abstract

【課題】 なるべく少ない人数で高い作業精度でクラウドソーシングを実現すること。
【解決手段】 各参加者（作業者）の正答確率から、目的精度を達成するために必要な寄与率を計算し、それに応じて、回答に対して寄与率を加算するとともに、タスクの終了判定、すなわち、それ以上参加者を追加しなくても正しい答えが得られたとする判定、の条件とする。寄与率は、所定の正答確率で目的精度に達することができる参加人数の逆数で計算される。参加者が参加したタスクの寄与率に、その参加者の寄与率を加算する。また、選ばれた選択肢についても、その参加者の寄与率を、回答に応じて加算する。そのとき、あるタスクの寄与率の和が1を超えるかまたは、一つの選択肢が当選確実（残りの参加者の寄与率が加算されても他の選択肢の寄与率が超えられない状況）になったらその時点で、最も寄与率の和の大きい（最も確からしい）結果を出力する。
【選択図】 図５

Description

この発明は、クラウドソーシングなど、コンピュータ・システムを使用して複数人によりタスクを処理する技法に関し、より詳しくは、タスクの作業精度を保証する技法に関する。

近年、コンピュータ・ネットワークや、ウェブ・サービスが発達するにつれて、不特定多数の人に業務を委託する、クラウドソーシングと呼ばれる業務の形態が増大している。

クラウドソーシングでは例えば、画像に対するキャプションの付加、音声情報の書き起こし、翻訳など、コンピュータによる自動化が技術的に困難で且つ細分化可能なタスクを多数の人にマイクロタスクとして分配することにより、集合知的にタスクを実行する技法である。

クラウドソーシングを使うと、「どんな写真を送っても必ず写っているものを説明して返すサービス」などの、コンピュータによる自動化処理では実現できないサービスも実現可能になるため、様々な分野にクラウドソーシングが適用されるようになってきている。

しかし、その際問題なのは、多数の人が参加するという特性上、作業者の品質にばらつきがあり、品質が保証できないことである。例えば、既存の技術で、９９％という精度のターゲットを設定することは困難である。

そこで、クラウドソーシングの作業精度を保証するため、複数の参加者の結果を統合する技法が提案されている。そのような従来技術として、次のようなものがある。

まず、参加者の返答の多数決により決定する技法である多数決法が知られている。しかし、多数決法では、参加者のスキルを考慮できないため、効率がよくないという欠点がある。

また、エキスパートの検証による検証法も知られている。検証法は、エキスパートの専門知識による検証を受けるという意味で、精度が保証されるが、有限な人数のエキスパートがすべてのタスクを検証すると、処理のボトルネックになってしまうという問題がある。

さらに、追加多数決法が知られている。この技法の場合、二人がまずタスクを処理し、結果が異なっていた場合に多数決が行われる。しかし、この技法は、拡張性に乏しく、また検証法との組み合わせが必要になる。これらを改善するために、以下のような論文で記述されている技法が提案されている。

Welinder, P. Branson, S. Belongie, S. and Perona, P. 2010. The multidimensional wisdom of crowds. In Proceedings of the 24th Annual Conference on Neural Information Processing Systems (NIPS), 2424-2432.は、クラウドソーシングのワーカー（作業者）のスキルを推定し、推定したスキルを元に作業者の意見を統合することで多数決の精度を向上することを開示する。しかし、この技法では、目的の精度を保証することができない。

Pinar Donmez, Jaime G. Carbonell, and Jeff Schneider. 2009. Efficiently learning the accuracy of labeling sources for selective sampling. In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD '09). ACM, New York, NY, USA, 259-268. は、クラウドソーシングの作業者の作業履歴から、信頼できる作業者をできるだけ早く見つける。信頼できる作業者のみにタスクを実行させて、多数決を行うことを開示する。しかし、この技法では、信頼できる作業者のみに繰り返し作業させることを想定しており、作業者の人数を確保するために、あまり信頼できない作業者も含めるようにした場合に対処することが困難である。

Welinder, P. Branson, S. Belongie, S. and Perona, P. 2010. The multidimensional wisdom of crowds. In Proceedings of the 24th Annual Conference on Neural Information Processing Systems (NIPS), 2424-2432. Pinar Donmez, Jaime G. Carbonell, and Jeff Schneider. 2009. Efficiently learning the accuracy of labeling sources for selective sampling. In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD '09). ACM, New York, NY, USA, 259-268.

従って、この発明の目的は、なるべく少ない人数で高い作業精度でクラウドソーシングを実現することにある。

この発明は、上記課題を解決するためになされたものであり、各参加者（作業者）の正答確率から、目的精度を達成するために必要な寄与率を計算し、それに応じて、回答に対して寄与率を加算するとともに、タスクの終了判定、すなわち、それ以上参加者を追加しなくても正しい答えが得られたとする判定、の条件とすることを特徴とするものである。

さて、タスクを多数決タスクとし、この多数決タスクに参加する参加者の正答確率が一定でPであるとしたとき、正答確率Pにおいてn人が多数決に参加する場合の全体正答確率は、以下の２項分布の式で計算される。

この式のΣの上の

は天井関数の記号であり、例えば

は、X以上の最小の整数をあらわす。この式に基づき、ターゲットとなる正答確率をf(P,n)が超える最小のnを以って最小限必要な人数Qとみなし、1/Qを、その参加者の寄与率とする。

こうしてその参加者の寄与率が計算されると、その参加者が参加したタスクの寄与率に、その参加者の寄与率を加算する。また、選ばれた選択肢についても、その参加者の寄与率を、回答に応じて加算する。そのとき、あるタスクの寄与率の和が1を超えるかまたは、一つの選択肢が当選確実（残りの参加者の寄与率が加算されても他の選択肢の寄与率が超えられない状況）になったらその時点で、最も寄与率の和の大きい（最も確からしい）結果を出力する。

この発明は、以上のような処理を、好適には、参加者のクライアント・コンピュータからの回答を受け付けるウェブ・サーバ上で実装する。

なお、この発明においては、好適には次のような条件が設定される。
− N種類のタスクが存在していて、それぞれ異なっているが難易度は等しい。
− 参加者は乱数よりは高い確率で正しい回答をする （２択であれば > 0.5）。
− 参加者数は有限。
− タスクには任意の参加者（の部分集合）が参加する。順序は決まっていない。
− 参加者はあるタスクを２度以上実行することはない。
− 「正解」が存在し、「正答確率」が算出できるタスクを対象とする。

この発明によれば、参加者の正答確率の２項分布に基づき寄与率を計算し、その寄与率を加算することで、目的精度が達成されたかどうか判定することにより、従来技術よりも少ない参加者で、目的の作業精度に達成することができる、という効果が得られる。

本発明を実施するためのハードウェア構成の全体の概要図である。 クライアント・コンピュータのハードウェア構成のブロック図である。 Ｗｅｂサーバのハードウェア構成のブロック図である。 本発明の実施例に係る機能構成のブロック図である。 本発明の実施例に係る処理のフローチャートを示す図である。 作業者がタスクを実行する画面を示す図である。

以下、図面に従って、本発明の実施例を説明する。これらの実施例は、本発明の好適な態様を説明するためのものであり、発明の範囲をここで示すものに限定する意図はないことを理解されたい。また、以下の図を通して、特に断わらない限り、同一符号は、同一の対象を指すものとする。

図１において、Ｗｅｂサーバ１０２には、インターネット１０４を介して、複数のクライアント・コンピュータ１０６ａ、１０６ｂ・・・１０６ｚが接続されている。図１のシステムにおいては、クライアント・コンピュータのユーザは、Ｗｅｂブラウザを通じて、インターネット１０４の回線を介して、Ｗｅｂサーバ１０２に、ログインする。具体的には、所定のＵＲＬをＷｅｂブラウザに打ち込んで、所定のページを表示する。

ログインに当たっては、クライアント・コンピュータのユーザは、与えられたユーザＩＤと、それに関連付けられたパスワードを用いる。クライアント・コンピュータのユーザは、一旦ログインすると、Ｗｅｂサーバ１０２から、N択のタスクを与えられる。ここで、Nは2以上の整数である。図６は、3択の画面の例を示す。

Ｗｅｂサーバ１０２にはまた、パケット通信網１０８を介して、スマート・フォン１１０ａ、・・・１１０ｋなどのモバイル端末が接続される。ユーザは、与えられたユーザＩＤと、それに関連付けられたパスワードがあれば、スマート・フォンに導入されているＷｅｂブラウザを通じて、同様にＷｅｂサーバ１０２のＳＮＳにアクセスできる。

次に、図２を参照して、図１で参照番号１０６ａ、１０６ｂ・・・１０６ｚのように示されているクライアント・コンピュータのハードウェア・ブロック図について、説明する。図２において、クライアント・コンピュータは、典型的にはパーソナル・コンピュータであり、メイン・メモリ２０６、ＣＰＵ２０４、ＩＤＥコントローラ２０８をもち、これらは、バス２０２に接続されている。バス２０２には更に、ディスプレイ・コントローラ２１４と、通信インターフェース２１８と、ＵＳＢインターフェース２２０と、オーディオ・インターフェース２２２と、キーボード・マウス・コントローラ２２８が接続されている。ＩＤＥコントローラ２０８には、ハードディスク・ドライブ（ＨＤＤ）２１０と、ＤＶＤドライブ２１２が接続されている。ＤＶＤドライブ２１２は、必要に応じて、ＣＤ−ＲＯＭやＤＶＤから、プログラムを導入するために使用する。ディスプレイ・コントローラ２１４には、好適には、ＬＣＤ画面をもつディスプレイ装置２１６が接続されている。ディスプレイ装置２１６には、Ｗｅｂブラウザを通じて、図６に示すような、タスク実行のための画面が表示される。

ＵＳＢインターフェース２２０には、必要に応じて、外付けＨＤＤなどのデバイスを接続するために使用される。

キーボード・マウス・コントローラ２２８には、キーボード２３０と、マウス２３２が接続されている。キーボード２３０と、マウス２３２は、参加者がタスク実行画面にログインしたり、図６のような画面で、N択で選んだりするために使用される。

ＣＰＵ２０４は、例えば、３２ビット・アーキテクチャまたは６４ビット・アーキテクチャに基づく任意のものでよく、インテル社のＰｅｎｔｉｕｍ（インテル・コーポレーションの商標）４、Ｃｏｒｅ（商標）２ Ｄｕｏ、ＡＭＤ社のＡｔｈｌｏｎ（商標）などを使用することができる。

ハードディスク・ドライブ２１０には、少なくとも、オペレーティング・システムと、オペレーティング・システム上で動作するＷｅｂブラウザ（図示しない）が格納されており、システムの起動時に、オペレーティング・システムは、メインメモリ２０６にロードされる。オペレーティング・システムは、Windows XP(マイクロソフト・コーポレーションの商標)、Windows(マイクロソフト・コーポレーションの商標)7、Linux（Linus Torvaldsの商標）、Mac OS Xなどを使用することができる。

ハードディスク・ドライブ２１０にはさらに、Ｗｅｂブラウザが導入されている。Ｗｅｂブラウザは好適にはJavaScript(R)をサポートするものであり、これには限定されないが、Internet Explorer、FireFox、Google Chromeなどを使用することができる。

通信インターフェース２１８は、オペレーティング・システムが提供するＴＣＰ／ＩＰ通信機能を利用して、イーサネット（商標）・プロトコルなどにより、Ｗｅｂサーバ１０２と通信する。

以上、クライアント・コンピュータ１０６ａ、１０６ｂ・・・１０６ｚの構成について説明したが、スマート・フォン１１０ａ、・・・、１１０ｋの構成については、この実施例の文脈ではクライアント・コンピュータ１０６ａ、１０６ｂ・・・１０６ｚとほぼ等価な構成であるので、説明を省略する。好適には、スマート・フォン１１０ａ、・・・、１１０ｋのＷｅｂブラウザも、JavaScript(R)を動作させる機能をもつ。

図３は、Ｗｅｂサーバ１０２のハードウェア構成の概要ブロック図である。図３に示すように、クライアント・コンピュータと通信するためのインターネット１０４と、スマート・フォンと通信するためのパケット通信網１０８が、Ｗｅｂサーバ１０２の通信インターフェース３０２に接続される。通信インターフェース３０２はさらに、バス３０４に接続され、バス３０４には、ＣＰＵ３０６、主記憶（ＲＡＭ）３０８、及びハードディスク・ドライブ（ＨＤＤ）３１０が接続されている。

図示しないが、Ｗｅｂサーバ１０２にはさらに、キーボード、マウス、及びディスプレイが接続され、これらによって、Ｗｅｂサーバ１０２全体の管理やメンテナンス作業を行うようにしてもよい。

Ｗｅｂサーバ１０２のハードディスク・ドライブ３１０には、オペレーティング・システム、クライアント・コンピュータクライアント・コンピュータ１０６ａ、１０６ｂ・・・１０６ｚのログイン管理のための、ユーザＩＤとパスワードの対応テーブルが保存されている。ハードディスク・ドライブ３１０にはさらに、Ｗｅｂサーバ１０２をＷｅｂサーバとして機能させるためのApacheなどのソフトウェアが保存され、Ｗｅｂサーバ１０２の立ち上げ時に、主記憶３０８にロードされて、動作する。これによって、クライアント・コンピュータ１０６ａ、１０６ｂ・・・１０６ｚが、ＴＣＰ／ＩＰのプロトコルで、Ｗｅｂサーバ１０２にアクセスすることが可能となる。

また、図示しないが、Ｗｅｂサーバ１０２のハードディスク・ドライブ３１０には、パケット通信網１０８を介してスマート・フォンと通信するための通信モジュールも格納されている。

ハードディスク・ドライブ３１０にはさらに、図４の機能ブロック図に関連して後述するメイン・プログラム４０２、精度データ４０４、作業者情報４０６、寄与率計算モジュール４０８、ユーザ応答送受信モジュール４１０、タスク投入モジュール４１２、タスク・データ４１４、結果表示モジュール４１６、及びユーザ・インターフェース・モジュール４１８が格納されている。

尚、上記Ｗｅｂサーバ１０２として、インターナョナル・ビジネス・マシーンズ・コーポレーションから購入可能な、ＩＢＭ（インターナョナル・ビジネス・マシーンズ・コーポレーションの商標）System X、System i、System pなどの機種のサーバを使うことができる。その際、使用可能なオペレーティング・システムは、AIX(インターナョナル・ビジネス・マシーンズ・コーポレーションの商標)、UNIX(The Open Groupの商標)、Linux(Linus Torvaldsの商標)、Windows(商標)2003 Serverなどがある。特にこの実施例では、オペレーティング・システムとしてLinux（Linus Torvaldsの商標）を採用し、その上にJava(R) EEを導入し、サーバサイドJava(R)が導入され、本発明の処理プログラムであるメイン・プログラム４０２、寄与率計算モジュール４０８、ユーザ応答送受信モジュール４１０、タスク投入モジュール４１２、結果表示モジュール４１６、及びユーザ・インターフェース・モジュール４１８等は好適には、その上で動くJava(R)のプログラム、あるいはServletの形式で実装されるが、C、C++、C#などの既存のプログラミング言語処理系により作成することもできる。

次に、図４の機能ブロック図を参照して、本発明を実施するための処理要素について説明する。メイン・プログラム４０２は、本発明に係る所定の作業精度を達成しつつタスクを完了させる処理全体を統合する機能をもつ。

精度データ４０４は、予め設定された、個々のタスクT1、T2、...、Tn毎の達成目標精度の値であり、予め、タスク処理の管理者によって設定される。

作業者情報４０６は、登録されている作業者毎のIDや正答確率P、作業者のログイン用パスワード、その他のプロファイル情報を含むデータである。

寄与率計算モジュール４０８は、作業者の正答確率Pと当該タスクの達成目標精度が与えられたとき、下記の式が達成目標精度を超える最小のnを計算して、それを達成目標精度を実現するために必要な人数Qとみなし、1/Qを寄与率として出力する機能をもつ。

ユーザ応答送受信モジュール４１０は、作業者から、ユーザ・インターフェース・モジュール４１８を介して、タスクID、ユーザID及びタスクのN択の選択結果のデータを組で受け取り、また、必要に応じて応答を返す機能をもつ。

タスク投入モジュール４１２は、メイン・プログラム４０２からの指示に従い、タスク・データ４１４から指定されたタスクのデータを抽出し、ユーザ・インターフェース・モジュール４１８を介して、登録されている複数の作業者のクライアント・コンピュータに一斉に通信する。タスクのデータには、クライアント・コンピュータのＷｅｂブラウザに表示する質問項目、選択肢の数、選択肢毎のメッセージなどのデータを含む。

結果表示モジュール４１６は、処理の結果として、当該タスクの選択肢で最も寄与率が大きい選択肢を答えとして、例えば、管理者としてログインしているユーザのクライアント・コンピュータの画面に提示する。

次に、本発明の処理について説明する前に、この処理の前提について説明すると、以下のとおりである。
− N種類のタスクが存在していて、それぞれ異なっているが難易度は等しい。すなわち、ターゲット精度は同一である。
− 想定するタスクは、N択（Nは2以上の整数)であり、記述式のタスクは想定しない。
− 参加者は乱数よりは高い確率で正しい回答をする （２択であれば > 0.5）。
− 参加者数は有限。
− タスクには任意の参加者（の部分集合）が参加する。順序は決まっていない。
− 参加者はあるタスクを２度以上実行することはない。
− 「正解」が存在し、「正答確率」が算出できるタスクを対象とする。
− 初めて参加する参加者の正答確率は、これまで参加した参加者の平均正答率を使用する。但し、初めて参加する参加者でも、何らかの経歴、資格などの実績に従い、正答確率を適宜設定してもよい。

以上のような前提であるが、個々のタスクの難易度や、ターゲット精度は、場合により、同一でなく異なるように設定することも可能である。

また、参加者の正答確率は、寄与率の計算を始めて、最も大きい選択肢の答えを出して処理を終了するまでは変化させないものとする。複数回参加した参加者については、過去の正答率に応じて、正答確率を設定するようにする。これにより、過去に高い正答率を挙げた参加者が、高い寄与率を与えることができるようになされる。

ここで図５のフローチャートを参照すると、先ず、ユーザ（参加者）４２０＿１、４２０＿２、・・・、４２０＿ｍは、個々のユーザIDと所定のパスワードで、図４に示すシステムにログインを試みる。ユーザ４２０＿１、４２０＿２、・・・、４２０＿ｍは、図１に示すように、スマート・フォンでログインしてもよいし、クライアント・コンピュータでログインしてもよい。ユーザから送られたユーザIDとパスワードは、ユーザ・インターフェース４１８とユーザ応答送受信モジュール４１０を介して、メイン・プログラム４０２に送られる。これに応答して、メイン・プログラム４０２は、作業者情報４０６を参照して、ユーザを認証する。

メイン・プログラム４０２は、ステップ５０２で、タスク投入モジュール４１２を呼び出して、タスクのデータ４１４からタスクTiのデータを取得し、ユーザ・インターフェース・モジュール４１８を介して、当該タスクにログインしている、ユーザ４２０＿１、４２０＿２、・・・、４２０＿ｍに送る。一方で、メイン・プログラム４０２は、タスクTiに対応して、変数ti_cと、変数配列ti_s[N]を用意し、ti_c = 0、ti_s[0] = ti_s[1] = ... = ti_s[N] = 0と初期化する。ここで、ti_cは、タスクTiの全体の寄与率を格納する変数であり、ti_s[N]は、N択毎の寄与率を格納する変数である。

メイン・プログラム４０２はさらに、タスクTiの所定精度のデータAiを精度のデータ４０４から取得する。

タスク投入モジュール４１２からのデータ送信に応答して、ユーザ４２０＿１、４２０＿２、・・・、４２０＿ｍのクライアント・コンピュータのブラウザに、タスクTiに関してタスクのデータ４１４として保存されていた内容に基づき、例えば図６に例示するような、説明文と、N択（この場合、三択）のラジオ・ボタンの画面があらわれる。

ステップ５０４では、未回答のユーザが、図６の例では、説明文を読んで、その内容に従って、A、BまたはCのラジオ・ボタンをクリックして、次にOKをクリックすることで、回答する。その回答は、ユーザ・インターフェース４１８とユーザ応答送受信モジュール４１０を介して、メイン・プログラム４０２に送られる。

ステップ５０６では、メイン・プログラム４０２は、受け取った回答のユーザIDに基づき、当該ユーザの正答確率Pを作業者情報４０６から取得する。そして、メイン・プログラム４０２は、精度のデータAiと正答確率Pを引数として、寄与率計算モジュール４０８を呼び出して、寄与率を計算する。

寄与率計算モジュール４０８は、下記の式で定義される関数f(P,n)を用いて、

f(P,n)が丁度Aiを超えるnを計算する。
これを、Ｃ言語風の擬似コードで書くと、
n = 1;
while ( f(P,n) < Ai ) n++;
という計算を行う。f(P,n)は、nを増やすにつれて1に近づく単調増加関数であり、0 < Ai < 1なので、nの値は容易に求まる。

そして、この計算の結果得られたnをもって、1/nを寄与率として計算し、
ti_c += 1/n; // タスクTiの寄与率に、作業者の寄与率を加算する。
ti_s[S] += 1/n; // 選択肢の寄与率に、作業者の寄与率を加算する。
ここで、Sは、ユーザが選んだ選択肢の番号であり、S = kは、k+1番目の選択肢が選ばれたことを示す。図６の例では、S = 2である。

ステップ５０８では、メイン・プログラム４０２は、Tiの寄与率の和であるti_cが目標精度（例えば、1）より大きいかどうか、または、Tiの選択肢のいずれかが当選確実になっているかどうかを判断する。

ここで、Tiの選択肢のいずれかが当選確実になっているとは、(一番有力な選択肢の寄与率の和) - (二番目に有力な選択肢の寄与率の和) > 1 - (作業した人全員の寄与率の和)が成立することである。

もしメイン・プログラム４０２がステップ５０８で、Tiの寄与率の和が目標精度を超えておらず、Tiの選択肢のいずれかも当選確実になっていないと判断すると、ステップ５０４に戻って、未回答のユーザからの回答を待つ。

一方、Tiの寄与率の和であるti_cが目標精度より大きいか、あるいは、Tiの選択肢のいずれかが当選確実になっていたなら、メイン・プログラム４０２は、ステップ５１０で、最も寄与率が大きい選択肢、すなわち、ti_s[j]が最大である選択肢jを答えとし、結果表示モジュール４１６により、その結果をタスクの管理者に通知する。

以上はタスクTiについての処理であるが、メイン・プログラム４０２は、１つのタスクの最も寄与率が大きい選択肢が決定された時点で次のタスクの投入に移ってもいいし、異なるタスクをランダムにユーザに投入してもよい。

以下の表に、所定の正答確率に対する、理論寄与率と、99%正答確率に必要な投票人数を示す。

以上、Java(R)ベースのクライアント・サーバ・システムとして構築された例で説明してきたが、本発明は特定のプラットフォームに限定されず、任意のハードウェア、オペレーティング・システム、プログラミング処理系、あるいはネットワーク環境の下で実現可能である。

また、タスクはN択であれば任意のタスクを使用可能であるし、一度に複数選択可能なタスクであっても、本発明の技法は適用可能である。

１０２・・・Ｗｅｂサーバ
１０６・・・クライアント・コンピュータ
１１０・・・スマート・フォン
４０４・・・精度データ
４０６・・・作業者情報
４０８・・・寄与率計算モジュール
４１２・・・タスク投入モジュール
４１４・・・タスク・データ

Claims (18)

1. サーバ・コンピュータ上で、該サーバ・コンピュータに接続された複数のクライアント・コンピュータの参加者の共同作業でタスクを処理する方法であって、前記サーバ・コンピュータには、N択(Nは2以上の整数)から選ぶものである、少なくとも１つのタスクTiとその各々のタスクのターゲットなる精度が設定されている方法において、
   前記サーバ・コンピュータが、前記参加者の前記クライアント・コンピュータから、前記タスクTiの作業結果を受け取るステップと、
   前記個々の参加者について、前記タスクTiについて、前記クライアント・コンピュータを介して複数の作業結果を受け取った段階で、前記サーバ・コンピュータが該作業結果に基づき正答確率から、該正答確率を与える参加者が集まって前記精度を達成することができる任数の逆数である寄与率を計算するステップと、
   前記サーバ・コンピュータが、前記参加者が実施した前記タスクTiの寄与率に、前記計算した前記参加者の寄与率を加算するステップと、
   前記サーバ・コンピュータが、前記タスクTiの寄与率の和が所定の条件に従う値を超えたことに応答して、そのときの結果を、前記タスクTiに関する結果として出力するステップを有する、
   方法。
2. 前記所定の条件が、寄与率の和が1に達したことである、請求項１に記載の方法。
3. 前記タスクの各選択肢毎に前記寄与率を加算するステップを含み、
   前記所定の条件が、一つの選択肢が当選確実であることである、請求項１に記載の方法。
4. 前記当選確実とは、(一番有力な選択肢の寄与率の和) - (二番目に有力な選択肢の寄与率の和) > 1 - (作業した人全員の寄与率の和)が成立することである、請求項３に記載の方法。
5. 前記タスクTiに関する結果として出力するステップが、最も高い寄与率の選択肢を出力するステップを含む、請求項４に記載の方法。
6. 前記寄与率が、正答確率Pにおいてn人が多数決に参加する場合の全体正答確率を下記の式で与え、
   

   

   この式に基づき、ターゲットとなる正答確率を実現するために最小限必要な人数Qを算出し、1/Qの値を寄与率と計算することで与えられる、請求項１に記載の方法。
7. サーバ・コンピュータ上で、該サーバ・コンピュータに接続された複数のクライアント・コンピュータの参加者の共同作業でタスクを処理するプログラムであって、前記サーバ・コンピュータには、N択(Nは2以上の整数)から選ぶものである、少なくとも１つのタスクTiとその各々のタスクのターゲットなる精度が設定されているプログラムにおいて、
   前記サーバ・コンピュータに、
   前記サーバ・コンピュータが、前記参加者の前記クライアント・コンピュータから、前記タスクTiの作業結果を受け取るステップと、
   前記個々の参加者について、前記タスクTiについて、前記クライアント・コンピュータを介して複数の作業結果を受け取った段階で、前記サーバ・コンピュータが該作業結果に基づき正答確率から、該正答確率を与える参加者が集まって前記精度を達成することができる任数の逆数である寄与率を計算するステップと、
   前記サーバ・コンピュータが、前記参加者が実施した前記タスクTiの寄与率に、前記計算した前記参加者の寄与率を加算するステップと、
   前記サーバ・コンピュータが、前記タスクTiの寄与率の和が所定の条件に従う値を超えたことに応答して、そのときの結果を、前記タスクTiに関する結果として出力するステップを実行させる、
   プログラム。
8. 前記所定の条件が、寄与率の和が1に達したことである、請求項７に記載のプログラム。
9. 前記タスクの各選択肢毎に前記寄与率を加算するステップを含み、
   前記所定の条件が、一つの選択肢が当選確実であることである、請求項７に記載のプログラム。
10. 前記当選確実とは、(一番有力な選択肢の寄与率の和) - (二番目に有力な選択肢の寄与率の和) > 1 - (作業した人全員の寄与率の和)が成立することである、請求項９に記載のプログラム。
11. 前記タスクTiに関する結果として出力するステップが、最も高い寄与率の選択肢を出力するステップを含む、請求項１０に記載のプログラム。
12. 前記寄与率が、正答確率Pにおいてn人が多数決に参加する場合の全体正答確率を下記の式で与え、
    

    

    この式に基づき、ターゲットとなる正答確率を実現するために最小限必要な人数Qを算出し、1/Qの値を寄与率と計算することで与えられる、請求項７に記載のプログラム。
13. サーバ・コンピュータ上で、該サーバ・コンピュータに接続された複数のクライアント・コンピュータの参加者の共同作業でタスクを処理するシステムであって、前記サーバ・コンピュータには、N択(Nは2以上の整数)から選ぶものである、少なくとも１つのタスクTiとその各々のタスクのターゲットなる精度が設定されているシステムにおいて、
    前記参加者の前記クライアント・コンピュータから、前記タスクTiの作業結果を受け取る手段と、
    前記個々の参加者について、前記タスクTiについて、前記クライアント・コンピュータを介して複数の作業結果を受け取った段階で、前記サーバ・コンピュータが該作業結果に基づき正答確率から、該正答確率を与える参加者が集まって前記精度を達成することができる任数の逆数である寄与率を計算する手段と、
    前記参加者が実施した前記タスクTiの寄与率に、前記計算した前記参加者の寄与率を加算する手段と、
    前記タスクTiの寄与率の和が所定の条件に従う値を超えたことに応答して、そのときの結果を、前記タスクTiに関する結果として出力する手段を有する、
    システム。
14. 前記所定の条件が、寄与率の和が1に達したことである、請求項１３に記載のシステム。
15. 前記タスクの各選択肢毎に前記寄与率を加算する手段を含み、
    前記所定の条件が、一つの選択肢が当選確実であることである、請求項１３に記載のシステム。
16. 前記当選確実とは、(一番有力な選択肢の寄与率の和) - (二番目に有力な選択肢の寄与率の和) > 1 - (作業した人全員の寄与率の和)が成立することである、請求項１５に記載のシステム。
17. 前記タスクTiに関する結果として出力する手段が、最も高い寄与率の選択肢を出力する、請求項１６に記載のシステム。
18. 前記寄与率が、正答確率Pにおいてn人が多数決に参加する場合の全体正答確率を下記の式で与え、
    

    

    この式に基づき、ターゲットとなる正答確率を実現するために最小限必要な人数Qを算出し、1/Qの値を寄与率と計算することで与えられる、請求項１３に記載のシステム。

Images