JP2015200985A - クラウドソーシングにおける作業者のスキルを評価するスキル評価装置、プログラム及び方法 - Google Patents

Abstract

【課題】クラウドソーシングのように不特定多数且つ多様な作業者の中で、高スキルの作業者を選択することができるスキル評価装置、プログラム及び方法を提供する。【解決手段】各作業者の作業タスク情報を収集する作業タスク情報収集手段と、対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する学習タスク情報推定手段と、学習タスク情報に対する類似度が所定閾値以上となる複数の作業タスク情報を選択する作業タスク情報選択手段と、選択された複数の作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成し、その学習タスク情報を、作業タスク情報選択手段へフィードバックする学習タスク情報抽出手段と、最終的に、学習タスク情報に対する類似度が高い順に複数の作業タスク情報をソートし、その順位を作業者毎のスキルとして評価する作業者スキル評価手段とを有する。【選択図】図２

Description

本発明は、作業者のスキルを評価する技術に関する。

コンピュータは、人の作業を「タスク」として実行することによって発展してきている。従来、人によって記述された文章に対して、例えばスペルチェックのように、誤記の可能性がある箇所を自動的に検出し明示する技術がある（例えば特許文献１参照）。また、映像中の人物の顔画像に対して、人物の向き毎にテンプレートを作成することによって自動的に認識する技術もある（例えば特許文献２参照）。これら技術は、有効なアルゴリズムの適用やデータベースの充実によって、ある程度の精度が期待される。

一方で、作業主体となる各個人に対して、そのスキル（Skill、作業能力）を自動的に評価する技術もある（例えば特許文献３参照）。この技術によれば、各評価対象者に対して、正解が既知である問題を出題し、その回答結果に基づいてその評価対象者のスキルを定量的に評価する。例えば、文章校正の作業の場合、誤記の箇所が既知である複数の文章に対して、作業者がそれら誤記を発見できるか否かによって判定する。各個人のスキルを評価することによって、できる限り高スキルの作業者にその作業を依頼することができる。

また、画像認識の作業によれば、単一の認識アルゴリズムでは十分な認識精度が得られない場合に、複数の認識アルゴリズムによる計算結果を統合する（例えば多数決をとる）ことによって、高い認識精度を得る技術もある（例えば特許文献４参照）。

特開２００５−２６７６６３号公報 特開２０１２−２３８１１１号公報 特開２００９−２２２９０６号公報 特開２００９−１４０３６９号公報

文章校正作業や画像認識作業の場合、人間の認識や判断を必要とし、例えば特許文献１及び２に記載の技術のように、有効なアルゴリズムの適用やデータベースの充実だけでは、十分な性能を得ることが難しい。即ち、人間の認識や判断を必要とする作業に対しては、完全なマシン依存とすることが難しい。

一方で、インターネットを介して不特定多数の人（作業者）に仕事を依頼する「クラウドソーシング」が、近年、注目されてきている。人間の認識や判断を必要とする作業に対しては、結果的に、人の作業として遂行させた方が、精度の高いタスクが得られる。そのような意味でも、多数の人力を用いたクラウドソーシングは、有益な効果をもたらす。

しかしながら、作業者のスキルは、作業内容に応じて大きく異なる。また、その作業者の専門分野によっても大きく異なる。具体的には、文章校正の作業であっても、その文章に記述された専門分野によっては、作業者のスキルが低下することもなる。クラウドソーシングの場合、多数の人力を利用することができるものの、一定以上の作業品質を担保することが難しい。

また、例えば特許文献３に記載の技術のように、正解が既知である問題を、対象となる全ての作業者に予め回答させる必要がある。しかしながら、本来の作業以外の作業を発生することとなり、コスト的にも問題がある。

更に、特許文献４に記載の技術によれば、各アルゴリズムの計算結果がある程度正しい（例えば５０％以上の多数決）であることが前提とされている。しかしながら、不特定多数の作業者が存在する場合の場合、少ない回答が、必ずしも誤答とは限らない。高いスキルの数人のみが、結果的に正しいタスクを出力する場合もある。クラウドソーシングのように、不特定多数の作業者のスキルを正しく評価することは更に難しい。

そこで、本発明は、クラウドソーシングのように不特定多数且つ多様な作業者の中で、高スキルの作業者を選択することができるスキル評価装置、プログラム及び方法を提供することを目的とする。

本発明によれば、「対象コンテンツ」に、作業者自ら判断した「作業タスク情報」を付加する作業について、各作業者のスキルを評価するスキル評価装置であって、
各作業者の作業タスク情報を収集する作業タスク情報収集手段と、
対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する学習タスク情報推定手段と、
学習タスク情報に対する類似度が所定閾値以上となる複数の作業タスク情報を選択する作業タスク情報選択手段と、
選択された複数の作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成し、該学習タスク情報を、作業タスク情報選択手段へフィードバックする学習タスク情報抽出手段と、
最終的に、学習タスク情報に対する類似度が高い順に複数の作業タスク情報をソートし、その順位を作業者毎のスキルとして評価する作業者スキル評価手段と
を有することを特徴とする。

本発明のスキル評価装置における他の実施形態によれば、
対象コンテンツは「文章」であり、作業タスク情報は、文章に対する誤記情報である、
対象コンテンツは「画像」であり、作業タスク情報は、画像に対する指示情報である、又は、
対象コンテンツは「音声」であり、作業タスク情報は、音声に対する書き起こしのテキスト情報であることも好ましい。

本発明のスキル評価装置における他の実施形態によれば、
作業タスク情報選択手段について、学習タスク情報と作業タスク情報との比較における類似度は、適合率(precision)及び再現率(recall)に基づくＦ値(F-measure)であることも好ましい。

本発明のスキル評価装置における他の実施形態によれば、
クラウドソーシングサービスにおけるクラウドソーシングサーバとして機能することも好ましい。

本発明によれば、「対象コンテンツ」に、作業者自ら判断した「作業タスク情報」を付加する作業について、各作業者のスキルを評価する装置に搭載されたコンピュータを機能させるプログラムであって、
各作業者の作業タスク情報を収集する作業タスク情報収集手段と、
対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する学習タスク情報推定手段と、
学習タスク情報に対する類似度が所定閾値以上となる複数の作業タスク情報を選択する作業タスク情報選択手段と、
選択された複数の作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成し、該学習タスク情報を、作業タスク情報選択手段へフィードバックする学習タスク情報抽出手段と、
最終的に、学習タスク情報に対する類似度が高い順に複数の作業タスク情報をソートし、その順位を作業者毎のスキルとして評価する作業者スキル評価手段と
してコンピュータ機能させることを特徴とする。

本発明によれば、「対象コンテンツ」に、作業者自ら判断した「作業タスク情報」を付加する作業について、各作業者のスキルを評価するように実行する装置のスキル評価方法であって、
各作業者の作業タスク情報を収集する第１のステップと、
対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する第２のステップと、
学習タスク情報に対する類似度が所定閾値以上となる複数の作業タスク情報を選択する第３のステップと、
選択された複数の作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成し、該学習タスク情報を、作業タスク情報選択手段へフィードバックする第４のステップと、
最終的に、学習タスク情報に対する類似度が高い順に複数の作業タスク情報をソートし、その順位を作業者毎のスキルとして評価する第５のステップと
を有することを特徴とする。

本発明のスキル評価装置、プログラム及び方法によれば、クラウドソーシングのように不特定多数且つ多様な作業者の中で、高スキルの作業者を選択することができる。

本発明におけるシステム構成図である。 本発明のスキル評価装置における機能構成図である。 対象コンテンツに対する、各作業者の作業タスク情報を表す説明図である。 文章校正作業における学習タスク情報と作業タスク情報との比較を表す説明図である。 複数の作業タスクをマージした学習タスク情報を導出した説明図である。 新たな学習タスク情報と作業タスク情報との比較を表す説明図である。 各作業者に複数の文章校正作業を作業させた場合における平均的なスキル評価を表す説明図である。 画像認識作業における学習タスク情報と作業タスク情報との比較を表す説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明におけるシステム構成図である。

図１によれば、スキル評価装置１と、多数の作業者の端末２とが、ネットワークを介して接続されている。このシステムは、具体的には「クラウドソーシングサービス」として適用される。作業依頼者は、自らの端末３を用いて、スキル評価装置１へ、作業対象となる「対象コンテンツ」を送信する。スキル評価装置１は、作業依頼者の端末３から見て、クラウドソーシング用のＡＰＩ(Application Programming Interface)を提供するようなものである。スキル評価装置１は、この「対象コンテンツ」を、多数の作業者の端末２へ送信し、作業後、各作業者から返信された「作業タスク情報」を用いて、各作業者のスキル（Skill、作業能力）を評価する。スキル評価装置１は、対象コンテンツを用いて、最終的に、作業者をスキルの高い順にソートすることによって、各作業者のスキルを評価することができる。

作業者は、依頼された「対象コンテンツ」に対して作業し、自ら判断した「作業タスク情報」を付加する。ここでの「作業」とは、「対象コンテンツ」に「作業タスク情報」を付加するようなものである。即ち、本発明が対象とする「作業」とは、作業者に創造的に何らかのコンテンツを作成するようなものではなく、元となる「対象コンテンツ」に対して、その作業者の認識や判断によって「作業タスク情報」を付加するようなものである。

依頼作業が、元の文章から誤りを発見する「文章校正作業」である場合、例えば、元の文章（対象コンテンツ）に対して、誤記部分に下線（作業タスク情報）を付加するようなものである。
また、依頼作業が、元の画像から特定部分を発見する「画像認識作業」である場合、例えば、元の画像（対象コンテンツ）に対して、認識した顔部分に囲みマーク（作業タスク情報）を付加するようなものである。
本発明は、その他、様々な対象コンテンツに対して、様々な作業タスク情報を付加するような作業に適用することができる。

図１によれば、作業依頼者は、例えば以下のような文章（対象コンテンツ）に対する校正作業を依頼しているとする。
「近年、インターネッツを通じて不特定多数が人に仕事を依頼するクラウドソーシングに注目が集まっている。文書厚生や画像認識など、計算機の身では十分な性能を得ることが難かしく、人間の認識や判断などを必要とるタスクを推敲する上で有益となる。」
これに対し、各作業者は、スペルチェックとして、誤記と思われる部分に下線を引く作業をする。

図２は、本発明のスキル評価装置における機能構成図である。

図２によれば、スキル評価装置１は、作業タスク情報収集部１１と、学習タスク情報推定部１２と、作業タスク情報選択部１３と、学習タスク情報抽出部１４と、作業者スキル評価部１５とを有する。これら機能構成部は、装置に搭載されたコンピュータを実行することによって実現される。また、これら機能構成部の処理の流れは、装置を用いたスキル評価方法としても理解できる。

［作業タスク情報収集部１１］
作業タスク情報収集部１１は、各作業者に対して「対象コンテンツ」を送信し、各作業者によって作業された「作業タスク情報」を収集する。

図３は、対象コンテンツ（文章）に対する、各作業者の作業タスク情報（誤記部分の指摘、スペルチェック）を表す説明図である。図３によれば、作業者毎に、対象コンテンツの文章に対して、誤記と自ら判断した部分に下線が引かれている。

［学習タスク情報推定部１２］
学習タスク情報推定部１２は、対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する。学習タスク情報推定部１２は、作業に応じて様々な機械学習的に学習タスク情報を出力するものである。
具体的には、文章校正作業に対しては、前述した特許文献１に記載の自動文章構成機能であってもよい。
また、画像認識作業に対しては、前述した特許文献２に記載の自動画像認識機能であってもよい。

学習タスク情報推定部１２は、対象コンテンツに対して、計算機として概ね正しいと推定できる学習タスク情報を出力する。即ち、その学習タスク情報は、人間の認識や判断を完全に推定できないために、完全に正解というわけではない。

図４は、文章校正作業における学習タスク情報と作業タスク情報との比較を表す説明図である。

図４（ａ）によれば、学習タスク情報推定部１２から出力された学習タスク情報が表されている。この学習タスク情報は、各作業者からの作業タスク情報と比較される。

［作業タスク情報選択部１３］
作業タスク情報選択部１３は、学習タスク情報に対する類似度が所定閾値以上となる複数の高スキルの作業タスク情報を抽出する。類似度が高い作業者ほど、少なくとも学習タスク情報以上の作業スキルを備えている可能性が高いと推定できる。尚、判定となる所定閾値は、作業内容に応じて異なる値を設定するものであってもよい。

図４（ｂ）によれば、各作業者によって文章校正された作業タスク情報が、学習タスク情報と比較されている。例えば所定閾値６０％と設定されている。即ち、類似度が６０％以上の作業者は、高スキル作業者として認定されている。
作業者Ａ->５箇所中、４箇所一致：類似度８０％
○「インターネッツ」「文書厚生」「難かしく」「とる」
×「クラウドソーシング」
作業者Ｂ->５箇所中、１箇所一致：類似度２０％
○「クラウドソーシング」
×「インターネッツ」「文書厚生」「難かしく」「とる」
作業者Ｃ->５箇所中、４箇所一致：類似度８０％
○「インターネッツ」「文書厚生」「難かしく」「とる」
×「クラウドソーシング」
作業者Ｄ->５箇所中、０箇所一致：類似度 ０％
×「インターネッツ」「クラウドソーシング」「文書厚生」「難かしく」「とる」
この場合、作業者Ａ及び作業者Ｃが、類似度６０％以上となり、高スキル作業者として選択される。作業タスク情報選択部１３は、計算機による概ね正しいと推定される学習タスク情報を用いて、多数の作業者の中からスキルの高い可能性のある作業者を候補として選択する。

作業タスク情報選択部１３は、学習タスク情報と作業タスク情報との比較における他の実施形態として、再現率又は適合率に基づく「Ｆ値(F-measure)」を利用したものであってもよい。
「適合率(precision)」とは、作業タスク情報の箇所の集合中に、学習タスク情報の正解箇所と一致した割合を表す正確性の指標である。
適合率Ｐ＝一致した箇所の数／作業タスク情報の箇所の数
「再現率(recall)」とは、学習タスク情報の箇所の集合中に、作業タスク情報の箇所と一致した割合を表す網羅性の指標である。
再現率Ｒ＝一致した箇所の数／学習タスク情報の箇所の数
Ｆ値＝１／２×（１／Ｒ＋１／Ｐ）
ここで、適合率を上げれば再現率が下がり、再現率を上げれば適合率が下がるというトレードオフの関係にある。そのために、適合率と再現率の調和平均となるＦ値を用いて、検索性能を評価することも好ましい。Ｆ値が高いほど、その作業者の作業タスク情報は、学習タスク情報に近いことを意味する。このＦ値が所定閾値以上となる作業タスク情報のみを選択することができる。

［学習タスク情報抽出部１４］
学習タスク情報抽出部１４は、複数の高スキルの作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成する。即ち、複数の高スキルの作業タスク情報の中で、作業結果が同一である箇所は、高確度で正しい結果であると想定できるためである。

図５は、複数の作業タスクをマージした学習タスク情報を導出した説明図である。

図５によれば、選択された高スキル作業者Ａ及びＣの作業タスク情報を、論理積によってマージしている。
（作業者Ａ） （作業者Ｃ） （新たな学習タスク情報）
「インターネッツ」 「インターネッツ」 「インターネッツ」
「が」 × ×
「文書厚生」 「文書厚生」 「文書厚生」
「身」 「身」 「身」
「難かしく」 「難かしく」 「難かしく」
「とる」 「とる」 「とる」
× 「推敲する」 ×
その学習タスク情報は、作業タスク情報選択部１３へフィードバックされる。これによって、作業タスク情報選択部１３は、新たな学習タスク情報を用いて、改めて作業タスク情報に対する類似度を算出する。

図６は、新たな学習タスク情報と作業タスク情報との比較を表す説明図である。

図６によれば、各作業者によって文章校正された作業タスク情報が、新たな学習タスク情報と比較されている。
作業者Ａ->５箇所中、５箇所一致：類似度１００％（更新前よりスコアが向上）
作業者Ｂ->５箇所中、０箇所一致：類似度０％ （更新前よりスコアが低下）
作業者Ｃ->５箇所中、５箇所一致：類似度１００％（更新前よりスコアが向上）
作業者Ｄ->５箇所中、０箇所一致：類似度０％ （更新前と変化なし）

作業タスク情報選択部１３及び学習タスク情報抽出部１４によって、学習タスク情報をフィードバックすることを１回以上、繰り返すことによって、作業者のスキル評価が高精度化していく。フィードバックする回数は、所定回数として設定するか、又は、学習タスク情報に変化がなくなった場合に終了するようにしてもよい。

［作業者スキル評価部１５］
作業者スキル評価部１５は、最終的に、複数の作業タスク情報を、学習タスク情報に対する類似度順にソートする。各作業者のソート順位を、その作業者のスキルとして評価する。また、最終的に得られた学習タスク情報は、作業結果の成果物として出力される。

尚、各作業者のスキル評価は、データベースに登録され、様々な用途で使用されてもよい。また、作業毎に、各作業者のスキル評価を収集し、その平均値をその作業者のスキル評価とすることもできる。

図７は、各作業者に複数の文章校正作業を作業させた場合における平均的なスキル評価を表す説明図である。これによって、作業者毎の平均的なスキルが評価される。

尚、本発明によれば、計算機のみでは十分な性能を得ることが難しく、人間の認識や判断などを必要とする作業に適用可能である。例えば以下のような作業に適用できる。
（１）対象コンテンツは「文章」であり、作業タスク情報は、その文章に対する誤記情報である。
（２）対象コンテンツは「画像」であり、作業タスク情報は、その画像に対する指示情報である。
（３）対象コンテンツは「音声」であり、作業タスク情報は、その音声に対するテキスト情報（書き起こし）である。
即ち、本発明は、対象コンテンツに対して、何らかのタスク情報を付加するような様々な作業に適用できる。

図８は、画像認識作業における学習タスク情報と作業タスク情報との比較を表す説明図である。

図８によれば、画像認識作業の例として、対象コンテンツとしての画像中で、人の顔が含まれる箇所をマークする作業が表されている。このような作業は、動画像解析に必要となる場合がある。作業タスク情報及び学習タスク情報としては、マークの位置及び面積を比較することができる。そして、学習タスク情報のマークに対して、その位置及び面積が所定閾値以内（類似度が所定閾値以上）となる作業タスク情報を選択する。選択された高スキルの作業タスク情報の位置及び面積をマージすることによって、新たな学習タスク情報を作成する。その新たな学習タスク情報を用いて改めて作業タスク情報と比較する。これによって、最終的に得られた、学習タスク情報に対する類似度が高い作業タスク情報ほど、高スキルな作業者によって作業されたものと評価することができる。

以上、詳細に説明したように、本発明のスキル評価装置、プログラム及び方法によれば、クラウドソーシングのように不特定多数且つ多様な作業者の中で、高スキルの作業者を選択することができる。また、本発明によれば、作業者のスキル評価と同時に、そのタスクの成果物も得ることができる。特に、正解が既知である問題を解かせる必要が無しに、作業者を評価することができるので、そのコスト削減が期待される。

最後に、本発明によって得られる具体的な効果について説明する。例えば、５０件の対象コンテンツを、５人の高スキルな作業者に作業させる場合を想定する。ここで、予め１０人の作業者が登録されているとする。

従来技術によれば、スキル評価のため正解が既知となる２０件の対象コンテンツを別途作業させる必要がある。そのために、以下のステップを要する。
（Ｓ１：スキル評価）最初に、１０人の作業者に対して２０件の対象コンテンツについて作業させる。
（Ｓ２：高スキル作業）次に、その中で高スキルと評価された５人に対して、５０件の対象コンテンツについて作業させる。
作業工数＝（２０件×１０人）＋（５０件×５人）＝４５０件

これに対し、本発明によれば、以下のステップを要する。
（Ｓ１：スキル評価）最初に、１０人の作業者に対して２０件の対象コンテンツについて作業させる。
（Ｓ２：高スキル作業）次に、その中で高スキルと評価された５人に対して、残り３０件の対象コンテンツについて作業させる。
作業工数＝（２０件×１０人）＋（３０件×５人）＝３５０件

即ち、本発明によれば、Ｓ１について作業者のスキルを評価すると共に、その成果物を得ることができる。また、スキル評価用の正解が既知となる問題に対して、別途回答させる必要がない。結果的に、以下のようなコストが削減できる。
コスト＝３５０件（本発明）／４５０件（従来技術）＝７８％
結果的に、２２％（＝１００−７８）のコスト削減となる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ スキル評価装置
１１ 作業タスク情報収集部
１２ 学習タスク情報推定部
１３ 作業タスク情報選択部
１４ 学習タスク情報抽出部
１５ 作業者スキル評価部
２ 作業者用の端末
３ 作業依頼者用の端末

Claims (6)

1. 「対象コンテンツ」に、作業者自ら判断した「作業タスク情報」を付加する作業について、各作業者のスキル（Skill、作業能力）を評価するスキル評価装置であって、
   各作業者の作業タスク情報を収集する作業タスク情報収集手段と、
   前記対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する学習タスク情報推定手段と、
   前記学習タスク情報に対する類似度が所定閾値以上となる複数の作業タスク情報を選択する作業タスク情報選択手段と、
   選択された複数の作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成し、該学習タスク情報を、前記作業タスク情報選択手段へフィードバックする学習タスク情報抽出手段と、
   最終的に、前記学習タスク情報に対する類似度が高い順に複数の作業タスク情報をソートし、その順位を作業者毎のスキルとして評価する作業者スキル評価手段と
   を有することを特徴とするスキル評価装置。
2. 前記対象コンテンツは「文章」であり、前記作業タスク情報は、前記文章に対する誤記情報である、
   前記対象コンテンツは「画像」であり、前記作業タスク情報は、前記画像に対する指示情報である、又は、
   前記対象コンテンツは「音声」であり、前記作業タスク情報は、前記音声に対する書き起こしのテキスト情報である
   ことを特徴とする請求項１に記載のスキル評価装置。
3. 前記作業タスク情報選択手段について、前記学習タスク情報と前記作業タスク情報との比較における類似度は、適合率(precision)及び再現率(recall)に基づくＦ値(F-measure)であることを特徴とする請求項１又は２に記載のスキル評価装置。
4. クラウドソーシングサービスにおけるクラウドソーシングサーバとして機能することを特徴とする請求項１から３のいずれか１項に記載のスキル評価装置。
5. 「対象コンテンツ」に、作業者自ら判断した「作業タスク情報」を付加する作業について、各作業者のスキルを評価する装置に搭載されたコンピュータを機能させるプログラムであって、
   各作業者の作業タスク情報を収集する作業タスク情報収集手段と、
   前記対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する学習タスク情報推定手段と、
   前記学習タスク情報に対する類似度が所定閾値以上となる複数の作業タスク情報を選択する作業タスク情報選択手段と、
   選択された複数の作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成し、該学習タスク情報を、前記作業タスク情報選択手段へフィードバックする学習タスク情報抽出手段と、
   最終的に、前記学習タスク情報に対する類似度が高い順に複数の作業タスク情報をソートし、その順位を作業者毎のスキルとして評価する作業者スキル評価手段と
   してコンピュータ機能させることを特徴とするプログラム。
6. 「対象コンテンツ」に、作業者自ら判断した「作業タスク情報」を付加する作業について、各作業者のスキルを評価するように実行する装置のスキル評価方法であって、
   各作業者の作業タスク情報を収集する第１のステップと、
   前記対象コンテンツに対して、作業に応じて機械的に推定した「学習タスク情報」を出力する第２のステップと、
   前記学習タスク情報に対する類似度が所定閾値以上となる複数の作業タスク情報を選択する第３のステップと、
   選択された複数の作業タスク情報を、論理積、論理和又は多数決によってマージした新たな学習タスク情報を生成し、該学習タスク情報を、前記作業タスク情報選択手段へフィードバックする第４のステップと、
   最終的に、前記学習タスク情報に対する類似度が高い順に複数の作業タスク情報をソートし、その順位を作業者毎のスキルとして評価する第５のステップと
   を有することを特徴とする装置のスキル評価方法。

Images