JP2015166975A - 注釈情報付与プログラム及び情報処理装置 - Google Patents

Abstract

【課題】複数の対象となる情報に付与されるアノテーションの信頼性を均一にする注釈情報付与プログラム及び情報処理装置を提供する。【解決手段】情報処理装置１は、一のアノテーターの入力に基づき、アノテーション対象情報１１１のアノテーション対象にアノテーションを付与するアノテーション付与手段１００と、他のアノテーターによりアノテーション対象に過去に付与されたアノテーションと、一のアノテーターにより付与されたアノテーションとを比較し、一のアノテーター及び他のアノテーターの信頼性を評価するアノテーター評価手段１０１と、一のアノテーター及び他のアノテーターの信頼性に基づいて、一のアノテーターにアノテーションの付与を依頼するアノテーション対象情報１１１を決定するアノテーション範囲決定手段１０２とを有する。【選択図】図１

Description

本発明は、注釈情報付与プログラム及び情報処理装置に関する。

従来の技術として、ヒューマンコンピュテーションの品質を管理する方法が提案されている（例えば、非特許文献１参照）。

非特許文献１に開示された方法は、クラウドソーシングを用いて複数の人間に仕事を依頼して結果を受け取り、それをさらに大きな計算過程において活用するヒューマンコンピュテーションにおいて、仕事を依頼した人間（以下、「ワーカー」という。）から得られる結果は一般的に信頼できる特定のワーカーに仕事を依頼した場合と異なり不確実性が大きくなるが、能力の高いワーカーを抽出する、タスクの難しさも考慮してワーカーを評価する、ワーカーの自分の作業品質を自己申告させる、ゲームを取り入れワーカーにまじめに働いてもらう、ワーカーの作業工程をモニタリングする、多数決をとる、ワーカーの能力で票に重みを付ける等の手法を採用することで、個々の人間の仕事の精度を高めたり、タスク選択を効率化する等の手法を採用することで個々のワーカーが間違ったとしても全体としての精度に影響を与えないようにする。

小山 聡著、「ヒューマンコンピュテーションの品質管理」、人工知能、２９巻１号、２０１４年１月、ｐ．２７−３３

本発明の目的は、複数の対象となる情報に付与されるアノテーションの信頼性を均一にする注釈情報付与プログラム及び情報処理装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の注釈情報付与プログラム及び情報処理装置を提供する。

［１］コンピュータを、
一の入力者の入力に基づき、複数の対象を含む対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者の信頼性を評価する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する決定手段として機能させるための注釈情報付与プログラム。

［２］前記決定手段は、前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する前記［１］に記載の注釈情報付与プログラム。

［３］前記決定手段は、複数の前記他の入力者の信頼度が予め定めた第１の閾値より低いが予め定めた第２の閾値以上である場合、複数の当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する前記［１］に記載の注釈情報付与プログラム。

［４］機械学習用の情報として、少なくとも、前記対象情報の対象と、前記付与手段によって付与された注釈情報と、当該注釈情報を付与した入力者の信頼性とを有する情報を生成する生成手段としてさらに機能させる前記［１］−［３］のいずれかに記載の注釈情報付与プログラム。

［５］前記生成手段の生成する情報を用いて機械学習を行う機械学習手段としてさらに機能させる前記［４］に記載の注釈情報付与プログラム。

［６］一の入力者の入力に基づき、複数の対象を含む対象情報に注釈情報を付与する付与手段と、
他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者の信頼性を評価する評価手段と、
前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する決定手段とを有する情報処理装置。

請求項１又は６に係る発明によれば、複数の対象となる情報に付与される注釈情報の信頼性を均一にすることができる。

請求項２に係る発明によれば、複数人に注釈情報の付与を依頼する場合に、信頼性の高い注釈情報が重複して付与されることを抑制することができる。

請求項３に係る発明によれば、複数人に注釈情報の付与を依頼する場合に、複数の注釈情報を処理することによって信頼性の高い注釈情報が得られるとき、対象に信頼性の高い注釈情報が重複して付与されることを抑制することができる。

請求項４に係る発明によれば、機械学習に用いる情報に注釈情報の信頼性を含む情報を生成することができる。

請求項５に係る発明によれば、注釈情報の信頼性を考慮して機械学習を実行することができる。

図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。 図２は、アノテーション対象情報及びアノテーション情報の構成の一例を示す概略図である。 図３は、アノテーター情報の構成の一例を示す概略図である。 図４は、アノテーション対象情報とアノテーション情報の構成の一例を示す概略図である。 図５は、情報処理装置の動作の一例を示すフローチャートである。 図６は、アノテーター情報に付加されるアノテーターメタ情報の構成の一例を示す概略図である。 図７は、アノテーション対象情報とアノテーション情報の構成の一例を示す概略図である。 図８は、第２の実施の形態に係る情報処理装置の構成例を示すブロック図である。 図９は、学習用情報の構成の一例を示す概略図である。

［第１の実施の形態］
（情報処理装置の構成）
図１は、第１の実施の形態に係る情報処理装置の構成例を示すブロック図である。

情報処理装置１は、通信部１２を介して外部ネットワークに接続されており、クラウドソーシングにより、外部ネットワーク上に接続された端末等の利用者に、文書情報、画像情報、音声情報等のアノテーション対象情報１１１に当該情報の特徴等を示す注釈情報であるアノテーションの付与を依頼するものである（以下、アノテーションを付与する利用者を入力者としての「アノテーター」と呼ぶ。）。また、情報処理装置１は、アノテーターからアノテーションの入力を受け付けてアノテーション対象情報１１１にアノテーションを付与するものである。なお、アノテーションは、「ポジティブ」と「ネガティブ」のように二値のものでもよいし、複数のカテゴリを用意して多値に分類されるものであってもよい。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２とを備える。

制御部１０は、後述するアノテーション付与プログラム１１０を実行することで、アノテーション付与手段１００、アノテーター評価手段１０１及びアノテーション範囲決定手段１０２等として機能する。

アノテーション付与手段１００は、アノテーターからアノテーションの入力を受け付けて、複数のアノテーション対象を有するアノテーション対象情報１１１のうち、いくつかのアノテーション対象にアノテーションを付与する。付与されたアノテーションはアノテーション対象と関連付けられてアノテーション情報１１２として記憶部１１に格納される。

アノテーター評価手段１０１は、同一のアノテーション対象に対し、現在アノテーターが付与しているアノテーションと、他のアノテーターが過去に付与したアノテーションとを比較してアノテーション付与中のアノテーター及び過去にアノテーションを付与したアノテーターの信頼性の評価を行う。評価方法の詳細は後述する。評価結果はアノテーター情報１１３として記憶部１１に格納される。

アノテーション範囲決定手段１０２は、アノテーター評価手段１０１の評価結果であるアノテーター情報１１３に基づいてアノテーション付与中のアノテーターに依頼するアノテーション対象情報１１１中のアノテーション対象の範囲、つまりいずれのアノテーション対象に対してアノテーションの付与を依頼するのかを決定する。範囲の決定方法については後述する。

記憶部１１は、制御部１０を上述した各手段１０１−１０２として動作させるアノテーション付与プログラム１１０、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３等を記憶する。

図２は、アノテーション対象情報１１１及びアノテーション情報１１２の構成の一例を示す概略図である。

アノテーション対象情報１１１ａは、アノテーション対象情報１１１の一例であり、言語情報に対してアノテーションを行うことを想定した例であり、アノテーション対象として「今日は晴れ。いい天気だ。」といったようなテキストを複数含む文書情報である。

アノテーション情報１１２ａは、アノテーション情報１１２の一例であり、アノテーション対象情報１１１ａのそれぞれのアノテーション対象に対して付与されたアノテーションである。

図２に示す例では、アノテーション対象情報１１１ａの各テキストにアノテーションの付与を依頼するアノテーターの数は３人であって、各アノテーターがアノテーションを付与するアノテーション対象の数は３つである。また、付与するアノテーションはポジティブを表す「ポジ」かネガティブを表す「ネガ」のいずれかである。

図３は、アノテーター情報１１３の構成の一例を示す概略図である。

アノテーター情報１１３ａは、アノテーター情報１１３の一例であり、アノテーターを識別するアノテーター欄と、アノテーターの信頼性を示す信頼性欄と、アノテーターがアノテーションを付与したアノテーション対象情報１１１中のアノテーション対象の範囲を示すアノテーション付与範囲欄とを有する。

（情報処理装置の動作）
次に、第１の実施の形態の作用を、図１−図５を参照しつつ、説明する。

図４は、アノテーション対象情報１１１とアノテーション情報１１２の構成の一例を示す概略図である。また、図５は、情報処理装置の動作の一例を示すフローチャートである。

以下に説明する例では、「アノテーターＡ」及び「アノテーターＣ」によるアノテーションが既に付与されており、「アノテーターＢ」にアノテーションの付与を依頼する場合について説明する。また、アノテーション対象情報１１１ｂの各アノテーション対象にアノテーションの付与を依頼するアノテーターの数は３人であるものとし、各アノテーターは７つのアノテーション対象にアノテーションを付与するものとする。

まず、アノテーション範囲決定手段１０２は、図４に示すアノテーション対象情報１１１ｂのうち「教師データ１」〜「教師データ４」及び「教師データＴ＋１」〜「教師データＴ＋３」の７つのアノテーション対象を、アノテーションを付与する範囲１００ｂ_１及び１００ｂ_２に決定する（Ｓ１）。

次に、アノテーション付与手段１００は、当該範囲１００ｂ_１及び１００ｂ_２の一部について、例えば、範囲１００ｂ_１の「教師データ１」〜「教師データ４」について「アノテーターＢ」にアノテーションの付与を依頼し、「アノテーターＢ」からアノテーションの入力を受け付けると「教師データ１」〜「教師データ４」にアノテーションの付与を行う（Ｓ２）。この時点でアノテーション情報１１２ｂは図４に示す状態となる。

次に、アノテーター評価手段１０１は、「アノテーターＢ」が付与している範囲１００ｂ_１のアノテーションと、「アノテーターＡ」が過去に付与した範囲１００ａ_１のアノテーション及び「アノテーターＣ」が過去に付与した範囲１００ｃ_１のアノテーションとを比較して、「アノテーターＡ」、「アノテーターＢ」及び「アノテーターＣ」の信頼性の評価を行う（Ｓ３）。

図４に示す例では、範囲１００ａ_１のアノテーションと範囲１００ｂ_１のアノテーションとが一致し、範囲１００ｃ_１のアノテーションが「教師データ３」以外で一致しないため、アノテーター評価手段１０１はアノテーター情報１１３ａの「アノテーターＡ」及び「アノテーターＢ」の信頼性を上げ、「アノテーターＣ」の信頼性を下げる。この時点で図３のアノテーター情報１１３ａに示すように「アノテーターＡ」及び「アノテーターＢ」の信頼性が「８０％」、「アノテーターＣ」の信頼性が「５０％」になったものとする。

次に、アノテーション範囲決定手段１０２は、アノテーター情報１１３ａを参照し、「アノテーターＡ」及び「アノテーターＢ」の信頼性が予め定めた閾値以上である場合、例えば７０％以上である場合（Ｓ４；Ｙｅｓ）、「アノテーターＢ」に依頼するアノテーション対象情報１１１ｂの範囲を、信頼性の高い「アノテーターＡ」がアノテーションを付与している範囲１００ａ_２と重なる範囲１００ｂ_２を避け、アノテーションを付与していない範囲１００ｂ_３に設定する（Ｓ５）。

これは、信頼性の高い「アノテーターＡ」と同じ範囲に、同様に信頼性の高い「アノテーターＢ」にアノテーションの付与を依頼しても重複した信頼性の高いアノテーションの付与になる可能性が高いためである。また、同時に信頼性の低い「アノテーターＣ」と同じ範囲に、信頼性の高い「アノテーターＢ」にアノテーションの付与を依頼することで信頼性の低いアノテーションの付与が重複することを避けることができるためである。

なお、アノテーション付与手段１００は、「アノテーターＡ」と「アノテーターＢ」のように２人のアノテーションが一致した場合に信頼性が高いと評価したが、ｎ人（ｎ≧３）のアノテーションが一致した場合に信頼性が高いと評価してもよい。

次に、アノテーション付与手段１００は、当該範囲１００ｂ_３、つまり、「教師データＵ＋１」〜「教師データＵ＋３」について「アノテーターＢ」にアノテーションの付与を依頼し、「アノテーターＢ」からアノテーションの入力を受け付けると範囲１００ｂ_３にアノテーションの付与を行う（Ｓ６）。

また、ステップＳ４において、アノテーション範囲決定手段１０２は、アノテーター情報１１３ａを参照し、他のアノテーターの信頼性が予め定めた閾値より小さい場合、例えば７０％より小さい場合（Ｓ４；Ｎｏ）、当初に決定した「教師データ１」〜「教師データ４」及び「教師データＴ＋１」〜「教師データＴ＋３」の７つのテキストを、アノテーションを付与する範囲のままとする（Ｓ７）。

（第１の実施の形態の効果）
上記した第１の実施の形態によると、現在入力中のアノテーションと過去に入力されたアノテーションとに基づきアノテーターの信頼性を評価し、信頼性の高いアノテーターが過去にアノテーションを付与している場合、アノテーション対象情報１１１の当該範囲を現在アノテーションを付与中のアノテーターのアノテーション付与範囲から外すようにしたため、複数人にアノテーションの付与を依頼する場合に、信頼性の高いアノテーションが重複して付与されることを抑制することができる。

［変形例１］
上記した第１の実施の形態のアノテーター情報１１３に、以下に示すメタ情報を追加し、当該情報に基づいてアノテーター評価手段１０１がアノテーターの評価を行うようにしてもよい。

図６は、アノテーター情報１１３に付加されるアノテーターメタ情報の構成の一例を示す概略図である。

アノテーターメタ情報１１３Ａは、アノテーターを識別するアノテーター欄と、アノテーターの性別を示す性別欄と、アノテーターの年齢を示す年齢欄と、アノテーターの国籍を示す国籍欄と、アノテーターの居住地を示す居住地欄とを有する。

アノテーター評価手段１０１は、例えば、アノテーション対象情報１１１の内容が日本の流行に関する内容であれば、居住地欄が「日本」である「アノテーターＡ」及び「アノテーターＢ」が信頼性の高いアノテーションを付与することを前提に、第１の実施の形態で説明したようにアノテーションを比較して、その一致又は不一致に基づいて「アノテーターＡ」及び「アノテーターＢ」の評価を行うようにしてもよい。

［変形例２］
上記した第１の実施の形態のように、アノテーションの一致又は不一致によりアノテーターを比較する他に、アノテーター評価手段１０１は、以下に示すように単一のアノテーターについて評価を行ってもよい。この方法は、第１の実施の形態の評価方法と組み合わせてもよいし、独立して行うものであってもよい。

アノテーター評価手段１０１は、例えば、あるアノテーターが付与したアノテーション情報１１２のエントロピーを計算する。これは、不真面目なアノテーターは単一のアノテーションを全てのデータに付与することがあると考えられるためであり、計算されたエントロピーが小さい場合、信頼性が低いと評価することができる。

また、上記した変形例１、２の他にも、「アノテーターに自分の作業品質を自己申告させる」、「アノテーターの作業工程をモニタリングする」、「過去の別のアノテーション作業において評価したアノテーターの信頼性を利用する」といったような従来技術を組み合わせて信頼性の評価をしてもよく、これにより評価精度を向上することができるのはもちろんである。

［変形例３］
上記した第１の実施の形態において説明したアノテーション範囲決定手段１０２の動作に加え、以下に説明するようにアノテーション範囲決定手段１０２を動作させてもよい。

図７は、アノテーション対象情報１１１とアノテーション情報１１２の構成の一例を示す概略図である。

アノテーション対象情報１１１ｃに対しアノテーション情報１１２ｃが付与されている場合において、範囲１００ｅ_１、１００ｆ_１及び１００ｆ_２のアノテーションがそれぞれ「教師データ３」、「教師データ４」及び「教師データＴ＋３」のアノテーションとしては誤りであるものとする。

また、「アノテーターＤ」、「アノテーターＥ」、「アノテーターＦ」の信頼性は、予め定めた閾値（７０％）より小さく、予め定めた第２の閾値（６０％）以上の信頼性であるとする。

以上の条件において、信頼性の高いアノテーター（７０％以上）に比べて信頼性が劣るが、ある程度信頼性が保障されているアノテーター（６０％以上）の場合であって、アノテーションが所定の数、例えば、３つ付与されている場合、アノテーション範囲決定手段１０２は、アノテーション情報１１２ｃの「教師データ１」〜「教師データＴ＋３」の範囲には、さらなるアノテーションが不要と判断し、現在アノテーションを付与中のアノテーターに対し他の範囲のアノテーション付与を依頼するようにしてもよい。

［第２の実施の形態］
以下に第２の実施の形態に係る情報処理装置１Ａについて説明する。第２の実施の形態は、第１の実施の形態と比べて、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３に基づき機械学習に用いる情報を生成し、当該情報を用いて機械学習を行う点で異なる。なお、第１の実施の形態と共通の構成については同一の符号を付している。

図８は、第２の実施の形態に係る情報処理装置の構成例を示すブロック図である。

情報処理装置１Ａは、第１の実施の形態の情報処理装置１と比べて、学習用情報生成手段１０３、機械学習手段１０４及び学習用情報１１４をさらに有する。

学習用情報生成手段１０３は、アノテーション対象情報１１１、アノテーション情報１１２及びアノテーター情報１１３に基づいて学習用情報１１４を生成する。

機械学習手段１０４は、学習用情報１１４を用いて機械学習を実行する。

図９は、学習用情報１１４の構成の一例を示す概略図である。

学習用情報１１４ａは、学習用情報１１４の一例であり、アノテーション欄と、アノテーター欄と、信頼性欄と、アノテーション対象情報欄とを有する。

（情報処理装置の動作）
次に、第２の実施の形態の作用を説明する。

情報処理装置１Ａは、各手段１００〜１０２によりアノテーション対象情報１１１にアノテーション情報１１２を付与するとともに、アノテーター情報１１３を生成する。

次に、学習用情報生成手段１０３は、アノテーション対象情報１１１とアノテーション情報１１２とから構成される一般的な機械学習用の情報に、アノテーター情報１１３に含まれる項目をさらに追加して学習用情報１１４とする。図９に示す例では、学習用情報１１４ｄは、一般的な機械学習用の情報としてアノテーション対象情報１１１に対応するアノテーション対象情報欄と、アノテーション情報１１２に対応するアノテーション欄とを有し、さらにアノテーター情報１１３に含まれるアノテーター欄と、信頼性欄とを有する。

次に、機械学習手段１０４は、学習用情報１１４ａを用いて機械学習を行う。この際に信頼性欄の値を考慮して学習用情報１１４ａのそれぞれについて重み付けを行ってもよい。また、さらにアノテーターメタ情報１１３Ａを用いて重み付けを行ってもよい。

（第２の実施の形態の効果）
上記した第２の実施の形態によれば、機械学習用の情報として用いられる情報は通常アノテーション対象とアノテーションのみであるが、当該機械学習用の情報にアノテーターの信頼性を追加したものとしたため、アノテーションの信頼性を考慮した機械学習用の情報を生成することができ、アノテーションの信頼性を考慮した機械学習を実行することができる。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

上記実施の形態では制御部１０の各手段１００〜１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１、１Ａ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ アノテーション付与手段
１０１ アノテーター評価手段
１０２ アノテーション範囲決定手段
１０３ 学習用情報生成手段
１０４ 機械学習手段
１１０ アノテーション付与プログラム
１１１ アノテーション対象情報
１１２ アノテーション情報
１１３ アノテーター情報
１１３Ａ アノテーターメタ情報
１１４ 学習用情報

Claims (6)

1. コンピュータを、
   一の入力者の入力に基づき、複数の対象を含む対象情報に注釈情報を付与する付与手段と、
   他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者の信頼性を評価する評価手段と、
   前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する決定手段として機能させるための注釈情報付与プログラム。
2. 前記決定手段は、前記他の入力者の信頼度が予め定めた閾値以上である場合、当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する請求項１に記載の注釈情報付与プログラム。
3. 前記決定手段は、複数の前記他の入力者の信頼度が予め定めた第１の閾値より低いが予め定めた第２の閾値以上である場合、複数の当該他の入力者が注釈情報を付与した対象以外を、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲に決定する請求項１に記載の注釈情報付与プログラム。
4. 機械学習用の情報として、少なくとも、前記対象情報の対象と、前記付与手段によって付与された注釈情報と、当該注釈情報を付与した入力者の信頼性とを有する情報を生成する生成手段としてさらに機能させる請求項１−３のいずれか１項に記載の注釈情報付与プログラム。
5. 前記生成手段の生成する情報を用いて機械学習を行う機械学習手段としてさらに機能させる請求項４に記載の注釈情報付与プログラム。
6. 一の入力者の入力に基づき、複数の対象を含む対象情報に注釈情報を付与する付与手段と、
   他の入力者により前記複数の対象の一部に付与済みの注釈情報と、前記一の入力者により付与された注釈情報とを比較し、前記一の入力者及び前記他の入力者の信頼性を評価する評価手段と、
   前記一の入力者及び前記他の入力者の信頼性に基づいて、前記一の入力者に注釈情報の付与を依頼する前記対象情報の対象の範囲を決定する決定手段とを有する情報処理装置。

Images