JP2018045592A - ラベル付与装置、ラベル付与方法及びラベル付与プログラム - Google Patents

Abstract

【課題】多段階の値に対応するラベルを有する情報を効率的に作成する。【解決手段】ラベル付与装置２は、ラベルが付与される対象情報をタッチパネルが設けられた表示部２１に表示させる表示制御部２４２と、タッチパネルにおいて、対象情報に対応する位置をタッチする操作を受け付ける受付部２４３と、タッチされた位置と、対象情報に対して予め定められた基準位置とに基づいて、対象情報に対応するラベルの値を特定する特定部２４４と、特定されたラベルの値を対象情報に付与する送信部２４６と、を備える。【選択図】図３

Description

本発明は、機械学習用のラベルを対象情報に付与するラベル付与装置、ラベル付与方法及びラベル付与プログラムに関する。

近年、インターネットを通じて不特定多数の人に仕事等の作業を依頼するクラウドソーシングを利用して、大量の対象情報のそれぞれに対して付与するラベルの値を示すデータを高速かつ大量に作成することが行われている。例えば、機械学習の学習データの作成では、対象情報としての学習データに対して、特定の条件を満たすか否かを示すラベルを付与することが一般的であるものの、複数段階の強度を有するラベルを付与することも行われている。特許文献１には、人と人以外との中間的な特徴を持つ多数の画像を生成し、ラジオボタン式のインターフェースを介して作業者に人と人以外との境界を選択させることによって多くの学習データを得る方法が記載されている。

特開２０１５−１９１４２６号公報

特許文献１に記載されているように、ラジオボタン式のインターフェースを用いて学習データに複数段階の強度を有するラベルを付与する方法では、選択肢を多くすればするほどラベルの粒度を高めることができる。しかしながら、作業者が複数の選択肢から一の選択肢を選択する必要があるため、選択肢が多くなればなるほど、作業者の選択に要する時間が大きくなり、非効率となる。一方、選択肢を減らすと所要時間は減少するが、ラベルの粒度が荒くなるという問題がある。

そこで、本発明はこれらの点に鑑みてなされたものであり、多段階の値に対応するラベルを有する情報を効率的に作成することができるラベル付与装置、ラベル付与方法及びラベル付与プログラムを提供することを目的とする。

本発明の第１の態様に係るラベル付与装置は、ラベルが付与される対象情報をタッチパネルが設けられた表示部に表示させる表示制御部と、前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付ける受付部と、タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部と、特定されたラベルの値を前記対象情報に付与する付与部と、を備える。

前記表示制御部は、複数の前記対象情報を前記表示部に表示させ、前記受付部は、前記対象情報のそれぞれに対応する位置をタッチする操作を受け付け、前記特定部は、タッチされた位置と、複数の前記対象情報のそれぞれに対して予め定められた前記基準位置とに基づいて、複数の前記対象情報のそれぞれに対応するラベルの値を特定し、前記付与部は、複数の前記対象情報のそれぞれに、特定されたラベルの値を付与してもよい。

前記表示制御部は、複数の前記対象情報を含む集合情報を前記表示部に表示させ、前記特定部は、前記集合情報から複数の前記対象情報を抽出し、タッチされた位置と、抽出した複数の前記対象情報のそれぞれに対して予め定められた前記基準位置とに基づいて、複数の前記対象情報のそれぞれに対応するラベルの値を特定してもよい。

前記受付部は、前記タッチパネルをタッチしながら前記対象情報に対応する位置を含む領域を移動する操作を受け付け、前記特定部は、前記操作の軌跡と前記基準位置とに基づいて、前記対象情報に対応するラベルの値を特定してもよい。

前記受付部は、前記対象情報に対応する位置をタッチする操作として、タップ操作、フリック操作又はスワイプ操作を受け付け、前記特定部は、前記タップ操作、前記フリック操作又は前記スワイプ操作に対応する位置と、前記基準位置とに基づいて、前記対象情報に対応するラベルの値を特定してもよい。
前記表示制御部は、前記特定部が特定したラベルの値に対応する情報を前記タッチされた位置に表示させてもよい。

前記ラベル付与装置は、前記特定部により過去に特定された複数のラベルの値に基づいて、前記タッチパネルを操作するユーザの操作傾向を特定し、前記特定部により新たに特定されたラベルの値を、前記操作傾向に基づいて補正する補正部を更に備えてもよい。
前記表示制御部は、特定されたラベルの値と、他のユーザによって予め特定されたラベルの値とに基づいて算出された点数を前記表示部に表示させてもよい。
前記表示制御部は、機械学習に係るラベルが付与される対象情報を前記表示部に表示させ、前記付与部は、前記対象情報と、当該対象情報に対して特定されたラベルの値とを関連付けた教師データを生成してもよい。

本発明の第２の態様に係るラベル付与装置は、ラベルが付与される対象情報を表示部に表示させるとともに、入力部による入力位置を示すポインタを前記表示部に表示させる表示制御部と、前記入力部を介して、前記対象情報に対応する位置を含む領域において前記ポインタを移動させる操作を受け付ける受付部と、前記操作の軌跡と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部と、特定されたラベルの値を前記対象情報に付与する付与部と、を備える。

本発明の第３の態様に係るラベル付与システムは、ラベル付与装置と、管理装置とを備えるラベル付与システムであって、前記管理装置は、ラベルが付与される対象情報を前記ラベル付与装置に送信する送信部を有し、前記ラベル付与装置は、前記対象情報をタッチパネルが設けられた表示部に表示させる表示制御部と、前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付ける受付部とを有し、前記管理装置又は前記ラベル付与装置は、タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部と、特定されたラベルの値を前記対象情報に付与する付与部とを更に有する。

前記ラベル付与装置は複数設けられ、前記管理装置は、前記対象情報と、前記対象情報に付与されたラベルの値とを関連付けて記憶する記憶部と、同一の対象情報に付与された複数のラベルの値に基づいて、当該対象情報の信頼度を算出する算出部とを更に有してもよい。
前記送信部は、算出された信頼度が所定の閾値以下の対象情報を、当該対象情報が送信されていない前記ラベル付与装置に送信してもよい。

本発明の第４の態様に係るラベル付与方法は、コンピュータが実行する、ラベルが付与される対象情報をタッチパネルが設けられた表示部に表示させるステップと、前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付けるステップと、タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定するステップと、特定されたラベルの値を前記対象情報に付与するステップと、を備える。

本発明の第５の態様に係るラベル付与プログラムは、コンピュータを、ラベルが付与される対象情報をタッチパネルが設けられた表示部に表示させる表示制御部、前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付ける受付部、タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部、及び特定されたラベルの値を前記対象情報に付与する付与部、として機能させる。

本発明によれば、多段階の値に対応するラベルを有する情報を効率的に作成することができるという効果を奏する。

第１実施形態に係るラベル付与システムの概要を示す図である。 第１実施形態に係る管理装置の構成を示す図である。 第１実施形態に係るラベル付与装置の構成を示す図である。 第１実施形態に係るラベル付与システムにおける処理の流れを示すシーケンス図である。 第１実施形態に係る対象情報が表示部に表示された例を示す図である。 第１実施形態に係るなぞり操作の軌跡が表示部にリアルタイムで表示されている例を示す図である。 第１実施形態に係る対象情報が表示部に表示された別の例を示す図である。 第１実施形態に係る基準位置と、タッチされた位置との距離を説明するための図である。 第１実施形態に係るなぞり操作の軌跡の表示態様をラベルの値に基づいて変化させた例を示す図である。 第２実施形態においてタップ操作により対象情報に対応する位置を受け付ける例を示す図である。 第２実施形態においてフリック操作又はスワイプ操作により対象情報に対応する位置を受け付ける例を示す図である。 第３実施形態に係る管理装置の構成を示す図である。 第４実施形態に係る点数が表示部に表示された例を示す図である。

＜第１実施形態＞
［ラベル付与システムＳの概要］
図１は、第１実施形態に係るラベル付与システムＳの概要を示す図である。図１に示すように、ラベル付与システムＳは、管理装置１と、ラベル付与装置２とを備える。ラベル付与システムＳは、対象情報に対して多段階の値に対応するラベルを付与するシステムである。ここで、第１実施形態に係る対象情報は、例えば、機械学習に係るラベルが付与される情報である。また、対象情報及びラベルの値は、機械学習の教師データとして用いられるものとするが、これに限らず、付与されたラベルをそのまま統計情報としてアンケート結果に利用する等、他の用途に用いられてもよい。

管理装置１は、ラベル付与装置２と通信ネットワークを介して接続されるサーバである。ラベル付与装置２は、スマートフォン等の携帯端末である。ラベル付与装置２は、クラウドソーシングに係る作業としての、対象情報へのラベル付与作業を行うユーザによって使用される。なお、図１では、ラベル付与装置２は、１台のみ表示されているが、複数存在するものとする。

第１実施形態において、管理装置１は、ラベル付与装置２から対象情報の取得リクエストが行われたことに応じて、対象情報をラベル付与装置２に送信する（図１の（１））。ラベル付与装置２は、受信した対象情報をタッチパネルが設けられた表示部に表示させ（図１の（２））、対象情報に対応する位置をタッチする操作を受け付ける（図１の（３））。ラベル付与装置２は、タッチされた位置に基づいて、多段階の値に対応するラベルの値を特定し（図１の（４））、特定されたラベルの値を対象情報に付与する。このようにすることで、ラベル付与装置２は、対象情報に対応する位置をタッチするという簡単な操作に基づいて、多段階の値に対応するラベルを有する情報を効率的に作成することができる。

ラベル付与装置２は、特定したラベルの値と、対象情報とを管理装置１に送信する（図１の（５））。管理装置１は、ラベルの値と対象情報とを受信すると、当該対象情報に関連付けてラベルの値を記憶する（図１の（６））。これにより、管理装置１は、対象情報に複数段階の強度を示すラベルを付与することができる。
以下、管理装置１及びラベル付与装置２の構成について説明する。

［管理装置１の構成例］
まず、管理装置１の構成について説明する。図２は、第１実施形態に係る管理装置１の構成を示す図である。管理装置１は、記憶部１１と、制御部１２とを備える。

記憶部１１は、例えば、ＲＯＭ及びＲＡＭ等である。記憶部１１は、管理装置１を機能させるための各種プログラムを記憶する。例えば、記憶部１１は、管理装置１を送信部１２１、受信部１２２、及び記憶制御部１２３として機能させる管理プログラムを記憶する。また、記憶部１１は、対象情報と、対象情報に対して付与されたラベルの値とを記憶する。

制御部１２は、例えばＣＰＵである。制御部１２は、記憶部１１に記憶されている各種プログラムを実行することにより、管理装置１に係る機能を制御する。制御部１２は、送信部１２１と、受信部１２２と、記憶制御部１２３とを備える。これらの機能の詳細については後述する。

［ラベル付与装置２の構成例］
続いて、ラベル付与装置２の構成について説明する。図３は、第１実施形態に係るラベル付与装置２の構成を示す図である。ラベル付与装置２は、表示部２１と、入力部２２と、記憶部２３と、制御部２４とを備える。

表示部２１は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。表示部２１は、制御部２４の制御に応じて対象情報や、対象情報に対応するラベルの値を示す情報等を表示する。
入力部２２は、例えば、表示部２１に対応して配置される接触センサ等により構成されるタッチパネルやボタンであり、ラベル付与装置２のユーザから操作入力を受け付ける。

記憶部２３は、例えば、ＲＯＭ及びＲＡＭ等である。記憶部２３は、ラベル付与装置２を機能させるための各種プログラムを記憶する。例えば、記憶部２３は、ラベル付与装置２の制御部２４を、後述する取得部２４１、表示制御部２４２、受付部２４３、特定部２４４、補正部２４５、及び付与部としての送信部２４６として機能させるラベル付与プログラムを記憶する。

制御部２４は、例えばＣＰＵである。制御部２４は、記憶部２３に記憶されている各種プログラムを実行することにより、ラベル付与装置２に係る機能を制御する。制御部２４は、取得部２４１と、表示制御部２４２と、受付部２４３と、特定部２４４と、補正部２４５と、送信部２４６とを備える。

［ラベル付与システムＳにおける処理の流れ］
続いて、管理装置１が備える制御部１２及びラベル付与装置２が備える制御部２４が備える各機能について、ラベル付与システムＳにおける処理の流れを示すシーケンス図を参照しながら説明する。図４は、第１実施形態に係るラベル付与システムＳにおける処理の流れを示すシーケンス図である。

まず、ラベル付与装置２の取得部２４１は、管理装置１に、対象情報の取得リクエストを送信する（Ｓ１０）。
管理装置１の送信部１２１は、ラベル付与装置２から対象情報の取得リクエストを受信したことに応じて、記憶部１１に記憶されている対象情報のうち、当該ラベル付与装置２に送信していない対象情報を取得する（Ｓ２０）。

ここで、対象情報は、例えば単語や画像である。送信部１２１は、複数の対象情報を含む集合情報を取得する。例えば、送信部１２１は、単語を複数含む文を集合情報として取得する。送信部１２１は、取得した集合情報を送信することにより、複数の対象情報をラベル付与装置２に送信する（Ｓ３０）。

ラベル付与装置２の取得部２４１は、管理装置１から送信された、複数の対象情報を含む集合情報を取得する。
続いて、ラベル付与装置２の表示制御部２４２は、機械学習に係るラベルが付与される対象情報を、入力部２２を構成するタッチパネルが設けられた表示部２１に表示させる（Ｓ４０）。

図５は、第１実施形態に係る対象情報が表示部２１に表示された例を示す図である。表示制御部２４２は、例えば図５に示すように、複数の対象情報を含む集合情報としての文Ｓａ、Ｓｂを表示部２１に表示させる。

また、表示制御部２４２は、文Ｓａ、Ｓｂを構成する単語のそれぞれに対して付与するラベルの尺度を示す情報を表示させる。図５に示す例では、ラベルの尺度を示す尺度情報Ｍとして、単語を肯定的と捉えるか否かを示す文字列「肯定」、「否定」及び矢印を表示させる。

図４に戻り、受付部２４３は、ラベル付与装置２のユーザから、入力部２２を構成するタッチパネルにおいて、対象情報に対応する位置をタッチする操作を受け付ける（Ｓ５０）。具体的には、受付部２４３は、タッチパネルにおいて集合情報に対応する複数の対象情報のそれぞれに対応する位置をタッチする操作を受け付ける。より具体的には、受付部２４３は、ユーザから、タッチパネルをタッチしながら対象情報に対応する位置を含む領域を移動する操作、すなわち、複数の対象情報に対応する位置をなぞる操作を受け付ける。図５に示す例では、受付部２４３は、集合情報としての文Ｓａ、Ｓｂのそれぞれに対応する領域Ａａ、Ａｂにおいて、複数の対象情報に対応する位置をなぞる操作を受け付ける。例えば、領域Ａａのうち文Ｓａよりも上の位置をなぞる操作が、文Ｓａを構成する各単語を肯定的に捉えることに対応する。また、領域Ａａのうち文Ｓａよりも下の位置をなぞる操作が、文Ｓａを構成する各単語を否定的に捉えることに対応する。

ここで、表示制御部２４２は、タッチパネルをなぞる操作（以下、なぞり操作ともいう。）の軌跡を表示部２１にリアルタイムに表示させるようにしてもよい。図６は、第１実施形態に係るなぞり操作の軌跡Ｔが表示部２１にリアルタイムで表示されている例を示す図である。このようにすることで、ラベル付与装置２は、表示部２１においてタッチ操作が検出された位置をユーザに把握させることができる。

なお、上述の説明では、集合情報が文である例について説明したが、集合情報は文に限らず、複数の画像であってもよい。例えば、取得部２４１は、管理装置１から、動画等から抽出された時間的に連続する複数の画像を集合情報として取得してもよい。また、取得部２４１は、管理装置１から動画を取得し、当該動画から時間的に連続する複数の画像を集合情報として抽出してもよい。

図７は、第１実施形態に係る対象情報が表示部２１に表示された別の例を示す図である。表示制御部２４２は、図７（ａ）に示すように、複数の対象情報を含む集合情報として、時間的に連続する複数の画像を表示部２１に表示させる。図７に示す例では、同一人物の顔の画像であって、それぞれ表情が異なる画像が表示されていることが確認できる。また、図７に示す例では、ラベルの尺度として、表情が快適なものか否かを示す文字列「快」、「不快」及び矢印が表示されていることが確認できる。

この場合において、受付部２４３は、複数の画像に対応する位置をなぞる操作を受け付ける。そして、表示制御部２４２は、図７（ｂ）に示すように、なぞり操作の軌跡を表示部２１にリアルタイムで表示させる。

図４に戻り、特定部２４４は、タッチされた位置と、対象情報に対して予め定められた基準位置とに基づいて、対象情報に対応するラベルの値を特定する（Ｓ６０）。具体的には、特定部２４４は、タッチされた位置と、複数の対象情報のそれぞれに対して予め定められた基準位置とに基づいて、複数の対象情報のそれぞれに対応するラベルの値を特定する。

より具体的には、特定部２４４は、集合情報から複数の対象情報を抽出し、なぞり操作の軌跡が示すタッチされた位置と、抽出した複数の対象情報のそれぞれに対して予め定められた基準位置とに基づいて、複数の対象情報のそれぞれに対応するラベルの値を特定する。特定部２４４は、図５に示すように、集合情報が文である場合には、形態素解析を行うことにより、当該集合情報から複数の対象情報として、例えば、名詞や形容詞といった文における重要度が相対的に高い単語を抽出する。例えば、特定部２４４は、図５に示される文Ｓａから、単語として「ａ社」、「ケータイ」、「かっこよく」を抽出する。なお、特定部２４４は、形態素解析を行うことにより、文に含まれる全ての単語を抽出してもよい。

続いて、特定部２４４は、表示部２１に表示されている文のうち、抽出された複数の単語のそれぞれの基準位置と、当該単語に対応してタッチされた位置との距離を算出する。図８は、基準位置と、タッチされた位置との距離を説明するための図である。基準位置は、図８に示すように、文を構成する複数の文字の中心を結ぶ線分Ｌに対応する位置である。

特定部２４４は、なぞり操作の軌跡上の位置のうち、抽出された単語に対応する線分の位置から最も距離が長くなる位置を、基準位置と、当該単語に対応してタッチされた位置との距離として算出する。図８に示す例では、特定部２４４は、軌跡Ｔのうち、単語「かっこよく」に対応する領域Ａｃに含まれる軌跡を特定する。そして、特定部２４４は、特定した軌跡上の位置であって線分Ｌから最も遠い位置と、単語「かっこよく」の基準位置との距離Ｄを算出する。特定部２４４は、同様の手順で、抽出された単語のそれぞれに対応する距離を算出する。

特定部２４４は、算出した距離に基づいてラベルの値を多段階で特定する。例えば、特定部２４４は、単語「かっこよく」の距離が６．３４２５である場合、単語「かっこよく」のラベルの値を６．３４２５とする。

なお、表示制御部２４２は、特定部２４４が特定したラベルの値に対応する情報をタッチされた位置に表示させるようにしてもよい。例えば、表示制御部２４２は、なぞり操作の軌跡を表示部２１にリアルタイムで表示させる場合に、当該軌跡の表示態様をラベルの値に基づいて変化させるようにしてもよい。

図９は、第１実施形態に係るなぞり操作の軌跡Ｔの表示態様をラベルの値に基づいて変化させた例を示す図である。図９に示す例では、ラベルの値が相対的に高い値である場合には、軌跡Ｔが太く表示され、ラベルの値が相対的に低い値である場合には、軌跡Ｔが破線で表示されている。このようにすることで、ラベル付与装置２は、ユーザにラベルの値の特定状況を把握させることができる。

なお、図９に示す例では、表示制御部２４２は、ラベルの値に応じて、軌跡Ｔを太く表示させたり破線で表示させたりしたが、これに限らない。表示制御部２４２は、ラベルの値に応じて、軌跡Ｔの色を変化させるようにしてもよい。

図４に戻り、補正部２４５は、特定部２４４により過去に特定された複数のラベルの値に基づいて、入力部２２を構成するタッチパネルを操作するユーザの操作傾向を特定し、特定部２４４により新たに特定されたラベルの値を、操作傾向に基づいて補正する（Ｓ７０）。

例えば、補正部２４５は、特定部２４４により過去に特定された複数のラベルの値に基づいて、ラベルの値の分散を特定する。そして、補正部２４５は、分散の値に基づいて特定されたラベルの値を補正する。例えば、補正部２４５は、複数のラベル付与装置２において算出された分散の平均値を管理装置１から取得しておき、分散の値が相対的に高い場合には、ラベルの値が小さくなるように補正し、分散の値が相対的に低い場合には、ラベルの値が大きくなるように補正する。このようにすることで、複数のラベル付与装置２のそれぞれを操作する異なるユーザ間のラベルを均一に扱うことができる。ここで、表示制御部２４２は、補正後のラベルの値に基づいて、なぞり操作の軌跡の表示態様を変化させるようにしてもよい。

なお、補正部２４５は、軌跡Ｔと、集合情報とに基づいて、軌跡Ｔの表示部２１上の位置を変化させることによりラベルの値を補正するようにしてもよい。例えば、ユーザの中には、なぞり操作の軌跡が左右にずれるユーザも存在する。そこで、補正部２４５は、なぞり操作に基づいて算出したタッチ位置と基準位置との距離と、対象情報の位置とに基づいて、なぞり操作の軌跡の左右へのずれ量を特定してもよい。そして、補正部２４５は、ずれ量に基づいて軌跡Ｔの表示部２１上の位置を変化させることによりラベルの値を補正するようにしてもよい。

また、本実施形態では、補正部２４５が、特定部２４４により新たに特定されたラベルの値を、操作傾向に基づいて補正するものとしたが、これに限らない。ラベル付与装置２は、補正部２４５を備えないようにしてもよい。

送信部２４６は、特定部２４４によって特定されるとともに補正部２４５によって補正された、複数の対象情報のそれぞれのラベルの値と、当該複数の対象情報と、ラベル付与装置２の識別情報とを管理装置１に送信する（Ｓ８０）。例えば、送信部２４６は、対象情報と、当該対象情報に対して特定されるとともに補正されたラベルの値とを関連付けた教師データを生成し、当該教師データと、ラベル付与装置２の識別情報とを管理装置１に送信する。これにより、送信部２４６は、管理装置１に、特定されたラベルの値を対象情報に付与させる。

受信部１２２は、ラベル付与装置２から対象情報と、ラベルの値と、ラベル付与装置２の識別情報とを受信する。
記憶制御部１２３は、ラベルの値を記憶部１１に記憶させる（Ｓ９０）。具体的には、記憶制御部１２３は、対象情報と、ラベルの値と、ラベル付与装置２の識別情報を受信する。そして、記憶制御部１２３は、対象情報と、ラベルの値と、ラベル付与装置２の識別情報とを関連付けて記憶部１１に記憶させる。

［第１実施形態における効果］
以上のとおり、第１実施形態に係るラベル付与システムＳにおいて、ラベル付与装置２は、タッチパネルにおいて表示部２１に表示された対象情報に対応する位置をタッチする操作を受け付け、タッチされた位置と、当該対象情報に対して予め定められた基準位置とに基づいて、当該対象情報に対応するラベルの値を特定し、特定されたラベルの値を当該対象情報に付与する。このようにすることで、ラベル付与装置２は、タッチパネルにおいて対象情報に対応する位置をタッチするという簡単な操作に基づいて、多段階の値に対応するラベルを効率的に作成することができる。

＜第２実施形態＞
続いて、第２実施形態について説明する。第２実施形態に係るラベル付与装置２は、複数の対象情報に対応する位置をなぞる操作とは異なる操作によって、対象情報に対応する位置を受け付ける点で第１実施形態と異なる。以下、第１実施形態と同じ部分については適宜説明を省略する。

第２実施形態において、受付部２４３は、対象情報に対応する位置のタッチ操作として、タップ操作を受け付ける。図１０は、第２実施形態においてタップ操作により対象情報に対応する位置を受け付ける例を示す図である。例えば、表示制御部２４２は、図１０（ａ）に示すように、集合情報としての文に対してラベルの値に対応する線Ｌ１、Ｌ２を表示させておく。ここで、線Ｌ１、Ｌ２に対応するラベルの値は、中立を示す値（例えば０）であるものとする。そして、受付部２４３は、対象情報に対応する位置をタッチする操作として、線Ｌ１、Ｌ２の上下の領域におけるタップ操作を受け付ける。例えば、ユーザが「かっこよく」を肯定的に捉える場合、ユーザは、図１０（ａ）に示すように、「かっこよく」の上部の領域Ａｄをタップする操作を行う。受付部２４３が、領域Ａｄをタップする操作を受け付けると、表示制御部２４２は、図１０（ｂ）に示すように、線Ｌ１がタッチされた位置を通過するように線Ｌ１の形状を変化させる。

第２実施形態において、受付部２４３は、対象情報に対応する位置のタッチ操作として、フリック操作又はスワイプ操作を受け付ける。図１１は、第２実施形態においてフリック操作又はスワイプ操作により対象情報に対応する位置を受け付ける例を示す図である。表示制御部２４２は、図１１（ａ）に示すように、集合情報としての文に対してラベルの値に対応する線Ｌ１、Ｌ２を表示させておく。そして、受付部２４３は、対象情報に対応する位置をタッチする操作として、線Ｌ１、Ｌ２が表示されている位置から、線Ｌ１、Ｌ２の上下の領域にフリック又はスワイプする操作を受け付ける。例えば、ユーザが「かっこよく」を肯定的に捉える場合、ユーザは、図１１（ａ）に示すように、線Ｌ１のうち、「かっこよく」に対応する位置を開始位置とし、破線矢印の方向にフリック又はスワイプする操作を行う。受付部２４３が、フリック又はスワイプする操作を受け付けると、表示制御部２４２は、図１１（ｂ）に示すように、線Ｌ１がタッチされた位置を通過するように線Ｌ１の形状を変化させる。

特定部２４４は、タップ操作、フリック操作又はスワイプ操作に対応する位置と、基準位置とに基づいて、対象情報に対応するラベルの値を特定する。例えば、特定部２４４は、タップ操作が行われた場合、当該タップ操作が行われた位置と、当該位置と、対象情報に対応して表示されている線との距離とに基づいてラベルの値を特定する。また、特定部２４４は、フリック操作又はスワイプ操作が行われた場合、当該操作が終了した位置と、対象情報に対応して表示されている線との距離とに基づいてラベルの値を特定する。

［第２実施形態における効果］
以上のとおり、第２実施形態に係るラベル付与システムＳにおいて、ラベル付与装置２は、対象情報に対応する位置をタッチする操作として、タップ操作、フリック操作又はスワイプ操作を受け付け、当該タップ操作、フリック操作又はスワイプ操作に対応する位置と、基準位置とに基づいて、対象情報に対応するラベルの値を特定する。このようにすることで、ラベル付与装置２は、対象情報をなぞるタッチ操作とは異なる、タップ操作、フリック操作又はスワイプ操作でも、ラベルの値を特定することができる。

＜第３実施形態＞
［対象情報のラベルの値の信頼度を算出する］
続いて、第３実施形態について説明する。第３実施形態に係るラベル付与システムＳは、管理装置１が、対象情報のラベルの値の信頼度を算出する点で第１実施形態と異なる。
図１２は、第３実施形態に係る管理装置１の構成を示す図である。図１２に示すように、管理装置１の制御部１２は、算出部１２４を更に備える。

算出部１２４は、複数のラベル付与装置２から受信した、同一の対象情報に対して付与されたラベルの値に基づいて信頼度を算出する。例えば、算出部１２４は、同一の対象情報に対して付与されたラベルの値に基づいて、信頼度としての分散を算出する。そして、算出部１２４は、算出した分散に基づいて信頼度を算出する。例えば、算出部１２４は、分散の値が高い場合には信頼度が低く、分散の値が低い場合には信頼度が高くなるように信頼度を算出する。

送信部１２１は、ラベル付与装置２から対象情報の取得リクエストを受信し、ラベル付与装置２に送信する対象情報を記憶部１１から取得する場合に、算出された信頼度が所定の閾値以下の対象情報、すなわち、信頼性が低いラベルが付されている対象情報を記憶部１１から取得する。そして、送信部１２１は、当該対象情報を、取得リクエストを送信したラベル付与装置２に送信する。これにより、送信部１２１は、信頼性が低いラベルが付されている対象情報を、当該対象情報が送信されていないラベル付与装置２に送信する。

［第３実施形態における効果］
以上のとおり、第３実施形態に係るラベル付与システムＳにおいて、管理装置１は、同一の対象情報に付与された複数のラベルの値に基づいて、当該対象情報の信頼度を算出する。このようにすることで、管理装置１は、ラベルの極性が分かれる対象情報やラベルに付された値にばらつきがある対象情報を特定することができる。そして、管理装置１は、当該対象情報をラベル付与装置２に送信し、当該対象情報に対して新たに付与されるラベルの値に基づいて、信頼性を再判定することができる。また、管理装置１は、複数のラベル付与装置２に当該対象情報を送信し、ラベルの値を取得することにより、より正確に信頼性を判定することができる。

＜第４実施形態＞
［特定されたラベルの値に基づく点数を表示する］
続いて、第４実施形態について説明する。第４実施形態に係るラベル付与装置２は、特定されたラベルの値に基づいて点数を算出し、当該点数を表示部２１に表示させる点で第１実施形態と異なる。

第４実施形態において、取得部２４１は、管理装置１から対象情報と、当該対象情報に対して他の複数のユーザによって予め特定されたラベルの値の平均値とを取得する。
表示制御部２４２は、特定部２４４によって特定されたラベルの値と、他のユーザによって特定されたラベルの値とに基づいて、点数を算出する。具体的には、表示制御部２４２は、特定したラベルの値と、他のユーザによって特定されたラベルの値の平均値との差分が小さければ小さいほど、点数が高くなるように点数を算出する。そして、表示制御部２４２は、算出した点数を表示部２１に表示させる。図１３は、第４実施形態に係る点数が表示部２１に表示された例を示す図である。図１３では、算出された点数を示すオブジェクトＯが表示されていることが確認できる。表示制御部２４２は、複数の対象情報のそれぞれに対して点数を算出し、当該点数の合計値を表示部２１に表示させるようにしてもよい。

送信部２４６は、算出された点数と、ラベル付与装置２の識別情報とを管理装置１に送信する。管理装置１は、受信した点数と、ラベル付与装置２の識別情報とを関連付けて記憶部１１に記憶させる。

［第４実施形態における効果］
以上のとおり、第４実施形態に係るラベル付与システムＳにおいて、ラベル付与装置２は、特定されたラベルの値と、他のユーザによって予め特定されたラベルの値とに基づいて算出された点数を表示部２１に表示させる。このようにすることで、ラベル付与装置２のユーザは、点数が高くなるようにラベルの付与操作を行うこととなる。これにより、ラベル付与装置２は、対象情報に対して適切なラベルの値を付与することができる。

なお、本実施形態において、取得部２４１は、管理装置１から、複数のラベル付与装置２から受信した点数のうち、最も高い点数を取得してもよい。そして、表示制御部２４２は、取得した点数を表示部２１に表示させるとともに、最も高い点数を表示部２１に表示させるようにしてもよい。このようにすることで、ラベル付与装置２のユーザは、他のユーザの点数を意識し、当該点数よりも高い点数を目指してタッチ操作を行うことになる。これにより、ラベル付与装置２は、対象情報に対して更に適切なラベルの値を付与することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。

例えば、第１実施形態では、ラベル付与装置２が対象情報に対して付与されるラベルの値を特定することとしたがこれに限らない。例えば、ラベル付与装置２が、対象情報と、タッチパネルにおいてタッチされた位置を示す位置情報とを管理装置１に送信し、管理装置１が、当該位置情報に基づいてラベルの値を特定してもよい。

また、第１実施形態では、ラベル付与装置２がスマートフォン等の携帯端末であるものとし、対象情報をタッチパネルが設けられた表示部２１に表示させたが、これに限らない。ラベル付与装置２は、マウスを入力部２２とするデスクトップ型のパソコンやノートパソコン等であってもよい。この場合において、表示制御部２４２は、対象情報を表示部２１に表示させるとともに、入力部２２による入力位置を示すポインタを表示部２１に表示させてもよい。そして、受付部２４３が、入力部２２を介して、対象情報に対応する位置を含む領域においてポインタを移動させる操作を受け付け、特定部２４４が、操作の軌跡と、対象情報に対して予め定められた基準位置とに基づいて、対象情報に対応するラベルの値を特定してもよい。このようにすることで、デスクトップ型のパソコンやノートパソコンをラベル付与装置２として動作させることができる。

また、第１実施形態において、ラベル付与装置２は、図７に示すように、動画から抽出された連続する複数の画像を表示させ、その画像に対応する位置をなぞる操作を受け付けたが、これに限らない。例えば、ラベル付与装置２は、表示部２１に動画を再生表示させるとともに、入力部２２を構成するタッチパネルにおいて、動画の再生時間に応じて、動画に対する尺度を示す操作（例えば、タッチパネル上で上下になぞる操作）を受け付けるようにしてもよい。そして、ラベル付与装置２は、動画の再生時間のそれぞれにおいてなぞられた位置に基づいてラベルの値を特定し、当該ラベルの値を、再生時間に対応する画像に付与してもよい。

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１・・・管理装置、１１・・・記憶部、１２・・・制御部、１２１・・・送信部、１２２・・・受信部、１２３・・・記憶制御部、１２４・・・算出部、２・・・ラベル付与装置、２１・・・表示部、２２・・・入力部、２３・・・記憶部、２４・・・制御部、２４１・・・取得部、２４２・・・表示制御部、２４３・・・受付部、２４４・・・特定部、２４５・・・補正部、２４６・・・送信部、Ｓ・・・ラベル付与システム

Claims (15)

1. ラベルが付与される対象情報をタッチパネルが設けられた表示部に表示させる表示制御部と、
   前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付ける受付部と、
   タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部と、
   特定されたラベルの値を前記対象情報に付与する付与部と、
   を備えるラベル付与装置。
2. 前記表示制御部は、複数の前記対象情報を前記表示部に表示させ、
   前記受付部は、前記対象情報のそれぞれに対応する位置をタッチする操作を受け付け、
   前記特定部は、タッチされた位置と、複数の前記対象情報のそれぞれに対して予め定められた前記基準位置とに基づいて、複数の前記対象情報のそれぞれに対応するラベルの値を特定し、
   前記付与部は、複数の前記対象情報のそれぞれに、特定されたラベルの値を付与する、
   請求項１に記載のラベル付与装置。
3. 前記表示制御部は、複数の前記対象情報を含む集合情報を前記表示部に表示させ、
   前記特定部は、前記集合情報から複数の前記対象情報を抽出し、タッチされた位置と、抽出した複数の前記対象情報のそれぞれに対して予め定められた前記基準位置とに基づいて、複数の前記対象情報のそれぞれに対応するラベルの値を特定する、
   請求項２に記載のラベル付与装置。
4. 前記受付部は、前記タッチパネルをタッチしながら前記対象情報に対応する位置を含む領域を移動する操作を受け付け、
   前記特定部は、前記操作の軌跡と前記基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する、
   請求項１から３のいずれか１項に記載のラベル付与装置。
5. 前記受付部は、前記対象情報に対応する位置をタッチする操作として、タップ操作、フリック操作又はスワイプ操作を受け付け、
   前記特定部は、前記タップ操作、前記フリック操作又は前記スワイプ操作に対応する位置と、前記基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する、
   請求項１から３のいずれか１項に記載のラベル付与装置。
6. 前記表示制御部は、前記特定部が特定したラベルの値に対応する情報を前記タッチされた位置に表示させる、
   請求項１から５のいずれか１項に記載のラベル付与装置。
7. 前記特定部により過去に特定された複数のラベルの値に基づいて、前記タッチパネルを操作するユーザの操作傾向を特定し、前記特定部により新たに特定されたラベルの値を、前記操作傾向に基づいて補正する補正部を更に備える、
   請求項１から６のいずれか１項に記載のラベル付与装置。
8. 前記表示制御部は、特定されたラベルの値と、他のユーザによって予め特定されたラベルの値とに基づいて算出された点数を前記表示部に表示させる、
   請求項１から７のいずれか１項に記載のラベル付与装置。
9. 前記表示制御部は、機械学習に係るラベルが付与される対象情報を前記表示部に表示させ、
   前記付与部は、前記対象情報と、当該対象情報に対して特定されたラベルの値とを関連付けた教師データを生成する、
   請求項１から８のいずれか１項に記載のラベル付与装置。
10. ラベルが付与される対象情報を表示部に表示させるとともに、入力部による入力位置を示すポインタを前記表示部に表示させる表示制御部と、
    前記入力部を介して、前記対象情報に対応する位置を含む領域において前記ポインタを移動させる操作を受け付ける受付部と、
    前記操作の軌跡と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部と、
    特定されたラベルの値を前記対象情報に付与する付与部と、
    を備えるラベル付与装置。
11. ラベル付与装置と、管理装置とを備えるラベル付与システムであって、
    前記管理装置は、
    ラベルが付与される対象情報を前記ラベル付与装置に送信する送信部を有し、
    前記ラベル付与装置は、
    前記対象情報をタッチパネルが設けられた表示部に表示させる表示制御部と、
    前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付ける受付部とを有し、
    前記管理装置又は前記ラベル付与装置は、
    タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部と、
    特定されたラベルの値を前記対象情報に付与する付与部とを更に有する、
    ラベル付与システム。
12. 前記ラベル付与装置は複数設けられ、
    前記管理装置は、
    前記対象情報と、前記対象情報に付与されたラベルの値とを関連付けて記憶する記憶部と、
    同一の対象情報に付与された複数のラベルの値に基づいて、当該対象情報の信頼度を算出する算出部とを更に有する、
    請求項１１に記載のラベル付与システム。
13. 前記送信部は、算出された信頼度が所定の閾値以下の対象情報を、当該対象情報が送信されていない前記ラベル付与装置に送信する、
    請求項１２に記載のラベル付与システム。
14. コンピュータが実行する、
    ラベルが付与される対象情報をタッチパネルが設けられた表示部に表示させるステップと、
    前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付けるステップと、
    タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定するステップと、
    特定されたラベルの値を前記対象情報に付与するステップと、
    を備えるラベル付与方法。
15. コンピュータを、
    ラベルが付与される対象情報をタッチパネルが設けられた表示部に表示させる表示制御部、
    前記タッチパネルにおいて、前記対象情報に対応する位置をタッチする操作を受け付ける受付部、
    タッチされた位置と、前記対象情報に対して予め定められた基準位置とに基づいて、前記対象情報に対応するラベルの値を特定する特定部、及び
    特定されたラベルの値を前記対象情報に付与する付与部、
    として機能させるラベル付与プログラム。
    
    

Images