JP2020144612A - ラベリング支援方法、ラベリング支援装置及びプログラム - Google Patents

Abstract

【課題】データに対するラベリングを効率化すること。【解決手段】Ｗｅｂページの一部を構成するデータに対する所定の操作に応じ、予め登録されている文字列の一覧を表示する表示手順と、前記一覧の中からユーザによって選択された文字列を前記データに関連付けて記憶装置に記憶させる記憶手順と、をコンピュータが実行する。【選択図】図３

Description

本発明は、ラベリング支援方法、ラベリング支援装置及びプログラムに関する。

深層学習研究の発展と、計算機の高性能化によって、画像認識や音声認識、自然言語処理等の精度が近年飛躍的に高まっている。これらの精度向上を支えているのは大量の学習データである。画像認識であれば、認識したいモノ（例えば犬や猫）のラベルがついた正解画像を大量に準備し、それらの画像を計算機によって学習させることで認識器を作成する。作成された認識器に画像を入力すると、その画像に写っているのかが犬なのか猫なのかを判別することが可能となる。

インターネット上には学習データとして利用できるデータセットが公開されており、利用することが可能である画像認識用のラベル付き画像であればＩｍａｇｅＮｅｔやＫａｇｇｌｅなどからダウンロードできる。また、クローリングやスクレイピング技術等を用いることで、インターネット上に存在する画像を自動的に収集することも可能である。例えば、スクレイピング技術を用いることで検索サイトの画像検索結果から得られる画像を大量に収集することも技術的には可能である。

しかしながら、公開されている学習データやスクレイピング技術等で得られるデータは一般性が高く、個別のニーズに応じた学習データは、従来自作する必要があった。例えば、犬や猫といったラベルをついた学習データや、犬や猫というキーワードを検索サイトの画像検索システムに入力して得られる結果は、犬や猫の画僧識別には有用である。しかし、秋田犬のオスやアビシニアンのメスといった性別やより詳細な種類に関するラベル付けされた学習データは公開されていない場合が多く、また、画像検索システムでこれらの検索キーワードで検索した結果には、多くの別種の犬や猫の画像が混ざり込んでしまうため、そのまま学習データとして利用できない。性別や詳細な種類の判定（例えば、メスのアビシニアン）、行為の判定（ジャンプしている猫）、主観的評価を含んだ判定（悲しげな表情の猫）などを認識器によって行わせたい場合には、そのようなラベル付きの画像データを自前で大量に準備する必要がある。

自前で画像認識等の学習データを効率的に作成するために、インターネット上から検索した画像へのラベル付けを支援するツールが概案されている（非特許文献１）。ｇｏｏｇｌｅ（登録商標）は、検索精度向上等の目的で、画像に対してカテゴリを選択してもらうサービスを開設している。このように、特定のＷｅｂページでラベリングをしてもらう方法も考えられる。

また、金銭報酬型のクラウドソーシングを利用する方法もある。ＡＭＴ（Amazon Mechanical Turk）などではクラウドソーシングによってこのようなデータを作成することが可能である（非特許文献２）。

池松大志, 中江俊博, 長森藤江他: Deep Learning 画像認識エンジン生成作業効率化インターフェースの開発, 電子情報通信学会技術研究報告, 2016. Ipeirotis, P. G.: Analyzing the Amazon MechanicalTurk marketplace, ACM XRDS, Vol. 17, No. 2（2010）

しかしながら、これらのラベル付けをツールやクラウドソーシングサービスを利用しても、低コストかつ短時間で学習データを作成することは難しい。

まず、非特許文献１のようなツールを利用して効率化をはかっても、深層学習で必要な"大量の"データの作成にはかなりの時間がかかってしまう。多人数でデータを作成することでこの時間は短縮できるが、従来のツールは世の中の多くの人に利用してもらうのは困難である。世の中の多くの人はツールを使ってラベル付けをするだけの動機がないためである。ラベル付けツールは、多くの人がインターネット上の情報を閲覧する際に通常利用する汎用ブラウザとは独立しているため、ラベル付けツールをセットアップして使い方を習熟して利用するだけの大きな動機が必要である。

しかし、個別のニーズに対する動機を世の中の多くの人は持っていない。例えば、ある研究者が「ジャンプしている猫」の認識器を作りたいと考えても、「ジャンプしている猫」を検索したいという欲求が無い人は、このようなラベル付けツールを使いたいとは考えない。

すなわち、このような新たなツールを使うための心理的負担（セットアップし使い方を覚えることや、ラベリング作業をするという、すぐに役に立つわけではないことを行うことへの忌避感）に対して、それを乗り越えてラベル付けをしようという動機がない。

Ｗｅｂサイトでラベリングをしてもらう場合も、そのＷｅｂサイトにユーザが能動的に移動して効果をすぐに見ることができないラベリングを行うという点では、心理的負担は小さいとは言えず、また、多くの人はラベリングの動機を見いだせないと考えられる。ＡＭＴのようなクラウドソーシングサービスは、金銭的な報酬を提供することで、動機付けを行うが、必要とするラベル付きの画像データが大量であれば、ラベリング作業を依頼する人の金銭的負担が大きくなってしまう。

本発明は、上記の点に鑑みてなされたものであって、データに対するラベリングを効率化することを目的とする。

そこで上記課題を解決するため、Ｗｅｂページの一部を構成するデータに対する所定の操作に応じ、予め登録されている文字列の一覧を表示する表示手順と、前記一覧の中からユーザによって選択された文字列を前記データに関連付けて記憶装置に記憶させる記憶手順と、をコンピュータが実行する。

データに対するラベリングを効率化することができる。

本発明の実施の形態の概要を説明するための図である。 本発明の実施の形態におけるラベルサーバ２０のハードウェア構成例を示す図である。 本発明の実施の形態におけるユーザ端末１０及びラベルサーバ２０の機能構成例を示す図である。 ラベリング処理の処理手順の一例を説明するためのシーケンス図である。 ログイン画面の表示例を示す図である。 ユーザテーブルＴ１の構成例を示す図である。 ラベルテーブルＴ２の構成例を示す図である。 ラベル選択画面の表示例を示す図である。 コンテキストメニューの表示例を示す図である。 画像データテーブルＴ３の構成例を示す図である。 まとめページの表示処理の処理手順の一例を説明するためのシーケンス図である。 ラベル要望リストページの表示例を示す図である。 まとめページの表示例を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態の概要を説明するための図である。

ユーザは、アドオン（例えばＣｈｒｏｍｅ拡張）がインストールされたＷｅｂブラウザ１１を有するユーザ端末１０を用いてラベリング作業を行う。アドオンは、まず、ラベルサーバ２０から、ラベル要望リスト（画像に対して付与して（割り当てて）欲しいラベルのリスト）をダウンロードし表示する。ユーザはその中から自分がラベリングをしたい（≒まとめサイトを作りたい）ラベルを１以上選択しておく。ユーザは、Ｗｅｂブラウジング中に、選択しておいたいずれかのラベルに対応する画像データを発見したら、選択しておいたラベルの中から該当するラベルを当該画像データに割り当てる。アドオンは割り当てられたラベル及び選択された画像データのＵＲＬ等をラベルデータとしてラベルサーバ２０に送信する。ラベルサーバ２０は送られてきたラベルデータをラベルＤＢ３０に保存する。

一方、上記とは非同期のタイミングで、いずれかのユーザが、ユーザ端末１０のＷｅｂブラウザにラベルサーバ２０のＵＲＬを入力した際には、ラベルサーバ２０は、当該ＵＲＬ宛てのＨＴＴＰリクエストに対して、ラベルＤＢ３０に蓄積されたデータに基づいて、ラベリングされた画像データのまとめサイトのＷｅｂページ（以下、「まとめページ」という。）を生成し、当該まとめページを含む応答を返信する。

図２は、本発明の実施の形態におけるユーザ端末１０のハードウェア構成例を示す図である。図２のユーザ端末１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。

ユーザ端末１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってユーザ端末１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。

なお、ユーザ端末１０の一例として、例えば、ＰＣ（Personal Computer）、スマートフォン、又はタブレット端末等、Ｗｅｂページを閲覧可能なコンピュータが挙げられる。

図３は、本発明の実施の形態におけるユーザ端末１０及びラベルサーバ２０の機能構成例を示す図である。図３において、ユーザ端末１０は、Ｗｅｂブラウザ１１に加え、ユーザ情報入力部１２、ユーザ情報送信部１３、ラベル要望受信部１４、ラベル要望選択部１５、選択メニュー管理部１６及びラベルデータ送信部１７等を有する。これら各部は、ユーザ端末１０にインストールされたプログラム（例えば、Ｗｅｂブラウザ１１に対するアドオン）が、ユーザ端末１０のＣＰＵ１０４に実行させる処理により実現される。

一方、ラベルサーバ２０は、ユーザ情報受信部２１、ユーザ管理部２２、ラベル候補送信部２３、ラベルデータ受信部２４、ＤＢ管理部２５及びまとめサイト生成部２６等を有する。これら各部は、ラベルサーバ２０にインストールされた１以上のプログラムが、ラベルサーバ２０のＣＰＵに実行させる処理により実現される。ラベルサーバ２０は、また、ラベルＤＢ３０を利用する。ラベルＤＢ３０は、例えば、ラベルサーバ２０の補助記憶装置、又はラベルサーバ２０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

以下、ユーザ端末１０及びラベルサーバ２０が実行する処理手順について説明する。図４は、ラベリング処理の処理手順の一例を説明するためのシーケンス図である。

ユーザ端末１０においてＷｅｂブラウザ１１の起動に応じてアドオンが起動されと、ユーザ情報入力部１２が、ユーザ情報の入力用のログイン画面（図５）を表示して、当該ログイン画面を介してユーザからユーザＩＤ、パスワード等のユーザ情報の入力を受け付ける（Ｓ１０１）。続いて、ユーザ情報送信部１３は、当該ユーザ情報をラベルサーバ２０に送信する（Ｓ１０２）。

ラベルサーバ２０のユーザ情報受信部２１が当該ユーザ情報を受信すると、ユーザ管理部２２が当該ユーザ情報に基づいてログインの成否を判定する（Ｓ１０３）。具体的には、ユーザ管理部２２は、ラベルＤＢ３０に登録されているユーザテーブルＴ１に当該ユーザ情報が登録されているか否かを判定する。

図６は、ユーザテーブルＴ１の構成例を示す図である。図６に示されるように、ユーザテーブルＴ１には、ラベルサーバ２０が提供するサービスを利用可能な各ユーザのユーザＩＤ及びパスワードが記憶されている。

ユーザ管理部２２は、受信されたユーザ情報とユーザＩＤ及びパスワードが一致するレコードがユーザテーブルＴ１に登録されている場合にはログインは成功であると判定し、サービスを開始する。ログインに成功すると、ラベル候補送信部２３は、ラベルＤＢ３０のラベルテーブルＴ２に登録されているラベル要望のリスト（ラベル要望リスト）をユーザ端末１０へ送信する（Ｓ１０４）。

図７は、ラベルテーブルＴ２の構成例を示す図である。図７に示されるように、ラベルテーブルＴ２には、ラベル付けが要求されているラベル要望ごとに、ラベルＩＤ、ラベル名、ラベル概要等を含む。ラベルＩＤは、ラベルテーブルＴ２に登録されている各ラベル要望のＩＤ（識別情報）である。ラベル名は、要望の対象となるラベルの実体である。ラベル概要は、ラベル名に係るラベリングの要望等の概要を示す文字列である。

なお、ラベル要望は、ラベルサーバ２０の管理者が手動で登録してもよいし、各ユーザが登録できるようにしてもよい。例えば、Ｗｅｂページ上の画像データを右クリックして表示されたコンテキストメニュー上にラベル追加メニューを表示し、それを選択した際には、ラベル名及びラベル概要が入力可能とされてもよい。この場合、ユーザ端末１０は、入力されたラベル名及びラベル概要をラベルサーバ２０へ送信する。ラベルサーバ２０のＤＢ管理部２５は、当該ラベル名及びラベル概要を含むレコードをラベルテーブルＴ２に登録する。

ステップＳ１０４では、ラベルテーブルＴ２に登録されている全てのラベル要望を含むラベル要望リストがユーザ端末１０へ送信される。ユーザ端末１０のラベル要望受信部１４が当該ラベル要望リストを受信すると、ラベル要望選択部１５は、当該ラベル要望リストに基づきラベル選択画面を表示する（Ｓ１０５）。

図８は、ラベル選択画面の表示例を示す図である。図８に示されるように、ラベル選択画面５１０は、ラベル要望リストに含まれるラベル要望ごとに、チェックボタンを含む。ユーザが、表示されたラベル要望リストの中から、自分がラベル付けを担当したい１以上のラベル要望をチェック（選択）すると、選択メニュー管理部１６は、選択されたラベル要望に係るラベル名（以下、「選択ラベル」という。）をＷｅｂブラウザ１１上で画像データと共に選択できるようにする。その結果、ユーザは、任意のＷｅｂページ上に表示される画像データに、いずれかの選択ラベルを割り当てることが可能となる。

具体的には、任意のＷｅｂページに含まれている画像データがユーザによって右クリックされると（Ｓ１０６）、選択メニュー管理部１６は、右クリックによって表示されるコンテキストメニューに、ラベリング及び選択ラベルに対応するメニュー項目等を表示（追加）する（Ｓ１０７）。

図９は、コンテキストメニューの表示例を示す図である。図９には、コンテキストメニューｍ１の中にラベリングに対応するメニュー項目ｍｉ１が追加されている例が示されている。メニュー項目ｍｉ１にカーソルが移動すると、メニュー項目ｍｉ１のサブメニューｍ２が表示される。サブメニューｍ２は、選択ラベルごとにメニュー項目を含む。

サブメニューｍ２の中から、右クリックされている画像データに付与する選択ラベルに対応するメニュー項目がユーザによって選択されたことを選択メニュー管理部１６が検知すると（Ｓ１０８）、ラベルデータ送信部１７は、当該画像のＵＲＬ（以下、「画像ＵＲＬ」という。）、当該選択ラベル（例えば、（「例えば怒っている熊の画像」）のラベルＩＤ、及び当該画像データを含むＷｅｂページのＵＲＬ（以下、「ページＵＲＬ」という。）等を関連付けるラベルデータをラベルサーバ２０へ送信する（Ｓ１０９）。なお、ラベリングの対象とする画像データに対する操作は、右クリックに限定されない。例えば、ダブルクリック等、他の所定の操作に応じて選択ラベルの一覧を含む画面（ウィンドウ又はダイアログ等）が表示されるようにしてもよい。

ラベルサーバ２０のラベルデータ受信部２４が当該ラベルデータを受信すると、ＤＢ管理部２５は、当該ラベルデータをラベルＤＢ３０の画像データテーブルＴ３へ登録する（Ｓ１１０）。

図１０は、画像データテーブルＴ３の構成例を示す図である。図１０に示されるように画像データテーブルＴ３には、ラベルデータに登録日時が付与されたレコードが登録される。登録日時は、ラベルデータが登録された日時である。

図１１は、まとめページの表示処理の処理手順の一例を説明するためのシーケンス図である。図１１におけるユーザ端末１０は、図４におけるユーザ端末１０と同じでもよいし異なってもよい。

ユーザが、ユーザ端末１０のＷｅｂブラウザ１１のアドレスバーに、ラベルサーバ２０のＵＲＬを入力すると（Ｓ２０１）、Ｗｅｂブラウザ１１は、当該ＵＲＬ宛てのＨＴＴＰリクエストを送信する（Ｓ２０２）。

ラベルサーバ２０のまとめサイト生成部２６は、当該ＨＴＴＰリクエストを受信すると、ラベルテーブルＴ２に登録されているラベル要望リストを含むＷｅｂページ（以下、「ラベル要望リストページ」という。）を生成し（Ｓ２０３）、当該ラベル要望リストページを含む応答をユーザ端末１０へ返信する（Ｓ２０４）。ユーザ端末１０のＷｅｂブラウザ１１は、当該応答を受信すると、当該応答に含まれているラベル要望リストページを表示する（Ｓ２０５）。

図１２は、ラベル要望リストページの表示例を示す図である。図１２に示されるようにラベル要望リストページ５２０には、ラベル要望リストに含まれる各ラベル要望のラベル名及びラベル概要が表示される。各ラベル名には、当該ラベル名に係るラベルが付与された画像データのまとめページへのリンクが張られている。

いずれかのラベル名がユーザによって選択（クリック又はタップ等）されると（Ｓ２０６）、Ｗｅｂブラウザ１１は、当該ラベル名に関連付けられてラベル要望リストページ５２０に記録されているラベルＩＤを含むＨＴＴＰリクエストをラベルサーバ２０へ送信する（Ｓ２０７）。

ラベルサーバ２０のまとめサイト生成部２６は、当該ＨＴＴＰリクエストを受信すると、当該ＨＴＴＰリクエストに含まれているラベルＩＤを含むレコードを画像データテーブルＴ３（図１０）から検索する（Ｓ２０８）。続いて、まとめサイト生成部２６は、検索されたレコード（以下、「対象レコード」という。）のが画像ＵＲＬに係る画像データをネットワークを介して取得する（Ｓ２０９）。続いて、まとめサイト生成部２６は、対象レコード及び取得された画像データに基づいてまとめページを生成する（Ｓ２１０）。続いて、まとめサイト生成部２６は、まとめページを含む応答をユーザ端末１０へ返信する（Ｓ２１１）。

ユーザ端末１０のＷｅｂブラウザ１１は、当該応答を受信すると、当該応答に含まれているまとめページを表示装置１０６へ表示する（Ｓ２１２）。

図１３は、まとめページの表示例を示す図である。図１３に示されるように、まとめページ５３０には、「産卵中のニッポンバラタナゴの画像」というラベル（ラベル名）が付与された画像データの一覧が含まれる。

なお、ユーザが選択したラベルには不正解のラベルが混在することも想定される。例えば、あるユーザが画像データを右クリックして「産卵中のニッポンバラタナゴ」というラベルを選択した際に、その画像データに写っているのはタイリクバラタナゴかもしれない。このようなラベルのつけ間違えを排除するために、まとめページ５３０上で表示された各画像データを閲覧者に評価してもらうようにしてもよい。

例えば、まとめサイト生成部２６は、まとめサイトに表示される画像データのそれぞれに、「そうだね」、「違うね」という２択のボタンが表示されるようにまとめページ５３０を生成する。そうすることで、閲覧者が、まとめサイトの画像データを見て、ラベルが正しいと思った場合には「そうだね」ボタンを、そうでないと思った場合に「違うね」ボタンを閲覧者に押してもらう。例えば、ＤＢ管理部２５は、画像データテーブルＴ３の各レコードに、「そうだね」の件数、「違うね」の件数を登録する。

その結果、「そうだね」の件数が多いものはラベルが正しい可能性が高く、「違うね」の件数が多いものはラベルが間違っている可能性が高いことが大まかに判別できる。例えば、ＤＢ管理部２５は、このような情報に基づいて、ラベルが間違っている可能性が高いレコードを画像データテーブルＴ３から削除してもよい。また、まとめサイト生成部２６は、「そうだね」と「違うね」の件数順に画像データが表示されるように、まとめサイトを生成してもよい。

また、「そうだね」及び「違うね」のそれぞれの件数をユーザＩＤ別に管理することで、ユーザ毎のラベル選択の正確性をラベル全体、及び個別のラベルにおいて算出できる。これにより、各ユーザが選択したラベルの信頼性を評価してもよい。

なお、ラベリングされた画像データは、まとめサイトの構成要素としてのみではなく、例えば、機械学習の教師データとして用いられてもよい。

なお、上記では、画像データに対するラベリングについて説明したが、本実施の形態はＷｅｂページの一部を構成する画像データに限らず、インターネット上の様々なコンテンツに対してラベリングが可能である。例えば、Ｗｅｂページ上の部分文字列や、Ｗｅｂ上にアップロードされた動画や音声ファイルに対してもラベルを付与することができる。前者であれば、例えば、部分文字列をマウスで選択して右クリックして表示されるコンテキストメニューからラベルを付与すればよい。後者に関しても、動画や音声ファイルを右クリックして同様にラベルを付与すればよい。

上述したように、本実施の形態によれば、ラベリング作業への心理的負担を減らし、かつ金銭的報酬以外の対価を用いて動機づけを行うことで、データに対するラベリングを効率化することができる。

すなわち、ヒューマンコンピュテーションの研究領域では、金銭的な報酬以外に、避けることのできない別のタスクに埋め込んだり、タスクをゲーム化したりすることで作業を促す方法などがあるが、本実施の形態によれば、まとめサイトをユーザが協力して簡単に構築できるという対価を提供することで、画像データに対するラベリング作業への参加を促すことができる。

また、本実施の形態では、汎用的なＷｅｂブラウザ１１上でラベリング作業が行えるため、ユーザの気が向いたときに直ちにラベリング作業を行うことができる。例えば、ユーザは、Ｗｅｂブラウザ１１で他の作業（例えば仕事に関連した調べ物をＷｅｂで行う）中にラベリングに値する画像データがあれば、その画像データを操作対象として（例えば、右クリックして）ラベル名を選択することで即座にラベル付けを行うことができる。

ラベル名が選択されると、操作対象の画像データのソース又はＵＲＬと、選択されたラベルの情報がラベルサーバ２０に送信されデータベースに記録されていく。すなわち、多くのユーザが画像データを操作対象としてラベルを選択すればするほど、ラベル付きの画像データがラベルサーバ２０に蓄積されていくことになる。

また、本実施の形態では、ラベルサーバ２０に蓄積された画像データとラベルデータと基づいて、ラベル別のまとめページが生成される。これにより、ユーザは、ラベルに関連する画像データをＷｅｂページで一望することが可能となる。すなわち、本実施の形態において、各ユーザは、画像データに対するラベル付けに協力すると同時に、ユーザ同士で協力してまとめサイトを作成していることになる。

その結果、機械学習における画像認識器の構築に利用可能なラベル付き画像データを、低コストかつ多人数で効率的に作成することが可能となる。画像データを右クリックし、コンテキストメニューから割り当てるラベルを選択する行為は、多くの人が通常のＷｅｂブラウジング中にコピーアンドペースト等で行う行為であり、画像データに対応するラベルを手入力させる等の方法より高速かつ簡便である。また、手入力させた場合、ラベルに表記の揺れが生まれてしまうが（例えば、ニッポンバラタナゴの画像データに対して、人によっては「にっぽんばらたなご」、「ニッポンバラタナゴ」といったラベルを付けてしまうかもしれない。）、予め決められたラベルを選択する場合にはその心配がない。

従来のラベリング支援ツールと比較すると、まず、以下の２点でラベリングの心理的負担が少ない。第一に、普段利用しているＷｅｂブラウザ１１を使ってラベリングを利用できるため、利用方法を習熟する等の負担が少ない。第二に、別の作業でＷｅｂ閲覧をしている間に、ラベリングすべき画像データを見つけたらすぐにラベリングを行うことができる。Ｗｅｂブラウザ１１とは独立したラベリング支援ツールは、ラベリングをするためにツールを起動して実施する必要がある（すなわち、ラベリングがメインタスクである。）が、本実施の形態は、Ｗｅｂブラウザ１１で他の作業を行っている最中にサブタスクとしてラベリングを行うことができる。

次に、本実施の形態では、上記したようなラベリングの動機づけがなされている。その結果、ラベルに対応する画像データの認識器作成に興味がない人に対しても、ラベリングをすればするほど、ラベルに関連するまとめサイトが充実していくため、ラベリングに対する動機付けが維持されると考える。

最後に、本実施の形態の副次的な効果として、検索サイトでの画像検索は、画像データ（のアドレス）がクローリングされていることが前提であるが、本実施の形態では、ユーザがＷｅｂブラウジングをしながらラベリングを行うため、クローリングされていない画像データに対してもラベルを付与できる可能性がある。

なお、本実施の形態において、ユーザ端末１０は、ラベリング支援装置の一例である。ラベルＤＢ３０は、記憶装置の一例である。選択メニュー管理部１６は、表示制御部の一例である。ラベルデータ送信部１７は、記憶処理部の一例である。

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ ユーザ端末
１１ Ｗｅｂブラウザ
１２ ユーザ情報入力部
１３ ユーザ情報送信部
１４ ラベル要望受信部
１５ ラベル要望選択部
１６ 選択メニュー管理部
１７ ラベルデータ送信部
２０ ラベルサーバ
２１ ユーザ情報受信部
２２ ユーザ管理部
２３ ラベル候補送信部
２４ ラベルデータ受信部
２５ ＤＢ管理部
２６ まとめサイト生成部
３０ ラベルＤＢ
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１０６ 表示装置
１０７ 入力装置
Ｂ バス

Claims (5)

1. Ｗｅｂページの一部を構成するデータに対する所定の操作に応じ、予め登録されている文字列の一覧を表示する表示手順と、
   前記一覧の中からユーザによって選択された文字列を前記データに関連付けて記憶装置に記憶させる記憶手順と、
   をコンピュータが実行することを特徴とするラベリング支援方法。
2. 前記データは、画像データである、
   ことを特徴とする請求項１記載のラベリング支援方法。
3. Ｗｅｂページの一部を構成するデータに対する所定の操作に応じ、予め登録されている文字列の一覧を表示する表示制御部と、
   前記一覧の中からユーザによって選択された文字列を前記データに関連付けて記憶装置に記憶させる記憶処理部と、
   を有することを特徴とするラベリング支援装置。
4. 前記データは、画像データである、
   ことを特徴とする請求項３記載のラベリング支援装置。
5. 請求項１又は２記載のラベリング支援方法をコンピュータに実行させることを特徴とするプログラム。