JP2022078060A - ラベリング能力情報決定方法、関連する装置、電子デバイス、コンピュータ可読記憶媒体およびコンピュータプログラム - Google Patents

Abstract

【課題】ラベリング能力情報の精度を向上させるラベリング能力情報決定方法、関連する装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを提供する。【解決手段】方法は、ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定することと２０１、ラベリング要件及び所定の試験ラベリング要件に基づいて試験ラベリングデータを決定することと２０２、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定することと２０３、試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトのラベリング能力情報を決定することと２０４、を含む。【選択図】図２

Description

本開示は、データ処理技術分野、具体的にはデータラベリング、ラベリング結果分析、ラベリングタスク割り当てなどの技術分野、特にラベリング能力情報決定方法、関連する装置、電子デバイス、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。

人工知能が様々な分野で開発されて適用されるにつれて、要件を満たすデータラベリング需要量は空前の速度で増加している。データラベリングは、構造化データを人工知能アルゴリズムに提供するプロセスであり、ラベリングプロセスは一般に、データパケットまたはプロキシを介してラベリング作業者によって完成され得る。従来の自動ラベリングモデルの実用性は、まだ要件を満たすことができない。

従って、どのようにラベリングオブジェクトのラベリング能力を決定するかは当業者の研究焦点である。

本開示の実施例は、ラベリング能力情報決定方法、関連する装置、電子デバイス、コンピュータ可読記憶媒体およびコンピュータプログラムを提供する。

第一様態では、本開示の実施例は、ラベリング能力情報決定方法を提供する。この方法は、ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定することと、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定することと、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定し、試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトのラベリング能力情報を決定することと、を含む。

第二様態では、本開示の実施例は、ラベリング能力情報決定装置を提供する。この装置は、ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定するように構成された試験ラベリングオブジェクト決定ユニットと、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定するように構成された試験ラベリングデータ決定ユニットと、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定し、試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトのラベリング能力情報を決定するように構成された試験ラベリング時間／ラベリング能力情報決定ユニットと、を含む。

第三様態では、本開示の実施例は、電子デバイスを提供する。この電子デバイスは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信接続されたメモリと、を含み、このメモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶しており、この命令は、少なくとも１つのプロセッサが第一様態の任意の実施形態に記載のラベリング能力情報決定方法を実行できるように少なくとも１つのプロセッサによって実行される。

第四様態では、本開示の実施例は、第一様態の任意の実施形態に記載のラベリング能力情報決定方法をコンピュータに実行させるためのコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体を提供する。

第五態様では、本開示の実施例は、プロセッサによって実行されると、第一様態の任意の実施形態に記載のラベリング能力情報決定方法を実行するコンピュータプログラムを提供する。

本開示の実施例によって提供されるラベリング能力情報決定方法は、まず、ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定し、次に、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定し、次に、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定し、最後に、試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトのラベリング能力情報を決定する。

本開示は、ラベリング要件に基づいて試験ラベリングオブジェクトを決定した場合、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定すると同時に、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を合理的に決定し、ラベリングコストおよびラベリング品質を考慮するので、ラベリング能力情報の精度を向上させる。

このセクションで説明される内容は、本開示の実施例の主要または重要な特徴を特定することを意図するものではなく、また、本開示の範囲を限定することを意図するものでもないことを理解されたい。本開示の他の特徴は、以下の説明から容易に理解されるであろう。

本開示の他の特徴、目的および利点は、以下の図面で行われる非限定的な実施例についての詳細な説明からより明らかになるであろう。

本開示が適用され得る例示的なシステムアーキテクチャ図である。 本開示の実施例によって提供されるラベリング能力情報決定方法のフローチャートである。 本開示の実施例によって提供される別のラベリング能力情報決定方法のフローチャートである。 本開示の実施例によって提供される試験ラベリング時間決定方法のフローチャートである。 本開示の実施例によって提供されるラベリング能力情報決定装置の構造ブロック図である。 本開示の実施例によって提供されるラベリング能力情報決定方法を実行するのに適した電子デバイスの構造概略図である。

本開示の例示的な実施例は、理解を容易にするための本開示の実施例の様々な詳細を含む図面と併せて以下に説明され、単なる例示と見なされるべきである。従って、本開示の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を行うことができることは、当業者にとって理解されるであろう。同様に、明瞭性と簡潔性の観点から、公知の機能と構造に関する説明は、以下の説明において省略される。なお、本開示の実施例および実施例の特徴は、矛盾しない限り、互いに組み合わせることができる。

本開示の技術的解決手段に係るユーザ個人情報の取得、記憶、適用などはいずれも、関連法令の規定に沿って行われており、公序良俗に違反せずに必要な機密保護措置を採用する。

図１は、本開示の実施例が適用され得るラベリング能力情報決定方法、装置、電子デバイス、およびコンピュータ可読記憶媒体の例示的なシステムアーキテクチャ１００を示す。

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４、およびサーバ１０５を含み得る。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間の通信リンクを提供するための媒体である。ネットワーク１０４は、有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含み得る。

ユーザは、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と対話して、メッセージなどを送受信することができる。端末装置１０１、１０２、１０３およびサーバ１０５には、ラベリング能力情報決定アプリケーション、ラベリングデータ送信アプリケーション、試験ラベリングデータ準備アプリケーションなど、両者間の情報通信を実現するための様々なアプリケーションがインストールされ得る。

端末装置１０１、１０２、１０３およびサーバ１０５は、ハードウェアであり得るか、またはソフトウェアであり得る。端末装置１０１、１０２、１０３がハードウェアである場合、それらは、スマートフォン、タブレットコンピュータ、ラップトップポータブルコンピュータ、デスクトップコンピュータなどを含むがこれらに限定されない、表示画面を備えた様々な電子デバイスであり得る。端末装置１０１、１０２、１０３がソフトウェアである場合、それらは、複数のソフトウェアまたはソフトウェアモジュールとして、または単一のソフトウェアまたはソフトウェアモジュールとして実装され得る上記の電子デバイスにインストールされ得るが、ここでは特に限定されない。サーバ１０５がハードウェアである場合、それは、複数のサーバからなる分散型サーバクラスタとして実装され得るか、または単一のサーバとして実装され得る。サーバがソフトウェアである場合、それは、複数のソフトウェアまたはソフトウェアモジュールとして実装され得るか、または単一のソフトウェアまたはソフトウェアモジュールとして実装され得るが、ここでは特に限定されない。

サーバ１０５は、内蔵される様々なアプリケーションを介して様々なサービスを提供できる。試験ラベリング操作を実行して試験ラベリングオブジェクトを決定するためのラベリングオブジェクトサービスを提供できるラベリング能力情報決定アプリケーションを例にすると、サーバ１０５は、このラベリング能力情報決定アプリケーションを実行するときに以下の効果を実現することができる。まず、ネットワーク１０４を介して端末装置１０１からのラベリングタスクを受信し、次に、ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクト（例えば、図１に示す端末装置１０２、１０３に対応するユーザ）を決定し、次に、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定し、次に、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定し、次に、ネットワーク１０４を介して試験ラベリングデータを端末装置１０２、１０３に対応するユーザに送信して、試験ラベリング時間の試験ラベリング操作を実行し、最後に、端末装置１０２、１０３から受信された試験ラベリング時間内における試験ラベリングデータのラベリング結果に基づいて、対応する試験ラベリングオブジェクトのラベリング能力情報を決定する。

なお、ネットワーク１０４を介して端末装置１０１から取得され得ることに加えて、ラベリングタスクはまた、様々な方式でサーバ１０５のローカルに事前に記憶され得る。従って、サーバ１０５は、これらのデータ（例えば、処理開始前に保存されたラベリングタスク）がローカルに記憶されたことを検出した場合、これらのデータは、ローカルから直接取得され得る。この場合、例示的なシステムアーキテクチャ１００は、端末装置１０１およびネットワーク１０４を含まなくてもよい。

本開示の後続の各実施例によって提供されるラベリングタスク処理方法が一般に、タスク割り当ておよび統括能力を備えたサーバ１０５によって実行されるため、ラベリングタスク処理装置は一般に、サーバ１０５に配置される。ただし、端末装置１０１、１０２、１０３も要件を満たすタスク割り当ておよび統括能力を備える場合、端末装置１０１、１０２、１０３も、それらにインストールされたラベリングタスク処理アプリケーションを介して、サーバ１０５に割り当てられた上記の様々な計算を完了して、最終的にサーバ１０５と同じ結果を取得することができる。それに応じて、ラベリングタスク処理装置は、端末装置１０１、１０２、１０３にも配置され得る。この場合、例示的なシステムアーキテクチャ１００は、サーバ１０５およびネットワーク１０４を含まなくてもよい。

図１中の端末装置、ネットワーク、およびサーバの数は、単なる例示であることを理解されたい。実際のニーズに応じて、端末装置、ネットワーク、およびサーバの数が任意に設定され得る。

図２を参照すると、図２は、本開示の実施例によって提供されるラベリング能力情報決定方法のフローチャートである。プロセス２００は、以下のステップを含む。

ステップ２０１：ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定する。

このステップは、ラベリング能力情報決定方法の実行主体（例えば、図１に示すサーバ１０５）が、ラベリングタスクのラベリング要件に基づいてそれに対応するラベリング能力を決定し、次に、このラベリング能力に基づいて適切なラベリングオブジェクトを、後続の試験ラベリング操作を実行するための試験ラベリングオブジェクトとして決定することを目的とする。

ラベリング要件は、様々な要件を含み、判断洗浄、コンテンツ転写、コンテンツ抽出、豊富化などの大分類に分けられており、各大分類は、具体的なデータタイプに基づいて複数の小分類に細分されており、データタイプは、ピクチャ、音声、テキスト、ビデオ、ウェブページなどを含む。ピクチャ＋コンテンツ抽出を例にすると、ラベリング要件は、ピクチャ要素のフレーム選択、ピクチャ準備、ピクチャ領域のセマンティクス定義、ピクチャ車線境界線のラベリングなどに再細分され得る。同時に、ラベリングオブジェクト、ラベリング形式などの要件情報に加えて、ラベリング要件は、ラベリング中のラベリングオブジェクトの能力レベルの関連要件、例えば、ピクチャ要素のフレーム選択の方面で行われた履歴ラベリング動作の数、履歴平均ラベリング精度などをさらに含む。

このラベリング要件に対応するすべてのラベリング能力を備えたラベリングオブジェクトが占用されていない場合、それを試験ラベリングオブジェクトとして直接決定することができる。このラベリング要件に対応するすべてのラベリング能力を備えたラベリングオブジェクトが占用される場合、必要なラベリング能力との差異が最も小さいラベリングオブジェクトを適切に選択して、試験ラベリングオブジェクトとして決定することができる。最も小さい差異は、差異のあるラベリング能力の数量に基づいて決定され得るだけでなく、差異のあるラベリング能力の重要度にも基づいて決定され得る。

ステップ２０２：ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定する。

ステップ２０１に基づいて、このステップは、上記実行主体が、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定することを目的とする。ラベリング要件は、ラベリングタスクの関連パラメータを決定して、このラベリング要件に基づいてラベリングタスクと一致または類似するデータを試験ラベリングデータとして選択するために使用される。所定の試験ラベリング要件は、このラベリング要件の場合、ラベリング要件に対応するラベリング能力によって与えられる要件を全面的にカバーし、ラベリング要件に基づいて試験ラベリングデータをラベリングタスクと類似させてラベリング能力を全面的に評価するために使用される。この所与の要件は、データタイプ、カバーされたシーンタイプ、データ量、データの複雑さなど、試験ラベリングデータの複数の次元への要件を含む。

ステップ２０３：試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定する。

ステップ２０２に基づいて、このステップは、上記実行主体が、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定することを目的とする。ここで、試験ラベリングオブジェクトの属性は、その身分に対応する属性情報、例えば、性別、年齢、勤続年数、作業状態などを含み得るだけでなく、実行されるラベリングタスクに関連する履歴ラベリング記録情報、例えば、履歴ラベリングデータ量、履歴ラベリングデータタイプの比率分布、履歴平均単回ラベリング時間、履歴ラベリング精度、履歴ラベリング精度の経時変化傾向なども含み得る。

さらに、試験ラベリング時間を直接決定するために使用される影響要因に加えて、上記属性情報は、試験ラベリングのための基礎時間を補正して、補正された時間を実際の試験ラベリング時間として現在の試験ラベリングオブジェクトとマッチングさせるために使用される影響要因とすることもできる。

ステップ２０４：試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトのラベリング能力情報を決定する。

ステップ２０３に基づいて、このステップは、上記実行主体が、試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトを特徴付けるラベリング能力情報を決定することを目的とする。ここで、このラベリング能力情報は、所属するオブジェクトによって実際に所有されているラベリング能力を表すために使用される。このために、決定されたラベリング能力に基づいて、この試験ラベリングオブジェクトがラベリングタスクをラベリングする実際のラベリングオブジェクトとして決定され得るか否かを決定する。

ラベリング要件によって決定されたラベリング能力が、ラベリング能力カテゴリおよび各能力カテゴリ内の能力値パラメータに細分され得る場合、試験ラベリングオブジェクトは、ラベリング能力カテゴリに対応するラベリング能力を備えたラベリングオブジェクトのみとして決定され得る。次に、このステップによって決定されたラベリング能力情報に基づいて、このラベリング能力カテゴリにおけるこの試験ラベリングオブジェクトのラベリング能力値を具体的に決定する。

ここで、各能力カテゴリは、独立した能力ラベルとして表現され得、この能力カテゴリにおける能力値パラメータは、このラベルに記録された具体的な数値または他の表現形式の情報として決定され得る。例えば、各能力カテゴリの能力値を等級で分類する場合、対応するカラーを等級ごとに割り当てて、対応するカラーの能力ラベルを表示することにより、このラベリング能力カテゴリにおける所属するラベリングオブジェクトの具体的なラベリング能力等級を特徴付けることができる。

本開示の実施例によって提供されるラベリング能力情報決定方法は、ラベリング要件に基づいて試験ラベリングオブジェクトを決定した場合、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定すると同時に、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を合理的に決定し、ラベリングコストおよびラベリング品質を考慮するので、ラベリング能力情報の精度を向上させる。

さらに、ラベリング能力カテゴリにおける試験ラベリングオブジェクトのラベリング能力値を決定した後、試験ラベリングオブジェクトのラベリング能力値に基づいて、適切な比率のラベリングタスクを試験ラベリングオブジェクトに割り当てることができる。即ち、試験ラベリングオブジェクトによって所有されているラベリング能力が高ければ高いほど、ラベリングタスクの総量を占める割合が大きくなるラベリングタスクの一部をそれに割り当て、さらに高いラベリング能力を備えたラベリングオブジェクトを十分に利用して、全体的なラベリング品質を向上させる。またさらに、ラベリングタスクを各試験ラベリングオブジェクトに割り当てる前に、その具体的なラベリング能力値が所定の最小値よりも大きいか否かを決定し、この最小値を超えた実際のラベリング能力値のみを備えた試験ラベリングオブジェクトがラベリングタスクのラベリングに参加するように制御する。

図３を参照すると、図３は、本開示の実施例によって提供される別のラベリング能力情報決定方法のフローチャートである。プロセス３００は、以下のステップを含む。

ステップ３０１：ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定する。

ステップ３０２：試験ラベリング要件に基づいて、ラベリングデータのデータタイプ、ラベリング要素、ラベリング方式を決定する。

このステップでは、試験ラベリング要件に基づいて、試験ラベリングデータを選択するための三つのパラメータ、即ち、試験ラベリングデータとしてのラベリングデータのデータタイプ、ラベリング要素、およびラベリング方式を決定する。データタイプは、ピクチャ、音声、テキスト、ビデオ、ウェブページなどを含み得る。ピクチャを例にすると、そのラベリング要素は、歩行者、障害物、静的物体、運転中の車、自動車のナンバープレートなどを含み得、ラベリング方式は、要素のフレーム選択、座標ラベリング、カラー判別、セマンティクス転送、テキスト識別などを含み得る。

ステップ３０３：試験ラベリング要件に基づいて、ラベリング要素に対応する要求数量範囲、ラベリングデータに対応する要求データ量、およびデータタイプに対応する要求シーンタイプセットを決定する。

ステップ３０２に基づいて、このステップは、上記実行主体が、試験ラベリング要件に基づいて、ステップ３０２に対応する三つの要件、即ち、ラベリング要素に対応する要求数量範囲、ラベリングデータに対応する要求データ量、およびデータタイプに対応する要求シーンタイプセットを決定することを目的とする。ここで、ラベリングピクチャに含まれる歩行者を例にすると、要求数量範囲は［０、１００）であり得、要求シーンタイプセットに含まれる要求シーンタイプは、十字路シーン、Ｔ字路シーン、東西方向交差点シーン、南北方向交差点シーン、双方向２車線シーン、双方向４車線シーン、昼間の交差点シーン、夕方の交差点シーン、夜間の交差点シーンなどであり得、要求データ量は、サンプルとしてのピクチャの数が１０００枚以上であることを要求することができる。

ステップ３０４：要求数量範囲をラベリング要素の実数量でカバーし、要求シーンタイプセット内の各要求シーンタイプをデータタイプ内の実シーンタイプでカバーし、実データ量が要求データ量以上であるラベリングデータを試験ラベリングデータとして決定する。

ステップ３０３に基づいて、このステップは、上記実行主体が、要求数量範囲をラベリング要素の実数量でカバーし、要求シーンタイプセット内の各要求シーンタイプをデータタイプ内の実シーンタイプでカバーし、実データ量が要求データ量以上であるラベリングデータを試験ラベリングデータとして決定することを目的とする。即ち、このステップは、タイプが全面的であり、かつデータ量が適切であるラベリングデータを試験ラベリングデータとして選択して、試験ラベリングオブジェクトのラベリング能力を十分、全面的かつ正確に決定することを目的とする。

ステップ３０５：試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定する。

ステップ３０６：試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータの実ラベリング量を決定する。

ステップ３０７：実ラベリング量と試験ラベリングデータの総量との比率に基づいて、試験ラベリング完了率を決定する。

試験ラベリングオブジェクトは試験ラベリング時間内に所与のすべての試験ラベリングデータのラベリングを完了する場合があるため、ステップ３０６～ステップ３０７は、上記実行主体が、実ラベリング量と試験ラベリングデータの総量との比率に基づいて、試験ラベリング完了率を決定することを目的とする。すべての試験ラベリングデータのラベリングが完了していない場合、試験ラベリング完了率は１００％未満である。

当然のことながら、試験ラベリングオブジェクトが試験ラベリング時間内にすべての試験ラベリングデータのラベリングを事前に完了する場合、事前完了時間に基づいて１００％を超える試験ラベリング完了率を取得することができる。

ステップ３０８：実ラベリング量のラベリング済みデータにおける各要求シーンタイプにそれぞれ対応する試験ラベリング精度を決定する。

ステップ３０９：試験ラベリング精度および試験ラベリング完了率に基づいて、異なる要求シーンタイプのラベリングデータについての試験ラベリングオブジェクトのラベリング能力情報を決定する。

ステップ３０７においてラベリング数に基づいて決定された試験ラベリング完了率と異なり、ステップ３０８～ステップ３０９は、ラベリング済みデータにおける各要求シーンタイプにそれぞれ対応するラベリング精度に基づいて試験ラベリング精度を決定し、異なる要求シーンタイプのラベリングデータについての試験ラベリングオブジェクトのラベリング能力を特徴付ける情報を決定する。

プロセス２００に示す実施例と異なり、本実施例は、ステップ３０２～ステップ３０４を介して、試験ラベリングデータを決定する実施形態を具体的に提供する。これは、データタイプ、ラベリング要素、ラベリング方式、要求シーンタイプセット、要求要素数量範囲、および要求データ量に基づいて、試験ラベリングデータが十分なデータ量を有し、複雑さが全面的にカバーされ、シーンタイプが全面的にカバーされるように確保する。本実施例はまた、ステップ３０６～ステップ３０９を介して、ラベリング能力を決定する実施形態を具体的に提供する。これは、試験ラベリング完了率、試験ラベリング精度、および異なる要求シーンタイプに基づいて、試験ラベリングオブジェクトのラベリング能力を特徴付ける情報を多くの方面から詳細に決定することができる。

ステップ３０２～ステップ３０４によって提供される具体的な実施形態と、ステップ３０６～ステップ３０９によって提供される具体的な実施形態との間には因果関係および依存関係がなく、具体的な実施形態は、プロセス２００における対応する実施形態を完全に代替して、それぞれ独立した実施例を形成することができ、本実施例は、二つの具体的な実施形態を同時に含む好ましい実施例としてのみ存在することを理解されたい。

プロセス３００に示す実施例に基づいて、決定されたラベリング能力精度をさらに向上させるために、試験ラベリングプロセスにおけるラベリング効率に基づいて、高すぎるまたは低すぎる異常ラベリング効率が存在するか否かを決定することにより、異常部分を除去して実際の状況とよりマッチングするラベリング能力を評価することもできる。

含むがこれらに限定されない実施形態は、以下のとおりである。

試験ラベリング時間を構成する各試験ラベリング期間内における試験ラベリングオブジェクトの試験ラベリングデータの実ラベリング効率を決定する。

各実ラベリング効率における異常ラベリング効率を決定する。

異常ラベリング効率に対応するラベリング済みデータを実ラベリング量およびラベリング精度の計算範囲から排除する。

多くの履歴ラベリング記録に基づいて統計された通常ラベリング効率が３～７個／分である（即ち、毎分ごとにピクチャ内の３～７個のターゲットオブジェクトのラベリングを完了する）と仮定すると、分を単位として、毎分のラベリング効率が０．５よりも小さく１０よりも大きい部分を異常データとして計算範囲から排除する。

さらに、誤判定を防止するために、対応する期間のネットワーク品質を取得して、低いラベリング効率がネットワーク品質の変動につながるか否かを判定することもでき、対応する期間のラベリングピクチャの類似性を取得して、高いラベリング効率がコンテンツ重複度の高い連続的なピクチャにつながるか否かを判定することもできる。当然のことながら、誤判定は、他の検証手段にもよって減少され得る。

上記任意の実施例に基づいて、本開示はまた、図４を介して、実施形態の実行可能性および合理性を検証するための実行可能な例としてのみ、試験ラベリング時間決定方法を具体的に提供する。当業者は、指導思想に基づいて、異なる具体的な実施形態を異なる実際のシーンで調整して取得することができる。プロセス４００は、以下のステップを含む。

ステップ４０１：試験ラベリングオブジェクトの履歴ラベリング記録に基づいて、履歴単回ラベリング時間および履歴ラベリング難度を決定する。

ステップ４０２：試験ラベリングデータの予想ラベリング難度および履歴ラベリング難度に基づいて、差異係数を決定する。

この差異係数は、予想ラベリング難度と履歴ラベリング難度との差を定量化することによって実現され得る。このときの差異係数が正数である場合は、予想ラベリング難度が履歴ラベリング難度よりも大きいことを表すが、差異係数が負数である場合は、予想ラベリング難度が履歴ラベリング難度よりも小さいことを表す。

当然のことながら、これはまた、予想ラベリング難度と履歴ラベリング難度との商を定量化することによって実現され得る。このときの差異係数が１よりも大きい場合は、予想ラベリング難度が履歴ラベリング難度よりも大きいことを表すが、差異係数が０よりも大きく１よりも小さい場合は、予想ラベリング難度が履歴ラベリング難度よりも小さいことを表す。

ステップ４０３：差異係数に基づいて履歴単回ラベリング時間を調整して、試験ラベリング時間を取得する。

ステップ４０２に基づいて、差異係数は予想ラベリング難度が履歴ラベリング難度よりも大きいことを表す場合、履歴単回ラベリング時間を小さく調整するが、差異係数は予想ラベリング難度が履歴ラベリング難度よりも小さいことを表す場合、履歴単回ラベリング時間を大きく調整する。

具体的な調整方式は、以下のとおりであり得る。

差異係数が正数である場合、差異係数と履歴単回ラベリング時間との積を試験ラベリング時間として決定する。

差異係数が負数である場合、履歴単回ラベリング時間と差異係数との商の絶対値を試験ラベリング時間として決定する。

本実施例は、上記実行主体が、履歴ラベリング難度およびそのラベリング難度によって決定された差異係数に基づいて、その履歴単回ラベリング時間を調整して、時間が実際の難度とマッチングする試験ラベリング時間を取得することを目的とする。

さらに、最終的に決定された試験ラベリング時間が長い場合、実際の状況に応じて、実行されている試験ラベリング時間の上限を比例的に縮減することもできる。

さらに図５を参照すると、上記の各図に示す方法の実施形態として、本開示は、図２に示す方法の実施例に対応するラベリング能力情報決定装置の実施例を提供する。この装置は、様々な電子デバイスに特に適用できる。

図５に示すように、本実施例のラベリング能力情報決定装置５００は、試験ラベリングオブジェクト決定ユニット５０１、試験ラベリングデータ決定ユニット５０２、および試験ラベリング時間／ラベリング能力情報決定ユニット５０３を含み得る。ここで、試験ラベリングオブジェクト決定ユニット５０１は、ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定するように構成される。試験ラベリングデータ決定ユニット５０２は、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定するように構成される。試験ラベリング時間／ラベリング能力情報決定ユニット５０３は、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定し、試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトのラベリング能力情報を決定するように構成される。

本実施例では、ラベリング能力情報決定装置５００の試験ラベリングオブジェクト決定ユニット５０１、試験ラベリングデータ決定ユニット５０２、および試験ラベリング時間／ラベリング能力情報決定ユニット５０３の具体的な処理とその技術的効果については、それぞれ図２に対応する実施例のステップ２０１～２０３の関連説明を参照することができるので、ここでは繰り返さない。

本実施例のいくつかの代替的な実施形態では、試験ラベリングデータ決定ユニット５０２は、

試験ラベリング要件に基づいて、ラベリングデータのデータタイプ、ラベリング要素、およびラベリング方式を決定することと、

試験ラベリング要件に基づいて、ラベリング要素に対応する要求数量範囲、ラベリングデータに対応する要求データ量、およびデータタイプに対応する要求シーンタイプセットを決定することと、

要求数量範囲をラベリング要素の実数量でカバーし、要求シーンタイプセット内の各要求シーンタイプをデータタイプ内の実シーンタイプでカバーし、実データ量が要求データ量以上であるラベリングデータを試験ラベリングデータとして決定することと、を実行するようにさらに構成される。

本実施例のいくつかの代替的な実施形態では、試験ラベリング時間／ラベリング能力情報決定ユニット５０３は、試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータのラベリング結果に基づいて、試験ラベリングオブジェクトのラベリング能力情報を決定するように構成されたラベリング能力情報決定サブユニットを含み、ラベリング能力情報決定サブユニットは、

試験ラベリング時間内における試験ラベリングオブジェクトの試験ラベリングデータの実ラベリング量を決定することと、

実ラベリング量と試験ラベリングデータの総量との比率に基づいて、試験ラベリング完了率を決定することと、

実ラベリング量のラベリング済みデータにおける各要求シーンタイプにそれぞれ対応する試験ラベリング精度を決定することと、

試験ラベリング精度および試験ラベリング完了率に基づいて、異なる要求シーンタイプのラベリングデータについての試験ラベリングオブジェクトのラベリング能力情報を決定することと、を実行するようにさらに構成される。

本実施例のいくつかの代替的な実施形態では、ラベリング能力情報決定装置５００は、

試験ラベリング時間を構成する各試験ラベリング期間内における試験ラベリングオブジェクトの試験ラベリングデータの実ラベリング効率を決定するように構成された実ラベリング効率決定ユニットと、

各実ラベリング効率における異常ラベリング効率を決定するように構成された異常ラベリング効率決定ユニットと、

異常ラベリング効率に対応するラベリング済みデータを実ラベリング量およびラベリング精度の計算範囲から排除するように構成された異常データ排除ユニットと、をさらに含み得る。

本実施例のいくつかの代替的な実施形態では、試験ラベリング時間／ラベリング能力情報決定ユニット５０３は、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定するように構成された試験ラベリング時間決定サブユニットを含み、試験ラベリング時間決定サブユニットは、

試験ラベリングオブジェクトの履歴ラベリング記録に基づいて、履歴単回ラベリング時間および履歴ラベリング難度を決定するように構成された履歴ラベリングパラメータ決定モジュールと、

試験ラベリングデータの予想ラベリング難度および履歴ラベリング難度に基づいて、差異係数を決定するように構成された差異係数決定モジュールと、

差異係数に基づいて履歴単回ラベリング時間を調整して、試験ラベリング時間を取得するように構成された試験ラベリング時間決定モジュールと、を含み得る。

本実施例のいくつかの代替実施形態では、試験ラベリング時間決定モジュールは、

差異係数が正数である場合、差異係数と履歴単回ラベリング時間との積を試験ラベリング時間として決定することであって、差異係数が正数である場合は予想ラベリング難度が履歴ラベリング難度よりも大きいことを表すことと、

差異係数が負数である場合、履歴単回ラベリング時間と差異係数との商の絶対値を試験ラベリング時間として決定することであって、差異係数が負数である場合は予想ラベリング難度が履歴ラベリング難度よりも小さいことを表すことと、を実行するようにさらに構成される。

本実施例のいくつかの代替実施形態では、試験ラベリングオブジェクト決定ユニットは、

ラベリングタスクのラベリング要件に基づいて必要なラベリング能力カテゴリを決定することと、

ラベリング能力カテゴリに対応するラベリング能力を有するラベリングオブジェクトを、試験ラベリングオブジェクトとして決定することと、を実行するようにさらに構成される。

それに応じて、試験ラベリング時間／ラベリング能力情報決定ユニットは、試験ラベリングオブジェクトのラベリング能力情報を決定するように構成されたラベリング能力情報決定サブユニットを含み、ラベリング能力情報決定サブユニットは、

ラベリング能力カテゴリにおける試験ラベリングオブジェクトのラベリング能力値を決定することを実行するようにさらに構成される。

本実施例のいくつかの代替的な実施形態では、ラベリング能力情報決定装置５００は、

ラベリング能力カテゴリにおける試験ラベリングオブジェクトのラベリング能力値を決定した後、試験ラベリングオブジェクトのラベリング能力値に基づいて、適切な比率のラベリングタスクを試験ラベリングオブジェクトに割り当てるように構成されたラベリングタスク割り当てユニットをさらに含み得る。

本実施例は、上記方法の実施例に対応する装置の実施例として存在する。本実施例によって提供されるラベリング能力情報決定装置は、ラベリング要件に基づいて試験ラベリングオブジェクトを決定した場合、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定すると同時に、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を合理的に決定し、ラベリングコストおよびラベリング品質を考慮するので、ラベリング能力情報の精度を向上させる。

本開示の実施例によれば、本開示は、電子デバイスをさらに提供する。この電子デバイスは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信接続されたメモリと、を含み、このメモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶しており、この命令は、少なくとも１つのプロセッサが上記任意の実施例に記載のラベリング能力情報決定方法を実行できるように少なくとも１つのプロセッサによって実行される。

本開示の実施例によれば、本開示は、上記任意の実施例に記載のラベリング能力情報決定方法をコンピュータに実行させるためのコンピュータ命令を記憶する可読記憶媒体をさらに提供する。

本開示の実施例は、プロセッサによって実行されると、上記任意の実施例に記載のラベリング能力情報決定方法を実行するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

図６は、本開示の実施例を実施するために使用され得る例示的な電子デバイス６００の概略ブロック図を示す。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。電子デバイスは、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すこともできる。本明細書に示されるコンポーネント、それらの接続と関係、およびそれらの機能は単なる例示であり、本明細書に説明および／または請求される本開示の実施形態を限定することを意図したものではない。

図６に示すように、デバイス６００は、リードオンリメモリ（ＲＯＭ）６０２に記憶されたコンピュータプログラム、または記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムに従って、各種の適切な動作および処理を実行することができる計算ユニット６０１を含む。ＲＡＭ６０３には、デバイス６００の動作に必要な各種のプログラムおよびデータも記憶され得る。計算ユニット６０１、ＲＯＭ６０２、およびＲＡＭ６０３は、バス６０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０５も、バス６０４に接続される。

デバイス６００内の複数のコンポーネントは、Ｉ／Ｏインターフェース６０５に接続されており、キーボード、マウスなどの入力ユニット６０６と、各種のディスプレイ、スピーカーなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット６０９と、を含む。通信ユニット６０９は、デバイス６００が、インターネットなどのコンピュータネットワーク、および／または様々な通信ネットワークを介して、他のデバイスとの間で情報／データを交換することを可能にする。

計算ユニット６０１は、処理能力および計算能力を備えた様々な汎用および／または専用の処理コンポーネントであり得る。計算ユニット６０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上記様々な方法および処理、例えば、ラベリング能力情報決定方法を実行する。例えば、いくつかの実施例では、ラベリング能力情報決定方法は、記憶ユニット６０８などの機械可読媒体で有形的に具現化されるコンピュータソフトウェアプログラムとして実施され得る。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して、デバイス６００にロードおよび／またはインストールされ得る。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上記ラベリング能力情報決定方法の１つまたは複数のステップが実行され得る。あるいは、他の実施例では、計算ユニット６０１は、他の任意の適切な手段（例えば、ファームウェア）を介して、ラベリング能力情報決定方法を実行するように構成され得る。

本明細書に記載のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途用標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実装され得る。これらの様々な実施形態は、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信したり、この記憶システム、この少なくとも１つの入力装置、およびこの少なくとも１つの出力装置にデータおよび命令を送信したりすることができる専用又は汎用のプログラマブルプロセッサであり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈され得る１つまたは複数のコンピュータプログラムに実装されることを含み得る。

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせで書かれ得る。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供され得るので、プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図で指定された機能／動作が実行される。プログラムコードは、完全にマシン上で実行され得るか、または部分的にマシン上で実行され得るか、または独立したソフトウェアパッケージとして、部分的にマシン上で、部分的にリモートマシン上で実行され得るか、または完全にリモートマシンまたはサーバ上で実行され得る。

本開示の文脈において、機械可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用するためのプログラムを含むかまたは記憶することができる有形媒体であり得る。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置またはデバイス、または上記の任意の適切な組み合わせを含み得るが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１本または複数本の導線を備えた電気コネクタ、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブル・コンパクト・ディスク・リードオンリメモリ（ＣＤ－ＲＯＭ）、光学メモリ、磁気メモリ、または上記の任意の適切な組み合わせを含む。

ユーザとの対話を提供するために、本明細書に記載のシステムおよび技術は、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザが入力をコンピュータに提供することを可能にするキーボードとポインティングデバイス（例えば、マウスまたはトラックボール）とを備えたコンピュータに実装され得る。他のタイプの装置は、ユーザとの対話を提供するためにも使用されており、例えば、任意の形態の感覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック）をユーザに提供したり、任意の形態（音響入力、音声入力、および触覚入力を含む形態）を使用してユーザからの入力を受信したりするために使用され得る。

本明細書に記載のシステムおよび技術は、バックエンドコンポーネント（例えば、データサーバ）を含むコンピュータシステム、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むコンピュータシステム、フロントエンドコンポーネント（例えば、ユーザが本明細書に記載のシステムおよび技術の実施形態と対話することを可能にするグラフィカルユーザインターフェースまたはウェブブラウザを備えたユーザコンピュータ）を含むコンピュータシステム、または、これらバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムに実装され得る。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）を介して互いに接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、およびインターネットを含む。

コンピュータシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは通常、互いに遠く離れており、通信ネットワークを介して対話する。クライアントとサーバとの関係は、対応するコンピュータで実行され、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれるクラウドサーバであってもよく、クラウドコンピューティングサービスシステムのホスト製品として、従来の物理ホストおよび仮想プライベートサーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）のサービスにおける、管理の難しさが高く、サービスの拡張性が低いという欠点を解決する。

本開示の実施例の技術的解決手段によれば、ラベリング要件に基づいて試験ラベリングオブジェクトを決定した場合、ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定すると同時に、試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を合理的に決定し、ラベリングコストおよびラベリング品質を考慮するので、ラベリング能力情報の精度を向上させる。

ステップの並べ替え、追加、または削除は、上記様々な形態のプロセスによって実行され得ることを理解されたい。例えば、本開示に記載の各ステップは、本開示に開示された技術的解決手段の所望の結果が達成できる限り、並行して、順次に、または異なる順序で実行され得るが、本明細書に限定されない。

上記特定の実施形態は、本開示の保護範囲を限定するものではない。設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的組み合わせおよび置換を行うことができることは、当業者にとって明らかであろう。本開示の精神と原則の範囲内で行われた修正、同等置換、改良などは、本開示の保護範囲に含まれるべきである。

Claims (19)

1. ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定することと、
   前記ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定することと、
   前記試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定し、前記試験ラベリング時間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータのラベリング結果に基づいて、前記試験ラベリングオブジェクトのラベリング能力情報を決定することと、を含む、
   ラベリング能力情報決定方法。
2. 前述した前記ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定することは、
   前記試験ラベリング要件に基づいて、ラベリングデータのデータタイプ、ラベリング要素、およびラベリング方式を決定することと、
   前記試験ラベリング要件に基づいて、前記ラベリング要素に対応する要求数量範囲、前記ラベリングデータに対応する要求データ量、および前記データタイプに対応する要求シーンタイプセットを決定することと、
   前記要求数量範囲を前記ラベリング要素の実数量でカバーし、前記要求シーンタイプセット内の各要求シーンタイプを前記データタイプ内の実シーンタイプでカバーし、実データ量が前記要求データ量以上であるラベリングデータを前記試験ラベリングデータとして決定することと、を含む、
   請求項１に記載の方法。
3. 前述した前記試験ラベリング時間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータのラベリング結果に基づいて、前記試験ラベリングオブジェクトのラベリング能力情報を決定することは、
   前記試験ラベリング時間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータの実ラベリング量を決定することと、
   前記実ラベリング量と前記試験ラベリングデータの総量との比率に基づいて、試験ラベリング完了率を決定することと、
   前記実ラベリング量のラベリング済みデータにおける各前記要求シーンタイプにそれぞれ対応する試験ラベリング精度を決定することと、
   前記試験ラベリング精度および前記試験ラベリング完了率に基づいて、異なる要求シーンタイプのラベリングデータについての前記試験ラベリングオブジェクトのラベリング能力情報を決定することと、を含む、
   請求項２に記載の方法。
4. 前記試験ラベリング時間を構成する各試験ラベリング期間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータの実ラベリング効率を決定することと、
   各前記実ラベリング効率における異常ラベリング効率を決定することと、
   前記異常ラベリング効率に対応するラベリング済みデータを前記実ラベリング量および前記ラベリング精度の計算範囲から排除することと、をさらに含む、
   請求項３に記載の方法。
5. 前述した前記試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定することは、
   前記試験ラベリングオブジェクトの履歴ラベリング記録に基づいて、履歴単回ラベリング時間および履歴ラベリング難度を決定することと、
   前記試験ラベリングデータの予想ラベリング難度および前記履歴ラベリング難度に基づいて、差異係数を決定することと、
   前記差異係数に基づいて前記履歴単回ラベリング時間を調整して、前記試験ラベリング時間を取得することと、を含む、
   請求項１に記載の方法。
6. 前述した前記差異係数に基づいて前記履歴単回ラベリング時間を調整して、前記試験ラベリング時間を取得することは、
   前記差異係数が正数である場合、前記差異係数と前記履歴単回ラベリング時間との積を前記試験ラベリング時間として決定することであって、前記差異係数が正数である場合は前記予想ラベリング難度が前記履歴ラベリング難度よりも大きいことを表すことと、
   前記差異係数が負数である場合、前記履歴単回ラベリング時間と前記差異係数との商の絶対値を前記試験ラベリング時間として決定することであって、前記差異係数が負数である場合は前記予想ラベリング難度が前記履歴ラベリング難度よりも小さいことを表すことと、を含む、
   請求項５に記載の方法。
7. 前述したラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定することは、
   前記ラベリングタスクのラベリング要件に基づいて必要なラベリング能力カテゴリを決定することと、
   前記ラベリング能力カテゴリに対応するラベリング能力を有するラベリングオブジェクトを、前記試験ラベリングオブジェクトとして決定することと、を含み、
   それに応じて、前述した前記試験ラベリングオブジェクトのラベリング能力情報を決定することは、
   前記ラベリング能力カテゴリにおける前記試験ラベリングオブジェクトのラベリング能力値を決定することを含む、
   請求項１～６のいずれか一項に記載の方法。
8. 前記ラベリング能力カテゴリにおける前記試験ラベリングオブジェクトのラベリング能力値を決定した後、
   前記試験ラベリングオブジェクトのラベリング能力値に基づいて、適切な比率のラベリングタスクを前記試験ラベリングオブジェクトに割り当てることをさらに含む、
   請求項７に記載の方法。
9. ラベリングタスクのラベリング要件に基づいて試験ラベリングオブジェクトを決定するように構成された試験ラベリングオブジェクト決定ユニットと、
   前記ラベリング要件および所定の試験ラベリング要件に基づいて試験ラベリングデータを決定するように構成された試験ラベリングデータ決定ユニットと、
   前記試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定し、前記試験ラベリング時間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータのラベリング結果に基づいて、前記試験ラベリングオブジェクトのラベリング能力情報を決定するように構成された試験ラベリング時間／ラベリング能力情報決定ユニットと、を含む、
   ラベリング能力情報決定装置。
10. 前記試験ラベリングデータ決定ユニットは、
    前記試験ラベリング要件に基づいて、ラベリングデータのデータタイプ、ラベリング要素、およびラベリング方式を決定することと、
    前記試験ラベリング要件に基づいて、前記ラベリング要素に対応する要求数量範囲、前記ラベリングデータに対応する要求データ量、および前記データタイプに対応する要求シーンタイプセットを決定することと、
    前記要求数量範囲を前記ラベリング要素の実数量でカバーし、前記要求シーンタイプセット内の各要求シーンタイプを前記データタイプ内の実シーンタイプでカバーし、実データ量が前記要求データ量以上であるラベリングデータを前記試験ラベリングデータとして決定することと、を実行するようにさらに構成される、
    請求項９に記載の装置。
11. 前記試験ラベリング時間／ラベリング能力情報決定ユニットは、前記試験ラベリング時間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータのラベリング結果に基づいて、前記試験ラベリングオブジェクトのラベリング能力情報を決定するように構成されたラベリング能力情報決定サブユニットを含み、前記ラベリング能力情報決定サブユニットは、
    前記試験ラベリング時間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータの実ラベリング量を決定することと、
    前記実ラベリング量と前記試験ラベリングデータの総量との比率に基づいて、試験ラベリング完了率を決定することと、
    前記実ラベリング量のラベリング済みデータにおける各前記要求シーンタイプにそれぞれ対応する試験ラベリング精度を決定することと、
    前記試験ラベリング精度および前記試験ラベリング完了率に基づいて、異なる要求シーンタイプのラベリングデータについての前記試験ラベリングオブジェクトのラベリング能力情報を決定することと、を実行するようにさらに構成される、
    請求項１０に記載の装置。
12. 前記試験ラベリング時間を構成する各試験ラベリング期間内における前記試験ラベリングオブジェクトの前記試験ラベリングデータの実ラベリング効率を決定するように構成された実ラベリング効率決定ユニットと、
    各前記実ラベリング効率における異常ラベリング効率を決定するように構成された異常ラベリング効率決定ユニットと、
    前記異常ラベリング効率に対応するラベリング済みデータを前記実ラベリング量および前記ラベリング精度の計算範囲から排除するように構成された異常データ排除ユニットと、をさらに含む、
    請求項１１に記載の装置。
13. 前記試験ラベリング時間／ラベリング能力情報決定ユニットは、前記試験ラベリングオブジェクトの属性に基づいて試験ラベリング時間を決定するように構成された試験ラベリング時間決定サブユニットを含み、前記試験ラベリング時間決定サブユニットは、
    前記試験ラベリングオブジェクトの履歴ラベリング記録に基づいて、履歴単回ラベリング時間および履歴ラベリング難度を決定するように構成された履歴ラベリングパラメータ決定モジュールと、
    前記試験ラベリングデータの予想ラベリング難度および前記履歴ラベリング難度に基づいて、差異係数を決定するように構成された差異係数決定モジュールと、
    前記差異係数に基づいて前記履歴単回ラベリング時間を調整して、前記試験ラベリング時間を取得するように構成された試験ラベリング時間決定モジュールと、を含む、
    請求項９に記載の装置。
14. 前記試験ラベリング時間決定モジュールは、
    前記差異係数が正数である場合、前記差異係数と前記履歴単回ラベリング時間との積を前記試験ラベリング時間として決定することであって、前記差異係数が正数である場合は前記予想ラベリング難度が前記履歴ラベリング難度よりも大きいことを表すことと、
    前記差異係数が負数である場合、前記履歴単回ラベリング時間と前記差異係数との商の絶対値を前記試験ラベリング時間として決定することであって、前記差異係数が負数である場合は前記予想ラベリング難度が前記履歴ラベリング難度よりも小さいことを表すことと、を実行するようにさらに構成される、
    請求項１３に記載の装置。
15. 前記試験ラベリングオブジェクト決定ユニットは、
    前記ラベリングタスクのラベリング要件に基づいて必要なラベリング能力カテゴリを決定することと、
    前記ラベリング能力カテゴリに対応するラベリング能力を有するラベリングオブジェクトを、前記試験ラベリングオブジェクトとして決定することと、を実行するようにさらに構成されており、
    それに応じて、前記試験ラベリング時間／ラベリング能力情報決定ユニットは、前記試験ラベリングオブジェクトのラベリング能力情報を決定するように構成されたラベリング能力情報決定サブユニットを含み、前記ラベリング能力情報決定サブユニットは、
    前記ラベリング能力カテゴリにおける前記試験ラベリングオブジェクトのラベリング能力値を決定することを実行するようにさらに構成される、
    請求項９～１４のいずれか一項に記載の装置。
16. 前記ラベリング能力カテゴリにおける前記試験ラベリングオブジェクトのラベリング能力値を決定した後、前記試験ラベリングオブジェクトのラベリング能力値に基づいて、適切な比率のラベリングタスクを前記試験ラベリングオブジェクトに割り当てるように構成されたラベリングタスク割り当てユニットをさらに含む、
    請求項１５に記載の装置。
17. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリと、を含み、
    前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサが請求項１～８のいずれか一項に記載のラベリング能力情報決定方法を実行できるように前記少なくとも１つのプロセッサによって実行される、
    電子デバイス。
18. 請求項１～８のいずれか一項に記載のラベリング能力情報決定方法をコンピュータに実行させるためのコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体。
19. プロセッサによって実行されると、請求項１～８のいずれか一項に記載のラベリング能力情報決定方法を実行するコンピュータプログラム。

Images