JP2023152270A - 人工知能によるデータラベリング方法、装置、電子デバイス、記憶媒体、及びプログラム - Google Patents

Abstract

【課題】本開示は、人工知能によるデータラベリング方法、装置、デバイス、記憶媒体及びプログラムを提供する。【解決手段】クラスタリングに関与する複数のサンプルを決定し、反復処理を実現するために、収束条件が満たされるか、反復回数が回数閾値に達するまで、クラスタリングに関与する各サンプルのベクトル表現に基づいて、クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを得、各クラスクラスタが少なくとも１つのクラスタリングに関与するサンプルを含み、各クラスクラスタに対するラベリング情報を受信し、ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定すること、を繰り返し実行し、収束条件が満たされるか、反復回数が回数閾値に達する場合、各クラスクラスタに対するラベリング情報に基づいて、クラスタリング結果を決定する。【選択図】図２

Description

本開示は、人工知能の分野、特にデータラベリング、画像認識、自然言語処理の技術分野に関する。

クラスタリングラベリングアルゴリズムは、クラスタリング分析アルゴリズムあるいはグループ分析方法とも呼ばれ、分類を研究する統計分析方法であり、データマイニングの重要なアルゴリズムでもある。クラスタリング分析は類似性に基づいており、同一クラスタ（Ｃｌｕｓｔｅｒ）におけるパターン間では、同一でないクラスタにおけるパターン間よりも類似性が高い。

実際の業務では、リアルクラスクラスタを区分する必要があることが多い。例えば、クラスタリングタスクの効果を評価するために、テスト集合を使用して評価することができる。テスト集合は、複数のサンプルをクラスタリング基準に基づいて区分された複数の相互排他的なリアルクラスタであり、人手で区分する必要がある。サンプル数が多いと、ラベリングの作業量が大きくなり、クラスタリングラベリングの精度が低下する可能性がある。

本開示は、人工知能によるデータラベリング方法、装置、デバイス、及び記憶媒体を提供する。

本開示の１つの態様では、人工知能によるデータラベリング方法を提供し、該方法は、
クラスタリングに関与する複数のサンプルを決定することと、
反復処理を実現するために、収束条件が満たされるか、又は反復回数が回数閾値に達するまで、
前記クラスタリングに関与する各サンプルのベクトル表現に基づいて、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを得ることと、ここで、各前記クラスクラスタが少なくとも１つの前記クラスタリングに関与するサンプルを含み、
各前記クラスクラスタに対するラベリング情報を受信し、前記ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定することと、を繰り返し実行することと、
前記収束条件が満たされるか、又は前記反復回数が回数閾値に達する場合、各前記クラスクラスタに対するラベリング情報に基づいて、クラスタリング結果を決定することと、を含む。

本開示のもう１つの様態では、人工知能によるデータラベリング装置を提供し、該装置は、
クラスタリングに関与する複数のサンプルを決定するためのスクリーニングモジュールと、クラスタリングモジュールと、処理モジュールと、を備え、
前記クラスタリングモジュールと、前記処理モジュールとは、反復処理を実現するために、収束条件が満たされるか、又は反復回数が回数閾値に達するまで、前記クラスタリングモジュールが前記スクリーニングモジュール又は前記処理モジュールによって決定された前記クラスタリングに関与する各サンプルのベクトル表現に基づいて、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを得ることと、前記処理モジュールが各前記クラスクラスタに対するラベリング情報を受信し、前記ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定し、決定されたクラスタリングに関与する複数のサンプルを前記クラスタリングモジュールに通知することと、を繰り返し実行することに用いられ、
前記処理モジュールはさらに、前記収束条件を満たすか、又は前記反復回数が回数閾値に達する場合に、各前記クラスクラスタに対するラベリング情報に基づいて、クラスタリング結果を決定することに用いられ、
ここで、各前記クラスクラスタが少なくとも１つの前記クラスタリングに関与するサンプルを含む。

本開示のもう１つの様態では、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
命令は、少なくとも１つのプロセッサにより実行されると、本開示の人工知能によるデータラベリング方法を実行させることを特徴とする。

本開示のもう１つの様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令は、本開示の人工知能によるデータラベリング方法をコンピュータに実行させる。

本開示のもう１つの様態では、プログラムを提供し、該プログラムは、プロセッサにより実行されると、本開示の人工知能によるデータラベリング方法を実現する。

本開示によれば、クラスタリングに関与するサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを得、その後、ラベリング情報に基づいて各クラスクラスタに対する区分を実現し、複数回の反復処理をして、最終的にクラスタリング結果を得る。各クラスクラスタ内のサンプルの数が少ないため、ラベリングの作業量が少なく、クラスタリングラベリングの精度を向上させることができる。

本開示の１つの応用シーンの概略図である。 本開示の１つの実施例における人工知能によるデータラベリング方法を実現するフローチャート概略図である。 本開示のもう１つの実施例における人工知能によるデータラベリング方法を実現するフローチャート概略図である。 本開示の１つの実施例におけるクラスタリング装置の構成を示す概略図である。 本開示の実施例を実行可能な電子デバイスのブロック図である。

ここに記載された内容は、本開示の実施例のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して理解を促すことができる。

添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。

以下では、本開示の例示的な実施形態を、理解を容易にするために本開示の実施例の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施例に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

一般的に、クラスタリングタスクの効果を評価するには、データを相互排他的なリアルクラスタにラベリングして正確な評価結果を得る必要がある。そのため、実際の業務では、ラベリングされたデータに基づいて評価を行う必要があるクラスタリングタスクが多い。例えば、イベントデータベースの構築では、同一のイベントを記述したリアルタイムニュースを１つのイベントにクラスタリングしてイベントデータベースに保存し、イベントを粒度としてイベントを分析するためのデータ分析基盤を提供する必要がある。イベントのクラスタリングを例にすると、理想的に、クラスタリングの効果は次の２つの要件を満たす必要がある。

１．同一のクラスタ内では、同一のイベントを記述するニュースであること、即ち適合率。

２．同一のイベントを記述する全てのニュースが１つのクラスタにあり、複数のクラスタに分散しないこと、即ち再現率。

適合率と再現率を計算するためには、データを正確にクラスタリングする必要があり、即ち、テスト集合を、業務シーンごとのクラスタリング基準に基づいて、相互排他的な複数のリアルクラスタに区分する。

ラベリング量や人手によるラベリングのコストを考慮しない場合に、全てのサンプルを人手作業でラベリングする強制的なラベリングを使用することができる。一般的に、ラベリング量と関連コストを考慮する必要があり、既存の評価方案は主に相関性による再現の方法に基づいてラベリングし、この方法は評価に関与するデータの数を制限し、テスト集合全体の全てのリアルクラスタを得ることができず、クラスタリングの精度が不足している。

上述の課題に対して、本開示は、人工知能によるデータラベリング方法を提案し、該方法は、クラスクラスタを粒度として代表的なサンプルを選択し、複数ラウンドの反復クラスタリングラベリングを行い、ラベリング量を削減しながらクラスタリング結果の精度を向上させることができる。

上述の課題に対して、本開示は、人工知能によるデータラベリング方法を提案し、該方法は、クラスクラスタを粒度として複数ラウンドの反復クラスタリングラベリングを行い、ラベリング量を削減しながら全面的でリアルクラスタを高速に得る。

本発明は、人工知能によるデータラベリング方法を提案し、該方法は、図１に示す応用シーンに適用することができる。図１に示すように、該応用シーンは、クライアント端末１１０及びサーバ１２０を含むことができ、この方法が適用された装置がサーバにデプロイされていることを例にすると、ユーザは、クライアント端末１１０を介してサーバ１２０にこの人工知能によるデータラベリング方法を使用する要求を送信することができ、サーバ１２０は、この人工知能によるデータラベリング方法を使用してサンプルに対してクラスタリングをした後、クラスタリング結果を、ラベリング端末１３０にフィードバックし、ラベリング端末１３０は、クラスタリングによって得られたクラスクラスタ情報を受信することができ、クラスクラスタに対してラベリングし区分して、ラベリング完了後にラベリング情報をサーバ１２０に再度送信し、サーバ１２０はラベリング情報を受信した後、引き続きこの人工知能によるデータラベリング方法を使用して新たなクラスクラスタ情報を生成し、このように複数ラウンドの反復を行った後、最終的なクラスタリング結果を得る。

クライアント端末１１０及びラベリング端末１３０は、無線ネットワーク又は有線ネットワークを介してサーバ１２０に接続することができる。選択的に、クライアント端末１１０及びラベリング端末１３０は、それぞれ、スマートフォン、タブレット、ノートパソコン、デスクトップコンピュータ、スマートウォッチ、車載端末などであってもよいが、これに限定されるものではない。クライアント端末１１０は、人工知能によるデータラベリング方法をサポートするアプリケーションをインストールして実行することができる。ラベリング端末１３０は、複数の端末であってもよい。この人工知能によるデータラベリング方法を利用するリクエストをサーバ１２０に送信するクライアント端末１１０と、ラベリングして区分するラベリング端末１３０とは、同一の端末であっても、異なる端末であってもよい。

サーバ１２０は、スタンドアロンサーバ、サーバクラスタ又は分散システム、又はクラウドサービス、クラウドデータベース、クラウド計算、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、及びビッグデータと人工知能プラットフォームなどの基礎的なクラウド計算サービスを提供するクラウドサーバであってもよい。

図２は、本開示の１つの実施例における人工知能によるデータラベリング方法を実現するフローチャート概略図であり、該方法は少なくとも以下のステップを含む。

Ｓ２１０において、クラスタリングに関与する複数のサンプルを決定する。

Ｓ２２０において、クラスタリングに関与する各サンプルのベクトル表現に基づいて、クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを得、ここで、各クラスクラスタが少なくとも１つのクラスタリングに関与するサンプルを含む。

Ｓ２３０において、各クラスクラスタに対するラベリング情報を受信し、ラベリング情報に基づいてクラスタリングに関与する複数のサンプルを再決定し、反復処理を実現するために、ステップＳ２２０に戻って実行し、収束条件を満たすか、又は反復回数が回数閾値に達する場合、各クラスクラスタに対するラベリング情報に基づいて、クラスタリング結果を決定する。

このように、本開示で提案する人工知能によるデータラベリング方法は反復クラスタリング方式を使用しており、毎回の反復には、クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行い、複数のクラスクラスタに区分することと、ラベリング情報に基づいて各クラスクラスタから代表的なサンプルを決定し、該代表的なサンプルを次回の反復におけるクラスタリングに関与するサンプルとすることとを含む。本開示は、各反復プロセスにおいて、事前クラスタリング後、各クラスクラスタにおけるサンプルの数を少なくなり、後続の正確なラベリングを容易にし、クラスタリングの精度を向上させる。

いくつかの可能な実施形態では、上述のサンプルは、画像サンプル又はテキストサンプルであってもよく、即ち、本方法は、画像又はテキストに対するクラスタリングに適用されてもよい。

いくつかの可能な実施形態では、上述のサンプルのベクトル表現は、ニューラルネットワークモデルを利用して得ることができ、このニューラルネットワークモデルは、知識が強化されたセマンティック表現（ＥＲＮＩＥ，Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍｋＮｏｗｌｅｄｇｅ ＩｎｔＥｇｒａｔｉｏｎ）モデル、又は変換器に基づく双方向エンコーダ表現（ＢＥＲＴ，Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）モデルを含むことができ、又は他のモデルを含んでもよく、本明細書では限定しない。

いくつかの可能な実施形態では、クラスクラスタに対するラベリング情報は、クラスクラスタに含まれる少なくとも１つのサブクラスタと、各サブクラスタにおける代表的なサンプルとを含むことができ、
上述のラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定することは、各クラスクラスタに対するラベリング情報の各サブクラスタにおける代表的なサンプルを、再決定されたクラスタリングに関与する複数のサンプルとすることを含むことができる。

本開示の実施形態では、ラベリング担当者は、クラスクラスタを粒度として、事前クラスタリングによって生成された各クラスクラスタを、各々が相互排他的であるサブクラスタにラベリングし、そして、各サブクラスタにおける代表的なサンプルを人手で選択して、次のラウンドのクラスタリングに進むことができる。各サブクラスタから選択された代表的なサンプルを代表的なサンプルと呼び、残りのサンプルを非代表的なサンプルと呼ぶことができる。例えば、ラベリング担当者は、各サブクラスタにおいて簡潔で単一の表現のサンプルを選択して、次のラウンドのクラスタリングに進むことができ、ラベリング担当者による、各クラスクラスタに対するラベリング情報を受信すると、そのラベリング情報に基づいて代表的なサンプルを決定することができ、これらの代表的なサンプルは次のラウンドのクラスタリングに関与することとなる。代表的なサンプルの単一性は、情報伝達による問題を回避することができる。また、各反復の第２ステップにおいて、各クラスクラスタを、次回の反復に用いられる１つの代表的なサンプルを各々が有する複数のサブクラスタに区分することにより、次回の反復プロセスにおいてクラスタリングに関与するサンプルの数を迅速に削減することができる。

いくつかの可能な実施形態では、上述のクラスタリングに関与する各サンプルのベクトル表現に基づいて、クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行うことは、
クラスタリングアルゴリズムを使用して、制約条件と合わせて、事前クラスタリングによって得られた各クラスクラスタが制約条件を満たすように、クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行うことを含む。

いくつかの可能な実施形態では、上述の制約条件は、以下の少なくとも１つを含む。

（１）各クラスクラスタに含まれる、クラスタリングに関与するサンプルの数がサンプル数閾値以下である。

（２）各クラスクラスタに含まれる、クラスタリングに関与する各サンプルが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスクラスタに属していた。

上述の制約条件は、主に次の点を考慮して設定されている。

第１に、上述の制約条件（１）について、サンプル数閾値を設定することで、事前クラスタリングによって得られる各クラスクラスタ中のサンプルの数が多くなりすぎないことを保証し、ラベリングが容易になるため、ラベリング担当者に対する要求を低減することができ、クラスクラスタの区分（各クラスクラスタを複数のサブクラスタに区分すること）の精度を向上させ、最終的なクラスタリング結果の精度を向上させることができる。

第２に、上述の制約条件（２）について、制約条件（２）は、前回の反復プロセスにおいて同一のクラスクラスタに区分された２つのサンプルが、同じく次回の反復プロセスに進む場合に、再び同一のクラスクラスタに区分されないことを保証する。これは、次回の反復プロセスに進む２つのサンプルが、すでに人手によって相互排他的なサンプルとしてラベリングされている（つまり異なるクラスに属する）サンプルであるため、再び同一のクラスクラスタに区分する必要がないからである。

いくつかの可能な実施形態では、上述のクラスタリングアルゴリズムは、多種のアルゴリズムであってもよく、以下では密度ピーク（ｄｅｎｓｉｔｙ ｐｅａｋｓ）アルゴリズムを例として説明すると、密度ピーク（ｄｅｎｓｉｔｙ ｐｅａｋｓ）アルゴリズムを使用して、上述の制約条件と合わせて、クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行う実施方法は、以下を含むことができる。

ステップ１において、クラスタリングに関与する各サンプルの密度を決定する。

ステップ２において、密度が大きい順に、クラスタリングに関与する各サンプルに対してそれぞれ、クラスタリングに関与するサンプルの複数の近傍サンプルを決定することと、近傍サンプルと該クラスタリングに関与するサンプルとの類似度が大きい順に、各近傍サンプルを順次トラバーサルし、以下の第１判定条件が全て満たされた場合に、近傍サンプルの属するクラスクラスタに、クラスタリングに関与するサンプルを加え、さらに、以下の第１判定条件のうちの少なくとも１つが満たされない場合に、該クラスタリングに関与するサンプルを含む新たなクラスクラスタを構築することと、を実行する。

上述の第１判定条件には、以下が含まれる。

（１）近傍サンプルの密度が、クラスタリングに関与するサンプルの密度よりも大きいこと。

（２）近傍サンプルが属するクラスクラスタが存在していること。

（３）近傍サンプルと該クラスタリングに関与するサンプルとの類似度が類似度閾値以上であること。

（４）近傍サンプルの属するクラスタに含まれるサンプルの数が前記サンプル数閾値よりも小さいこと。

（５）近傍サンプルと該クラスタリングに関与するサンプルとが、前回の反復処理の事前クラスタリングプロセスにおいて異なるクラスタリングに属していたこと。

上述の第１判定条件から分かるように、上述の第１判定条件のうち（１）～（３）は密度ピーク値（ｄｅｎｓｉｔｙ ｐｅａｋｓ）アルゴリズムにおける判定条件であり、上述の第１判定条件のうち（４）及び（５）は上述制約条件を満たすために加えられた判定条件である。

具体例としては、以下のとおりである。

ステップ１において、クラスタリングに関与するＮ個のサンプルの密度を決定する。

具体的に、ベクトル検索ツールを使用して、各サンプルとの類似度が最も大きいＫ個（ｔｏｐＫ）の近傍サンプルを得ることができ、Ｋは正の整数である。例えば、フェイスブックＡＩ類似性検索ツール（ｆａｉｓｓ、ｆａｃｅｂｏｏｋ（登録商標） ＡＩ Ｓｉｍｉｌａｒｉｔｙ Ｓｅａｒｃｈ）やＫ近傍（ＫＮＮ、Ｋ―ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ）アルゴリズムなどを使用して取得する。

その後、各サンプルについて、該サンプルとｔｏｐＫ個の近傍サンプルとの平均類似度を該サンプルの密度とする。

サンプルと近傍サンプルとの類似度は、ユークリッド距離又は角度の余弦によって決定することができる。２つのサンプルのベクトル表現の余弦角度をコサイン類似度ともいい、ベクトル空間における２つのベクトルの角度の余弦値を２つの個体間の差異の大きさを測る尺度とする。２つのベクトルの方向が一致している場合、つまり角度がゼロに近い場合、この２つのベクトルの表現はより近いものになる。

例えば、サンプルａのベクトルは

と表され、サンプルｂのベクトルは

と表され、サンプルａとサンプルｂのコサイン類似度は、角度の余弦を使用して次のように決定される。

あるいは、サンプルａ及びサンプルｂのコサイン類似度は、ベクトル演算によって直接決定されてもよい。

ステップ２では、クラスタに関与する各サンプルを密度の大きい順にソートし、例えば、ソートされたサンプルは、サンプルＡ、サンプルＢ、サンプルＣ、・・・である。

前述の手順に基づいて、各サンプルと近傍サンプルをそれぞれ判定し、該サンプルをその近傍サンプルの属するクラスクラスタに加えるか否かを判定する。

サンプルＡを例にすると、サンプルＡの近傍サンプルは、サンプル１、サンプル２、サンプル３、・・・を含み、ここで、サンプル１、サンプル２、サンプル３等は類似度の大きさの順にソートされ、即ち、サンプル１とサンプルＡとの類似度が最も高く、それ以降のサンプル２、サンプル３等とサンプルＡとの類似度が徐々に小さくなる。

このような状況に対して、まず、サンプルＡとサンプル１が上述の第１判定条件の全てが満たされたか否かを判定してもよく、例えば、サンプル１の密度がサンプルＡの密度よりも大きく、サンプル１が属するクラスクラスタが存在し（即ち、既に形成されたクラスクラスタにサンプル１が属しており、該クラスクラスタをＸとする）、サンプル１とサンプルＡとの密度が類似度閾値以上である場合、サンプルＡは密度ピークアルゴリズムによって規定されるクラスタリング条件を満たしていることを示しており、そして、サンプル１の属するクラスクラスタ（例えば、クラスクラスタＸ）に含まれるサンプルの数が前記サンプル数閾値（例えば、予めＮと設定されている）よりも小さい場合、引き続きクラスクラスタＸには新たなサンプルを加えてもよいことを示しており、そして、サンプル１とサンプルＡが、前回の反復において異なるクラスクラスタに属する場合、サンプルＡは、サンプル１の属するクラスクラスタ（例えば、クラスクラスタＸ）に加えることができる。

サンプルＡがサンプル１の属するクラスクラスタ（即ち、クラスクラスタＸ）に加える場合、サンプルＡに対する処理を終了して、続いてサンプルＢについて同様の操作を実行することができる。

サンプルＡとサンプル１が上述の第１判定条件の全てを満たさない場合、次に、サンプルＡと次の近傍サンプル（即ちサンプル２）が、上述の第１判定条件の全てを満たすか否かをさらに判定し、この順にして、サンプルＡと全ての近傍サンプルとが全て、上述第１判定条件の全てを満たさないと、サンプルＡは新たなクラスクラスタに区分され、即ちサンプルＡを含む新たなクラスクラスタを構築して、サンプルＡに対する処理も終了し、継続してサンプルＢに対して同様の操作を実行することができる。

上述の第１判定条件における近傍サンプルの密度がクラスタリングに関与するサンプルの密度よりも大きいということは、クラスタリングに関与するサンプルよりも、近傍サンプルの方が密度ピーク領域に近く、この場合、クラスタリングに関与するサンプルが近傍サンプルの属するクラスタに加えることができ、逆に、近傍サンプルの密度がクラスタリングに関与するサンプルの密度よりも小さい場合、クラスタリングに関与するサンプルが近傍サンプルの属するクラスタに加えるべきではないことを示している。

上述の近傍サンプルとクラスタリングに関与するサンプルとの類似度が類似度閾値以上であるということは、ベクトル空間における両者の距離が十分近く、同一のクラスクラスタにクラスタリングすることができることを示している。

このように、本実施形態では、クラスタリングアルゴリズムと上述の制約条件とを合わせることにより、クラスタリングに関与するサンプルを、制約条件を満たす複数のクラスクラスタにクラスタリングすることができる。

いくつかの可能な実施形態では、上述のクラスタリングアルゴリズムは、Ｋ平均（Ｋ－ｍｅａｎｓ）アルゴリズムであってもよく、Ｋ－ｍｅａｎｓアルゴリズムを例として以下で説明すると、このＫ－ｍｅａｎｓアルゴリズムを使用して、上述の制約条件と合わせて、クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行う実施形態は、以下のステップを含むことができる。

ステップ１において、クラスタリングに関与する複数のサンプルから一部を選択し、選択されたクラスタリングに関与する各サンプルを１つのクラスタリング中心とする。

ステップ２において、クラスタリング中心を除く、クラスタリングに関与する各サンプルについて、以下の第２判定条件が全て満たされた場合に、クラスタリングに関与するサンプルを最近距離のクラスタリング中心の属するクラスクラスタに加える。

上述の第２判例条件には、次のものが含まれる。

（１）最近距離のクラスタリング中心の属するクラスタに含まれるサンプルの数がサンプル数閾値よりも小さいこと。

（２）最近距離のクラスタリング中心の属するクラスクラスタに、前回の反復処理の事前クラスタリングプロセスにおいて、クラスタリングに関与するサンプルと同一のクラスタリングに属していたサンプルが含まれていないこと。

いくつかの可能な実施形態では、第２判定条件のうちの少なくとも１つが満たされない場合、クラスタリングに関与するサンプルを、他のクラスタリング中心の属するクラスクラスタに加える。

上述の第２判定条件において、最近距離のクラスタリング中心の属するクラスクラスタに含まれるサンプルの数がサンプル数閾値よりも小さいため、各クラスクラスタに含まれるサンプルの数が多くなりすぎない（即ち、各クラスクラスタに含まれるサンプルの数がサンプル数閾値を超えない）ことが保証され、ラベリングが容易となる。最近距離のクラスタリング中心の属するクラスクラスタに、前回の反復処理の事前クラスタリングプロセスにおいて、クラスタリングに関与するサンプルと同一のクラスクラスタに属していたサンプルが含まれておらず、これは、ラベリングが行われるたびに、各クラスクラスタ内のサブクラスタが相互排他的であり、且つ各サブクラスタについて１つの代表的なサンプルのみが選択されて次のラウンドに進むため、２つのサンプルが前のラウンドで同一のクラスクラスタに区分されたということが、前のラウンドのラベリングプロセスで必ず相互排他的で異なるサブクラスタに属することを意味し、即ち、前回の反復処理において、両者が共にいられないとラベリングされているサンプルであるからである。

いくつかの可能な実施形態では、上述の収束条件は、各クラスクラスタに含まれるサンプルの数が全て、前記サンプル数閾値よりも小さいことを含む。

本実施形態では、各クラスクラスタに含まれるサンプルの数が全て、前記サンプル数閾値Ｋよりも小さいということは、クラスクラスタに含まれるサンプルの個数閾値の制限により、本来集まるべきサンプルが複数のクラスクラスタに分散されてしまうことが存在せず、即ち本来集まるべきサンプルが既に同一のクラスクラスタに存在しており、リアルクラスタが形成されていることを示している。

いくつかの可能な実施形態では、上述の回数閾値は、サンプル数閾値と、１回目の反復プロセスにおけるクラスタリングに関与するサンプルの数とによって決定される。

具体的に、回数閾値は、１回目の反復プロセスにおいてクラスタリングに関与するサンプルｎ引く１をサンプル数閾値Ｋ引く１で割った結果であり、即ち

であり、反復回数が閾値に達したとき、全ての場合がトラバーサルされたことを示す。

いくつかの可能な実施形態では、上述のサブクラスタは、１つの代表的なサンプルと少なくとも１つの非代表的なサンプルとを含み、
ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定することは、
各クラスクラスタに対するラベリング情報中の各サブクラスタにおける代表的なサンプルを、再決定されたクラスタリングに関与する複数のサンプルとした後に、
代表的なサンプルについて、前回の反復プロセスにおいて、代表的なサンプルと同じサブクラスタに属する非代表的なサンプルを決定することと、
決定された非代表的なサンプルが今回の反復プロセスにおいて属するサブクラスタを、代表的なサンプルが今回の反復プロセスにおいて属するサブクラスタと同じであると決定することと、を含む。

本実施形態では、非代表的なサンプルを代表的なサンプルの最新のサブクラスタと一致させ、代表的なサンプルを選択することにより、全てのサンプルがクラスタリングに関与するようにし、サンプル全体に基づくリアルクラスタを得ることにより、評価の精度を向上させる。

図３は、本開示のもう１つの実施例における人工知能によるデータラベリング方法を実現するフローチャート概略図である。図３に示すように、いくつかの可能な実施形態では、サンプル数ｎ＝１０００、クラスクラスタ内の最大サンプル数Ｋ＝１０を例として説明する。

人工知能によるデータラベリング方法は、以下のステップを含む。

Ｓ３０１において、ラベリング対象サンプルを取得する。

例えば、１０００個のラベリング対象サンプルを取る。

Ｓ３０２において、ラベリング対象サンプルのベクトル表現を取得する。

例えば、１０００個のラベリング対象サンプルをそれぞれ知識が強化されたセマンティック表現（ＥＲＮＩＥ，Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍｋＮｏｗｌｅｄｇｅ ＩｎｔＥｇｒａｔｉｏｎ）モデルに入力し、各ラベリング対象サンプルのベクトル表現を得る。

Ｓ３０３において、サンプルのクラスタリングラベリング情報を初期化する。

具体的に、各サンプルの本ラウンドの、事前クラスタリングにより生成されるクラスクラスタ番号ｃｌｕｓｔｅｒ＿ｉｄを空と初期化し、本ラウンドの、ラベリングされるサブクラスタ番号ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄを空と初期化し、各サンプルの前のラウンドの事前クラスタリングにより生成されたクラスクラスタ番号ｐｒｅ＿ｃｌｕｓｔｅｒ＿ｉｄと前のラウンドのラベリングされたサブクラスタ番号ｐｒｅ＿ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄをそれぞれ、相互に異なる数値となるように初期化する。また、各サンプルに、そのサンプルが、属するサブクラスタ内の代表的なサンプルであるか否かを示すための標識ｉｓ＿ｍａｉｎ＿ｓａｍｐｌｅのようなパラメータを設定し、例えば、ｉｓ＿ｍａｉｎ＿ｓａｍｐｌｅを１と初期化すると、全てのサンプルは最初のラウンドの際にクラスタリングに関与する必要があるサンプルであることを示す。

Ｓ３０４において、クラスタリングアルゴリズムのパラメータを初期化する。

例えば、ラベリング際の各クラスクラスタの最大サンプル数Ｋを１０と初期化し、類似度閾値をＴと初期化する。

Ｓ３０５において、クラスタリングに関与するサンプルを決定する。

具体的に、ｉｓ＿ｍａｉｎ＿ｓａｍｐｌｅが１であるサンプルをクラスタリングに関与するサンプルとして決定することで、全てのサンプルのｉｓ＿ｍａｉｎ＿ｓａｍｐｌｅが１に初期化されたため、即ち、全てのサンプルが第１ラウンドのクラスタリングに関与する。

Ｓ３０６において、前のラウンドのクラスタリング情報を更新する。

具体的に、サンプルのｃｌｕｓｔｅｒ＿ｉｄが空でない場合、ｃｌｕｓｔｅｒ＿ｉｄの値をｐｒｅ＿ｃｌｕｓｔｅｒ＿ｉｄに割り当て、即ち、ｐｒｅ＿ｃｌｕｓｔｅｒ＿ｉｄの値をｃｌｕｓｔｅｒ＿ｉｄの値と等しい値に設定し、サンプルのｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄが空でない場合、ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄの値をｐｒｅ＿ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄに割り当て、即ち、ｐｒｅ＿ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄの値をｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄと等しい値に設定する。最初のラウンドの反復では、ｃｌｕｓｔｅｒ＿ｉｄ、ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄが空に初期化されるため、このステップはスキップされる。

Ｓ３０７において、事前クラスタリングを行う。

具体的に、事前クラスタリングは、密度ピーク（ｄｅｎｓｉｔｙ ｐｅａｋｓ）アルゴリズムを使用して、制約条件と合わせて、各サンプルのｃｌｕｓｔｅｒ＿ｉｄを得ることができる。あるいは、プリクラスタリングは、Ｋ－ｍｅａｎｓアルゴリズムを使用して、制約条件と合わせて、各サンプルのｃｌｕｓｔｅｒ＿ｉｄを得ることができる。

密度ピークアルゴリズムを使用して制約条件を組み合わせることを例にすると、具体的なプロセスは、
クラスタリングに関与する各サンプルの密度を決定することと、
密度が大きい順に、各々のクラスタに関与するサンプルに対してそれぞれ、クラスタリングに関与するサンプルの複数の近傍サンプルを決定することと、近傍サンプルとクラスタリングに関与するサンプルとの類似度が大きい順に、各々の近傍サンプルを順次トラバーサルし、下記の第１判定条件が全て満たされた場合に、近傍サンプルの属するクラスクラスタに、クラスタリングに関与するサンプルを加えることと、を実行することと、を含み、ここで、第１判定条件は、
近傍サンプルの密度がクラスタリングに関与するサンプルの密度よりも大きいことと、
近傍サンプルが属するクラスタが存在していることと、
近傍サンプルとクラスタリングに関与するサンプルとの類似度が類似度閾値以上であることと、
近傍サンプルの属するクラスクラスタに含まれるサンプルの数がサンプル数閾値よりも小さいことと、
近傍サンプルとクラスタリングに関与するサンプルとが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスタリングに属していたことと、を含む。

第１判定条件の少なくとも１つが満たされない場合に、クラスタリングに関与するサンプルを含む新たなクラスクラスタを構築する。

例えば、上述のように、最初のラウンドのクラスタリング後、クラスタリングに関与した１０００個のサンプルを１００個のクラスクラスタに区分して、クラスタリングに関与したサンプルごとにｃｌｕｓｔｅｒ＿ｉｄを得、各クラスクラスタ内のサンプルの数が１０個以下となる。

Ｓ３０８において、ラベリング情報に基づいてサブクラスタを区分する。

具体的に、各クラスクラスタに対してラベリングを行い、ラベリング規格に基づいて、相互排他的な複数のサブクラスタに区分して、各サブクラスタに、サブクラスタ番号ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄを付与し（サブクラスタ番号は、その属するクラスクラスタのクラスクラスタ番号の情報を含むことができ、例えば、クラスクラスタ番号が１であれば、含まれる各サブクラスタのサブクラスタ番号は１＿１、１＿２、１＿３とすることができるので、次のラウンドのラベリングの際に、サブクラスタ番号から直接、属するクラスクラスタのクラスクラスタ番号を取得することが容易となる）。同時に、各サブクラスタについて１つのサンプルが代表的なサンプルとして決定され、ｉｓ＿ｍａｉｎ＿ｓａｍｐｌｅ＝１とラベリングされ、その他のサンプルは、非代表的なサンプルとなり、ｉｓ＿ｍａｉｎ＿ｓａｍｐｌｅには０とラベリングすることができる。

例えば、１回目の反復結果は、以下の表１に示すように、１０００個のサンプルが１００個のサブクラスタに事前クラスタリングされ、ラベリング情報に基づいて、各サブクラスタは２つのサブクラスタに区分され、各サブクラスタには１つの代表的なサンプルと複数の非代表的なサンプルが含まれる。全ての代表的なサンプルは、次回の反復プロセスに進み、引き続きクラスタリングに関与する。非代表的なサンプルについては、次回の反復プロセスに進むことはないが、属するサブクラスタ内の代表的なサンプルに伴ってクラスタリングすることができる。

Ｓ３０９において、非代表的なサンプルのサブクラスタを更新する。

具体的に、前のラウンドで同じｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄのサンプルのうち、ｉｓ＿ｍａｉｎ＿ｓａｍｐｌｅ＝０のｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄの値を、本ラウンドのクラスタリングに関与する代表的なサンプルのｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄに割り当てる。

例えば、表１を参照すると、１回目の反復プロセスにおいてサブクラスタ１－１は形成され、ここで、サンプル１はサブクラスタ１‐１内の代表的なサンプルであり、サンプル２～５はサブクラスタ１－１内の非代表的なサンプルであり、サンプル１は２回目反復プロセスに進み、２回目反復プロセスにおいて、サンプル１がサブクラスタＴに区分されると、サンプル２～５もサブクラスタＴに区分され、サンプル２～５のｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄはサンプル１のｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄと等しく設定される。

Ｓ３１０において、収束条件が満たされるか、又は反復回数が回数閾値に達するか否かを判定し、ＮＯと判定した場合（即ち、収束条件が満たされておらず、又は反復回数が回数閾値に達していない場合）、ステップＳ３０５に戻って実行する一方、ＹＥＳと判定した場合（即ち、収束条件が満たされたか、又は反復回数が回数閾値に達した場合）、クラスタリング結果を出力する。具体的に、各サンプルが属するサブクラスタ番号（ｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄ）をクラスタリング結果とすることができる。

具体的に、同じｃｌｕｓｔｅｒ＿ｓｕｂ＿ｉｄとラベリングされたサンプルを１つのクラスタとしてクラスタリング結果を得る。

次に上述の反復プロセスを、例を挙げながら詳細に説明する。

１回目の反復結果を上述の表１に示すものとする場合、２回目反復プロセスにおいて、クラスタリングに関与するサンプルは、１回目の反復プロセスにおいて決定された代表的なサンプルであり、即ち表１中のサンプル１、６、１１、・・・９９６で計２００個である。なお、各クラスクラスタにおけるサブクラスタは相互排他的なものであり、サブクラスタの個数が２個に限られず、１以上の任意の整数であってもよいが、説明の便宜上、表１、表２の各クラスクラスタのサブクラスタがいずれも２個を例に挙げられている。

２回目反復の結果は次回のようになる。

１回目の反復の事前クラスタリングプロセスにおいて同一のクラスクラスタに区分されたサンプルは、２回目反復プロセスにおいて同一のクラスクラスタに区分されるべきではない。

各反復には、以下の２つのステップを含む。第１ステップにおいて、クラスタリングアルゴリズムを使用して、クラスタリングに関与するサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを形成し、クラスクラスタのサイズの制限及びクラスタリングアルゴリズム自体の制限などのため、事前クラスタリングによって区分されたクラスタリングはリアルな分類状況を表すことができない。第２ステップにおいて、ラベリング情報に基づいて各クラスクラスタを再区分し、各クラスクラスタを少なくとも１つの相互排他的なサブクラスタに区分する。ラベリング情報は、人手によって、各クラスクラスタをラベリング基準に基づいて行われた区分により、各クラスクラスタを少なくとも１つの相互排他的なサブクラスタに区分し、ラベリング基準が、業務ごとに設定することができる。第２ステップは、第１ステップを修正したものと考えることができることが分かる。

上述の内容に基づいて、上述表１及び表２と合わせてさらに例を挙げて説明すると、表１に示すように、１回目の反復の事前クラスタリングプロセスにおいて、サンプル１とサンプル６は同一のクラスクラスタ（即ちクラスクラスタ１）に区分され、その後、ラベリング情報に基づいて、サンプル１及びサンプル６は、相互排他的なサブクラスタに区分され、即ち、サンプル１はサブクラスタ１－１に属し、サンプル６はサブクラスタ１－２に属する。１回目の反復プロセスにおいて、第２ステップは、第１ステップのクラスタリング結果を修正し、即ち、第１ステップでクラスクラスタ１に区分されたサンプル（表１中のクラスクラスタ１においてサンプル１～１０が含まれる）を異なるサブクラスタに区分したと考えることができる。そして、異なるサブクラスタに区分された代表的なサンプルは、次回の反復に進むときに、同一のクラスクラスタに区分されるべきではなく、前述の制限は、本開示の実施例に提出された制限条件によって実現することができる。表２に示すように、サンプル１及びサンプル６は、２回目反復に進むと、事前クラスタリングプロセスにおいて、異なるクラスタリングに区分される。

以上、代表的なサンプルに対する処理方法を例示したが、非代表的なサンプルに対する処理方法は以下のとおりである。

表１及び表２を例にすると、１回目の反復では、サブクラスタ２－１には５つのサンプル、即ちサンプル１１、１２、１３、１４、１５が含まれ、ここで、サンプル１１は代表的なサンプルであり、サンプル１２～１５は非代表的なサンプルである。２回目反復では、サンプル１１は、代表的なサンプルとして、クラスタリングに再関与し（事前クラスタリングとラベリング情報による区分との２つのステップを含む）、サンプル１１はサブクラスタ１－１に区分され、このときサンプル１１の属するサブクラスタをサブクラスタ１－１とすると、１回目の反復においてサンプル１１と同一のサブクラスタに属していた非代表的なサンプル（即ちサンプル１２～１５）は、２回目反復において属するサブクラスタもサブクラスタ１－１に更新される。即ち、各反復において、非代表的なサンプルは、前回の反復において同一のサブクラスタに属していた代表的なサンプルに伴ってクラスタリング処理を行う。

以上の処理方式に基づいて各ラウンドの反復が終了した後、収束条件が満たされるか否かを判定し、即ち全てのクラスクラスタにおけるサンプルの数が１０個よりも小さいか、反復回数が回数閾値

に達するかを判定する。両者ともが満たされていない場合に、引き続き次のラウンドの反復を行い、２つのうちの一方が満たされた場合に、各クラスクラスタに対するラベリング情報に基づいてクラスタリング結果を決定する。

以上の内容に基づいて、ラベリングの複雑度を分析することができ、サンプル数をｎ、サンプル数閾値をＫ、反復回数を

１つクラスクラスタ内のラベリング複雑度をＣ２ｋと定義することができ、即ち各クラスクラスタ中の全てのサンプルが２つずつラベリングする必要がある。一般に、ラベリングコストを考慮すると、クラスタリングのテスト集合は大きくならず、ｎ＝２０００とし、また、クラスタに基づくラベリングについてラベリング担当者がクラスクラスタ全体を大まかに理解している必要があることを考慮すると、Ｋは２０程度とし、総合してｎ＝２０００、Ｋ＝２０、ｍ＝３とする。ここでは、いくつかの極端な状況について分析する。

１．リアルな最大クラスタのサイズはＫを超えず、最初のラウンドの事前クラスタリングの後に終了条件に達し、ラベリングの複雑度は、最大Ｃ２ｋ＊ｎ／Ｋ＝ｎ＊（Ｋ－１）／２であり、ここで、サンプル数を各クラスタのサンプル数閾値で割ったｎ／Ｋで最大のクラスクラスタ数を得、即ち最大１００個のクラスクラスタであり、Ｃ２ｋは各クラスタ内のサンプルを２つずつ比較する必要があり、即ち、本方法の複雑度は１９０００であり、この場合、強制ラベリングのＣ２ｎ複雑度が１，９９９，０００であると比較すると、強制ラベリングは本方法の（ｎ－１）／（Ｋ－１）≒１０５倍である。

２．全てのデータは同一のクラスタに属しており、合計ｍラウンドにラベリングする必要があり、ラウンドごとに生成されるクラスクラスタの数はｎ／Ｋ、ｎ／Ｋ＾２、…１、ラベリングの複雑度はＣ２ｋ＊（ｎ／Ｋ＋ｎ／Ｋ＾２＋…＋ｎ／Ｋ＾^{（ｍ－１）}）であり、極端な場合、全てのデータは同一のクラスタに属し、事前クラスタリングの各ラウンド後は区分できないため、クラスタリングの各ラウンドとラベリングの後は１００個のクラスクラスタのままである。各ラウンドのラベリングの複雑度はＣ２ｋであり、従って、最大複雑度はＣ２ｋ＊ｍ＊ｎ／Ｋ＝ｍ＊ｎ＊（Ｋ－１）／２＝５７０００と表すことができる。この場合、強制ラベリングのＣ２ｎ複雑度と比較すると、強制ラベリングは本方法の（ｎ－１）／（ｍ＊（Ｋ－１））≒３５倍である。

３．ラベリングの複雑度が最大の場合は、サンプルの２つずつの間の類似度又は距離がいずれも閾値を満たすが、相互に集まることができず、本方法では、ラベリングのラウンドごとに、ｎ＊（Ｋ－１）種の可能性を減らすことができるため、ラベリングのラウンドごとにｎ／Ｋ個のクラスクラスタを、（ｎ－１）／（Ｋ－１）ラウンドにラベリングする必要があり、この場合のラベリングコストは、Ｃ２ｋ＊（ｎ／ｋ）＊（ｎ－１）／（Ｋ－１）＝ｎ＊（ｎ－１）／２であり、強制ラベリングの複雑度と同様に、Ｃ２ｎ回である。しかし、実際の業務のテストクラスタリングデータ集合では一般的にこのようなことはないが、このような特殊な場合を除いて、本方法のラベリングの複雑度は２つずつラベリングの方法よりも低い。

図４本開示の一実施形態に係るクラスタリング装置の構成図である。図４に示されるクラスタリング装置４００は、
クラスタリングに関与する複数のサンプルを決定するためのスクリーニングモジュール４１０と、
スクリーニングモジュール４１０又は処理モジュール４３０によって決定されたクラスタリングに関与する各サンプルのベクトル表現に基づいて、クラスタリングに関与する複数のサンプルを事前クラスタリングして、それぞれが少なくとも１つのクラスタリングに関与するサンプルを含む複数のクラスクラスタを得るためのクラスタリングモジュール４２０と、
各クラスクラスタに対するラベリング情報を受信し、ラベリング情報に基づいてクラスタリングに関与する複数のサンプルを再決定し、反復処理を可能にするために、決定されたクラスタリングに関与する複数のサンプルをクラスタリングモジュール４２０に通知し、収束条件を満たすか、反復回数が回数閾値に達する場合に、各クラスクラスタに対するラベリング情報に基づいてクラスタリング結果を決定する処理モジュール４３０と、を備える。

いくつかの可能な実施形態では、クラスクラスタに関するラベリング情報は、クラスクラスタに含まれる少なくとも１つのサブクラスタと、各サブクラスタ内の代表的なサンプルと、を含む、
処理モジュール４３０は、各クラスクラスタのラベル情報内の各サブクラスタ内の代表的なサンプルを、再決定されたクラスタリングに関与する複数のサンプルとするように構成される。

いくつかの可能な実施形態では、上述のクラスタリングモジュール４２０は、
クラスタリングアルゴリズムを用い、制約条件と合わせて、事前クラスタリングによって得られた各クラスクラスタが制約条件を満たすように、クラスタリングに関与する複数のサンプルを事前クラスタリングを行うことに用いられる。

いくつかの可能な実施形態では、上述の制約条件は、
各クラスクラスタに含まれるクラスタリングに関与するサンプル数が、サンプル数閾値以下であることと、
各クラスクラスタに含まれるクラスタリングに関与する各サンプルが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスクラスタに属することとの少なくとも１つを含む。

いくつかの可能な実施形態では、上述のクラスタリングモジュール４２０は、
クラスタに関与する個々のサンプルの密度を決定することと、
密度が大きい順に、各々のクラスタに関与するサンプルに対して、それぞれ、クラスタリングに関与するサンプルの複数の近傍サンプルを決定することと、近傍サンプルとクラスタリングに関与するサンプルとの類似度が大きい順に、各近傍サンプルを順次トラバーサルし、第１判定条件が全て満たされた場合に、近傍サンプルの属するクラスクラスタに、クラスタリングに関与するサンプルを加えることと、を実行することと、に用いられ、この第１判定条件は、
近傍サンプルの密度がクラスタリングに関与するサンプルの密度よりも大きいことと、
近傍サンプルの属するクラスクラスタが存在していることと、
近傍サンプルとクラスタリングに関与するサンプルとの類似度が類似度閾値以上であることと、
近傍サンプルの属するクラスクラスタに含まれるサンプルの数がサンプル数閾値よりも小さいことと、
近傍サンプルと前記クラスタリングに関与するサンプルとが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスクラスタに属していたことと、を含む。

いくつかの可能な実施形態では、上述クラスタリングモジュール４２０は、第１判定条件のうちの少なくとも１つが満たされない場合に、クラスタリングに関与するサンプルを含む新たなクラスクラスタを構築することにさらに用いられる。

いくつかの可能な実施形態では、上述のクラスタリングモジュール４２０は、
クラスタリングに関与する複数のサンプルから一部を選択し、選択されたクラスタリングに関与する各サンプルを１つのクラスタリング中心とすることと、
クラスタリング中心を除く、クラスタリングに関与する各サンプルについて、第２判定条件が全て満たされた場合に、最近距離のクラスタリング中心の属するクラスクラスタに、クラスタリングに関与するサンプルを加えることと、に用いられ、
ここで、前記第２判定条件は、
最近距離のクラスタリング中心の属するクラスクラスタに含まれるサンプルの数がサンプル数閾値よりも小さいことと、
最近距離のクラスタリング中心の属するクラスクラスタに、前回の反復処理の事前クラスタリングプロセスにおいて、クラスタリングに関与するサンプルと同一のクラスクラスタに属していたサンプルが含まれていないことと、を含む。

いくつかの可能な実施形態では、上述クラスタリングモジュール４２０は、第２判定条件のうちの少なくとも１つが満たされない場合に、クラスタリングに関与するサンプルを、他のクラスタリング中心の属するクラスクラスタに加えることにさらに用いられる。

いくつかの可能な実施形態では、上述の収束条件は、各クラスクラスタに含まれるサンプル数が全てサンプル数閾値よりも小さいことを含む。

いくつかの可能な実施形態では、上述の回数閾値は、サンプル数閾値と、１回目の反復プロセスにおける前記クラスタリングに関与するサンプルの数とによって決定される。

いくつかの可能な実施形態では、前記サブクラスタは、１つの代表的なサンプルと少なくとも１つの非代表的なサンプルとを含み、
処理モジュール４３０は、
代表的なサンプルについて、前回の反復プロセスにおいて代表的なサンプルと同じサブクラスタに属する非代表的なサンプルを決定することと、
決定された非代表的なサンプルが今回の反復処理において属するサブクラスタを、代表的なサンプルが今回の反復処理において属するサブクラスタと同一であると決定することと、にさらに用いられる。

いくつかの可能な実施形態では、上述のクラスタリングに関与するサンプルは、画像サンプル又はテキストサンプルを含む。

本開示の実施例に係るデータ処理装置の各モジュール、サブモジュールの具体的な機能及び例の説明は、上述した人工知能によるデータラベリング方法の実施例における対応するステップの説明を参照することができるので、ここでは省略する。

本開示の技術案において、関連するユーザの個人情報の取得、保存及び応用等は、いずれも関連法律法規の規定に合致しており、公序良俗に反するものではない。

本開示の実施例によれば、本開示は、電子デバイス、可読記憶媒体、及びコンピュータプログラム製品をさらに提供する。

図５は、本開示の実施形態を実現するための電子デバイス５００のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置を更に指し、例えば、パーソナルデジタルアシスタント、セルラー電話、インテリジェントフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。

図５に示すように、デバイス５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されたコンピュータプログラム命令、又は記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できる計算ユニット５０１を含む。ＲＡＭ５０３には、デバイス５００の動作に必要な各種のプログラム及びデータを更に記憶することができる。計算ユニット５０１と、ＲＯＭ５０２と、ＲＡＭ５０３とは、バス５０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

デバイス５００における複数のコンポーネントは、Ｉ／Ｏインターフェース５０５に接続されており、その複数のコンポーネントは、キーボードやマウス等の入力ユニット５０６と、種々なディスプレイやスピーカ等の出力ユニット５０８と、磁気ディスクや光学ディスク等の記憶ユニット５０８と、ネットワークカード、モデム、無線通信トランシーバー等の通信ユニット５０９と、を備える。通信ユニット５０９は、デバイス５００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介して他の機器と情報／データを交換することを許可する。

計算ユニット５０１は、処理及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット５０１のいくつかの例としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を備えるが、これらに限定されない。計算ユニット５０１は、上述で説明された各方法及び処理、例えば人工知能によるデータラベリング方法を実行する。例えば、いくつかの実施形態では、人工知能によるデータラベリング方法を、記憶ユニット５０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施形態では、コンピュータプログラムの一部又は全ては、ＲＯＭ５０２及び／又は通信ユニット５０９を介して、デバイス５００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ５０３にロードされて計算ユニット５０１によって実行される場合に、前述した人工知能によるデータラベリング方法の１つ又は複数のステップを実行することができる。追加可能に、他の実施形態では、計算ユニット５０１は、他の任意の適当な方式（例えば、ファームウェア）により人工知能によるデータラベリング方法を実行するように構成することができる。

ここで記載されているシステム又は技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び／又は解釈される１つ又は複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも１つの入力デバイス、及び該少なくとも１つの出力デバイスに転送することができる専用又は汎用のプログラマブルプロセッサであってもよい。

本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図に規定された機能／動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバで実行されてもよい。

本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて用いられるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＭＯ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＭＯ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＭＯ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータでここで記載されているシステム及び技術を実施することができ、該コンピュータは、ユーザに情報をラベリングするためのラベリング装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター等）、ユーザが入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボール等）を備えるができる。ユーザとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック等）であってもよく、また、いかなる形式（例えば、音響入力、音声入力、触覚入力等）によって、ユーザからの入力を受付取るができる。

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又は該ようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント－サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。

上述の様々な態様のフローを使用して、ステップを新たにソート、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。

上述具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原理原則内における変更、均等な置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

Claims (27)

1. クラスタリングに関与する複数のサンプルを決定することと、
   反復処理を実現するために、収束条件が満たされるか、又は反復回数が回数閾値に達するまで、
   前記クラスタリングに関与する各サンプルのベクトル表現に基づいて、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを得ることと、ここで、各前記クラスクラスタが少なくとも１つの前記クラスタリングに関与するサンプルを含み、
   各前記クラスクラスタに対するラベリング情報を受信し、前記ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定することと、を繰り返し実行することと、
   前記収束条件が満たされるか、又は前記反復回数が回数閾値に達する場合、各前記クラスクラスタに対するラベリング情報に基づいて、クラスタリング結果を決定することと、を含む、
   人工知能によるデータラベリング方法。
2. クラスクラスタに対する前記ラベリング情報は、前記クラスクラスタに含まれる、少なくとも１つのサブクラスタと、各前記サブクラスタにおける代表的なサンプルと、を含み、
   前記ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定することは、各前記クラスクラスタに対するラベリング情報中の各サブクラスタにおける代表的なサンプルを、再決定されたクラスタリングに関与する複数のサンプルとすることを含む、
   請求項１に記載の人工知能によるデータラベリング方法。
3. 前記クラスタリングに関与する各サンプルのベクトル表現に基づいて、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行うことは、
   クラスタリングアルゴリズムを使用して、制約条件と合わせて、事前クラスタリングによって得られた各クラスクラスタが前記制約条件を満たすように、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行うことを含む、
   請求項２に記載の人工知能によるデータラベリング方法。
4. 前記制約条件は、
   各クラスクラスタに含まれる、クラスタリングに関与するサンプルの数がサンプル数閾値以下であるか、又は
   各クラスクラスタに含まれる、クラスタリングに関与する各サンプルが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスクラスタに属していたか、の少なくとも１つを含む、
   請求項３に記載の人工知能によるデータラベリング方法。
5. 前記クラスタリングアルゴリズムを使用して、制約条件と合わせて、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行うことは、
   前記クラスタリングに関与する各サンプルの密度を決定することと、
   前記密度が大きい順に、前記クラスタリングに関与する各サンプルに対してそれぞれ、前記クラスタリングに関与するサンプルの複数の近傍サンプルを決定することと、近傍サンプルと前記クラスタリングに関与するサンプルとの類似度が大きい順に、各々の前記近傍サンプルを順次トラバーサルし、第１判定条件が全て満たされた場合に、前記近傍サンプルの属するクラスクラスタに、前記クラスタリングに関与するサンプルを加えることと、を実行することと、を含み、
   ここで、前記第１判定条件は、
   前記近傍サンプルの密度が前記クラスタリングに関与するサンプルの密度よりも大きいことと、
   前記近傍サンプルの属するクラスクラスタが存在していることと、
   前記近傍サンプルと前記クラスタリングに関与するサンプルとの類似度が類似度閾値以上であることと、
   前記近傍サンプルの属するクラスクラスタに含まれるサンプルの数が前記サンプル数閾値よりも小さいことと、
   前記近傍サンプルと前記クラスタリングに関与するサンプルとが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスクラスタに属していたことと、を含む、
   請求項４に記載の人工知能によるデータラベリング方法。
6. 前記人工知能によるデータラベリング方法は、
   前記第１判定条件のうちの少なくとも１つが満たされない場合に、前記クラスタリングに関与するサンプルを含む新たなクラスクラスタを構築することをさらに含む、
   請求項５に記載の人工知能によるデータラベリング方法。
7. 前記クラスタリングアルゴリズムを使用して、制約条件と合わせて、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行うことは、
   前記クラスタリングに関与する複数のサンプルから一部を選択し、選択されたクラスタリングに関与する各サンプルを１つのクラスタリング中心とすることと、
   前記クラスタリング中心を除く、前記クラスタリングに関与する各サンプルについて、第２判定条件が全て満たされた場合に、最近距離のクラスタリング中心の属するクラスクラスタに、前記クラスタリングに関与するサンプルを加えることと、を含み、
   ここで、前記第２判定条件は、
   前記最近距離のクラスタリング中心の属するクラスクラスタに含まれるサンプルの数が前記サンプル数閾値よりも小さいことと、
   前記最近距離のクラスタリング中心の属するクラスクラスタに、前回の反復処理の事前クラスタリングプロセスにおいて、前記クラスタリングに関与するサンプルと同一のクラスクラスタに属していたサンプルが含まれていないことと、を含む、
   請求項４に記載の人工知能によるデータラベリング方法。
8. 前記人工知能によるデータラベリング方法は、
   前記第２判定条件のうちの少なくとも１つが満たされない場合に、前記クラスタリングに関与するサンプルを、他のクラスタリング中心の属するクラスクラスタに加えることをさらに含む、
   請求項７に記載の人工知能によるデータラベリング方法。
9. 前記収束条件は、各前記クラスクラスタに含まれるサンプルの数が全て前記サンプル数閾値よりも小さいことを含む、
   請求項４に記載の人工知能によるデータラベリング方法。
10. 前記回数閾値は、前記サンプル数閾値と、１回目の反復プロセスにおける前記クラスタリングに関与するサンプルの数とによって決定される、
    請求項４に記載の人工知能によるデータラベリング方法。
11. 前記サブクラスタは、１つの前記代表的なサンプルと少なくとも１つの非代表的なサンプルとを含み、
    前記ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定することは、
    前記クラスクラスタに対するラベリング情報中の各サブクラスタにおける代表的なサンプルを、再決定されたクラスタリングに関与する複数のサンプルとした後に、
    前記代表的なサンプルについて、前回の反復プロセスにおいて、前記代表的なサンプルと同じサブクラスタに属した非代表的なサンプルを決定することと、
    決定された非代表的なサンプルが今回の反復プロセスにおいて属するサブクラスタを、前記代表的なサンプルが今回の反復プロセスにおいて属するサブクラスタと同じであると決定することと、をさらに含む、
    請求項２に記載の人工知能によるデータラベリング方法。
12. 前記クラスタリングに関与するサンプルは、画像サンプル又はテキストサンプルを含む、
    請求項１から請求項１１までのいずれか１項に記載の人工知能によるデータラベリング方法。
13. クラスタリングに関与する複数のサンプルを決定するためのスクリーニングモジュールと、
    クラスタリングモジュールと、
    処理モジュールと、を備え、
    前記クラスタリングモジュールと、前記処理モジュールとは、反復処理を実現するために、収束条件が満たされるか、又は反復回数が回数閾値に達するまで、前記クラスタリングモジュールが前記スクリーニングモジュール又は前記処理モジュールによって決定された前記クラスタリングに関与する各サンプルのベクトル表現に基づいて、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行い、複数のクラスクラスタを得ることと、前記処理モジュールが各前記クラスクラスタに対するラベリング情報を受信し、前記ラベリング情報に基づいて、クラスタリングに関与する複数のサンプルを再決定し、決定されたクラスタリングに関与する複数のサンプルを前記クラスタリングモジュールに通知することと、を繰り返し実行することに用いられ、
    前記処理モジュールはさらに、前記収束条件を満たすか、又は前記反復回数が回数閾値に達する場合に、各前記クラスクラスタに対するラベリング情報に基づいて、クラスタリング結果を決定することに用いられ、
    ここで、各前記クラスクラスタが少なくとも１つの前記クラスタリングに関与するサンプルを含む、
    人工知能によるデータラベリング装置。
14. クラスクラスタに対する前記ラベリング情報は、前記クラスクラスタに含まれる、少なくとも１つのサブクラスタと、各前記サブクラスタにおける代表的なサンプルと、を含み、
    前記処理モジュールは、各前記クラスクラスタに対するラベリング情報中の各サブクラスタにおける代表的なサンプルを、再決定されたクラスタリングに関与する複数のサンプルとすることに用いられる、
    請求項１３に記載の人工知能によるデータラベリング装置。
15. 前記クラスタリングモジュールは、
    クラスタリングアルゴリズムを使用して、制約条件と合わせて、事前クラスタリングによって得られた各クラスクラスタが前記制約条件を満たすように、前記クラスタリングに関与する複数のサンプルに対して事前クラスタリングを行うことに用いられる、
    請求項１４に記載の人工知能によるデータラベリング装置。
16. 前記制約条件は、
    各クラスクラスタに含まれる、クラスタリングに関与するサンプルの数がサンプル数閾値以下であるか、又は
    各クラスクラスタに含まれる、クラスタリングに関与する各サンプルが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスクラスタに属していたか、の少なくとも１つを含む、
    請求項１５に記載の人工知能によるデータラベリング装置。
17. 前記クラスタリングモジュールは、
    前記クラスタリングに関与する各サンプルの密度を決定することと、
    前記密度が大きい順に、前記クラスタリングに関与する各サンプルに対してそれぞれ、前記クラスタリングに関与するサンプルの複数の近傍サンプルを決定することと、近傍サンプルと前記クラスタリングに関与するサンプルとの類似度が大きい順に、各前記近傍サンプルを順次トラバーサルし、第１判定条件が全て満たされた場合に、前記近傍サンプルの属するクラスクラスタに、前記クラスタリングに関与するサンプルを加えることと、を実行することと、に用いられ、
    ここで、前記第１判定条件は、
    前記近傍サンプルの密度が前記クラスタリングに関与するサンプルの密度よりも大きいことと、
    前記近傍サンプルの属するクラスクラスタが存在していることと、
    前記近傍サンプルと前記クラスタリングに関与するサンプルとの類似度が類似度閾値以上であることと、
    前記近傍サンプルの属するクラスクラスタに含まれるサンプルの数が前記サンプル数閾値よりも小さいことと、
    前記近傍サンプルと前記クラスタリングに関与するサンプルとが、前回の反復処理の事前クラスタリングプロセスにおいて、異なるクラスクラスタに属していたことと、を含む、
    請求項１６に記載の人工知能によるデータラベリング装置。
18. 前記クラスタリングモジュールは、
    前記第１判定条件のうちの少なくとも１つが満たされない場合に、前記クラスタリングに関与するサンプルを含む新たなクラスクラスタを構築することにさらに用いられる、
    請求項１７に記載の人工知能によるデータラベリング装置。
19. 前記クラスタリングモジュールは、
    前記クラスタリングに関与する複数のサンプルから一部を選択し、選択されたクラスタリングに関与する各サンプルを１つのクラスタリング中心とすることと、
    前記クラスタリング中心を除く、前記クラスタリングに関与する各サンプルについて、第２判定条件が全て満たされた場合に、最近距離のクラスタリング中心の属するクラスクラスタに、前記クラスタリングに関与するサンプルを加えることと、に用いられ、
    ここで、前記第２判定条件は、
    前記最近距離のクラスタリング中心の属するクラスクラスタに含まれるサンプルの数が前記サンプル数閾値よりも小さいことと、
    前記最近距離のクラスタリング中心の属するクラスクラスタに、前回の反復処理の事前クラスタリングプロセスにおいて、前記クラスタリングに関与するサンプルと同一のクラスクラスタに属していたサンプルが含まれていないことと、を含む、
    請求項１６に記載の人工知能によるデータラベリング装置。
20. 前記クラスタリングモジュールは、
    前記第２判定条件のうちの少なくとも１つが満たされない場合に、前記クラスタリングに関与するサンプルを、他のクラスタリング中心の属するクラスクラスタに加えることにさらに用いられる、
    請求項１９に記載の人工知能によるデータラベリング装置。
21. 前記収束条件は、各前記クラスクラスタに含まれるサンプルの数が全て前記サンプル数閾値よりも小さいことを含む、
    請求項１６に記載の人工知能によるデータラベリング装置。
22. 前記回数閾値は、前記サンプル数閾値と、１回目の反復プロセスにおける前記クラスタリングに関与するサンプルの数とによって決定される、
    請求項１６に記載の人工知能によるデータラベリング装置。
23. 前記サブクラスタは、１つの前記代表的なサンプルと少なくとも１つの非代表的なサンプルとを含み、
    前記処理モジュールは、
    前記代表的なサンプルについて、前回の反復プロセスにおいて、前記代表的なサンプルと同じサブクラスタに属した非代表的なサンプルを決定することと、
    決定された非代表的なサンプルが今回の反復プロセスにおいて属するサブクラスタを、前記代表的なサンプルが今回の反復プロセスにおいて属するサブクラスタと同じであると決定することと、にさらに用いられる、
    請求項１４に記載の人工知能によるデータラベリング装置。
24. 前記クラスタリングに関与するサンプルは、画像サンプル又はテキストサンプルを含む、
    請求項１３から請求項２３までのいずれか１項に記載の人工知能によるデータラベリング装置。
25. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項１１のいずれか１項に記載の人工知能によるデータラベリング方法を実行させる、
    電子デバイス。
26. コンピュータに請求項１から請求項１１のいずれか１項に記載の人工知能によるデータラベリング方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。
27. コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項１１のいずれか１項に記載の人工知能によるデータラベリング方法を実現するためのプログラム。