JP2019528506A - 学習ベースのグループタグ付けのためのシステムおよび方法 - Google Patents

学習ベースのグループタグ付けのためのシステムおよび方法 Download PDF

Info

Publication number
JP2019528506A
JP2019528506A JP2018569002A JP2018569002A JP2019528506A JP 2019528506 A JP2019528506 A JP 2019528506A JP 2018569002 A JP2018569002 A JP 2018569002A JP 2018569002 A JP2018569002 A JP 2018569002A JP 2019528506 A JP2019528506 A JP 2019528506A
Authority
JP
Japan
Prior art keywords
data
users
subset
platform
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018569002A
Other languages
English (en)
Inventor
ウェンジュン・ヤン
ジャン・リ
ホンボ・リン
リフェン・カオ
ジフア・チャン
ファン・ヤン
Original Assignee
ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド
ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド, ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド filed Critical ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド
Publication of JP2019528506A publication Critical patent/JP2019528506A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/20Comparing separate sets of record carriers arranged in the same sequence to determine whether at least some of the data in one set is identical with that in the other set or sets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

グループタグ付けのためのシステムおよび方法が提供される。そのようなシステムは、複数のユーザおよび複数の関連付けられるデータフィールドを備えるプラットフォームデータにアクセス可能なプロセッサと、プロセッサによって実行されるとシステムに方法を実行させる命令を記憶するメモリとを備え得る。本方法は、第1のサブセットユーザおよび関連付けられる第1のタグを取得するステップと、関連付けられるデータフィールドについて、それぞれ、第1のサブセットユーザと複数のユーザのうちの少なくともいくつかのユーザとの間の少なくとも差を決定するステップと、第1のしきい値を超える差を決定するステップに応答して、データフィールドを重要なデータフィールドとして決定するステップと、第1のサブセットユーザに関連付けられる対応する重要なデータフィールドのデータをポジティブサンプルとして決定するステップと、重要なデータフィールドに基づいて、第2のサブセットユーザおよび関連付けられるデータをネガティブサンプルとして取得するステップと、ポジティブサンプルとネガティブサンプルを使用してルールモデルをトレーニングするステップとを備え得る。

Description

本開示は、一般に、ユーザタグ付けおよび学習ベースのタグ付けのための手法および技法に関する。
プラットフォームはユーザに様々なサービスを提供し得る。ユーザサービスおよび管理を容易にするために、ユーザをグループにまとめることが望ましい。このプロセスは、特にユーザ数が多くなると、多くの課題をもたらす可能性がある。
本開示の様々な実施形態は、グループタグ付けを実行するように構成されたシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。グループタグ付けのためのコンピューティングシステムは、プラットフォームデータにアクセス可能な1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されると、コンピューティングシステムに方法を実行させる命令を記憶するメモリとを備え得る。プラットフォームデータは、複数のユーザと複数の関連付けられるデータフィールドとを備え得る。本方法は、ユーザの第1のサブセットと、ユーザの第1のサブセットに関連付けられる1つまたは複数の第1のタグとを取得するステップと、関連付けられるデータフィールドのうちの1つまたは複数について、それぞれ、ユーザの第1のサブセットと複数のユーザのうちの少なくとも一部との間の少なくとも差を決定するステップと、差が第1のしきい値を超えるという決定に応答して、対応するデータフィールドを重要なデータフィールドとして決定するステップと、ユーザの第1のサブセットに関連付けられる対応する1つまたは複数の重要なデータフィールドのデータをポジティブサンプルとして決定するステップと、1つまたは複数の重要なデータフィールドに基づいて、ユーザの第2のサブセットと、プラットフォームデータからの関連付けられるデータとをネガティブサンプルとして取得するステップと、トレーニング済みのグループタグ付けルールモデルを取得するために、ポジティブサンプルとネガティブサンプルを使用してルールモデルをトレーニングするステップとを備え得る。
いくつかの実装形態では、プラットフォームデータは、複数のユーザの各々に対応する表形式データを備え得、データフィールドは、データ次元またはデータメトリックのうちの少なくとも1つを備え得る。
いくつかの実装形態では、複数のユーザはプラットフォームのユーザであり得、プラットフォームは車両情報プラットフォームであり得、データフィールドは場所、使用回数、取引金額、または苦情の数の少なくとも1つを備え得る。
いくつかの実装形態では、ユーザの第1のサブセットを取得するステップは、プラットフォームデータに完全にアクセスすることなしに、1人または複数のアナリストからユーザの第1のサブセットの識別を受信するステップを備え得る。
いくつかの実装形態では、プラットフォームデータは、サーバがユーザの第1のサブセットを取得する前に第1のタグを備えなくてもよい。
いくつかの実装形態では、差はカルバックライブラー情報量であり得る。
いくつかの実施形態では、ユーザの第2のサブセットは、1つまたは複数の重要なデータフィールドに関する類似性測定値に基づいて、第3のしきい値を超えて、ユーザの第1のサブセットとは異なり得る。
いくつかの実装形態では、ルールモデルは決定木モデルであり得る。
いくつかの実装形態では、トレーニング済みのグループタグ付けルールモデルは、複数のユーザのうちの1人または複数に第1のタグを割り当てるべきかどうかを決定し得る。
いくつかの実装形態では、サーバは、複数のユーザおよび複数のユーザに追加された新しいユーザをタグ付けするために、トレーニング済みのグループタグ付けルールモデルの適用を実行するようにさらに構成される。
いくつかの実装形態では、グループタグ付け方法は、プラットフォームの複数のエンティティの第1のサブセットを取得するステップを備え得る。エンティティの第1のサブセットは第1のタグでタグ付けされ得、プラットフォームデータは、1つまたは複数のデータフィールドに関する複数のエンティティのデータを備え得る。グループタグ付け方法は、エンティティの第1のサブセットの1つまたは複数のデータフィールドのデータと、複数のエンティティのうちのいくつかの他のエンティティのデータとの間の少なくとも差を決定するステップをさらに備え得る。グループタグ付け方法は、差が第1のしきい値を超えるという決定に応答して、エンティティの第1のサブセットに関連付けられる対応するデータをポジティブサンプルとして取得し、複数のエンティティの第2のサブセットに関連付けられる対応するデータをネガティブサンプルとして取得するステップをさらに備え得る。グループタグ付け方法は、トレーニング済みのグループタグ付けルールモデルを取得するために、ポジティブサンプルとネガティブサンプルを使用してルールモデルをトレーニングするステップをさらに備え得る。トレーニング済みのグループタグ付けルールモデルは、既存のエンティティまたは新しいエンティティが第1のタグを得る資格があるかどうかを決定し得る。
本明細書に開示されるシステム、方法、および非一時的コンピュータ可読媒体のこれらおよび他の特徴、ならびに構造の関連要素の動作方法および機能、ならびに部品の組合せおよび製造の経済性は、添付の図面を参照して以下の説明および添付の特許請求の範囲を考慮すると、より明らかになるであろう。それらのすべては本明細書の一部を形成し、同様の参照番号は様々な図面における対応する部分を示す。しかしながら、図面は例示および説明のみを目的としており、本発明の範囲を定義することは意図されていないことを明確に理解されたい。
本技術の様々な実施形態のいくつかの特徴は、添付の特許請求の範囲に詳細に記載されている。本技術の特徴および利点のより良い理解は、本発明の原理が利用される例示的な実施形態を説明する以下の詳細な説明、および添付の図面を参照することによって得られるであろう。
様々な実施形態による、グループタグ付けのための例示的な環境を示す図である。 様々な実施形態による、グループタグ付けのための例示的なシステムを示す図である。 様々な実施形態による、例示的なプラットフォームデータを示す図である。 様々な実施形態による、第1のタグを有する例示的なプラットフォームデータを示す図である。 様々な実施形態による、決定されたポジティブサンプルおよびネガティブサンプル、ならびに重要なデータフィールドを有する例示的なプラットフォームデータを示す図である。 様々な実施形態による、タグ付きグループを有する例示的なプラットフォームデータを示す図である。 様々な実施形態による、グループタグ付けのための例示的な方法のフローチャートである。 様々な実施形態による、グループタグ付けのための別の例示的な方法のフローチャートである。 様々な実施形態による、本明細書に記載の実施形態のいずれかが実装され得る例示的なコンピュータシステムのブロック図である。
グループタグ付けは、効果的なユーザ管理に不可欠である。この方法は、大量のデータを整理し、さらなるデータ操作、分析の導出、および価値創造の基盤を築くことができる。グループタグ付けがないと、特にデータ量が増大したときに、データ処理が非効率的になってしまう。データのごく一部が特定の「ローカルタグ付けルール」に基づいて手動でタグ付けされ得る場合でも、そのようなルールはグローバルデータ全体で検証されず、そのままグローバルに使用するのは適切ではない可能性がある。さらに、データセキュリティ、限られた職責、および技能背景の欠如などの様々な理由から、直接のデータを収集して手動タグ付けを実行するための直接的なユーザ対話を有するアナリストは、グローバルデータにアクセスすることを許可されない可能性があり、「ローカルタグ付けルール」の推定を「グローバルタグ付けルール」にさらに限定する。
たとえば、多数のユーザにサービスを提供するオンラインプラットフォームでは、動作および顧客サービスアナリストは直接顧客と対話して直接のデータを蓄積し得る。アナリストはまた、対話に基づいて特定の「ローカルタグ付けルール」を作成し得、たとえば、特定の類似の背景または特性のユーザを一緒に分類する。しかしながら、アナリストはプラットフォームデータ全体に対する許可を制限しており、各ユーザに関連付けられるすべての情報にアクセスできない場合がある。一方、プラットフォームデータにアクセスできるエンジニアは、「グローバルタグ付けルール」を作成するための顧客との対話の経験や基盤が欠如している可能性がある。したがって、直接の対話を利用し、「ローカルタグ付けルール」を改善し、プラットフォームデータに適切かつ大規模に適用可能な「グローバルタグ付けルール」を取得することが望ましい。
以下に記載される様々な実施形態は、グループタグ付けの分野において生じるそのような問題を克服することができる。様々な実装形態では、コンピューティングシステムはグループタグ付け方法を実行し得る。グループタグ付け方法は、プラットフォームの複数のエンティティ(たとえば、ユーザ、オブジェクト、仮想表現など)の第1のサブセットを取得するステップを備え得る。エンティティの第1のサブセットは、「ローカルタグ付けルール」と見なされ得るタグ付けルールに従う第1のタグでそれぞれタグ付けされ得、プラットフォームデータは、1つまたは複数のデータフィールドに関する複数のエンティティのデータを備え得る。グループタグ付け方法は、エンティティの第1のサブセットの1つまたは複数のデータフィールドのデータと、複数のエンティティのうちのいくつかの他のエンティティのデータとの間の少なくとも差を決定するステップをさらに備え得る。グループタグ付け方法は、1つまたは複数のデータフィールドのうちの特定のデータフィールドにおいて差が第1のしきい値を超えるという決定に応答して、エンティティの第1のサブセットに関連付けられる対応するデータをポジティブサンプルとして取得するステップと、データが特定のデータフィールド内のエンティティの第1のサブセットのデータと実質的に異なる複数のエンティティの第2のサブセットに関連付けられる対応するデータをネガティブサンプルとして取得するステップとをさらに備え得る。後述するように、実質的な差は、類似性測定方法に基づいて決定され得る。グループタグ付け方法は、トレーニング済みのグループタグ付けルールモデルを取得するために、ポジティブサンプルとネガティブサンプルを使用してルールモデルをトレーニングするステップをさらに備え得る。トレーニング済みのグループタグ付けルールモデルは、既存のエンティティまたは新しいエンティティが第1のタグを得る資格があるかどうかを決定するために、プラットフォームデータの一部または全部に適用され得る。この決定は、「グローバルタグ付けルール」と見なされ得る。
いくつかの実装形態では、エンティティはプラットフォームのユーザを備え得る。グループタグ付けのためのコンピューティングシステムは、プラットフォームデータにアクセス可能なサーバを備え得る。プラットフォームデータは、複数のユーザと複数の関連付けられるデータフィールドとを備え得る。サーバは、プラットフォームデータにアクセス可能な1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されると、コンピューティングシステムに、ユーザの第1のサブセットと、ユーザの第1のサブセットに関連付けられる1つまたは複数の第1のタグとを取得させる命令を記憶するメモリとを備え得る。命令は、コンピューティングシステムに、関連付けられるデータフィールドのうちの1つまたは複数について、それぞれ、ユーザの第1のサブセットと複数のユーザのうちの少なくとも一部との間の少なくとも差をさらに決定させることができる。命令は、差が第1のしきい値を超えるという決定に応答して、コンピューティングシステムに、対応するデータフィールドを重要なデータフィールドとしてさらに決定させることができる。命令は、コンピューティングシステムに、ユーザの第1のサブセットに関連付けられる、対応する1つまたは複数の重要なデータフィールドのデータをポジティブサンプルとしてさらに決定させることができる。命令は、コンピューティングシステムに、1つまたは複数の重要なデータフィールドに基づいて、ユーザの第2のサブセットと、プラットフォームデータからの関連付けられるデータとをネガティブサンプルとしてさらに取得させることができ、ユーザの第2のサブセットの関連付けられるデータは、エンティティの第1のサブセットのデータと実質的に異なる。命令は、訓練されたグループタグ付けルールモデルを取得するために、第2の精度しきい値(たとえば、あらかじめ定められた98%の精度のしきい値)に達するように、コンピューティングシステムに、ポジティブサンプルとネガティブサンプルを使用してルールモデルをさらにトレーニングさせることができる。
いくつかの実装形態では、プラットフォームは車両情報プラットフォームであり得る。プラットフォームデータは、複数のユーザの各々に対応する表形式データを備え得、データフィールドは、データ次元またはデータメトリックのうちの少なくとも1つを備え得る。複数のユーザはプラットフォームのユーザであり得、データフィールドはユーザの場所、ユーザによるプラットフォームの使用回数、取引金額、または苦情の数の少なくとも1つを備え得る。
図1は、様々な実施形態による、グループタグ付けのための例示的な環境100を示している。図1に示されるように、例示的な環境100は、1つまたは複数のプロセッサ104およびメモリ106を含む少なくとも1つのコンピューティングシステム102を備えることができる。メモリ106は、非一時的でコンピュータ可読であり得る。メモリ106は、1つまたは複数のプロセッサ104によって実行されると、1つまたは複数のプロセッサ104に、本明細書に記載の様々な動作を実行させる命令を記憶し得る。環境100はまた、システム102に結合された1つまたは複数のコンピューティングデバイス110、111、112、および120(たとえば、セルラー式電話、タブレット、コンピュータ、ウェアラブルデバイス(スマートウォッチ)など)を含み得る。コンピューティングデバイスは、それらのアクセスおよび許可レベルに従って、システム102へ/からデータを送信/受信することができる。環境100は、システム102にアクセス可能な1つまたは複数のデータストア(たとえば、データストア108および109)をさらに含み得る。データストア内のデータは、異なるアクセス許可レベルに関連付けられ得る。
いくつかの実装形態では、システム102は、情報プラットフォーム(たとえば、ある当事者によって、別の当事者にサービスを提供するために提供され、複数の当事者間で共有され、複数の当事者間で交換され得る、車両の情報を提供する車両情報プラットフォーム)と呼ばれ得る。プラットフォームデータは、データストア(たとえば、データストア108、109など)および/またはメモリ106に記憶され得る。コンピューティングデバイス120は、プラットフォームのユーザ(たとえば、プラットフォームのアプリケーションとともにインストールされたユーザのセルラー式電話)に関連付けられ得る。コンピューティングデバイス120は、プラットフォームによって処理され供給されたものを除いて、データストアにアクセスできない場合がある。コンピューティングデバイス110および111は、プラットフォームデータへのアクセスおよび許可が制限されているアナリストと関連付けられ得る。コンピューティングデバイス112は、プラットフォームデータへの全面的なアクセスおよび許可を有するエンジニアと関連付けられ得る。
いくつかの実装形態では、システム102およびコンピューティングデバイス(たとえば、コンピューティングデバイス110、111、または112)のうちの1つまたは複数は、単一のデバイスまたはシステムに統合され得る。あるいは、システム102とコンピューティングデバイスは別々のデバイスとして動作し得る。たとえば、コンピューティングデバイス110、111、および112はコンピュータまたはモバイルデバイスであり得、システム102はサーバであり得る。データストアは、たとえば、メモリ106内、コンピューティングデバイス110、111、または112内、システム102に結合された別のデバイス(たとえば、ネットワークストレージデバイス)内、あるいは他のストレージ場所(たとえば、クラウドベースのストレージシステム、ネットワークファイルシステムなど)など、どこからでもシステム102にアクセス可能であり得る。一般に、システム102、コンピューティングデバイス110、111、112、および120、ならびに/またはデータストア108および109は、データが通信され得る1つまたは複数のワイヤードまたはワイヤレスネットワーク(たとえば、インターネット)を通じて互いに通信することが可能であり得る。環境100の様々な態様は、図2から図4Bを参照して以下に説明される。
図2は、様々な実施形態による、グループタグ付けのための例示的なシステム200を示している。図2に示され、以下に提示される動作は、例示的であることが意図されている。様々な実施形態では、コンピューティングデバイス120はシステム102と対話し得(たとえば、新規ユーザの登録、サービスの注文、支払いの取引など)、対応する情報は少なくともプラットフォームデータ202の一部としてデータストア108、109、および/またはメモリ106に記憶され得、システム102にアクセス可能である。システム200間のさらなる対話については、図3A〜図3Dを参照して以下に説明される。
図3Aを参照すると、図3Aは、様々な実施形態による、例示的なプラットフォームデータ300を示している。図3Aの説明は例示的であることが意図されており、実装形態に従って様々な方法で修正され得る。プラットフォームデータは、表、オブジェクトなどの1つまたは複数のフォーマットで記憶され得る。図3Aに示されるように、プラットフォームデータは、プラットフォームの複数のエンティティ(たとえば、ユーザA、B、Cなどのユーザ)の各々に対応する表形式データを備え得る。システム102(たとえば、サーバ)は、複数のユーザおよび複数の関連付けられるデータフィールド(たとえば、「市」、「デバイス」、「使用回数」、「支払い」、「苦情」、など)を備えるプラットフォームデータにアクセス可能であり得る。たとえば、ユーザがプラットフォームに登録すると、ユーザは対応するアカウント情報(たとえば、住所、市、電話番号、支払い方法、など)を提出し得、プラットフォームサービスの使用から、ユーザ履歴(たとえば、プラットフォームへのアクセスに使用されるデバイス、サービス使用回数、支払い取引、作成された苦情など)もまた、プラットフォームデータとして記録され得る。アカウント情報およびユーザ履歴は、ユーザに関連付けられる様々なデータフィールドに記憶され得る。表において、データフィールドはデータ列として表示される。データフィールドは、次元およびメトリクスを含み得る。次元はデータの属性を備え得る。たとえば、「市」はユーザの市の場所を示し、「デバイス」はプラットフォームにアクセスするために使用されるデバイスを示す。メトリクスは定量的測定値を備え得る。たとえば、「使用回数」は、ユーザがプラットフォームサービスを使用した回数を示し、「支払い」は、ユーザとプラットフォームとの間の取引の総額を示し、「苦情」は、ユーザがプラットフォームへ苦情を申し立てた回数を示す。
いくつかの実装形態では、許可レベルに応じて、プラットフォームのアナリストとエンジニア(または、他の人々のグループ)は、プラットフォームデータへのアクセスレベルが異なる場合がある。たとえば、アナリストは、動作チーム、顧客サービスチーム、およびテクニカルサポートチームを含み得る。プラットフォームユーザとの対話において、アナリストは「ユーザ」、「市」、および「苦情」列のデータにのみアクセスすることができ、「苦情」列のみ編集する許可を有することができる。エンジニアは、データサイエンティスト、バックエンドエンジニア、および研究者チームを含み得る。エンジニアは、プラットフォームデータ300のすべての列を編集するための全面的なアクセスおよび許可を有し得る。
再び図2を参照すると、コンピューティングデバイス110および111は、プラットフォームデータへのアクセスおよび許可が制限されているアナリストによって制御および動作され得る。ユーザ対話または他の経験に基づいて、アナリストは一部のユーザにタグ付けするために「ローカルルール」を決定し得る。たとえば、アナリストは、プラットフォームユーザの第1のユーザサブセットにタグ付けし、タグ情報204(たとえば、第1のユーザサブセットのユーザID)をシステム102に提出し得る。図3Bを参照すると、図3Bは、様々な実施形態による、第1のタグを有する例示的なプラットフォームデータ310を示している。図3Bの説明は例示的であることが意図されており、実装形態に従って様々な方法で修正され得る。プラットフォームデータ310は、第1のタグC1が追加されていること以外は、上述したプラットフォームデータ300と同様である。システム102は、(たとえば、第1のユーザサブセットおよびタグ情報204を受信することによって)複数のユーザ、およびユーザの第1のサブセットに関連付けられる1つまたは複数の第1のタグからユーザの第1のサブセットを取得し得る。プラットフォームデータは、システム102(たとえば、サーバ)がユーザの第1のサブセットを取得する前に第1のタグを備えなくてもよい。システム102は、(たとえば、「グループタグ」列をプラットフォームデータ300に追加することによって)取得した情報(たとえば、タグ情報204)をプラットフォームデータに組み込むことができる。アナリストによって識別された第1のユーザサブセットは、「14」の苦情に対応する「ユーザA」および「19」の苦情に対応する「ユーザB」を含み得る。アナリストは、「ユーザA」と「ユーザB」の両方に「C1」とタグ付けした可能性がある。この段階では、「ユーザA」と「ユーザB」に「C1」とタグ付けすることは「ローカルルール」と呼ばれ得、この「ローカルルール」がどのように合成されて、他のプラットフォームユーザに「グローバルルール」として外挿され得るかが決定される必要がある。
再び図2を参照すると、コンピューティングデバイス112は、プラットフォームデータへの全面的なアクセスおよび許可を有するエンジニアによって制御および動作され得る。「ローカルルール」およびプラットフォームデータに基づいて、エンジニアは、学習ベースのグループタグ付けを実行するために、クエリ206(たとえば、命令、コマンドなど)をシステム102に送信し得る。図3Cを参照すると、図3Cは、様々な実施形態による、決定されたポジティブサンプルおよびネガティブサンプル、ならびに重要なデータフィールドを有する例示的なプラットフォームデータ320を示している。図3Cの説明は例示的であることが意図されており、実装形態に従って様々な方法で修正され得る。プラットフォームデータ320は、上述のプラットフォームデータ310と同様である。第1のユーザサブセットおよびタグ情報204を取得すると、システム102は、関連付けられるデータフィールドのうちの1つまたは複数について、それぞれ、ユーザの第1のサブセットと複数のユーザのうちの少なくとも一部との間の少なくとも差を決定し得る。たとえば、システム102は、「市」、「デバイス」、「使用回数」、「支払い」、および「苦情」列のうちの1つまたは複数に対して、ユーザの第1のサブセット(たとえば、ユーザAおよびユーザB)と、プラットフォームユーザの少なくとも一部のデータ(たとえば、すべてのプラットフォームユーザ、ユーザAとユーザBを除くすべてのプラットフォームユーザ、次の500人のユーザなど)との間の少なくとも差(たとえば、カルバックライブラー情報量)をそれぞれ決定し得る。
差が第1のしきい値を超えるという決定に応答して、システム102は、対応するデータフィールドを重要なデータフィールドとして決定し、ユーザの第1のサブセットに関連付けられる対応する1つまたは複数の重要なデータフィールドのデータをポジティブサンプルとして決定し得る。この第1のしきい値はあらかじめ決定され得る。本開示では、あらかじめ定められたしきい値または他のプロパティは、システム(たとえばシステム102)またはシステムに関連付けられるオペレータ(たとえばアナリスト、エンジニアなど)によってあらかじめ設定され得る。たとえば、第1のユーザサブセットの「支払い」データを他のプラットフォームユーザ(たとえば、他のすべてのプラットフォームユーザ)のデータに対して分析することによって、システム102は、差が第1のあらかじめ定められたしきい値(たとえば、他のすべてのプラットフォームユーザの500人の平均を超える)を超えると決定し得る。したがって、プラットフォーム102は、「支払い」データフィールドを重要なデータフィールドとして決定し、「ユーザA-支払い1500-グループタグC1」および「ユーザB-支払い823-グループタグC1」をポジティブサンプルとして取得し得る。いくつかの実装形態では、重要なデータフィールドは複数のデータフィールドを含み得、データフィールドは「市」および「支払い」などの次元および/またはメトリックを含むことができる。この場合、「ユーザA-市XYZ-支払い1500-グループタグC1」および「ユーザB-市XYZ-支払い823-グループタグC1」がポジティブサンプルとして使用され得る。ここで、データフィールド「市」に対する第1のあらかじめ定められたしきい値は、異なる省または州における市であり得る。
1つまたは複数の重要なデータフィールドに基づいて、システム102は、複数のユーザからのユーザの第2のサブセットと、プラットフォームデータからのユーザの第2のサブセットの関連付けられるデータとをネガティブサンプルとして取得し得る。システム102は、トレーニングのためにタグをネガティブサンプルに割り当ててもよい。たとえば、システム102は、「ユーザC-市KMN-支払い25-グループタグNC1」および「ユーザD-市KMN-支払い118-グループタグNC1」をネガティブサンプルとして取得し得る。いくつかの実施形態では、ユーザの第2のサブセットは、1つまたは複数の重要なデータフィールドに関する類似性測定値に基づいて、第3のしきい値(たとえば、第3のあらかじめ定められたしきい値)を超えて、ユーザの第1のサブセットとは異なり得る。類似性測定値は、異なるユーザまたはユーザグループに関連付けられる1つまたは複数の重要なデータフィールド間の「距離」を取得し、距離しきい値と比較することによって、ユーザのグループが別のグループにどれほど類似しているかを決定することができる。類似性測定値は、(標準化された)ユークリッド距離法、マンハッタン距離法、チェビシェフ距離法、ミンコフスキー距離法、マハラノビス距離法、コサイン法、ハミング距離法、ジャカード類似性係数法、相関係数および距離法、情報エントロピー法などの様々な方法で実装され得る。
ユークリッド距離法を実装する一例において、2人のユーザSとTとの間の「距離」は、
であり、ユーザSがデータフィールドに対してプロパティm1を有する場合、ユーザTは、同じデータフィールドに対してプロパティm2を有する。同様に、ユーザSが2つのデータフィールドに対してそれぞれプロパティm1とn1を有し、他のユーザTが対応するデータフィールドに対してプロパティm2とn2を有する場合2人のユーザSとTの間の距離は、
である。同じ原則は、さらに多くのデータフィールドにも適用される。さらに、ユーザの2つのグループ間の「距離」を取得するために、多くの方法が使用され得る。たとえば、2つのグループからのユーザのあらゆるペアが比較され得、各グループにおけるユーザのユーザプロパティが平均化されてもよく、別の代表ユーザのユーザプロパティと比較するために1人の代表ユーザなどによって表されてもよい。したがって、複数のユーザまたはユーザグループ間の距離が決定され得、ユーザの第1のサブセットから十分に離れた(あらかじめ設定されたしきい値を超える「距離」を有する)ユーザの第2のサブセットが決定され得る。ユーザの第2のサブセットに関連付けられるデータは、ネガティブサンプルとして使用され得る。
コサイン法を実装する別の例では、ユーザSの様々なプロパティ(m1、n1、…)および別のユーザTの様々なプロパティ(m2、n2、…)がベクトルとして扱うことができる。2人のユーザ間の「距離」は、2つのベクトル間の角度である。たとえば、ユーザS(m1、n1)とT(m2、n2)との間の「距離」はθであり、
である。cosθは-1から1の範囲である。cosθが1に近いほど、2人のユーザは互いにより類似している。同じ原則は、さらに多くのデータフィールドにも適用される。さらに、ユーザの2つのグループ間の「距離」を取得するために、多くの方法が使用され得る。たとえば、2つのグループからのユーザのあらゆるペアが比較され得、各グループにおけるユーザのユーザプロパティが平均化されてもよく、別の代表ユーザのユーザプロパティと比較するために1人の代表ユーザなどによって表されてもよい。したがって、複数のユーザまたはユーザグループ間の距離が決定され得、ユーザの第1のサブセットから十分に離れた(あらかじめ設定されたしきい値を超える「距離」を有する)ユーザの第2のサブセットが決定され得る。ユーザの第2のサブセットに関連付けられるデータは、ネガティブサンプルとして使用され得る。
ユークリッド距離法、コサイン法、または別の類似性測定方法が直接使用されてもよく、またはk近傍法に修正されてもよい。当業者は、k近傍決定が「距離」決定に基づく分類または回帰のために使用され得ることを理解するであろう。例示的な分類モデルでは、オブジェクト(たとえば、プラットフォームユーザ)は、その近傍の多数決によって分類され得、オブジェクトは、そのk近傍の中で最も一般的なクラスに割り当てられる。一次元の例では、メトリック列について、第1のサブセットユーザのデータと他のユーザのデータとの間の平方根差が計算され得、第3のあらかじめ定められたしきい値を超える第1のサブセットユーザとの差に対応するユーザがネガティブサンプルとして使用され得る。重要なデータフィールドの数が増えるにつれて、複雑さが増大する。したがって、単一列データの単純な順序付けおよびしきい値化は、「グローバルタグ付けルール」を合成するためには不十分になり、モデルトレーニングが適用される。そのために、オブジェクト(たとえば、プラットフォームユーザ)はそれらのプロパティ(たとえば、データフィールド)に従ってマップアウトされ得る。ネガティブサンプルに対応するグループが、第3のあらかじめ定められたしきい値を超えるポジティブサンプルに対応する別のグループから離れているように、集合データポイントの各部分は、k近傍法によって分類されたグループとして決定され得る。たとえば、ユーザが2つのデータフィールドに対応する場合、ユーザは、各軸がデータフィールドに対応するようにx-y平面上にマッピングされ得る。x-y平面上のポジティブサンプルに対応する領域は、ネガティブサンプルに対応する別の領域から第3のあらかじめ定められたしきい値を超える距離だけ離れている。同様に、より多くのデータフィールドを有する場合、データポイントはk近傍法によって分類され得、ネガティブサンプルはポジティブサンプルとの実質的な差に基づいて決定され得る。
いくつかの実装形態では、システム102は、トレーニング済みのグループタグ付けルールモデルを取得するために、第2の精度しきい値に達するまで、ポジティブサンプルとネガティブサンプルを使用してルールモデル(たとえば、決定木ルールモデル)をトレーニングし得る。ルールモデルトレーニングのために、いくつかのパラメータが構成され得る。たとえば、第2の精度しきい値はあらかじめ設定され得る。別の例では、決定木モデルの深さはあらかじめ設定され得る(たとえば、複雑さを制限するために、3レベルの深さ)。別の例では、決定木の数は、意思決定のための「or」条件を追加するようにあらかじめ設定され得る(たとえば、並列決定木は「or」条件を表すことができ、同じ決定木の分岐はグループタグ付け決定を決定するための「and」条件を表すことができる)。したがって、「and」と「or」の両方の条件を使用すると、決定木モデルは意思決定においてより高い柔軟性を有することができ、したがってその精度が向上する。
当業者は、決定木ルールモデルが、決定木を予測モデルとして使用する決定木学習に基づくことができることを理解するであろう。予測モデルは、アイテムに関する観察結果(たとえば、プラットフォームユーザのデータフィールド値)をそのアイテムの目標値の結論(たとえば、タグC1)にマッピングし得る。ポジティブサンプル(たとえば、C1とタグ付けされるべきサンプル)およびネガティブサンプル(たとえば、C1とタグ付けされるべきではないサンプル)を用いてトレーニングすることによって、トレーニング済みのルールモデルは、他のサンプルを自動的にタグ付けするための論理アルゴリズムを備えることができる。論理アルゴリズムは、各木の各レベルまたは深さで行われた決定に少なくとも部分的に基づいて統合され得る。トレーニング済みのグループタグ付けルールモデルは、複数のユーザのうちの1人または複数に第1のタグを割り当てるべきかどうかを決定し得、図3Dに示されるように、プラットフォームユーザおよび/またはプラットフォームに追加された新しいユーザのうちの1人または複数にタグ付けする。図3Dの説明は例示的であることが意図されており、実装形態に従って様々な方法で修正され得る。たとえば、トレーニング済みのルールモデルをプラットフォームユーザに適用すると、システム102は、「ユーザC」および「ユーザD」を「C2」としてタグ付けし、「ユーザE」を「C1」としてタグ付けし得る。さらに、トレーニング済みのルールモデルはまた、「支払い」よりも重要な重みを有する重要なデータフィールドとして「市」を含み得る。したがって、たとえ新しいユーザがまだプラットフォームとの取引をしていなくても、システム102は新しいユーザ「ユーザF」を「C1」としてタグ付けし得る。したがって、既存のデータを分析することと、新しいデータのグループタグを予測することとの両方のために、グループタグ付けルールが使用され得る。
再び図2を参照すると、グループタグ付けルールがトレーニングされてプラットフォームデータに適用されると、コンピューティングデバイス111(または、コンピューティングデバイス110)は、クエリ208を送信することによってグループタグを表示し、タグ付けされたユーザ210を受信し得る。さらに、コンピューティングデバイスは、クエリ208を介して、たとえば1人または複数のユーザのタグを修正することによって、トレーニング済みのグループタグ付けルールモデルを改善し得る。コンピューティングデバイス120が新しいユーザをシステム102に登録する場合、新しいユーザに予測的にタグ付けするために、「グローバルタグ付けルール」が適用され得る。
以上のことから、「グローバルタグ付けルール」を取得するために他のプラットフォームデータと比較することによって、高いレベルの信頼性と精度を有する「ローカルタグ付けルール」が合成され得る。「グローバルタグ付けルール」は、「ローカルタグ付けルール」において定義される特性を組み込んでおり、プラットフォームデータ全体に適用可能である。このプロセスは、上述した学習プロセスによって自動化されてよく、したがってアナリストによって達成不可能なグループタグ付けタスクを高い効率で達成することができる。
図4Aは、本開示の様々な実施形態による、例示的な方法400のフローチャートを示している。方法400は、たとえば、図1の環境100を含む様々な環境において実装され得る。以下に提示される方法400の動作は、例示的であることが意図されている。実装形態に応じて、例示的な方法400は、様々な順序でまたは並行して実行される追加の、より少ない、または代替のステップを含み得る。例示的な方法400は、1つまたは複数のサーバの1つまたは複数のプロセッサを含む様々なコンピューティングシステムまたはデバイスにおいて実装され得る。
ブロック402において、複数のユーザからユーザの第1のサブセットが取得され得、ユーザの第1のサブセットに関連付けられる1つまたは複数の第1のタグが取得され得る。複数のユーザおよび複数の関連付けられるデータフィールドは、プラットフォームデータの一部であり得る。第1のサブセットは、アナリストまたはオペレータから直接取得され得る。ブロック404において、関連付けられるデータフィールドのうちの1つまたは複数について、それぞれ、ユーザの第1のサブセットと複数のユーザのうちの少なくとも一部との間の少なくとも差が決定され得る。ブロック406において、差が第1のしきい値を超えるという決定に応答して、対応するデータフィールドは重要なデータフィールドとして決定され得る。ブロック406は、1つまたは複数の重要なデータフィールドを取得するために、関連付けられるデータフィールドのうちの1つまたは複数に対して実行され得る。ブロック408において、ユーザの第1のサブセットに関連付けられる対応する1つまたは複数の重要なデータフィールドのデータは、ポジティブサンプルとして取得され得る。ブロック410において、1つまたは複数の重要なデータフィールドに基づいて、複数のユーザからユーザの第2のサブセットが取得され得、プラットフォームデータからの関連付けられるデータがネガティブサンプルとして取得され得る。ネガティブサンプルはポジティブサンプルとは実質的に異なり得、上述のように取得され得る。ブロック412において、トレーニング済みのグループタグ付けルールモデルを取得するために、ルールモデルが、第2の精度しきい値に達するようにポジティブサンプルとネガティブサンプルを使用してさらにトレーニングされ得る。トレーニング済みのグループタグ付けルールモデルは、ユーザが自動的に望ましいカテゴリに整理され得るように、複数のユーザおよび複数のユーザに追加された新しいユーザをタグ付けするために適用され得る。
図4Bは、本開示の様々な実施形態による、例示的な方法420のフローチャートを示している。方法420は、たとえば、図1の環境100を含む様々な環境において実装され得る。以下に提示される方法420の動作は、例示的であることが意図されている。実装形態に応じて、例示的な方法420は、様々な順序でまたは並行して実行される追加の、より少ない、または代替のステップを含み得る。例示的な方法420は、1つまたは複数のサーバの1つまたは複数のプロセッサを含む様々なコンピューティングシステムまたはデバイスにおいて実装され得る。
ブロック422において、プラットフォームの複数のエンティティの第1のサブセットが取得される。エンティティの第1のサブセットは第1のタグでタグ付けされ、プラットフォームデータは、1つまたは複数のデータフィールドに関する複数のエンティティのデータを備える。ブロック424において、エンティティの第1のサブセットの1つまたは複数のデータフィールドのデータと、複数のエンティティのうちのいくつかの他のエンティティのデータとの間の少なくとも差が決定される。ブロック426において、差が第1のしきい値を超えるという決定に応答して、エンティティの第1のサブセットに関連付けられる対応するデータがポジティブサンプルとして取得され、複数のエンティティの第2のサブセットに関連付けられる対応するデータがネガティブサンプルとして取得される。ネガティブサンプルはポジティブサンプルとは実質的に異なり得、上述のように取得され得る。ブロック428において、ルールモデルは、トレーニング済みのグループタグ付けルールモデルを取得するために、ポジティブサンプルとネガティブサンプルを使用してトレーニングされる。トレーニング済みのグループタグ付けルールモデルは、既存のエンティティまたは新しいエンティティが第1のタグを得る資格があるかどうかを決定する。
本明細書に記載の技法は、1つまたは複数の専用コンピューティングデバイスによって実装される。専用コンピュータデバイスは、本技法を実行するためにハードワイヤードであってもよく、本技法を実行するために持続的にプログラムされる1つまたは複数の特定用途向け集積回路(ASIC)あるいはフィールドプログラマブルゲートアレイ(FPGA)などの回路またはデジタル電子デバイスを含んでもよく、ファームウェア、メモリ、他のストレージ、またはそれらの組合せにおけるプログラム命令に従って技法を実行するようにプログラムされた1つまたは複数のハードウェアプロセッサを含んでもよい。そのような専用コンピューティングデバイスはまた、その技法を達成するために、カスタムハードワイヤードロジック、ASIC、またはFPGAをカスタムプログラミングと組み合わせてもよい。専用コンピューティングデバイスは、デスクトップコンピュータシステム、サーバコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、または任意の他のデバイス、あるいは技法を実装するためのハードワイヤードおよび/またはプログラムロジックを組み込んだデバイスの組合せであり得る。コンピューティングデバイスは、一般に、オペレーティングシステムソフトウェアによって制御され調整される。従来のオペレーティングシステムは、とりわけ、実行のためのコンピュータプロセスの制御およびスケジューリング、メモリ管理の実行、ファイルシステム、ネットワーキング、I/Oサービスの提供、ならびにグラフィカルユーザインターフェース(「GUI」)などのユーザインターフェース機能の提供を行う。
図5は、様々な実施形態による、本明細書に記載の実施形態のいずれかが実装され得る例示的なコンピュータシステム500を示すブロック図である。システム500は、上述のシステム102に対応し得る。コンピュータシステム500は、情報を通信するためのバス502または他の通信メカニズムと、情報を処理するためにバス502に結合された1つまたは複数のハードウェアプロセッサ504とを含む。ハードウェアプロセッサ504は、たとえば、1つまたは複数の汎用マイクロプロセッサであり得る。プロセッサ504は、上述のプロセッサ104に対応し得る。
コンピュータシステム500はまた、情報およびプロセッサ504によって実行される命令を記憶するためにバス502に結合された、ランダムアクセスメモリ(RAM)、キャッシュおよび/または他の動的ストレージデバイスなどのメインメモリ506を含む。メインメモリ506はまた、プロセッサ504によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。そのような命令は、プロセッサ504にアクセス可能なストレージ媒体に記憶されると、コンピュータシステム500を、命令において指定された動作を実行するようにカスタマイズされた専用機械にする。コンピュータシステム500は、静的情報およびプロセッサ504用の命令を記憶するためにバス502に結合された読出し専用メモリ(ROM)508または他の静的ストレージデバイスをさらに含む。磁気ディスク、光ディスク、またはUSBサムドライブ(フラッシュドライブ)などのストレージデバイス510が提供され、情報および命令を記憶するためにバス502に結合される。メインメモリ506、ROM508、および/またはストレージ510は、上述のメモリ106に対応し得る。
コンピュータシステム500は、カスタマイズされたハードワイヤードロジック、1つまたは複数のASICまたはFPGA、コンピュータシステムと組み合わせてコンピュータシステム500を専用機械にするか、プログラムする、ファームウェアおよび/またはプログラムロジックを使用して本明細書に記載の技法を実装し得る。一実施形態によれば、本明細書の技法は、メインメモリ506に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行するプロセッサ504に応答してコンピュータシステム500によって実行される。そのような命令は、ストレージデバイス510などの別のストレージ媒体からメインメモリ506に読み込まれてもよい。メインメモリ506に含まれる命令のシーケンスの実行は、プロセッサ504に本明細書に記載のプロセスステップを実行させる。別の実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用され得る。
メインメモリ506、ROM508、および/またはストレージ510は、非一時的ストレージ媒体を含み得る。本明細書で使用される「非一時的媒体」という用語および類似の用語は、機械に特定の方法で動作させるデータおよび/または命令を記憶する任意の媒体を指す。そのような非一時的媒体は、不揮発性媒体および/または揮発性媒体を備え得る。不揮発性媒体は、たとえば、ストレージデバイス510などの光ディスクまたは磁気ディスクを含む。揮発性媒体は、メインメモリ506などの動的メモリを含む。一般的な形態の非一時的媒体は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データストレージ媒体、CD-ROM、任意の他の光学データストレージ媒体、穴のパターンを有する任意の物理媒体、RAM、PROM、およびEPROM、FLASH-EPROM、NVRAM、任意の他のメモリチップまたはカートリッジ、ならびにそれらのネットワークバージョンを含む。
コンピュータシステム500はまた、バス502に結合された通信インターフェース518を含む。通信インターフェース518は、1つまたは複数のローカルネットワークに接続されている1つまたは複数のネットワークリンクへの双方向データ通信接続を提供する。たとえば、通信インターフェース518は、統合サービスデジタルネットワーク(ISDN)カード、ケーブルモデム、衛星モデム、または対応するタイプの電話回線へのデータ通信接続を提供するためのモデムであり得る。別の例として、通信インターフェース518は、互換性のあるLAN(または、WANと通信するためのWAN構成要素)へのデータ通信接続を提供するためのローカルエリアネットワーク(LAN)カードであり得る。ワイヤレスリンクも実装され得る。任意のそのような実装形態では、通信インターフェース518は、様々な種類の情報を表すデジタルデータストリームを搬送する電気信号、電磁気信号、または光信号を送受信する。
コンピュータシステム500は、ネットワーク、ネットワークリンク、および通信インターフェース518を通じて、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバは、インターネット、ISP、ローカルネットワーク、および通信インターフェース518を通じて、アプリケーションプログラムのために要求されたコードを送信することがある。
受信されたコードは、受信されたときにプロセッサ504によって実行されてもよく、および/または後で実行するためにストレージデバイス510または他の不揮発性ストレージに記憶されてもよい。
前のセクションで説明したプロセス、方法、およびアルゴリズムの各々は、1つまたは複数のコンピュータシステム、またはコンピュータハードウェアを備えるコンピュータプロセッサによって実行されるコードモジュールにおいて実施されてもよく、完全にまたは部分的に自動化されてもよい。プロセスおよびアルゴリズムは、特定用途向け回路において部分的または全体的に実装され得る。
上述の様々な特徴およびプロセスは、互いに独立して使用されてもよく、様々な方法で組み合わせられてもよい。すべての可能な組合せおよびサブコンビネーションは、本開示の範囲内に入ることが意図されている。さらに、いくつかの実装形態では、特定の方法またはプロセスブロックが省略され得る。本明細書に記載の方法およびプロセスもまた、任意の特定の順序に限定されず、それに関連するブロックまたは状態は適切な他の順序で実行され得る。たとえば、説明されたブロックまたは状態は、具体的に開示されたもの以外の順序で実行されてもよく、複数のブロックまたは状態は単一のブロックまたは状態において組み合わされてもよい。例示的なブロックまたは状態は、直列に、並列に、または何らかの他の方法で実行され得る。ブロックまたは状態は、開示された例示的な実施形態に追加されてもよく、そこから削除されてもよい。本明細書に記載の例示的なシステムおよび構成要素は、説明したものとは異なるように構成され得る。たとえば、開示された例示的な実施形態に要素が追加されてもよく、そこから削除されてもよく、またはそれと比較して再配置されてもよい。
本明細書に記載の例示的な方法の様々な動作は、少なくとも部分的に、一時的に(たとえば、ソフトウェアによって)構成された、または関連する動作を実行するように恒久的に構成された1つまたは複数のプロセッサによって実行され得る。一時的または恒久的に構成されているかどうかにかかわらず、そのようなプロセッサは、本明細書で説明される1つまたは複数の動作あるいは機能を実行するように動作するプロセッサ実装エンジンを構成し得る。
同様に、本明細書に記載の方法は、少なくとも部分的にプロセッサ実装されてもよく、特定のプロセッサはハードウェアの一例である。たとえば、方法の動作のうちの少なくともいくつかは、1つまたは複数のプロセッサあるいはプロセッサ実装エンジンによって実行され得る。さらに、1つまたは複数のプロセッサはまた、「クラウドコンピューティング」環境において、または「サービスとしてのソフトウェア」(SaaS)として、関連する動作のパフォーマンスをサポートするように動作し得る。たとえば、動作のうちの少なくともいくつかは、(プロセッサを含む機械の例として)コンピュータのグループによって実行されてもよく、これらの動作は、ネットワーク(たとえば、インターネット)を介して、および1つまたは複数の適切なインターフェース(たとえば、アプリケーションプログラムインターフェース(API))を介してアクセス可能である。
特定の動作のパフォーマンスは、単一の機械内に存在するだけでなく、いくつかの機械にわたって展開されて、プロセッサ間で分散され得る。いくつかの例示的な実施形態では、プロセッサまたはプロセッサ実装エンジンは、単一の地理的位置(たとえば、家庭環境、オフィス環境、またはサーバファーム内)に配置され得る。他の例示的な実施形態では、プロセッサまたはプロセッサ実装エンジンは、いくつかの地理的位置にわたって分散され得る。
本明細書を通じて、複数のインスタンスが、単一のインスタンスとして説明されている構成要素、動作、または構造を実装し得る。1つまたは複数の方法の個々の動作は別々の動作として図示および説明されているが、個々の動作のうちの1つまたは複数は同時に実行されてもよく、動作が図示の順序で実行される必要はない。例示的な構成において別々の構成要素として提示された構造および機能は、組み合わされた構造または構成要素として実装され得る。同様に、単一の構成要素として提示された構造および機能は、別々の構成要素として実装され得る。これらおよび他の変形形態、修正形態、追加、および改良は、本明細書の主題の範囲内に含まれる。
主題の概要を特定の例示的な実施形態を参照して説明したが、本開示のより広い範囲の実施形態から逸脱することなしに、これらの実施形態に対して様々な修正および変更が加えられてよい。主題のそのような実施形態は、単に便宜上、および実際には複数が開示される場合、本明細書の範囲を自発的に任意の単一の開示または概念に限定することを意図することなしに、「発明」という用語によって、個々にまたは集合的に、本明細書で言及され得る。
本明細書に示された実施形態は、当業者が開示された教示を実施することを可能にするために十分に詳細に記載されている。本開示の範囲から逸脱することなしに構造的および論理的な置換および変更が行われ得るように、他の実施形態が使用され、そこから導出され得る。したがって、詳細な説明は限定的な意味で解釈されるべきではなく、様々な実施形態の範囲は、添付の特許請求の範囲と、そのような特許請求の範囲が権利を与えられる等価物の全範囲によってのみ定義される。
本明細書に記載される、および/または添付の図面に示される流れ図中の任意のプロセスの説明、要素、またはブロックは、プロセス中の特定の論理機能またはステップを実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されるべきである。当業者には理解されるように、関与する機能に応じて、要素または機能が削除され、実質的に同時にまたは逆の順序を含めて、図示または説明される順序とは異なる順序で実行され得る本明細書に記載の実施形態の範囲内に、代替の実装形態が含まれる。
本明細書で使用されるとき、「または」という用語は、包括的な意味、または排他的な意味のいずれかで解釈され得る。さらに、本明細書で単一のインスタンスとして説明されているリソース、動作、または構造のために複数のインスタンスが提供され得る。さらに、様々なリソース、動作、エンジン、およびデータストア間の境界は幾分任意であり、特定の動作は特定の例示的な構成の文脈において示されている。機能の他の割当ても想定されており、本開示の様々な実施形態の範囲内にあり得る。一般に、例示的な構成において別々のリソースとして提示された構造および機能は、組み合わされた構造またはリソースとして実装され得る。同様に、単一のリソースとして提示された構造および機能は、別々のリソースとして実装され得る。これらおよび他の変形形態、修正形態、追加、および改良は、添付の特許請求の範囲によって表される本開示の実施形態の範囲内に含まれる。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味で見なされるべきである。
特に明記されない限り、または使用される文脈の中で理解されない限り、とりわけ、「することができる」、「することができた」、「することがある」、または「し得る」などの条件付き言語は、一般に、他の実施形態は含まないが、特定の実施形態は特定の特徴、要素、および/またはステップを含むことを伝えることが意図される。したがって、そのような条件付き言語は、一般に、特徴、要素、および/またはステップが、1つまたは複数の実施形態にとっていかなる意味でも必要であること、あるいは1つまたは複数の実施形態は、これらの特徴、要素、および/またはステップが含まれるかどうか、または任意の特定の実施形態において実行されるべきかどうかを、ユーザ入力またはプロンプトの有無にかかわらず、決定するためのロジックを必ず含むことを暗示することが意図されるものではない。
100 環境
102 コンピューティングシステム
102 システム
104 プロセッサ
106 メモリ
108 データストア
109 データストア
110 コンピューティングデバイス
111 コンピューティングデバイス
112 コンピューティングデバイス
120 コンピューティングデバイス
200 システム
202 プラットフォームデータ
204 タグ情報
206 クエリ
208 クエリ
210 タグ付けされたユーザ
300 プラットフォームデータ
310 プラットフォームデータ
320 プラットフォームデータ
400 方法
420 方法
500 システム
502 バス
504 ハードウェアプロセッサ
506 メインメモリ
508 読出し専用メモリ(ROM)
510 ストレージデバイス
518 通信インターフェース

Claims (20)

  1. グループタグ付けのためのコンピューティングシステムであって、
    プラットフォームデータにアクセス可能な1つまたは複数のプロセッサであって、前記プラットフォームデータが、複数のユーザと複数の関連付けられるデータフィールドとを備える、1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに、
    ユーザの第1のサブセットと、ユーザの前記第1のサブセットに関連付けられる1つまたは複数の第1のタグとを取得するステップと、
    前記関連付けられるデータフィールドのうちの1つまたは複数について、それぞれ、ユーザの前記第1のサブセットと前記複数のユーザのうちの少なくとも一部との間の少なくとも差を決定するステップと、
    前記差が第1のしきい値を超えるという決定に応答して、前記対応するデータフィールドを重要なデータフィールドとして決定するステップと、
    ユーザの前記第1のサブセットに関連付けられる前記対応する1つまたは複数の重要なデータフィールドのデータをポジティブサンプルとして決定するステップと、
    前記1つまたは複数の重要なデータフィールドに基づいて、ユーザの第2のサブセットと、前記プラットフォームデータからの関連付けられるデータとをネガティブサンプルとして取得するステップと、
    トレーニング済みのグループタグ付けルールモデルを取得するために、前記ポジティブサンプルとネガティブサンプルを使用してルールモデルをトレーニングするステップと
    を実行させる命令を記憶するメモリと
    を備える、コンピューティングシステム。
  2. 前記プラットフォームデータが、前記複数のユーザの各々に対応する表形式データを備え、
    前記データフィールドが、データ次元またはデータメトリックのうちの少なくとも1つを備える、請求項1に記載のシステム。
  3. 前記複数のユーザが前記プラットフォームのユーザであり、
    前記プラットフォームが車両情報プラットフォームであり、
    前記データフィールドが場所、使用回数、取引金額、または苦情の数の少なくとも1つを備える、請求項1に記載のシステム。
  4. ユーザの第1のサブセットを取得するステップが、前記プラットフォームデータに完全にアクセスすることなしに、1人または複数のアナリストからユーザの前記第1のサブセットの識別を受信するステップを備える、請求項1に記載のシステム。
  5. 前記プラットフォームデータが、ユーザの前記第1のサブセットを取得する前に前記第1のタグを備えない、請求項1に記載のシステム。
  6. 前記差がカルバックライブラー情報量である、請求項1に記載のシステム。
  7. ユーザの前記第2のサブセットが、前記1つまたは複数の重要なデータフィールドに関する類似性測定値に基づいて、第3のしきい値を超えて、ユーザの前記第1のサブセットとは異なる、請求項1に記載のシステム。
  8. 前記ルールモデルが決定木モデルである、請求項1に記載のシステム。
  9. 前記トレーニング済みのグループタグ付けルールモデルが、前記複数のユーザのうちの1人または複数に前記第1のタグを割り当てるべきかどうかを決定する、請求項1に記載のシステム。
  10. 前記命令が、システムに、
    前記複数のユーザおよび前記複数のユーザに追加された新しいユーザをタグ付けするために、前記トレーニング済みのグループタグ付けルールモデルを適用するステップをさらに実行させる、請求項1に記載のシステム。
  11. 複数のユーザからユーザの第1のサブセットと、ユーザの前記第1のサブセットに関連付けられる1つまたは複数の第1のタグとを取得するステップであって、前記複数のユーザおよび複数の関連付けられるデータフィールドがプラットフォームデータの一部である、ステップと、
    前記関連付けられるデータフィールドのうちの1つまたは複数について、それぞれ、ユーザの前記第1のサブセットと前記複数のユーザのうちの少なくとも一部との間の少なくとも差を決定するステップと、
    前記差が第1のしきい値を超えるという決定に応答して、前記対応するデータフィールドを重要なデータフィールドとして決定するステップと、
    ユーザの前記第1のサブセットに関連付けられる前記対応する1つまたは複数の重要なデータフィールドのデータをポジティブサンプルとして決定するステップと、
    前記1つまたは複数の重要なデータフィールドに基づいて、ユーザの第2のサブセットと、前記プラットフォームデータからの関連付けられるデータとをネガティブサンプルとして取得するステップと、
    トレーニング済みのグループタグ付けルールモデルを取得するために、前記ポジティブサンプルとネガティブサンプルを使用してルールモデルをトレーニングするステップと
    を備える、グループタグ付け方法。
  12. 前記プラットフォームデータが、前記複数のユーザの各々に対応する表形式データを備え、
    前記データフィールドが、データ次元またはデータメトリックのうちの少なくとも1つを備える、請求項11に記載の方法。
  13. 前記複数のユーザが前記プラットフォームのユーザであり、
    前記プラットフォームが車両情報プラットフォームであり、
    前記データフィールドが場所、使用回数、取引金額、または苦情の数の少なくとも1つを備える、請求項11に記載の方法。
  14. ユーザの第1のサブセットを取得するステップが、前記プラットフォームデータに完全にアクセスすることなしに、1人または複数のアナリストからユーザの前記第1のサブセットの識別を受信するステップを備える、請求項11に記載の方法。
  15. 前記プラットフォームデータが、ユーザの前記第1のサブセットを取得する前に前記第1のタグを備えない、請求項11に記載の方法。
  16. 前記差がカルバックライブラー情報量である、請求項11に記載の方法。
  17. ユーザの前記第2のサブセットが、前記1つまたは複数の重要なデータフィールドに関する類似性測定値に基づいて、第3のしきい値を超えて、ユーザの前記第1のサブセットとは異なる、請求項11に記載の方法。
  18. 前記ルールモデルが決定木モデルである、請求項11に記載の方法。
  19. 前記複数のユーザおよび前記複数のユーザに追加された新しいユーザをタグ付けするために、前記トレーニング済みのグループタグ付けルールモデルを適用するステップをさらに備える、請求項11に記載の方法。
  20. プラットフォームの複数のエンティティの第1のサブセットを取得するステップであって、エンティティの前記第1のサブセットが第1のタグでタグ付けされ、プラットフォームデータが、1つまたは複数のデータフィールドに関する前記複数のエンティティのデータを備える、ステップと、
    エンティティの前記第1のサブセットの1つまたは複数のデータフィールドのデータと、前記複数のエンティティのうちのいくつかの他のエンティティのデータとの間の少なくとも差を決定するステップと、
    前記差が第1のしきい値を超えるという決定に応答して、エンティティの前記第1のサブセットに関連付けられる対応するデータをポジティブサンプルとして取得し、前記複数のエンティティの第2のサブセットに関連付けられる対応するデータをネガティブサンプルとして取得するステップと、
    トレーニング済みのグループタグ付けルールモデルを取得するために、前記ポジティブサンプルとネガティブサンプルを使用してルールモデルをトレーニングするステップであって、前記トレーニング済みのグループタグ付けルールモデルが、既存のエンティティまたは新しいエンティティが前記第1のタグを得る資格があるかどうかを決定する、ステップと、
    を備える、グループタグ付け方法。
JP2018569002A 2017-04-20 2017-04-20 学習ベースのグループタグ付けのためのシステムおよび方法 Pending JP2019528506A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/081279 WO2018191918A1 (en) 2017-04-20 2017-04-20 System and method for learning-based group tagging

Publications (1)

Publication Number Publication Date
JP2019528506A true JP2019528506A (ja) 2019-10-10

Family

ID=63853929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018569002A Pending JP2019528506A (ja) 2017-04-20 2017-04-20 学習ベースのグループタグ付けのためのシステムおよび方法

Country Status (12)

Country Link
US (1) US20180307720A1 (ja)
EP (1) EP3461287A4 (ja)
JP (1) JP2019528506A (ja)
KR (1) KR102227593B1 (ja)
CN (2) CN109690571B (ja)
AU (1) AU2017410367B2 (ja)
BR (1) BR112018077404A8 (ja)
CA (1) CA3029428A1 (ja)
PH (1) PH12018550213A1 (ja)
SG (1) SG11201811624QA (ja)
TW (1) TW201843609A (ja)
WO (1) WO2018191918A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983200B2 (en) * 2017-07-31 2024-05-14 Rakuten Group, Inc. Processing system, processing device, processing method, program, and information storage medium
US11354351B2 (en) * 2019-01-31 2022-06-07 Chooch Intelligence Technologies Co. Contextually generated perceptions
CN114430489A (zh) * 2020-10-29 2022-05-03 武汉斗鱼网络科技有限公司 一种虚拟道具的补偿方法以及相关设备
CN112559900B (zh) * 2021-02-26 2021-06-04 深圳索信达数据技术有限公司 产品推荐方法、装置、计算机设备和存储介质
CN115604027B (zh) * 2022-11-28 2023-03-14 中南大学 网络指纹识别模型训练方法、识别方法、设备及存储介质
CN115859118B (zh) * 2022-12-23 2023-08-11 摩尔线程智能科技(北京)有限责任公司 数据的获取方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
JP2015184823A (ja) * 2014-03-20 2015-10-22 株式会社東芝 モデルパラメータ算出装置、モデルパラメータ算出方法およびコンピュータプログラム
JP2016197423A (ja) * 2016-06-16 2016-11-24 株式会社Zmp サーバシステム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963870B2 (en) * 2002-05-14 2005-11-08 Microsoft Corporation System and method for processing a large data set using a prediction model having a feature selection capability
US20090077081A1 (en) * 2007-09-19 2009-03-19 Joydeep Sen Sarma Attribute-Based Item Similarity Using Collaborative Filtering Techniques
JP2009157606A (ja) * 2007-12-26 2009-07-16 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
US9153084B2 (en) * 2012-03-14 2015-10-06 Flextronics Ap, Llc Destination and travel information application
US9053185B1 (en) * 2012-04-30 2015-06-09 Google Inc. Generating a representative model for a plurality of models identified by similar feature data
DE202013100073U1 (de) * 2012-12-21 2014-04-01 Xerox Corp. Benutzerprofilerstellung zum Schätzen der Druckleistung
CN104111946B (zh) * 2013-04-19 2018-08-07 腾讯科技(深圳)有限公司 基于用户兴趣的聚类方法和装置
US9870465B1 (en) * 2013-12-04 2018-01-16 Plentyoffish Media Ulc Apparatus, method and article to facilitate automatic detection and removal of fraudulent user information in a network environment
CN104090888B (zh) * 2013-12-10 2016-05-11 深圳市腾讯计算机系统有限公司 一种用户行为数据的分析方法和装置
US10193775B2 (en) * 2014-10-09 2019-01-29 Splunk Inc. Automatic event group action interface
CN104504460A (zh) * 2014-12-09 2015-04-08 北京嘀嘀无限科技发展有限公司 预测叫车平台的用户流失的方法和装置
US9558344B2 (en) * 2015-03-18 2017-01-31 International Business Machines Corporation Proximity based authentication for striped data
JP6383688B2 (ja) * 2015-03-23 2018-08-29 日本電信電話株式会社 データ解析装置、方法、及びプログラム
US10037506B2 (en) * 2015-04-27 2018-07-31 Xero Limited Benchmarking through data mining
US10097973B2 (en) * 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
CN105488697A (zh) * 2015-12-09 2016-04-13 焦点科技股份有限公司 一种基于客户行为特征的潜在客户挖掘方法
CN105631749A (zh) * 2015-12-24 2016-06-01 成都陌云科技有限公司 基于统计数据的用户画像计算方法
CN105354343B (zh) * 2015-12-24 2018-08-14 成都陌云科技有限公司 基于远程对话的用户特征挖掘方法
CN105608194A (zh) * 2015-12-24 2016-05-25 成都陌云科技有限公司 社交媒体中用于主体特征分析的方法
CN106250382A (zh) * 2016-01-28 2016-12-21 新博卓畅技术(北京)有限公司 一种元数据管理引擎系统及实现方法
CN105959745B (zh) * 2016-05-25 2019-10-22 北京铭嘉实咨询有限公司 广告投放方法和系统
CN106296343A (zh) * 2016-08-01 2017-01-04 王四春 一种基于互联网和大数据的电子商务交易监测方法
CN106296305A (zh) * 2016-08-23 2017-01-04 上海海事大学 大数据环境下的电商网站实时推荐系统与方法
US20180157663A1 (en) * 2016-12-06 2018-06-07 Facebook, Inc. Systems and methods for user clustering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
JP2015184823A (ja) * 2014-03-20 2015-10-22 株式会社東芝 モデルパラメータ算出装置、モデルパラメータ算出方法およびコンピュータプログラム
JP2016197423A (ja) * 2016-06-16 2016-11-24 株式会社Zmp サーバシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HWANJO YU, ET AL.: "PEBL: Positive Example Based Learning for Web Page Classification Using SVM", KDD '02: PROCEEDINGS OF THE EIGHTH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DA, JPN7020000471, July 2002 (2002-07-01), pages 239 - 248, XP058609267, ISSN: 0004354792, DOI: 10.1145/775047.775083 *

Also Published As

Publication number Publication date
CN109690571A (zh) 2019-04-26
KR102227593B1 (ko) 2021-03-15
CN111931845A (zh) 2020-11-13
CN111931845B (zh) 2024-06-21
CN109690571B (zh) 2020-09-18
EP3461287A4 (en) 2019-05-01
PH12018550213A1 (en) 2019-10-28
SG11201811624QA (en) 2019-01-30
EP3461287A1 (en) 2019-04-03
WO2018191918A1 (en) 2018-10-25
US20180307720A1 (en) 2018-10-25
TW201843609A (zh) 2018-12-16
AU2017410367A1 (en) 2019-01-31
BR112018077404A2 (pt) 2019-04-09
KR20190015410A (ko) 2019-02-13
BR112018077404A8 (pt) 2023-01-31
AU2017410367B2 (en) 2020-09-10
CA3029428A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
JP2019528506A (ja) 学習ベースのグループタグ付けのためのシステムおよび方法
US11074434B2 (en) Detection of near-duplicate images in profiles for detection of fake-profile accounts
US11003795B2 (en) Identification of optimal data utility-preserving anonymization techniques by evaluation of a plurality of anonymization techniques on sample data sets that correspond to different anonymization categories
US9858327B2 (en) Inferring application type based on input-output characteristics of application storage resources
US8321358B2 (en) Interpersonal relationships analysis system and method which computes distances between people in an image
KR20190019892A (ko) 결정 모델 구성 방법 및 장치, 컴퓨터 장치 및 저장 매체
US9411917B2 (en) Methods and systems for modeling crowdsourcing platform
CN110679114B (zh) 一种估计数据对象可删除性的方法
US10997279B2 (en) Watermarking anonymized datasets by adding decoys
US11221986B2 (en) Data management method and data analysis system
CN112818162A (zh) 图像检索方法、装置、存储介质和电子设备
US20160371349A1 (en) In-database connectivity components analysis of data
US9965328B2 (en) Selective and piecemeal data loading for computing efficiency
US20150331889A1 (en) Method of Image Tagging for Identifying Regions and Behavior Relationship between Different Objects
WO2019174392A1 (zh) 针对rpc信息的向量处理
US20230139396A1 (en) Using learned physical knowledge to guide feature engineering
US20140244521A1 (en) Systems and methods for legal data processing
Jana et al. Classification into two-parameter exponential populations with a common guarantee time
CN112785320B (zh) 信用风险的确定方法及装置、存储介质和电子设备
US20150106301A1 (en) Predictive modeling in in-memory modeling environment method and apparatus
US20200272852A1 (en) Clustering
CN116383154A (zh) 文件处理方法、文件处理装置、电子设备及存储介质
WO2017193136A1 (en) Method and system for providing weighted evaluation
CN117078411A (zh) 资金流向路径的确定方法、确定装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201005