JP2020181578A - データ処理方法、装置、及び媒体 - Google Patents
データ処理方法、装置、及び媒体 Download PDFInfo
- Publication number
- JP2020181578A JP2020181578A JP2020076886A JP2020076886A JP2020181578A JP 2020181578 A JP2020181578 A JP 2020181578A JP 2020076886 A JP2020076886 A JP 2020076886A JP 2020076886 A JP2020076886 A JP 2020076886A JP 2020181578 A JP2020181578 A JP 2020181578A
- Authority
- JP
- Japan
- Prior art keywords
- elements
- causal
- distribution
- observation sample
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims description 27
- 230000001364 causal effect Effects 0.000 claims abstract description 203
- 238000009826 distribution Methods 0.000 claims abstract description 41
- 238000003860 storage Methods 0.000 claims abstract description 24
- 238000003672 processing method Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 16
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 18
- 230000036772 blood pressure Effects 0.000 description 17
- 238000005457 optimization Methods 0.000 description 17
- 238000011161 development Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000000747 cardiac effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002730 additional effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 206010020751 Hypersensitivity Diseases 0.000 description 3
- 208000026935 allergic disease Diseases 0.000 description 3
- 230000007815 allergy Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 150000003943 catecholamines Chemical class 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000036513 peripheral conductance Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000015243 ice cream Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Strategic Management (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
Abstract
Description
いくつの実施例において、要素jに関連するスコアは下式で計算される。
Claims (25)
- 複数の要素の対応する観測値を含む1つの観測サンプルを含む、前記複数の要素に関する観測サンプル集合を取得することと、
前記複数の要素における各要素ごとに、前記観測サンプル集合に基づいて、前記要素の観測値と、前記複数の要素における少なくとも1つの他の要素の観測値及び前記少なくとも1つの他の要素が前記要素への影響に基づいて特定される前記要素の推定値との間の差が従う分布を推定することと、
少なくとも推定された前記分布に基づいて、前記複数の要素の間の因果関係を示す因果構造を特定することと、を含むデータ処理方法。 - 前記複数の要素は目標要素を含み、
前記方法は、さらに、
特定された前記因果構造に基づいて、前記複数の要素から前記目標要素の原因となる少なくとも1つの要素を特定することと、
前記少なくとも1つの要素の観測値を変更することで、前記目標要素の観測値を影響することと、を含む請求項1に記載の方法。 - さらに、
前記少なくとも1つの要素の変更後の観測値を含む少なくとも1つの観測サンプルを含む、前記複数の要素に関する変更後の観測サンプル集合を取得することと、
前記変更後の観測サンプル集合に基づいて、前記因果構造を最適化することと、を含む請求項2に記載の方法。 - 前記分布を推定することは、
前記少なくとも1つの他の要素が前記要素への前記影響を推定することと、
前記影響、前記観測サンプル集合における前記要素の観測値、及び前記少なくとも1つの他の要素の観測値に基づいて、前記分布を推定することと、を含む請求項1に記載の方法。 - 前記影響を推定することは、
B-スプライン回帰アルゴリズムを使用して前記影響を推定することを含む請求項4に記載の方法。 - 前記分布を推定することは、
カーネル密度推定アルゴリズムを使用して前記分布を推定することを含む請求項4に記載の方法。 - 前記分布はガウス分布と異なる請求項1に記載の方法。
- 前記因果構造を特定することは、
前記分布に基づいて、前記因果構造を特定するための、ペナルティ項が含まれない目標関数を生成することと、
前記目標関数を最小化することで、前記因果構造を特定することと、を含む請求項1に記載の方法。 - 前記因果構造は有向非巡回グラフで表され、前記有向非巡回グラフは前記複数の要素に対応する複数のノードを含み、
前記複数の要素における複数の要素ペアの第1要素ペアの因果関係のスコアは、前記第1要素ペアにおける一方の要素が他方の要素である原因の尤度を示し、
前記因果構造を特定することは、
前記分布に基づいて、前記複数の要素ペアに関連する複数の因果関係のスコアを特定することと、
繰り返す回数が閾値の数に達するまで、
前記複数の因果関係のスコアを比較することで、前記複数の要素ペアの中、第2要素ペアにおける第1要素が前記第2要素ペアにおける第2要素の原因であることを示し、かつ最大尤度に関連する前記第2要素ペアを特定する操作と、
前記有向非巡回グラフに、前記第1要素に対応する第1ノードから前記第2要素に対応する第2ノードへ向く辺を追加する操作と、
前記複数の因果関係のスコアの中、前記第2要素に関連する1つ又は複数の因果関係のスコアを更新操作と、
を繰り返して実行することと、を含む請求項1に記載の方法。 - 前記閾値の数は前記複数の要素ペアの数から特定される請求項9に記載の方法。
- さらに、
前記複数の要素から因果関係が存在可能な2つの要素を、前記複数の要素ペアの1つとして特定することを含む請求項9に記載の方法。 - さらに、
スパース回帰アルゴリズムを使用して、前記有向非巡回グラフの辺を最適化することを含む請求項9に記載の方法。 - 少なくとも1つの処理ユニットと、
前記少なくとも1つの処理ユニットにカップリングされ、かつ前記少なくとも1つの処理ユニットにより実行される命令を記憶するための少なくとも1つのメモリと、を備え、
前記命令が前記少なくとも1つの処理ユニットにより実行されると、
複数の要素の対応する観測値を含む1つの観測サンプルを含む、前記複数の要素に関する観測サンプル集合を取得することと、
前記複数の要素における各要素ごとに、前記観測サンプル集合に基づいて、前記要素の観測値と、前記複数の要素における少なくとも1つの他の要素の観測値及び前記少なくとも1つの他の要素が前記要素への影響に基づいて特定される前記要素の推定値との間の差が従う分布を推定することと、
少なくとも推定された前記分布に基づいて、前記複数の要素の間の因果関係を示す因果構造を特定することと、を含む動作を実行するデータ処理用の装置。 - 前記複数の要素は目標要素を含み、
前記動作は、さらに、
特定された前記因果構造に基づいて、前記複数の要素から前記目標要素の原因となる少なくとも1つの要素を特定することと、
前記少なくとも1つの要素の観測値を変更することで、前記目標要素の観測値を影響することと、を含む請求項13に記載の装置。 - 前記動作は、さらに、
前記少なくとも1つの要素の変更後の観測値を含む少なくとも1つの観測サンプルを含む、前記複数の要素に関する変更後の観測サンプル集合を取得することと、
前記変更後の観測サンプル集合に基づいて、前記因果構造を最適化することと、を含む請求項14に記載の装置。 - 前記分布を推定することは、
前記少なくとも1つの他の要素が前記要素への前記影響を推定することと、
前記影響、前記観測サンプル集合における前記要素の観測値、及び前記少なくとも1つの他の要素の観測値に基づいて、前記分布を推定することと、を含む請求項13に記載の装置。 - 前記影響を推定することは、
B-スプライン回帰アルゴリズムを使用して前記影響を推定することを含む請求項16に記載の装置。 - 前記分布を推定することは、
カーネル密度推定アルゴリズムを使用して前記分布を推定することを含む請求項16に記載の装置。 - 前記分布はガウス分布と異なる請求項13に記載の装置。
- 前記因果構造を特定することは、
前記分布に基づいて、前記因果構造を特定するための、ペナルティ項が含まれない目標関数を生成することと、
前記目標関数を最小化することで、前記因果構造を特定することと、を含む請求項13に記載の装置。 - 前記因果構造は有向非巡回グラフで表され、前記有向非巡回グラフは前記複数の要素に対応する複数のノードを含み、
前記複数の要素における複数の要素ペアの第1要素ペアの因果関係のスコアは、前記第1要素ペアにおける一方の要素が他方の要素である原因の尤度を示し、
前記因果構造を特定することは、
前記分布に基づいて、前記複数の要素ペアに関連する複数の因果関係のスコアを特定することと、
繰り返す回数が閾値の数に達するまで、
前記複数の因果関係のスコアを比較することで、前記複数の要素ペアの中、第2要素ペアにおける第1要素が前記第2要素ペアにおける第2要素の原因であることを示し、かつ最大尤度に関連する前記第2要素ペアを特定する操作と、
前記有向非巡回グラフに前記第1要素に対応する第1ノードから前記第2要素に対応する第2ノードへ向く辺を追加する操作と、
前記複数の因果関係のスコアの中、前記第2要素に関連する1つ又は複数の因果関係のスコアを更新操作と、
を繰り返して実行することと、を含む請求項13に記載の装置。 - 前記閾値の数は前記複数の要素ペアの数から特定される請求項21に記載の装置。
- 前記動作は、さらに、
前記複数の要素から因果関係が存在可能な2つの要素を、前記複数の要素ペアの1つとして特定することを含む請求項21に記載の装置。 - 前記動作は、さらに、
スパース回帰アルゴリズムを使用して、前記有向非巡回グラフの辺を最適化することを含む請求項21に記載の装置。 - 機械により実行可能な命令を記憶しており、前記機械により実行可能な命令がデバイスにより実行されると、前記デバイスに請求項1〜12のいずれか1項に記載の方法を実行させるコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910335036.8 | 2019-04-24 | ||
CN201910335036.8A CN111861519A (zh) | 2019-04-24 | 2019-04-24 | 用于数据处理的方法、装置和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020181578A true JP2020181578A (ja) | 2020-11-05 |
Family
ID=72917241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076886A Pending JP2020181578A (ja) | 2019-04-24 | 2020-04-23 | データ処理方法、装置、及び媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11531836B2 (ja) |
JP (1) | JP2020181578A (ja) |
CN (1) | CN111861519A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11693879B2 (en) * | 2021-05-19 | 2023-07-04 | Business Objects Software Ltd. | Composite relationship discovery framework |
CN114881124B (zh) * | 2022-04-21 | 2023-07-25 | 北京百度网讯科技有限公司 | 因果关系图的构建方法、装置、电子设备和介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6882990B1 (en) * | 1999-05-01 | 2005-04-19 | Biowulf Technologies, Llc | Methods of identifying biological patterns using multiple data sets |
US7444308B2 (en) * | 2001-06-15 | 2008-10-28 | Health Discovery Corporation | Data mining platform for bioinformatics and other knowledge discovery |
US7624074B2 (en) * | 2000-08-07 | 2009-11-24 | Health Discovery Corporation | Methods for feature selection in a learning machine |
US10210430B2 (en) * | 2016-01-26 | 2019-02-19 | Fabula Ai Limited | System and a method for learning features on geometric domains |
-
2019
- 2019-04-24 CN CN201910335036.8A patent/CN111861519A/zh active Pending
-
2020
- 2020-04-23 US US16/856,675 patent/US11531836B2/en active Active
- 2020-04-23 JP JP2020076886A patent/JP2020181578A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20200342262A1 (en) | 2020-10-29 |
CN111861519A (zh) | 2020-10-30 |
US11531836B2 (en) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11240125B2 (en) | System and method for predicting and reducing subscriber churn | |
JP7052016B2 (ja) | 訓練データを更新するための方法、システム、およびコンピュータ・プログラム | |
JP2021532488A (ja) | データセットのための機械学習モデルの好適性の決定 | |
JP2021527288A (ja) | データセットのための機械学習モデルの好適性の検出 | |
CN108763556A (zh) | 基于需求词的用户挖掘方法及装置 | |
JP7294369B2 (ja) | 情報処理に用いられる方法、装置、電子機器及びプログラム | |
JP7398761B2 (ja) | 短期時系列予測に向けた予期的学習方法及びシステム | |
US20220292315A1 (en) | Accelerated k-fold cross-validation | |
JP2020181578A (ja) | データ処理方法、装置、及び媒体 | |
US20170116616A1 (en) | Predictive tickets management | |
JP2024016198A (ja) | データ処理方法、装置及び媒体 | |
Fanjiang et al. | Time series QoS forecasting for Web services using multi-predictor-based genetic programming | |
US11989656B2 (en) | Search space exploration for deep learning | |
CN110909146B (zh) | 用于推送反问标签的标签推送模型训练方法、装置及设备 | |
WO2021021433A1 (en) | Machine learning system to predict causal treatment effects of actions performed on websites or applications | |
US11475324B2 (en) | Dynamic recommendation system for correlated metrics and key performance indicators | |
JP2019185207A (ja) | モデル学習装置、モデル学習方法、プログラム | |
CN112133420A (zh) | 数据处理方法、装置和计算机可读存储介质 | |
CN111767290B (zh) | 用于更新用户画像的方法和装置 | |
US11321424B2 (en) | Predicting variables where a portion are input by a user and a portion are predicted by a system | |
Cortez | A tutorial on using the rminer R package for data mining tasks | |
JP6558860B2 (ja) | 推定装置、予測装置、方法、及びプログラム | |
US11710068B2 (en) | Labeling a dataset | |
CN110796262B (zh) | 机器学习模型的测试数据优化方法、装置及电子设备 | |
CN117349129B (zh) | 车辆销售过程服务系统的异常优化方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240610 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240625 |