CN115293222A - 用于从深度学习分类模型确定不确定性的系统、方法和计算机程序产品 - Google Patents

用于从深度学习分类模型确定不确定性的系统、方法和计算机程序产品 Download PDF

Info

Publication number
CN115293222A
CN115293222A CN202210480981.9A CN202210480981A CN115293222A CN 115293222 A CN115293222 A CN 115293222A CN 202210480981 A CN202210480981 A CN 202210480981A CN 115293222 A CN115293222 A CN 115293222A
Authority
CN
China
Prior art keywords
determining
classification
uncertainty score
model
uncertainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210480981.9A
Other languages
English (en)
Inventor
吴朋
王丹
蔡一伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visa International Service Association
Original Assignee
Visa International Service Association
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visa International Service Association filed Critical Visa International Service Association
Publication of CN115293222A publication Critical patent/CN115293222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了用于从深度学习分类模型确定不确定性的系统。一种用于从深度学习分类模型确定不确定性的系统可包括至少一个处理器，所述处理器被编程或配置成：基于深度学习分类模型确定输入的分类；生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作；以及响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。还公开了方法和计算机程序产品。

Description

用于从深度学习分类模型确定不确定性的系统、方法和计算 机程序产品
相关申请的交叉引用
本申请要求2021年5月3日提交的第63/183,113号美国临时专利申请的权益，所述美国临时专利申请的公开内容特此以全文引用的方式并入本文中。
技术领域
本公开大体上涉及深度学习模型，并且在一些非限制性方面或实施例中，涉及用于从深度学习分类模型确定不确定性的系统、方法和计算机程序产品。
背景技术
随着越来越多地使用深度学习分类，希望理解并量化模型输出的不确定性。现有的确定模型结果的预测概率的方法不会得到真实置信度得分，也无法处理难以预测的数据。使用基于样本的方法来训练数据对于具有大量数据的生产环境是计算上低效且不可行的。此外，现有系统将通常不考虑或忽略不满足预定阈值的不可靠预测，从而使数据的有用性取决于设定的可能不精确阈值。
发明内容
根据非限制性实施例或方面，提供一种系统，包括：至少一个处理器，其被编程或配置成：基于深度学习分类模型确定输入的分类；生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
在非限制性实施例或方面中，所述至少一个处理器进一步被编程或配置成：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。在非限制性实施例或方面中，所述至少一个处理器被编程或配置成基于所述深度学习概率模型生成所述分类的所述不确定性得分。在非限制性实施例或方面中，所述至少一个处理器被编程或配置成：基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。在非限制性实施例或方面中，所述至少一个处理器被编程或配置成：确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。在非限制性实施例或方面中，所述输入包括所请求交易的交易数据，并且所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
根据非限制性实施例或方面，提供一种方法，包括：基于深度学习分类模型确定输入的分类；生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。在非限制性实施例或方面中，所述方法进一步包括：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。在非限制性实施例或方面中，所述方法进一步包括：基于所述深度学习概率模型生成所述分类的所述不确定性得分。在非限制性实施例或方面中，所述方法进一步包括：基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。在非限制性实施例或方面中，所述方法进一步包括：确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。在非限制性实施例或方面中，所述输入包括所请求交易的交易数据，并且所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
根据非限制性实施例或方面，提供一种计算机程序产品，包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括程序指令，所述程序指令在由至少一个处理器执行时使得所述至少一个处理器：基于深度学习分类模型确定输入的分类；生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
在非限制性实施例或方面中，所述程序指令进一步使得所述至少一个处理器：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。在非限制性实施例或方面中，所述程序指令进一步使得所述至少一个处理器：基于所述深度学习概率模型生成所述分类的所述不确定性得分。在非限制性实施例或方面中，所述程序指令进一步使得所述至少一个处理器：基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。在非限制性实施例或方面中，所述程序指令进一步使得所述至少一个处理器：确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。在非限制性实施例或方面中，所述输入包括所请求交易的交易数据，并且所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
根据非限制性实施例或方面，提供一种系统，包括：至少一个处理器，其被编程或配置成：基于深度学习分类模型确定输入的分类；确定对应于所述深度学习分类模型的一个层的至少两个神经元的两个参数；至少部分地基于所述两个参数生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
在非限制性实施例或方面中，所述至少一个处理器进一步被编程或配置成：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。在非限制性实施例或方面中，所述至少一个处理器进一步被编程或配置成：基于所述深度学习分类模型的预测概率的贝塔分布确定所述两个参数的值。在非限制性实施例或方面中，所述层包括罗吉特层，并且所述至少一个处理器进一步被编程或配置成：确定所述深度学习分类模型的所述罗吉特层的所述两个参数的值。
根据非限制性实施例或方面，提供一种方法，包括：基于深度学习分类模型确定输入的分类；确定对应于所述深度学习分类模型的一个层的至少两个神经元的两个参数；至少部分地基于所述两个参数生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
在非限制性实施例或方面中，所述方法进一步包括：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。在非限制性实施例或方面中，所述方法进一步包括：基于所述深度学习分类模型的预测概率的贝塔分布确定所述两个参数的值。在非限制性实施例或方面中，所述层包括罗吉特层，所述方法进一步包括：确定所述深度学习分类模型的所述罗吉特层的所述两个参数的值。
根据非限制性实施例或方面，提供一种计算机程序产品，包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括程序指令，所述程序指令在由至少一个处理器执行时使得所述至少一个处理器：基于深度学习分类模型确定输入的分类；确定对应于所述深度学习分类模型的一个层的至少两个神经元的两个参数；至少部分地基于所述两个参数生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
在非限制性实施例或方面中，所述程序指令进一步使得所述至少一个处理器：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。在非限制性实施例或方面中，所述程序指令进一步使得所述至少一个处理器：基于所述深度学习分类模型的预测概率的贝塔分布确定所述两个参数的值。在非限制性实施例或方面中，所述层包括罗吉特层，并且所述程序指令进一步使得所述至少一个处理器：确定所述深度学习分类模型的所述罗吉特层的所述两个参数的值。
在以下编号条款中阐述其它实施例或方面。
条款1：一种系统，包括：至少一个处理器，其被编程或配置成：基于深度学习分类模型确定输入的分类；生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
条款2：根据条款1所述的系统，其中所述至少一个处理器进一步被编程或配置成：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
条款3：根据条款1或2所述的系统，其中所述至少一个处理器被编程或配置成：基于所述深度学习概率模型生成所述分类的所述不确定性得分。
条款4：根据条款1至3中任一项所述的系统，其中所述至少一个处理器被编程或配置成：基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
条款5：根据条款1至4中任一项所述的系统，其中所述至少一个处理器被编程或配置成：确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
条款6：根据条款1至5中任一项所述的系统，其中所述输入包括所请求交易的交易数据，并且其中所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
条款7：一种方法，包括：基于深度学习分类模型确定输入的分类；生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
条款8：根据条款7所述的方法，进一步包括：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
条款9：根据条款7或8所述的方法，进一步包括：基于所述深度学习概率模型生成所述分类的所述不确定性得分。
条款10：根据条款7至9中任一项所述的方法，进一步包括：基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
条款11：根据条款7至10中任一项所述的方法，进一步包括：确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
条款12：根据条款7至11中任一项所述的方法，其中所述输入包括所请求交易的交易数据，并且其中所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
条款13：一种计算机程序产品，包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括程序指令，所述程序指令在由至少一个处理器执行时使得所述至少一个处理器：基于深度学习分类模型确定输入的分类；生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
条款14：根据条款13所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
条款15：根据条款13或14所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：基于所述深度学习概率模型生成所述分类的所述不确定性得分。
条款16：根据条款13至15中任一项所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
条款17：根据条款13至16中任一项所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
条款18：根据条款13至17中任一项所述的计算机程序产品，其中所述输入包括所请求交易的交易数据，并且其中所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
条款19：一种系统，包括：至少一个处理器，其被编程或配置成：基于深度学习分类模型确定输入的分类；确定对应于所述深度学习分类模型的一个层的至少两个神经元的两个参数；至少部分地基于所述两个参数生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
条款20：根据条款19所述的系统，其中所述至少一个处理器进一步被编程或配置成：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
条款21：根据条款19或20所述的系统，其中所述至少一个处理器进一步被编程或配置成：基于所述深度学习分类模型的预测概率的贝塔分布确定所述两个参数的值。
条款22：根据条款19至21中任一项所述的系统，其中所述层包括罗吉特层，并且其中所述至少一个处理器进一步被编程或配置成：确定所述深度学习分类模型的所述罗吉特层的所述两个参数的值。
条款23：一种方法，包括：基于深度学习分类模型确定输入的分类；确定对应于所述深度学习分类模型的一个层的至少两个神经元的两个参数；至少部分地基于所述两个参数生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
条款24：根据条款23所述的方法，进一步包括：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
条款25：根据条款23或24所述的方法，进一步包括：基于所述深度学习分类模型的预测概率的贝塔分布确定所述两个参数的值。
条款26：根据条款23至25中任一项所述的方法，其中所述层包括罗吉特层，进一步包括：确定所述深度学习分类模型的所述罗吉特层的所述两个参数的值。
条款27：一种计算机程序产品，包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括程序指令，所述程序指令在由至少一个处理器执行时使得所述至少一个处理器：基于深度学习分类模型确定输入的分类；确定对应于所述深度学习分类模型的一个层的至少两个神经元的两个参数；至少部分地基于所述两个参数生成所述分类的不确定性得分；确定所述不确定性得分是否满足阈值；以及响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
条款28：根据条款27所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
条款29：根据条款27或28所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：基于所述深度学习分类模型的预测概率的贝塔分布确定所述两个参数的值。
条款30：根据条款27至29中任一项所述的计算机程序产品，其中所述层包括罗吉特层，并且其中所述程序指令进一步使得所述至少一个处理器：确定所述深度学习分类模型的所述罗吉特层的所述两个参数的值。
参考附图基于以下描述和所附权利要求书，当前公开的主题的这些和其它特征和特性，以及相关结构元件和各部分组合的操作方法和功能以及制造经济性将变得更加显而易见，所有附图形成本说明书的部分，其中相同的附图标记表示各图中的对应部分。然而，应明确地理解，图式仅用于说明及描述的目的，且不希望作为对本公开的限制的定义。除非上下文另外明确规定，否则在本说明书和权利要求书中使用时，单数形式“一”和“所述”包括多个指示物。
附图说明
下文参考附图中示出的示例性实施例或方面更详细地解释所公开主题的额外优点和细节，在附图中：
图1是根据非限制性方面或实施例的用于从深度学习分类模型确定不确定性的系统的示意图；
图2是根据非限制性方面或实施例的用于从深度学习分类模型确定不确定性的方法的流程图；
图3是根据非限制性方面或实施例的用于从深度学习分类模型确定不确定性的方法的流程图；
图4是根据非限制性实施例的贝塔分布算法(Beta distribution algorithm)的图式；
图5是根据非限制性实施例的高斯罗吉特算法(Gaussian logits algorithm)的图式；并且
图6是根据非限制性方面或实施例的图1的一个或多个装置的组件的图式。
具体实施方式
下文出于描述的目的，术语“端”、“上”、“下”、“右”、“左”、“竖直”、“水平”、“顶部”、“底部”、“横向”、“纵向”以及其衍生词应涉及本公开如其在附图中的定向。然而，应理解，除了明确指定相反情况之外，本公开可以采用各种替代变化和步骤序列。还应理解，附图中示出和在下文说明书中描述的特定装置和过程仅仅是本公开的示例性实施例或方面。因此，除非另有指示，否则与本文公开的实施例或实施例的方面相关联的特定维度和其它物理特性不应被视为限制。
本文所使用的方面、组件、元件、结构、动作、步骤、功能、指令等都不应当被理解为关键的或必要的，除非明确地如此描述。另外，如本文所使用，冠词“一”希望包括一个或多个项目，且可与“一个或多个”和“至少一个”互换使用。此外，如本文所使用，术语“集合”希望包括一个或多个项目(例如，相关项目、不相关项目、相关项目与不相关项目的组合等)，并且可与“一个或多个”或“至少一个”互换使用。在希望仅有一个项目的情况下，使用术语“一个”或类似语言。且，如本文中所使用，术语“具有”等希望是开放式术语。另外，除非另外明确陈述，否则短语“基于”希望意味着“至少部分地基于”。
如本文所使用，术语“通信”和“传送”可指数据(例如，信息、信号、消息、指令、命令等)的接收、接受、发送、传送、提供等。一个单元(例如，装置、系统、装置或系统的组件、其组合等)与另一单元通信意味着所述一个单元能够直接或间接地从所述另一单元接收信息和/或向所述另一单元发送(例如，发送)信息。这可以指代本质上有线和/或无线的直接或间接连接。另外，尽管所发送的信息可以在第一单元与第二单元之间被修改、处理、中继和/或路由，但这两个单元也可以彼此通信。例如，即使第一单元被动地接收信息且不会主动地将信息发送到第二单元，第一单元也可与第二单元通信。作为另一示例，如果至少一个中间单元(例如，位于第一单元与第二单元之间的第三单元)处理从第一单元接收的信息且将处理后的信息发送到第二单元，则第一单元可与第二单元通信。在一些非限制性实施例中，消息可以指包括数据的网络数据包(例如，数据包等)。
如本文中所使用，术语“计算装置”可以指被配置成处理数据的一个或多个电子装置。在一些示例中，计算装置可以包括接收、处理和输出数据的必要组件，例如处理器、显示器、存储器、输入装置、网络接口等。计算装置可以是移动装置。作为示例，移动装置可以包括蜂窝电话(例如，智能手机或标准蜂窝电话)、便携式计算机、可穿戴装置(例如，手表、眼镜、镜片、衣物等)、个人数字助理(PDA)和/或其它类似装置。计算装置还可以是台式计算机或其它形式的非移动计算机。
如本文所使用，术语“发行方”、“发行方机构”、“发行方银行”或“支付装置发行方”可指向个体(例如，用户、客户等)提供用于进行例如信用卡支付交易和/或借记卡支付交易的支付交易的账户的一个或多个实体。例如，发行方机构可以向客户提供唯一地标识与所述客户相关联的一个或多个账户的账户标识符，例如主账号(PAN)。在一些非限制性实施例中，发行方可以与唯一地标识发行方机构的银行标识号(BIN)相关联。如本文所使用，“发行方系统”可以指由发行方或代表发行方操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的服务器。例如，发行方系统可包括用于授权交易的一个或多个授权服务器。
如本文所使用，术语“商家”可以指基于支付交易等交易向用户(例如，客户、消费者等)提供商品和/或服务和/或对商品和/或服务的访问的一个或多个实体(例如，零售业务的运营商)。如本文所使用，“商家系统”可以指由商家或代表商家操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的服务器。如本文所使用，术语“产品”可指由商家提供的一个或多个商品和/或服务。
如本文所使用，术语“服务器”可指或包括由互联网等网络环境中的多方操作或促进所述多方的通信和处理的一个或多个计算装置，但应了解，可通过一个或多个公共或专用网络环境促进通信，并且可能有各种其它布置。此外，在网络环境中直接或间接通信的多个计算装置(例如服务器、销售点(POS)装置、移动装置等)可构成“系统”。如本文所使用，对“服务器”或“处理器”的提及可指陈述为实施先前步骤或功能的先前所述服务器和/或处理器、不同的服务器和/或处理器，和/或服务器和/或处理器的组合。例如，如在说明书和权利要求书中所使用，陈述为实施第一步骤或功能的第一服务器和/或第一处理器可指代陈述为实施第二步骤或功能的相同或不同服务器和/或处理器。
如本文所使用，术语“交易服务提供商”可指从商家或其它实体接收交易授权请求且在一些情况下通过交易服务提供商与发行方机构之间的协议来提供支付保证的实体。例如，交易服务提供商可包括支付网络，例如
Figure BDA0003627833900000081
American
Figure BDA0003627833900000082
或处理交易的任何其它实体。如本文所使用，“交易服务提供商系统”可以指由交易服务提供商或代表交易服务提供商操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的交易服务提供商系统。交易服务提供商系统可以包括一个或多个处理器，且在一些非限制性实施例中，可以由交易服务提供商或代表交易服务提供商操作。
如本文所使用，术语“不确定性得分”是指表示模型的分类输出的不确定性(或确定性)和/或置信度(或置信度缺乏)的度量。不确定性得分可以正值或负值(例如，确定性/置信度或确定性/置信度缺乏)表示。
提供了用于从深度学习分类模型确定不确定性的系统、方法和计算机程序产品。非限制性实施例得到不确定性得分，所述不确定性得分可输入到决策模型中以用于在多个应用程序中进行高效且智能的决策。此外，非限制性实施例提供了在训练期间对人工神经网络(ANN)分类模型的神经元的优化，从而使得与现有的基于采样的训练方法相比得到更快且更高效的计算。
与现有技术相比，非限制性实施例提供了一种用以确定并量化模型的不确定性的更快且计算更高效的方法。通过使用本文所描述的非限制性实施例，使模型的训练和运行时执行都更加高效。此外，非限制性实施例提供了一种可作为服务提供的管道，所述服务在收到客户端用户的请求时自动进行不确定性确定。
现参考图1，示出了用于从深度学习分类模型102确定不确定性的系统1000的图式。如图1所示，系统1000包括与深度学习分类模型102通信的客户端装置100(例如，计算装置)。例如，模型102可以由一个或多个服务器计算机存储和执行，或者可以在客户端装置100的本地。在非限制性实施例中，模型102可以由交易服务提供商执行，并且作为服务提供给客户端计算装置。
可以基于输入训练数据104训练模型102，所述输入训练数据包括每个数据记录的特征和对应分类(例如，标记)。模型102可以是经预先训练的和/或可以响应于客户端装置100或另一计算装置输入训练数据104而进行训练。一旦模型102经过训练，客户端装置100就将输入101传送到模型102。在非限制性实施例中，输入可以包括待由模型102分类(例如，标记)的账户配置文件、授权请求消息、交易数据等。模型102输出分类105(例如，标记)和不确定性得分106。输出105、106可以用作决策引擎107的输入，所述决策引擎可以包括被配置成输出待基于输入105、106执行的动作112的计算装置和/或软件应用程序。在非限制性实施例中，决策引擎107可以是客户端装置100的一部分和/或由所述客户端装置执行。在其它非限制性实施例中，决策引擎107可以在客户端装置100的远程位置，并且可以是服务器计算机的一部分和/或由所述服务器计算机执行。
在一些实例中，继续参考图1，如果不确定性得分满足阈值(例如，等于、小于和/或大于阈值)，如由决策引擎107所确定，则可以将分类105和不确定性得分106输入到决策模型108。在一些实例中，决策模型108可以包括确定使用模型102输出的分类105的逻辑。在其它实例中，决策模型108可以包括单独的模型，包括但不限于单独的机器学习模型，例如深度学习模型和/或用于动态地确定待基于输入105、106执行的动作112的任何其它模型。
应了解，不确定性得分106可以多种方式反映不确定性，使得高不确定性得分106可以指示比相对较低不确定性得分106更大的不确定性或更小的不确定性。不确定性得分可以在任何定义的值范围内，例如0-1、1-100等。如果不确定性得分未能满足阈值，则决策引擎107可以确定待基于规则数据110执行的动作112。例如，规则数据110可以包括商家指定的规则、发行方指定的规则、交易服务提供商指定的规则等。规则数据110可以包括例如商家和/或发行方针对所有不确定结果(例如，满足与高度不确定性相关联的阈值的不确定性得分)指定的预定动作。
在非限制性实施例中，深度学习分类模型102可以经训练以确定其输出的分类(例如，标记)的不确定性得分。这可以通过在训练期间直接优化在深度学习分类模型102中使用的ANN的特定神经元来完成。在一些非限制性实施例中，贝塔分布算法可以用于如本文所描述的训练。在一些非限制性实施例中，高斯罗吉特算法可以用于如本文所描述的训练。
图4示出了根据非限制性实施例的贝塔分布算法的图式。在利用贝塔分布算法的非限制性实施例中，可训练用于深度学习分类模型102的ANN的两个神经元以表示描述预测概率p的贝塔概率分布的两个参数(α,β)，其中p被视为随机变量而不是确定值。然后在损失函数中使用所述概率来进行训练。以此方式，深度学习用于将预测概率建模为随机变量以使其具有概率分布，并且概率分布所表示的信息可用于构造不确定性得分。。这通过以下等式说明。
Figure BDA0003627833900000101
其中
Figure BDA0003627833900000102
预测概率p用于确定预测分类的不确定性得分(例如，置信区间)。因此，对于模型102的每个新输入101，可以推断贝塔分布的对应两个参数，并且可以基于这些推断出的参数确定预测概率和不确定性得分(例如，置信区间)。
在非限制性实施例中，使用置信区间来量化不确定性得分。例如，预测概率pi可以计算为：
Figure BDA0003627833900000103
其中变量表示为：
Figure BDA0003627833900000104
预测分类(例如，预测标记)表示为：
Figure BDA0003627833900000105
在上述表示中，0.5是指定阈值(例如，临界值)，以使得在置信区间为[0.45,0.55]的实例中，所述间隔包含0.5的值且指示不确定性，并且在置信区间为[0.7,0.9]的实例中，所述间隔不包含0.5的值且指示确定性。
然后，可以采用以下等式确定分类输出的预测置信区间：
Figure BDA0003627833900000111
图5示出了根据非限制性实施例的高斯罗吉特算法的图式。在使用高斯罗吉特算法而不是贝塔分布算法的非限制性实施例中，可以通过量化用于模型102的ANN的第二层至最后一层(例如，预测概率层之前的罗吉特层)上的神经元的值来确定不确定性得分。在此类实施例中，所述值可以量化为具有两个参数μ、σ的高斯(例如，正常)分布。模型102可以经训练以学习每组输入训练数据的这两个参数值。首先针对所述罗吉特层的参数确定不确定性得分(例如，置信区间)。然后，可以将预测概率的不确定性得分(例如，模型102的最终得分输出)确定为罗吉特层的参数的不确定性得分的sigmoid激活函数。例如，每个数据元素的罗吉特值zi可以通过重新参数化获得，其中
Figure BDA0003627833900000112
其中∈ij～N(0,1)和L表示数个蒙特卡洛样本。在非限制性实施例中，为简单起见，可以使用值L＝1，但应了解，可以使用各种值。
在非限制性实施例中，罗吉特值的置信区间表示为
Figure BDA0003627833900000113
因此，所估计概率的置信区间为：(±/2*)，其中α为sigmoid激活函数。
在非限制性实施例中，用于训练模型102的损失函数具有两个部分＝1+2，其中1是常规交叉熵，并且2可以表示为以下等式：
Figure BDA0003627833900000114
在非限制性实施例中，两部分损失函数惩罚接近零(0)的σ项(例如，低于阈值)，这会将不确定性强加到网络中，并且所述函数惩罚更大的σ值(例如，高于阈值)以减少变化性。
在非限制性实施例中，使用置信区间来量化不确定性。例如，预测概率
Figure BDA0003627833900000115
可以计算为：
Figure BDA0003627833900000116
其中变量表示为：
Figure BDA0003627833900000117
预测分类(例如，预测标记)表示为：
Figure BDA0003627833900000121
其中t是预测概率的阈值(例如，临界值)。
然后，可以采用以下等式确定分类输出的预测双侧置信区间：
Figure BDA0003627833900000122
其中
Figure BDA0003627833900000123
是标准正态分布的
Figure BDA0003627833900000124
百分位数的值，并且Α是置信水平(例如，指示样本中的统计估计值对于群体也是真实的概率)。在此实例中，所提出的不确定性度量可表示为：
Figure BDA0003627833900000125
现参考图2，示出了用于从深度学习分类模型确定不确定性的方法的流程图。图2中的步骤仅用于示例性目的，并且应了解，可在非限制性实施例中使用额外、更少和/或不同的步骤顺序。在步骤200，用已标记数据训练深度学习分类模型。如本文所解释，深度学习分类模型的ANN的两个神经元的两个或更多个参数经训练用于量化分类不确定性。在将服务提供到客户端计算机以用于对数据进行分类的非限制性实施例中，可在执行步骤200之前由客户端计算机提供训练数据(例如，特征和对应标记)。
继续参考图2，在步骤202，可以用深度学习分类模型处理输入。例如，服务可以允许客户端计算机向服务器计算机发送包含待分类的数据的请求(例如，经由应用程序编程接口(API)或其它类似接口)。分类可以试图对数据进行分类(例如，标记)，例如将交易数据和/或用户数据分类为针对特定过程被批准或拒绝。在步骤204，深度学习分类模型输出所输入数据的分类(例如，标记)和相关联的不确定性得分。
在步骤206，确定不确定性得分是否满足阈值(例如，等于、小于和/或大于阈值)。例如，如果分类的不确定性大于或等于阈值(或如果对应的置信度得分小于阈值)，则所述方法可以进行到步骤210，其中基于一个或多个规则确定动作。例如，实体(例如，发行方或商户)可以预先配置规则，以指定在分类缺乏置信度时要执行的自动动作和/或决策逻辑。所述动作可基于某个值(例如，交易值)、不确定性程度和/或任何其它预配置逻辑。在一些实例中，所述方法可以从步骤210返回步骤200，并且可以用步骤210的结果训练模型。在一些非限制性实施例中，在步骤206，如果分类的不确定性大于或等于阈值(或如果对应的置信度得分小于阈值)，则所述方法可以在不执行步骤210的情况下进行到步骤200以用于重新训练模型。
如果在步骤206确定分类足够确定(例如，如果不确定性低于阈值，如果置信度得分超过阈值，等等)，则所述方法进行到步骤208，并且可以基于决策模型确定动作。在非限制性实例中，决策模型可以是对深度学习分类模型的输出的接受(例如，深度学习分类模型的标记输出可以得到维持并且对应于动作)。
系统1000的非限制性实施例可用于处理电子支付处理网络中的交易数据(例如，个别交易、交易组等)。例如，深度学习分类模型102可用于替代处理(stand-inprocessing，STIP)，其中交易服务提供商或另一实体代替可能离线或暂时不可用的发行方系统处理并授权交易。在这种情况下，如果分类的不确定性得分和/或置信度得分满足阈值，则可以根据决策模型108对STIP交易进行分类和自动授权或拒绝。同样，分类为具有不满足阈值的置信度的STIP交易可能会经历基于规则的决策(例如，发行方基于交易金额等进行授权或拒绝的预定决策)。在另一实例中，深度学习分类模型102可用于账户验证，其中商家试图验证特定账户是否信誉良好。在这种情况下，账户信息(例如，账户的交易历史)可以被分类为已验证或未验证，并且具有不确定性得分和/或置信度得分。因此，如果不确定性得分和/或置信度得分满足阈值，则可以自动验证账户。如果不确定性得分和/或置信度得分不满足阈值，则所述决策可能会经历基于规则的决策(例如，商家基于特定参数和/或阈值验证账户的预定决策)。
在非限制性实施例中，使用系统的输出来训练“三代”对抗网络(“triple”Generational Adversarial Network，TripleGAN)。例如，对于其中不确定性得分和/或置信度得分满足阈值的每个数据条目(例如，置信数据)，可将已分类数据(例如，已标记数据)输入到TripleGAN模型中，对于所有其它数据条目(例如，不太置信的数据)，可将未分类数据(例如，未标记数据)输入到TripleGAN模型中。
现参考图3，示出了根据非限制性实施例的用于训练TripleGAN模型的方法的流程图。图3中的步骤仅用于示例性目的，并且应了解，可在非限制性实施例中使用额外、更少和/或不同的步骤顺序。在步骤300，将训练数据输入(例如，已标记数据)提供给深度学习分类模型，所述深度学习分类模型输出分类(例如，标记)和不确定性得分(或置信度得分)。在步骤302，确定不确定性得分是否满足阈值(例如，等于、小于和/或大于阈值)。例如，如果分类的不确定性大于或等于阈值(或如果对应的置信度得分小于阈值)，则所述方法可以进行到步骤306，其中删除从步骤300产生的分类(例如，标记)(例如，忽略所述标记以使得输入特征不相关联)。否则，所述方法进行到步骤304，并且维持从步骤300产生的分类(例如，标记)(例如，与输入特征相关联)。
继续参考图4，在步骤308，使用已标记模型输出(例如，步骤304的结果)、未标记模型输出(例如，步骤306的结果)和原始训练数据输入来训练TripleGAN模型。TripleGAN模型可以包括生成器，所述生成器基于原始训练数据生成样本输入数据以将其连同已标记样本一起输入到鉴别器中，从而标识正确的特征/标记对。TripleGAN包括分类器(例如，分类模型)，以连同生成器一起有助于描述特征(例如，数据)与分类(例如，标记)之间的条件分布。在训练TripleGAN模型之后，可以在步骤310将新输入(例如，未标记特征)输入到TripleGAN模型中以进行分类。
现参考图6，示出了根据非限制性实施例的用于实施和执行本文所描述的系统和方法的计算装置900的示例组件的图式。在一些非限制性实施例中，与图6所示的那些相比，装置900可包括额外组件、更少组件、不同组件或以不同方式布置的组件。装置900可包括总线902、处理器904、存储器906、存储组件908、输入组件910、输出组件912和通信接口914。总线902可包括准许装置900的组件之间的通信的组件。在一些非限制性实施例中，处理器904可在硬件、固件或硬件与软件的组合中实施。例如，处理器904可包括处理器(例如中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等)、微处理器、数字信号处理器(DSP)和/或可被编程以执行功能的任何处理组件(例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、虚拟或扩增实境描绘系统及装置等)。存储器906可包括随机存取存储器(RAM)、只读存储器(ROM)，和/或存储供处理器904使用的信息和/或指令的另一类型的动态或静态存储装置(例如，闪存存储器、磁存储器、光学存储器等)。
继续参考图6，存储组件908可以存储与装置900的操作和使用相关的信息和/或软件。例如，存储组件908可包括硬盘(例如磁盘、光盘、磁光盘、固态磁盘等)和/或另一类型的计算机可读介质。输入组件910可包括准许装置900例如通过用户输入(例如触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风等)接收信息的组件。另外或替代地，输入组件910可包括用于感测信息的传感器(例如全球定位系统(GPS)组件、加速度计、陀螺仪、致动器等)。输出组件912可包括从装置900提供输出信息的组件(例如显示器、扬声器、一个或多个发光二极管(LED)等)。通信接口914可包括使装置900能够例如通过有线连接、无线连接或有线和无线连接的组合与其它装置通信的收发器类组件(例如收发器、单独的接收器和传送器等)。通信接口914可准许装置900从另一装置接收信息和/或提供信息给另一装置。例如，通信接口914可包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003627833900000141
接口、蜂窝网络接口，和/或其类似者。
装置900可执行本文中所描述的一个或多个过程。装置900可基于处理器904执行由存储器906和/或存储组件908等计算机可读介质存储的软件指令来执行这些过程。计算机可读介质可包括任何非瞬态存储器装置。存储器装置包括位于单个物理存储装置内部的存储器空间或散布于多个物理存储装置上的存储器空间。软件指令可通过通信接口914从另一计算机可读介质或从另一装置读取到存储器906和/或存储组件908中。在被执行时，存储在存储器906和/或存储组件908中的软件指令可使处理器904执行本文中所描述的一个或多个过程。另外或替代地，硬接线电路系统可替代软件指令或与软件指令结合使用以执行本文中所描述的一个或多个过程。因此，本文所描述的实施例不限于硬件电路系统和软件的任何特定组合。本文所使用的术语“被编程或配置”是指一个或多个装置上的软件、硬件电路系统或其任何组合的布置。
尽管已出于说明的目的而基于当前被认为是最实用和优选的方面或实施例详细描述了示例，但应理解，此类细节仅用于所述目的，且本公开所描述的原理不限于所公开方面或实施例，而相反，旨在涵盖属于所附权利要求书的精神和范围内的修改和等效布置。例如，应理解，本公开预期，尽可能地，任何实施例的一个或多个特征可以与任何其它实施例的一个或多个特征组合。

Claims (20)

1.一种系统，包括：
至少一个处理器，其被编程或配置成：
基于深度学习分类模型确定输入的分类；
生成所述分类的不确定性得分；
确定所述不确定性得分是否满足阈值；
响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作；以及
响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
2.根据权利要求1所述的系统，其中所述不确定性得分包括基于预测概率的置信区间。
3.根据权利要求1所述的系统，其中所述至少一个处理器被编程或配置成生成所述分类的所述不确定性得分作为所述深度学习分类模型的输出。
4.根据权利要求1所述的系统，其中所述至少一个处理器被编程或配置成：
基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
5.根据权利要求1所述的系统，其中所述至少一个处理器被编程或配置成：
确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
6.根据权利要求1所述的系统，其中所述输入包括所请求交易的交易数据，并且其中所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
7.根据权利要求1所述的系统，进一步包括服务器计算机，所述服务器计算机包括所述至少一个处理器，其中所述输入是从与所述服务器计算机通信的客户端计算机接收到的。
8.一种方法，包括：
基于深度学习分类模型确定输入的分类；
生成所述分类的不确定性得分；
确定所述不确定性得分是否满足阈值；以及
响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作。
9.根据权利要求8所述的方法，进一步包括：
响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
10.根据权利要求8所述的方法，进一步包括：
生成所述分类的所述不确定性得分作为所述深度学习分类模型的输出。
11.根据权利要求8所述的方法，进一步包括：
基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
12.根据权利要求8所述的方法，进一步包括：
确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
13.根据权利要求8所述的方法，其中所述输入包括所请求交易的交易数据，并且其中所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
14.一种计算机程序产品，包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括程序指令，所述程序指令在由至少一个处理器执行时使得所述至少一个处理器：
基于深度学习分类模型确定输入的分类；
生成所述分类的不确定性得分；
确定所述不确定性得分是否满足阈值；
响应于确定所述不确定性得分满足所述阈值，基于决策模型确定自动动作；以及
响应于确定所述不确定性得分不满足所述阈值，基于至少一个预定义规则确定所述自动动作。
15.根据权利要求14所述的计算机程序产品，其中所述不确定性得分包括基于预测概率的置信区间。
16.根据权利要求14所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：
生成所述分类的所述不确定性得分作为所述深度学习分类模型的输出。
17.根据权利要求14所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：
基于所述深度学习概率模型确定预测概率的贝塔分布的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
18.根据权利要求14所述的计算机程序产品，其中所述程序指令进一步使得所述至少一个处理器：
确定所述深度学习概率模型的罗吉特层的两个参数，其中生成所述分类的所述不确定性得分是基于所述两个参数而进行的。
19.根据权利要求14所述的计算机程序产品，其中所述输入包括所请求交易的交易数据，并且其中所述自动动作包括以下至少一项：验证与所述所请求交易相关联的账户、接受替代处理请求并处理所述交易，或拒绝所述替代处理请求。
20.根据权利要求14所述的计算机程序产品，其中所述至少一个处理器布置在至少一个服务器计算机中，并且其中所述输入是从与所述服务器计算机通信的客户端计算机接收到的。
CN202210480981.9A 2021-05-03 2022-05-05 用于从深度学习分类模型确定不确定性的系统、方法和计算机程序产品 Pending CN115293222A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163183113P 2021-05-03 2021-05-03
US63/183,113 2021-05-03
US17/727,861 US20220366214A1 (en) 2021-05-03 2022-04-25 Systems, Methods, and Computer Program Products for Determining Uncertainty from a Deep Learning Classification Model
US17/727,861 2022-04-25

Publications (1)

Publication Number Publication Date
CN115293222A true CN115293222A (zh) 2022-11-04

Family

ID=83820043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210480981.9A Pending CN115293222A (zh) 2021-05-03 2022-05-05 用于从深度学习分类模型确定不确定性的系统、方法和计算机程序产品

Country Status (2)

Country Link
US (1) US20220366214A1 (zh)
CN (1) CN115293222A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900325B2 (en) * 2021-07-19 2024-02-13 Accenture Global Solutions Limited Utilizing a combination of machine learning models to determine a success probability for a software product

Also Published As

Publication number Publication date
US20220366214A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11531987B2 (en) User profiling based on transaction data associated with a user
US11741475B2 (en) System, method, and computer program product for evaluating a fraud detection system
US20190164159A1 (en) Intelligent chargeback processing platform
CN110929799B (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
US11847572B2 (en) Method, system, and computer program product for detecting fraudulent interactions
CN112561685B (zh) 客户的分类方法和装置
US20220366488A1 (en) Transmitting proactive notifications based on machine learning model predictions
US20220215393A1 (en) Real-time updating of a security model
CN111814910A (zh) 异常检测方法、装置、电子设备及存储介质
Chen et al. A New Approach for Mobile Advertising Click‐Through Rate Estimation Based on Deep Belief Nets
CN111415167B (zh) 网络欺诈交易检测方法及装置、计算机存储介质和终端
CN116318989A (zh) 用于用户网络活动异常检测的系统、方法和计算机程序产品
US20210233106A1 (en) Multi-customer offer
CN114387074A (zh) 使用深度学习和生存模型进行欺诈预防的方法、系统和计算机程序产品
US20230046813A1 (en) Selecting communication schemes based on machine learning model predictions
CN115293222A (zh) 用于从深度学习分类模型确定不确定性的系统、方法和计算机程序产品
US11809808B2 (en) System, method, and computer program product for classifying service request messages
US20240233010A1 (en) Systems and methods for consolidating accounts
KR102376488B1 (ko) 금융사기 감지 방법
US20230057762A1 (en) Predicting a time of an event associated with an instrument using a machine learning model
CN116583851B (zh) 使用自动编码器清洗来自未标记数据集的噪声数据的系统、方法和计算机程序产品
US20240070671A1 (en) Systems and methods for detecting fraudulent activity
US11586979B2 (en) System, method, and computer program product for distributed cache data placement
US20240070681A1 (en) Systems and methods for entity resolution
US20240185369A1 (en) Biasing machine learning model outputs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination