CN117882041A - 包括为通过多层处理数据提供ai可解释性的技术的ai增强审计平台 - Google Patents
包括为通过多层处理数据提供ai可解释性的技术的ai增强审计平台 Download PDFInfo
- Publication number
- CN117882041A CN117882041A CN202280057802.9A CN202280057802A CN117882041A CN 117882041 A CN117882041 A CN 117882041A CN 202280057802 A CN202280057802 A CN 202280057802A CN 117882041 A CN117882041 A CN 117882041A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- presentation
- evidence
- interpretability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 149
- 238000012550 audit Methods 0.000 title description 12
- 238000012545 processing Methods 0.000 claims abstract description 149
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 81
- 238000011144 upstream manufacturing Methods 0.000 description 22
- 230000004044 response Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012800 visualization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000005067 remediation Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013496 data integrity verification Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002408 directed self-assembly Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
提供了用于为通过多层处理数据提供可解释性的系统和方法。输入层被配置为接收证据数据集，所述证据数据集包括多个证据项目，将证据处理模型应用于证据数据集以生成证据理解数据，以及生成输入层可解释性数据，其中输入层可解释性数据表示关于输入层对证据数据集的处理的信息。呈现层被配置为接收数据(证据理解数据和/或基于证据理解数据生成的数据)，将一个或多个呈现生成模型应用于接收的数据以生成呈现数据，以及生成呈现可解释性数据以呈现给用户，其中呈现层可解释性数据表示关于呈现层对接收数据集的处理的信息。
Description
相关申请的交叉引用
本申请要求2021年6月30日提交的美国临时申请No.63/217,119；2021年6月30日提交的美国临时申请No.63/217,123；2021年6月30日提交的美国临时申请No.63/217,127；2021年6月30日提交的美国临时申请No.63/217,131；以及2021年6月30日提交的美国临时申请No.63/217,134的优先权，这些申请的全部内容均通过引用并入本文中。
技术领域
本申请通常涉及AI可解释性，更具体地，涉及包括为通过多层处理数据提供AI可解释性的技术的AI增强审计平台。
背景技术
用于处理数据并基于处理后的数据生成裁决的已知技术包括具有允许数字数据的挖掘和汇总的数据仓库和/或数据集市能力的企业资源规划(ERP)系统。这些系统可以提供聚合的数字数据或仅通过简单数学公式处理的数据的直接联系。此外，已知的技术包括用于包括文本、图像和视频的多媒体内容的内容描述框架(例如参见构成多媒体元数据标准MPEG-7的基础的“Multimedia Content Description Framework”USP 6,564,263(L.D.Bergman、M.Y.Y.Kim、C.-S.Li、R.Mohan、J.R.Smith))。此外，已知的技术包括业务规则引擎，这些引擎允许业务规则的前向和反向链接作为推理过程的一部分。此外，已知的技术包括利用打勾标记、下拉菜单和工作纸上的解释的手动录入进行测试，或者利用圈出或突出显示感兴趣的区域进行测试。已知的自动化方法使用临时方法来识别需要跟进的结果，或者基于单层分类法/词汇表来定义输出。
发明内容
如上所述，用于处理数据并生成裁决的已知技术包括企业资源规划(ERP)系统，并且可以提供聚合的数字数据或仅通过简单数学公式处理的数据的直接联系。此外，已知的技术包括用于包括文本、图像和视频的多媒体内容的内容描述框架。此外，已知的技术包括业务规则引擎并且包括利用解释的手动录入进行测试。已知的自动化方法使用临时方法来识别需要跟进的结果，或者基于单层分类法/词汇表来定义输出。
然而，已知的业务规则引擎不保留它们应用的演绎过程的来源-例如，它们不保留引擎已应用的规则的日志。此外，已知的技术不提供可追溯性(包括完全可追溯性)以及通过各层的解释、推理、审议和裁决的来源，包括从原始证据到最终观察、结论和建议。此外，已知的技术没有提供呈现生成的建议和/或补救方面的灵活性，鉴于不断变化的需求的适应性，也不提供系统内必要变化的最小化和局部化。此外，已知的技术没有提供用于在多层中的每一层应用不同的分类法/词汇/逻辑，在多层中的每一层生成输出数据和可解释性输出，以及允许在不修改其他层的情况下对任何层进行局部修改的稳健且灵活的框架。
因而，需要用于跟踪通过多个互连层处理数据的推理和裁决过程的改进系统和方法，其中所述改进系统解决了上述缺陷中的一个或多个。
本文中公开了用于跟踪通过多个互连层处理数据的推理和裁决过程的系统和方法。在一些实施例中，本文中公开的技术可以应用于跟踪在审计过程期间通过多层处理证据数据和信息的推理和裁决过程。推理过程的细粒度可解释性对于人类审计员理解和相信结论和建议至关重要。在审议的每个阶段的跟踪的解耦可以实现最大的灵活性，同时在需要频繁更改所需的总结、结论和建议时最大限度地减少必要的修改。
在一些实施例中，提供了用于为通过多层处理数据提供可解释性的第一系统，所述第一系统包括一个或多个处理器，所述一个或多个处理器被配置为使所述第一系统提供：输入层，所述输入层被配置为：接收证据数据集，所述证据数据集包括多个证据项目；将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及生成输入层输出以呈现给用户，其中所述输入层输出表示所述输入层对所述证据数据集的处理；呈现层，所述呈现层被配置为：接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及生成呈现输出以呈现给用户，其中所述呈现输出包括所述呈现数据。
在所述第一系统的一些实施例中，所述一个或多个处理器被配置为提供：一个或多个中间层，所述一个或多个中间层被配置为：接收由所述输入层生成的证据理解数据；将一个或多个中间层处理模型应用于证据理解数据以生成由呈现层接收的数据；将由所述呈现层接收的数据提供给所述呈现层；以及生成中间层输出以呈现给用户，其中所述中间层输出表示所述一个或多个中间层对证据理解数据的处理。
在所述第一系统的一些实施例中，所述输入层和所述呈现层都被配置为应用各自的本体。
在所述第一系统的一些实施例中，所述一个或多个处理器被配置为：接收包括修改所述输入层的指令的用户输入；按照所述用户输入修改所述输入层而不修改所述呈现层。
在所述第一系统的一些实施例中，所述一个或多个处理器被配置为：接收包括修改所述呈现层的指令的用户输入；按照所述用户输入修改所述呈现层而不修改所述输入层。
在所述第一系统的一些实施例中，所述一个或多个处理器被配置为通过应用一个或多个机器学习模型对来自所述系统进行的一个或多个先前分析的输出数据进行分类来初始化所述呈现层。
在所述第一系统的一些实施例中，所述一个或多个处理器被配置为：接收表示一个或多个用户利用所述呈现输出的方式的利用数据；并按照所述利用数据自动修改所述呈现层。
在一些实施例中，提供了一种存储用于为通过多层处理数据提供可解释性的指令的非临时性计算机可读存储介质，其中所述指令被配置为由包括一个或多个处理器的系统执行，以使所述系统提供：输入层，所述输入层被配置为：接收证据数据集，所述证据数据集包括多个证据项目；将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及生成输入层输出以呈现给用户，其中所述输入层输出表示所述输入层对所述证据数据集的处理；呈现层，所述呈现层被配置为：接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及生成呈现输出以呈现给用户，其中所述呈现输出包括所述呈现数据。
在一些实施例中，提供了一种用于为通过多层处理数据提供可解释性的方法，其中所述方法由包括一个或多个处理器的系统进行，所述方法包括：通过所述系统的输入层：接收证据数据集，所述证据数据集包括多个证据项目；将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及生成输入层输出以呈现给用户，其中所述输入层输出表示所述输入层对所述证据数据集的处理；通过所述系统的呈现层：接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及生成呈现输出以呈现给用户，其中所述呈现输出包括所述呈现数据。
在一些实施例中，提供了用于为通过多个数据处理层处理数据提供可解释性的第二系统，所述第二系统包括一个或多个处理器，所述一个或多个处理器被配置为使所述第二系统：在输入层：接收证据数据集，所述证据数据集包括多个证据项目；将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及生成输入层可解释性数据，其中所述输入层可解释性数据表示关于所述输入层对所述证据数据集的处理的信息；在呈现层：接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及生成呈现层可解释性数据，其中所述呈现层可解释性数据表示关于所述输入层对接收数据的处理的信息；导致所述呈现数据的显示；以及导致以下中的一个或多个的显示：所述输入层可解释性数据和所述呈现层可解释性数据。
在一些实施例中，上述系统、方法或非临时性计算机可读存储介质中的任何一个或多个的任何一个或多个特征、特性或方面可以全部或部分地彼此组合，和/或与本文中的任何其他实施例或公开的任何一个或多个特征、特性、或方面(全部或部分)组合。
附图说明
参考附图描述了各个实施例，附图中：
图1示出了按照一些实施例的收入账户数据的数据处理的一个例子。
图2示出了按照一些实施例的销售订单的捕获。
图3示出了按照一些实施例的参照采购订单的销售订单的核单，参照提货单的装运的核单，以及参照各种支付细节的支付的核单。
图4示出了按照一些实施例的用于跟踪通过多个互连层处理数据的推理和裁决过程的系统的示意图。
图5示出了按照一些实施例的不同类别的数据的示图。
图6示出了按照一些实施例的用于证据评估的解释的本体。
图7示出了按照一些实施例的财务数据的数据处理的示意图。
图8图解说明了按照一些实施例的计算机的例子。
具体实施方式
如上所述，用于处理数据并生成裁决的已知技术包括企业资源规划(ERP)系统，并且可以提供聚合的数据或仅通过简单数学公式处理的数据的直接联系。此外，已知的技术包括用于包括文本、图像和视频的多媒体内容的内容描述框架。此外，已知的技术包括业务规则引擎并且包括利用解释的手动录入进行测试。已知的自动化方法使用临时方法来识别需要跟进的结果，或者基于单层分类法/词汇表来定义输出。
然而，已知的业务规则引擎不保留它们应用的演绎过程的来源-例如，它们不保留引擎已应用的规则的日志。此外，已知的技术不提供可追溯性(包括完全可追溯性)以及通过各层的解释、推理、审议和裁决的来源，包括从原始证据到最终观察、结论和建议。此外，已知的技术没有提供呈现生成的建议和/或补救方面的灵活性，鉴于不断变化的需求的适应性，也不提供系统内必要变化的最小化和局部化。此外，已知的技术没有提供用于在多层中的每一层应用不同的分类法/词汇/逻辑，在多层中的每一层生成输出数据和可解释性输出，以及允许在不修改其他层的情况下对任何层进行局部修改的稳健且灵活的框架。
因而，需要用于跟踪通过多个互连层处理数据的推理和裁决过程的改进系统和方法，其中所述改进系统解决了上述缺陷中的一个或多个。
本文中公开了用于跟踪通过多个互连层处理数据的推理和裁决过程的系统和方法。在一些实施例中，本文中公开的技术可以应用于跟踪在审计过程期间通过多层处理证据数据和信息的推理和裁决过程。推理过程的细粒度可解释性对于人类审计员理解和相信结论和建议至关重要。在审议的每个阶段的跟踪的解耦可以实现最大的灵活性，同时在需要频繁更改所需的总结、结论和建议时最大限度地减少必要的修改。
在一些实施例中，本公开中公开的系统和方法例如通过将一个或多个文档理解技术应用于所包含的数据还不是数字形式的摄取文档，为数字化还不是数字形式的证据提供完全的可解释性。在一些实施例中，文档可以经由包括文档的结构、语义和/或语言分析中的一个或多个的一个或多个文档理解操作来处理。在一些实施例中，系统可以应用一种或多种自然语言理解(NLU)技术从接收的文档中提取信息并基于所述摄取的文档生成结构化数据，使得所述结构化数据可以由一个或多个数据处理模型进一步处理，包括通过多层进行处理，以及用于在所述多层中的一个或多个层生成可解释的输出，如本文中所述。(本文中提及的任何数据处理操作可以包括通过机器学习训练的一个或多个模型的应用。)
在一些实施例中，本文中公开的系统和方法为在证据之间和/或证据当中的交叉验证期间过程和结果的解释提供完全的可解释性。
在一些实施例中，本文中公开的系统和方法为报告基于关于可用证据的输入数据的一个或多个最终裁决(例如，基于所提供的证据做出的评估、分类、量化、表征和/或得分)的结果提供完全的可解释性。例如，基于可用证据的裁决可能包括关于是否满足一项或多项会计政策和/或审计标准的裁决。
在一些实施例中，本公开中公开的系统和方法为描述从证据的完整性的评估中获得的模式、趋势和/或洞察，包括基于单个证据进行的评估和/或基于多个证据进行的评估，提供完全的可解释性。
在一些实施例中，本公开中公开的系统和方法为描述基于关于可用证据的输入数据的最终建议(例如，提供给一个或多个系统或用户的输出，其中所述输出指示建议的动作)，包括基于单个证据和/或基于多个证据生成的建议，提供完全的可解释性。
在一些实施例中，用于为数据处理提供可解释性的系统可以定义多个层，通过所述多个层可以处理数据。每一层可以由一个或多个处理器提供，包括其中各层由单独的处理器提供以及其中各层由相同的处理器提供的实施例。每一层可以接收给该层的输入数据，将一个或多个数据处理操作应用于所接收的输入数据以生成输出数据，并且可以生成可解释性数据以呈现给用户从而解释该层的输入数据、处理操作和/或输出数据。这些层可以相互通信互连，使得来自一个层的输出数据可以形成另一个层的全部或部分输入数据。
所述多个层可以包括输入层，输入层与一个或多个数据源可通信地耦接，所述数据源用于提供原始证据数据作为给输入层的输入。输入层可以将一个或多个数据处理操作应用于所接收的证据数据以生成输入层的输出数据。输入层然后可以将生成的输出数据提供给它通信连接到的一个或多个后续层，使得生成的输出数据可以被一个或多个后续层用作输入数据。输入层还可以生成可解释性输出，比如面向用户的可视化、报告或其他可以显示、发送和/或呈现给一个或多个用户的人类可读信息。输入层的可解释性输出可以指示关于输入层接收证据数据、处理所述证据数据、基于所述证据数据生成输出数据和/或将所述生成的输出数据提供给一个或多个后续层的方式的信息。在一些实施例中，输入层可被配置为提供对证据数据的细粒度精确解释。
所述多个层可以包括一个或多个中间层，所述中间层可以直接和/或间接地与输入层通信耦接并位于输入层的下游。中间层可以彼此串联和/或并联布置。中间层可以接收由输入层生成的输出数据作为输入数据。可替选地或另外地，中间层可以接收由另一个中间层生成的输出数据作为输入数据。中间层可以将一个或多个数据处理操作应用于所接收的数据以生成中间层的输出数据。中间层然后可以将生成的输出数据提供给它通信连接到的一个或多个后续层，使得生成的输出数据可以被一个或多个后续层(例如，另一个中间层和/或呈现层，如下所述)用作输入数据。中间层还可以生成中间层的可解释性输出，比如面向用户的可视化、报告或可以显示、发送和/或呈现给一个或多个用户的其他人类可读信息。中间层的可解释性输出可以指示关于中间层接收数据、处理所述接收的数据、基于所述接收的数据生成输出数据和/或将所述生成的输出数据提供给一个或多个后续层的方式的信息。在一些实施例中，中间层可以被配置用于提供多个相关证据的中间推理和裁决的可见性和可追溯性。
所述多个层可以包括呈现层，所述呈现层可以直接和/或间接地与一个或多个中间层和/或输入层通信耦接并位于其下游。呈现层可以接收由输入层和/或由一个或多个输入层生成的输出数据作为输入数据。呈现层可以将一个或多个数据处理操作应用于所接收的数据以生成呈现层的输出数据，其中呈现层的输出数据可以包括可执行的洞察、观察、解释、建议和/或补救。呈现层的输出数据可以显示、发送和/或呈现给一个或多个用户。呈现层的输出数据可以被存储、发送到一个或多个其他系统，和/或用于有选择地触发系统的一个或多个自动化动作。呈现层还可以生成呈现层的可解释性输出，比如面向用户的可视化、报告或可以显示、发送和/或呈现给一个或多个用户的其他人类可读信息。呈现层的可解释性输出可以指示关于呈现层接收数据、处理所述接收的数据、基于所述接收的数据生成输出数据和/或将所述生成的输出数据呈现或提供给一个或多个用户和/或一个或多个其他系统的方式的信息。在一些实施例中，呈现层可被配置用于呈现可执行的洞察、观察、解释、建议和补救。
系统可被配置为使得对于每一层建立相应的本体(例如，分类法和/或词汇表)。系统可以存储表示每一层的相应本体的数据。在一些实施例中，系统可以存储相应层的定义本体数据以使环境内的解释能够被标准化。在一些实施例中，相应层的本体可以被编码成原因代码；将本体数据编码成原因代码可以简化演绎和推理过程的追踪。
在一些实施例中，对于相应层存储的数据(例如包括相应层的本体)可以定义互连该层和系统的一个或多个其他层(例如，配置为从系统的一个或多个其他层接收数据和/或向其提供数据)的方式。
在一些实施例中，对于相应层存储的数据(例如包括相应层的本体)可以定义能够由该层应用的演绎推理过程，包括一个或多个确定性推理框架和/或一个或多个概率推理构架。在一些实施例中，对于相应层存储的数据(例如包括相应层的本体)可以定义能够由该层应用的归纳推理过程，包括一个或多个机器学习模型和/或一个或多个深度学习模型。在一些实施例中，对于相应层存储的数据(例如包括相应层的本体)可以定义能够由该层应用的溯因推理过程。在一些实施例中，对于相应层存储的数据(例如包括相应层的本体)可以定义能够由该层应用的通用逻辑过程。
在一些实施例中，系统可被配置为能够按照从用户接收的指令、按照关于系统性能的性能数据和/或按照从一个或多个其他系统接收的数据进行修改/重新配置。在一些实施例中，系统可被配置成使得可以在具有局部影响的情况下进行编码的修改。系统可被配置为使得能够修改定义任何一层的本体、数据处理操作、可解释性输出生成和/或层互连性的信息而不修改系统中的任何其他层。在一个例子中，呈现层的修改可以通过修改将呈现层连接到一个或多个上游层(例如，一个或多个中间层和/或输入层)而不修改上游层本身的逻辑规则来实现。在另一个例子中，输入层的修改可以通过修改将输入层连接到一个或多个下游层(例如，一个或多个中间层和/或呈现层)而不修改下游层本身的逻辑规则来实现。在另一个例子中，中间层的修改可以通过修改将中间层连接到一个或多个上游层或下游层(例如，输入层、一个或多个其他中间层和/或呈现层)而不修改上游层或下游层本身的逻辑规则来实现。
在一些实施例中，呈现层可以按照一个或多个有监督或无监督机器学习模型，比如一个或多个聚类模型和/或分类模型的结果来配置。在一些实施例中，呈现层可以至少部分地基于历史数据(例如，从一个或多个先前项目和/或先前分析获取的数据)来初始化。系统可以应用有监督或无监督学习模型对来自一个或多个先前分析的输出数据进行聚类/分类，例如通过将模型应用于表示来自一个或多个先前分析的评论、观察、总结、结论和/或建议的数据。将模型应用于所述数据所产生的输出数据可用于初始化呈现层。
在一些实施例中，系统可被配置为通过一个或多个层的利用来连续地/迭代地学习。例如，系统可被配置为监视用户与由一个或多个层生成的可解释性数据和/或输出数据的接合；用户对由一个或多个层生成的可解释性数据和/或输出数据的利用；和/或关于由一个或多个层生成的可解释性数据和/或呈现层输出数据的明确用户反馈。例如，系统可以跟踪用户选择了输出数据和/或可解释性数据的哪些部分，以使系统“挖掘”从而显示附加信息。基于监测到的接合、利用和/或反馈数据，系统可以自动更新一个或多个层的配置(例如，调整未来的可解释性输出和/或调整未来的建议)。在此基础上进行的更新可以包括如在本文中其他地方所述的更新，例如对各个层的更新和/或对彼此互连各层的方式的更新。这样，系统可被配置为应用反馈回路，使得由系统生成的输出数据和可解释性输出可以随时间的推移而连续/迭代地改进。
本文中描述的系统和方法的一些实施例可以应用于财务数据，比如关于实体的收入和应收账款的数据的审计。虽然下面的图可以将本公开中公开的系统和方法描述为它们与财务数据的审计相关，但是鉴于本公开中的公开，本领域普通技术人员会理解的是，本文中描述的系统和方法可以适用于任何财务报表行项目(FSLI)-包括费用和应付账款、财产、厂房和设备(PPE)(包括租赁会计)、现金和现金等价物、JE等-并且还可以适用于自动处理任何类型的数据并为其提供可解释性，包括处理作为非财务数据的数据并为其提供可解释性。
本文中，所公开的实施例示范了可以如何将本文中公开的系统和方法应用于财务数据的审计。
图1示出了按照一些实施例的数据处理的一个例子。如图1中所示，可以处理收入账户数据以提取与其中的多个单笔交易中的每一个对应的数据。如图1中进一步所示，然后可以进一步处理与单笔交易对应的数据以提取与单笔交易的各个方面对应的数据，比如销售订单创建数据、装运准备数据、发票数据和付款收据数据。
会计科目表中的应收账款和收入账户捕获通过订单到现金过程产生的收入，如图1中所示。订单到现金过程包括销售订单的创建、准备装运(如果订单涉及装运)、给顾客开具发票，并在顾客付款时收到货款。对于记录在总分类账内的收入账户中的所有交易，可以重复此过程。如图所示，单个收入账户可以包括表示多个单笔交易的数据。任何单笔交易的数据可以包括表示与该交易关联的过程的一个或多个阶段的数据。在一些实施例中，可以在每个交易的基础上和/或在一组交易的基础上进行本文描述的数据处理操作中的任何一个或多个。对于单笔交易、多笔交易、单组交易和/或多组交易，信息可以被可视化或以其他方式(例如，经由呈现层)呈现给用户。
在订单到现金过程期间，各种信息系统可能会参与该过程。如图2中所示，销售订单数据可以在订单管理系统(订单管理系统可以是ERP系统的一部分)中捕获，并且可以触发仓库管理系统(例如，包括一个或多个处理器)生成可用于按照交货日期准备装运的数据。当装运产品时，库存管理系统(例如，包括一个或多个处理器)可以记录库存的减少，并且订单管理系统(例如，包括一个或多个处理器)可以生成发票数据，并且可以将所述发票数据发送给顾客(例如，基于交货条款)。在给顾客开具发票时，关于该交易的数据可以发布在与收入账户(贷方)关联的数据存储库中和/或在与应收账款账户(借方)关联的数据存储库中。当接收到付款时，可以生成关于付款的数据，并且可以将其记录在与总分类账内的应收账款(贷方)关联的数据存储库中和/或与现金账户(借方)关联的数据存储库中。
结果，收入账户的审计可以包括一个或多个数据处理操作，这些操作通过系统追踪交易并结合证实证据来验证与账户关联的数据值，以确保每笔交易已按照一个或多个标准，例如与诸如会计政策ASC 606(IFRS15)之类的会计准则关联的标准正确地入账。
图2示出了如何端到端地追踪交易以检测任何差异。
如图3中所示，可以参照采购订单担保销售订单(例如，通过将销售订单数据和采购订单数据进行比较)，可以参照提货单担保装运(例如，通过将装运数据和提货单数据进行比较)，且可以参照各种付款细节，比如银行结单、信用卡处理器交收报告、ACH日报表等担保付款(例如，通过将付款数据和与各种付款细节中的一个或多个关联的数据进行比较)。
图4示出了按照一些实施例的用于跟踪通过多个互连层处理数据的推理和裁决过程的系统的示意图。如图4中所示，多个证据数据402(包括4102a、402b和402c)(例如，文档、文件、结构化数据、非结构化数据、部分结构化数据、ERP表示、内生数据、外生数据等)可以由系统接收，并且可以经受一种或多种数据处理技术(例如，文档理解技术、AI模型等)以生成证据理解数据404。在一些实施例中，证据理解数据404可以包括从证据数据402提取的数据和/或可以包括通过将一种或多种数据处理技术应用于证据数据402而产生的规范化或以其他方式处理的数据。在一些实施例中，系统400可以经由包括一个或多个处理器的系统的输入层来处理输入证据数据402，将一个或多个数据处理操作应用于证据数据402以生成证据理解数据404。在一些实施例中，输入层还可以生成可解释性输出数据(未示出)，该可解释性输出数据可以被提供(例如，显示、可视化等)给用户，以指示关于接收到的证据数据402、所述接收到的数据402的处理方式和/或生成的证据理解数据404的信息。
如图4中进一步所示，证据理解数据404然后可以经由一个或多个推理/裁决逻辑层来处理，以生成中间结果数据的一个或多个实例。每个推理/裁决逻辑层可以包括一个或多个处理器，所述处理器被配置为应用一个或多个数据处理操作来处理输入数据并生成输出数据和可解释性输出数据。在图4中，推理/裁决逻辑层406可以包括一个或多个处理器，所述处理器被配置为接受证据理解数据404作为输入数据，处理所述输入数据，并生成中间结果数据408作为输出数据。在一些实施例中，中间层还可以生成可解释性输出，该可解释性输出可以被提供(例如，显示、可视化等)给用户，以指示关于中间层的输入数据、处理所述输入数据的方式和/或生成的中间结果数据的信息。例如，推理/裁决逻辑层406还可以产生可解释性输出数据(未示出)，该可解释性输出数据可以被提供(例如，显示、可视化等)给用户，以指示关于接收到的数据404、所述接收到的数据404的处理方式和/或生成的输出数据408的信息。
在一些实施例中，系统400可以包括串联和/或并联布置的多个中间层，并且系统400可以将一个或多个数据处理操作应用于通过中间层处理的数据。在一些实施例中，多个中间层可以接收相同的输入数据。在一些实施例中，一个中间层可以将接收到的输入数据以与接收到的格式相同的格式转发到另一个中间层。在一些实施例中，上游中间层(例如，层406)可以生成输出数据(例如，408)，该输出数据本身可以用作下游中间层(如，层410)的输入数据，以产生下游中间输出数据(例如，412)。
如图4中进一步所示，中间结果数据(例如，来自一个或多个中间层的中间结果数据)，比如结果数据408和/或412可以经由一个或多个推理/裁决逻辑层来处理，以生成建议和补救数据。系统400可以经由系统的一个或多个呈现层来处理中间结果数据(例如，来自最终中间层的中间结果数据)，将一个或多个数据处理操作应用于中间结果数据以生成建议和补救数据。例如，在系统400中，推理/裁决逻辑层414可以接收中间结果数据412作为输入数据，并且可以经由一个或多个数据处理操作来处理所述接收到的输入数据，以便生成建议和补救数据416。在一些实施例中，呈现层还可以生成可解释性输出，该可解释性输出可以被提供(例如，显示、可视化等)给用户，以指示关于呈现层的输入数据、处理所述输入数据的方式和/或生成的建议&补救数据的信息。如图4中所示，建议和补救数据本身也可以被提供(例如，显示、可视化等)给人类用户，比如用户系统418的人类用户。
图4示出了多层推理过程的总体架构以及可以在多层中的每一层生成输出数据和/或解释数据的方式。最左边的层可以解释原始证据以生成理解数据404，并且可以生成可以被存储和/或呈现给用户的关联的可解释性数据。最右边的层414可以为诸如审计员之类的用户生成表示总体观察、结论和/或建议的输出数据，并且还可以生成关联的可解释性数据。中间层捕获对中间结果的解释。由系统400的一个或多个层应用的逻辑可以包括演绎、归纳、溯因和/或通用逻辑，以从一个层获取输入并产生输出数据以便呈现给用户、存储和/或由另一层使用。
在一些实施例中，诸如系统400之类的多层数据处理可被配置为通过一个或多个输入层、多个中间层和一个或多个呈现层来处理数据。
输入层可被配置为从一个或多个外部数据源，比如一个或多个数据库、数据存储库、数据储存库、实时数据馈送等接收输入数据。可以以结构化、非结构化和/或部分结构化(例如，半结构化)格式接收数据。数据可以由输入层按照预定的时间表、响应于用户输入、响应于满足一个或多个触发条件和/或响应于手动发送数据来接收。
输入层可以包括一个或多个处理器，所述处理器被配置为将一个或多个数据处理操作应用于接收到的输入数据中的一些或全部，从而生成输出数据。输出数据例如可以包括从原始输入数据提取的数据和/或基于输入数据生成的规范化数据。生成的输出数据可以本地存储，发送到一个或多个其他系统组件，和/或转发到多层系统中的一个或多个下游层以便进一步处理。
除了输出数据之外，输入层的一个或多个处理器还可以生成可解释性输出数据，该可解释性输出数据可以包括指示生成输出数据的方式的元数据，例如包括输入数据的指示、应用的数据处理操作的指示、数据处理的时间和/或地点的指示，和/或与所述数据处理关联的一种或多种配置的指示。生成的可解释性输出数据可以本地或远程存储和/或发送到一个或多个其他系统组件。
中间层可被配置为从输入层和/或从在该中间层上游的其他中间层接收输入数据。在一些实施例中，中间层也可以以与如上关于输入层所述相同或相似的方式从一个或多个外部数据源接收输入数据。可以以结构化、非结构化和/或部分结构化(例如，半结构化)格式接收数据。数据可以由中间层按照预定的时间表、响应于用户输入、响应于满足一个或多个触发条件、响应于手动发送数据，和/或响应于由包括输入层和/或其他中间层的上游层生成数据来接收。
中间层可以包括一个或多个处理器，所述处理器被配置为将一个或多个数据处理操作应用于接收到的输入数据中的一些或全部，从而生成输出数据。输出数据例如可以包括基于输入数据生成的一个或多个裁决、得分、计算、分类、识别的事件和/或识别的内容。生成的输出数据可以本地存储，发送到一个或多个其他系统组件，和/或转发到多层系统中的一个或多个下游层以便进一步处理。
除了输出数据之外，中间层的一个或多个处理器可以另外生成可解释性输出数据，该可解释性输出数据可以包括指示生成输出数据的方式的元数据，例如包括输入数据的指示、应用的数据处理操作的指示、数据处理的时间和/或地点的指示，和/或与所述数据处理关联的一种或多种配置的指示。生成的可解释性输出数据可以本地或远程存储和/或发送到一个或多个其他系统组件。
呈现层可被配置为从输入层和/或从在呈现层上游的中间层接收输入数据。在一些实施例中，呈现层还可以以与如上关于输入层描述的方式相同或相似的方式从一个或多个外部数据源接收输入数据。可以以结构化、非结构化和/或部分结构化(例如，半结构化)格式接收数据。数据可以由呈现层按照预定的时间表、响应于用户输入、响应于满足一个或多个触发条件、响应于手动发送数据和/或响应于由包括输入层和/或中间层的上游层生成数据来接收。
呈现层可以包括一个或多个处理器，所述处理器被配置为将一个或多个数据处理操作应用于接收到的输入数据中的一些或全部，从而生成输出数据。输出数据例如可以包括基于输入数据生成的一个或多个裁决、得分、计算、分类、识别的事件、识别的内容、警报、用户界面对象和/或可视化。在一些实施例中，来自呈现层的输出数据可以包括诸如风险分类之类的分类的指示。在一些实施例中，来自呈现层的输出数据可以指示由系统接收的原始输入数据表示的交易的风险分类。在一些实施例中，来自呈现层的输出数据可以指示由系统接收和处理的数据的不规则性、异常性和/或不一致性。在一些实施例中，来自呈现层的输出数据可以指示由系统接收和处理的数据是否满足一个或多个标准(例如，核单标准、追踪标准、关联方交易标准、数据完整性标准、过程完整性标准和/或策略完整性标准)。在一些实施例中，来自呈现层的输出数据可以包括与输出数据的一个或多个指示(例如，标签或分类)关联的置信度得分。生成的输出数据可以本地存储，发送到一个或多个其他系统组件，和/或呈现(例如，显示在用户系统的显示器上)给用户。
除了输出数据之外，呈现层的一个或多个处理器另外可以生成可解释性输出数据，该可解释性输出数据可以包括指示生成输出数据的方式的元数据，例如包括输入数据的指示、应用的数据处理操作的指示、数据处理的时间和/或地点的指示和/或与所述数据处理关联的一个或多个配置的指示。生成的可解释性输出数据可以本地或远程存储和/或发送到一个或多个其他系统组件。
在一些实施例中，多层数据处理系统中的不同层可以充分利用相同处理器中的一个或多个来进行在不同层进行的数据处理操作；在一些实施例中，一个或多个独立的处理器可用于在不同层进行的数据处理操作。
在一些实施例中，多层数据处理系统可以仅向用户呈现(例如，显示)由呈现层生成的输出数据。在一些实施例中，系统可以另外向用户呈现由一个或多个上游层生成的一些或全部输出数据。在一些实施例中，系统可以呈现由系统接收的原始输入数据中的一些或全部。
在一些实施例中，除了输出数据之外，系统还可以呈现由一个或多个层(包括输入层、中间层和/或呈现层)生成的一些或全部可解释性数据。在一些实施例中，可解释性数据可以在生成时、在向用户呈现与可解释性数据关联的输出数据时和/或响应于来自用户的请求可解释性数据的显示的一个或多个请求而呈现(例如，作为可视化的一部分显示)给用户。在一些实施例中，用户界面可以最初显示由一个或多个呈现层生成的输出数据，并且该界面可以向用户提供执行请求显示与所显示的输出数据关联的可解释性数据的一个或多个用户输入的机会。例如，用户通过点击可视化、选择一个或多个可供性和/或在一个或多个字段中输入一个或多个输入字符串来执行输入。用户输入可以指示对要呈现的可解释性数据的请求，例如通过指示(例如，点击)应当为其请求关联的可解释性数据的输出数据。用户输入可以例如通过指示可解释性数据的类型、可解释性可视化类型和/或为其显示可解释性数据的系统的一个或多个层来指示对要呈现的可解释性数据的请求。在一些实施例中，用户可以点击输出数据以“挖掘”关联的可解释性数据，例如，使系统显示生成被点击的输出数据的层的可解释数据，和/或使系统显示被用作生成被点击的输出数据的输入的一个或多个上游层的输出数据。在一些实施例中，用户通过点击新显示的输出数据和/或新显示的可解释性数据，以进一步挖掘通过多层系统处理的数据，可以执行多个连续的挖掘输入。通过执行多个连续的挖掘输入，用户可以从(最初显示给用户的)最终输出数据回溯通过系统的所有层，使得系统显示所有中间数据和用于得出所选输出数据的原始输入数据，和/或使得系统显示被用于得出输出数据的所有系统层的可解释性数据。
在一些实施例中，系统的一层的一个或多个处理器可被配置为应用一个或多个数据处理操作，这些数据处理操作可以包括演绎推理数据处理操作、归纳推理数据处理运算和/或溯因推理数据处理操作。
在一些实施例中，最初提供给系统的输入层的输入数据可以包括指示时间信息的数据，并且由系统的一个或多个层进行的数据处理操作可以包括生成时间相关输出数据。时间相关信息可以顺序地(例如，对于属于同一时间点的信息)或同时地(例如，对于属于不止一个时间点的信息)呈现给输入。
在一些实施例中，(作为如上所述的时间相关性的替代或补充)最初提供给系统的输入层的输入数据可以是指示位置信息的数据，并且由系统的一个或多个层进行的数据处理操作可以包括生成位置相关输出数据。在一些实施例中，位置可以用例如可以表示纬度和经度的二维描述(x,y)来表达；或者位置可以用三维描述(x,y,z)来表达，其中第三个维度指示垂直位置、从海平面测量的海拔高度和/或离地高度。
在一些实施例中，当系统生成与时间相关和/或与位置相关的输出数据时，用户可以执行一个或多个输入，以请求显示一段时间和/或由输入指定的位置的输出数据(和/或关联的可解释性数据)。在一些实施例中，系统可以响应性地更新显示的输出数据，以便显示与用户指定的时间和/或位置相关的信息。在一些实施例中，系统可以显示已经生成的输出数据；在一些实施例中，系统可以激活一个或多个数据处理层，以便处理数据从而生成用户指定的时间和/或位置的输出数据。
在一些实施例中，系统的一层的一个或多个处理器可被配置为确定应该应用多个数据处理操作中的哪一个。一个或多个处理器可以基于系统设定、用户输入和/或基于由系统的一个或多个上游层生成的输入数据来自动选择要应用的一个或多个数据处理操作。在一些实施例中，输入数据(例如，数据格式、数据类型、数据内容等)可以规定一层应用哪一个或多个数据处理操作(和/或可以规定该层是否应用任何数据处理操作或可替选地简单将输入数据转发到其他层)。
在一些实施例中，系统可以是可按照一个或多个用户输入配置的，这些用户输入可以由最终用户和/或管理员提供给系统。在一些实施例中，系统可以是可按照指定一个或多个层处理数据的方式的一个或多个用户输入配置的。例如，在一些实施例中，用户输入可以指示分析的类型或标识、测试的类型或标识、模型的类型或标识、一个或多个权重值和/或一个或多个阈值，并且系统可以按照用户输入来配置指定层。在一些实施例中，可以重新配置多层系统的一层，而不重新配置系统的任何其他层，包括向重新配置的层提供输入数据的上游各层，以及包括接受重新配置的层的输出数据的下游各层。在一些实施例中，层可以被重新配置(例如，通过调整由该层应用的数据处理操作)，而不改变作为输入由该层接受的数据的格式，并且不改变作为输出由该层生成的数据的格式。这样，层可以被调整，并且可以以与进行调整之前相同的方式继续与上游各层和下游各层相互作用。
在一些实施例中，系统的层可以是可重新配置的，以改变由层生成的可解释性数据的数量、类型和/或内容。在一些实施例中，可以在不改变由层生成的输出数据本身的情况下改变由该层生成的可解释性数据，使得从该层接收输出数据的下游各层不受重新配置的影响。
在一些实施例中，层可以是可按照对由该层应用的数据处理操作所充分利用的本体的改变来重新配置的。例如，如果识别出附加的类别，则可以将该附加的类别添加到该层的分类器所使用的本体中。在一些实施例中，新的类别的添加使该层以与添加之前相同的格式(例如，使用相同的语言和/或相同的一组符号)生成输出数据，使得不需要调整下游各层来解释按照新的类别生成的输出数据。在一些实施例中，附加的类别被添加到的层可被配置为使得它应用一个或多个翻译操作、规范化操作和/或其他数据处理操作，以将按照新的类别生成的数据转换成在不需要对下游各层进行调整的情况下可以由下游各层解释的格式。(在一些实施例中，可以调整下游层，以确保当上游层被重新配置为生成包括一个或多个新的类别、新的符号等的输出数据时，下游层可以处理所有可能的上游输出数据。)
在一些实施例中，系统可以是可按照一个或多个用户输入来配置的，所述用户输入指定一个或多个层与一个或多个其他层互连的方式。例如，用户输入可以指示：(a)某一层应当从哪些上游层和/或其他数据源接受输入；和/或(b)某一层应当向哪些下游层提供输出数据以便由下游层进一步处理。在一些实施例中，用户输入可以指定给定层是否应当(或不应)将任何接收到的数据(未经处理)转发到一个或多个后续层。在一些实施例中，用户输入可以指示来自给定源的输入数据的接收和/或向给定源的输出数据的提供是可选的还是必需的。在一些实施例中，用户可以通过从菜单中选择要在下游或上游链接到给定层的一个或多个层，和/或通过使用拖放用户界面来重新排列各层和/或放置、重新排列和/或移除表示各层的可视化之间的连接链接，来配置各层之间的互连。
图5示出了可以包括多个数据层的数据层模式500，这些数据层可以通过诸如图4中所示的系统400之类的多层数据处理系统的各层来处理。如图所示，模式500可以包括原始数据502、信息数据504、完整性观察数据506、洞察数据508、可执行洞察数据510和建议数据512。模式500中的不同数据层中的每一个可以一起或彼此分开地，并且可选地与元数据关联存储在一个或多个数据库中，所述元数据包括指示导出对应数据的方式(和/或从其导出对应数据的基础数据)的可解释性元数据。
在诸如模式500之类的多层数据处理模式的一些实施例中，原始证据数据可以被摄取，并且可以通过关于上下文(比如顾客/供应商/产品主数据)的一个或多个规范化操作来处理，以便被评估为证据。可以应用数据和过程完整性验证(参见Disclosure onComposable Data-Process-Policy integrity framework for FSLI audit)数据处理操作，以便进行验证并生成完整性观察数据。该观察数据可能包括各种字段，比如顾客名称、地址、装运条款、支付条款、行项目、单价和/或总金额的报告不匹配。然后，可以通过演绎、归纳和/或溯因推理数据处理操作来组合属于同一交易的证据评估数据的解释。基于顾客、位置和/或产品可以应用进一步的聚合数据处理操作，并且所述数据处理操作可以生成洞察数据。洞察数据，比如指示一个或多个不同的不寻常行为或事件的数据，可以经过一个或多个数据处理操作以生成可执行的洞察数据，该洞察数据本身可以由一个或多个数据处理操作处理以生成指示针对此类行为和/或事件的一个或多个潜在解决方案的建议数据。
图5示出了按照一些实施例的可以输入到系统(例如，系统400)中、由该系统处理、由该系统生成和/或由该系统输出的不同类别的数据的示图，所述系统用于跟踪通过多个互连层处理数据的推理和裁决过程。
如图5中所示，系统可被配置为接收原始数据502(例如，证据数据)，原始数据502例如包括销售订单数据、采购订单数据、发票数据、库存分类账数据和贷项通知单数据。在一些实施例中，原始数据502可以是提供给多层数据处理系统的原始数据。
如图5中进一步所示，系统可被配置为至少部分基于接收到的全部或部分原始数据502来生成信息数据504。生成的信息数据504例如可以包括规范化数据(例如，规范化销售订单数据、规范化采购订单数据等)。系统还可被配置为接收信息数据，例如包括顾客信息、供应商信息和/或产品信息。原始数据502可以由输入数据层处理以生成信息数据504。处理原始数据502以产生信息数据504的过程可以与如上参考图4所述的处理证据数据402以产生证据理解数据404的过程共享任何一个或多个共同特性。在一些实施例中，原始数据502可以与证据402共享任何一个或多个共同特性，并且信息数据504可以与证据理解数据404共享任何一个或多个共同特性。在一些实施例中，处理原始数据502以产生信息数据504还可以包括生成指示产生信息数据504的方式的可解释性数据。在一些实施例中，顾客主数据、供应商主数据和/或产品主数据可以包括包含在原始数据502和/或信息数据504中的数据。
如图5中进一步所示，系统可被配置为基于全部或部分的信息数据504(和/或基于其他上游数据)生成完整性观察数据506。完整性观察数据506例如可以包括关于一个或多个库存救济(relief)不匹配和/或关于一个或多个贷项通知单/退款不匹配的数据。处理信息数据504以产生完整性观察数据506的过程可以与如上关于图4所述的系统400的一个或多个中间层对数据的处理共享任何一个或多个共同特性。在一些实施例中，系统可生成指示产生完整性观察数据506的方式的可解释性数据。
如图5中进一步所示，系统可被配置为基于全部或部分的完整性观察数据506(和/或基于其他上游数据)生成洞察数据508。洞察数据例如可以包括指示一个或多个不规则库存集群和/或指示一个或多个不规则退款集群的数据。处理完整性观测数据506以产生洞察数据508的过程可以与如上关于图4所述的系统400的一个或多个中间层对数据的处理共享任何一个或多个共同特性。在一些实施例中，系统可以生成指示产生洞察数据508的方式的可解释性数据。
如图5中进一步所示，系统可被配置为基于全部或部分的洞察数据508(和/或基于其他上游数据)生成可执行的洞察数据510。可执行的洞察数据510例如可以包括指示不规则库存和退款活动的数据。处理洞察数据508以产生可执行的洞察数据510的过程可以与如上关于图4所述的系统400的一个或多个中间层对数据的处理共享任何一个或多个共同特性。在一些实施例中，系统可以生成指示产生可执行的洞察数据510的方式的可解释性数据。
如图5中进一步所示，系统可被配置为基于全部或部分的可执行的洞察数据510(和/或基于其他上游数据)生成建议数据512。建议数据512例如可以包括指示具体建议的行动方案，例如，监视特定办事处的建议(例如，由于该办事处中的不规则的库存活动和退款活动)的数据。处理可执行的洞察数据510以产生建议数据512的过程可以与如上关于图4所述的诸如系统400的层414之类的呈现层对数据的处理共享任何一个或多个共同特性。在一些实施例中，系统可以生成指示产生建议数据512的方式的可解释性数据。
在一些实施例中，用于跟踪通过多个互连层处理数据的推理和裁决过程的系统可以通过系统的不同层处理关于图5描述的不同类别的数据中的每一个，使得每种类别的数据由配置为对该类型的数据进行操作的一个或多个数据处理操作来处理。
图6示出了用于证据评估的解释的本体。就订单过程而言，源自证据评估的潜在观察可能包括在下单前装运、在下单前开具发票、开具发票但未装运、已装运但未开具发票。就付款、退款和收款过程而言，观察可能包括未得到担保的付款、异常退款、无库存退货的退款、由于装运差异的退款、由于产品损坏的退款。就会计过程而言，观察可能包括A/R冲销、JE冲销/调整、发票与AR之间以及付款与付款日记账之间的不匹配。
在一些实施例中，用于跟踪通过多个互连层处理数据的推理和裁决过程的系统，比如本文中所述的那些系统，可以识别在图6的底部所示的异常分类中的一个或多个。
图7示出了按照一些实施例的财务数据的数据处理的示意图。在一些实施例中，图7中描绘的数据处理可以由用于跟踪通过多个互连层，比如本文中所述的那些互连层来处理数据的推理和裁决过程的系统进行。
在系统架构700的一些实施例中，可以通过多个数据处理操作(例如，文档理解模型、AI模型、机器学习模型等)来处理诸如采购订单数据708、提货单数据706和银行结单数据704之类的证据数据，以生成中间数据的一个或多个实例(例如，关于核单、发票、收入、合同和/或价格的数据)。可以在ERP数据的基础上另外地生成中间数据。在一些实施例中，中间数据可以用于生成建议数据716，比如进行收入审计的建议。
图7示出了从输入层到数据完整性评估和过程完整性评估的逻辑。数据完整性和过程完整性两者的输出可能馈入政策完整性的半最终层，然后是来自特定交易的收入是否可列入收入确认的最终观察和裁决。
在图7中所示的布置中，采购订单数据708、提货单数据706和银行结单数据704可以由数据完整性系统710接收，数据完整性系统710可以包括一个或多个处理器，所述处理器被配置为进行一个或多个数据完整性数据处理操作，例如包括采购订单核单、提货单核单和/或付款核单。数据完整性系统710另外可以从ERP数据源702接收ERP数据，并且可以使用所述ERP数据来应用一个或多个数据完整性数据处理操作。数据完整性系统710可以通过将外部证据(例如，文档数据)与ERP数据进行比较来验证一个或多个断言(例如，存在性、完整性和/或准确性)。一个或多个数据完整性数据处理操作可以包括由如在2022年6月30日提交的题为“AI-AUGMENTED AUDITING PLATFORM INCLUDING TECHNIQUES FOR APPLYING ACOMPOSABLE ASSURANCE INTEGRITY FRAMEWORK”的美国专利申请(代理人案号13574-20070.00)中所述的数据完整性系统120进行的那些操作中的任何操作。
来自ERP数据源702的ERP数据可以另外由过程完整性系统712接收，过程完整性系统712可以包括配置为进行一个或多个过程完整性数据处理操作的一个或多个处理器。过程完整性系统712可以通过基于来自数据源702的ERP数据来追踪交易，例如通过端到端地追随过程(例如，订单到现金交易过程或采购到付款交易过程)来验证断言(例如，准确性、截止和/或分类)。一个或多个过程完整性数据处理操作可以包括由如在2022年6月30日提交的题为“AI-AUGMENTED AUDITING PLATFORM INCLUDING TECHNIQUES FOR APPLYING ACOMPOSABLE ASSURANCE INTEGRITY FRAMEWORK”的美国专利申请(代理人案号13574-20070.00)中所述的过程完整性系统110进行的那些操作中的任何操作。
由数据完整性系统710和/或过程完整性系统712生成的输出数据可以由策略完整性系统714接收，策略完整性系统714可以包括配置为进行一个或多个策略完整性数据处理操作的一个或多个处理器。策略完整性系统714可以验证和裁决输入数据(例如，表示整体交易)是否与一个或多个预先定义的标准一致，例如，包括会计标准准则和/或策略标准准则。一个或多个策略完整性数据处理操作可以包括由如在2022年6月30日提交的题为“AI-AUGMENTED AUDITING PLATFORM INCLUDING TECHNIQUES FOR APPLYING A COMPOSABLEASSURANCE INTEGRITY FRAMEWORK”的美国专利申请(代理人案号13574-20070.00)中所述的过程完整性系统110进行的那些操作中的任何操作。策略完整性系统714生成的输出数据可以包括建议数据716或者可以用于进而生成建议数据716。
图7示范了例如通过允许将来自交易的收入是否可以按照会计原则和审计标准来识别的核实(例如，通过系统714)分解为收入是否实际存在(例如，通过数据完整性验证系统710)和在关联业务过程的执行期间是否存在任何差异(例如，通过系统710和712)，可以符合本文中所述的多层可解释性技术的架构的例子。
以下是在一些实施例中建立要呈现给人类用户的总结/建议数据的步骤：
1.收集特定审计领域(比如收入&应收账款审计)的历史总结/观察
2.使用适当的ML模型提供有监督分类或无监督聚类，以便为观察&建议建立适当的本体和/或分类树。这成为观察&建议的初始集合
3.当观察/建议被人类用户使用时，监测观察和建议的使用统计数据，并收集额外的观察/建议
4.基于使用统计数据和人类用户的增强/策展，不断学习和演化观察&建议
以下是在一些实施例中用于追踪推理过程的步骤。对于特定的订单到现金交易，我们可能会进行以下评估：
1.数据完整性
a.根据PO#、顾客名称、总金额和日期的存在，PO得到了成功担保。
b.BoL缺失-从而不存在装运的独立验证。
c.关于付款日记账和应收账款，付款得到部分担保，因为与同一发票相关的付款日记账的单独条目没有得到担保。
2.过程完整性
a.在将PO#输入销售订单时识别出可能的打字错误之后，将销售订单与发票进行交叉验证。
b.发票与库存之间的交叉验证、AR前滚、AR删除扩展和其他模块都指示一致性。
3.策略完整性
a.控制权的转移仅基于由PO和销售订单指定为FOB的装运条款来评估，因此所有权转移的日期为产品离开装运码头的日期。
b.基于先前的付款行为的可收款性指示没有拖欠付款，但是具有更接近截止日期付款的趋势。
c.单价x数量的可识别收入的重新计算似乎指示一致性。
4.最终建议
a.识别的收入与会计政策一致，计入最终的可识别收入中。
图8图解说明按照一些实施例的计算机的例子。计算机800可以是用于提供AI增强审计平台的系统的组件，所述AI增强审计平台包括用于为通过多层处理数据提供AI可解释性的技术。在一些实施例中，计算机800可以执行本文中描述的方法中的任何一个或多个。
计算机800可以是连接到网络的主计算机。计算机800可以是客户端计算机或服务器。如图8中所示，计算机800可以是任何合适类型的基于微处理器的设备，比如个人计算机、工作站、服务器或手持计算设备，比如电话机或平板电脑。计算机例如可以包括处理器810、输入设备820、输出设备830、存储装置840和通信设备860中的一个或多个。输入设备820和输出设备830可以对应于上面描述的那些，并且可以是可连接的或者与计算机集成。
输入设备820可以是提供输入的任何合适的设备，比如触摸屏或监视器、键盘、鼠标或语音识别设备。输出设备830可以是提供输出的任何合适的设备，比如触摸屏、监视器、打印机、磁盘驱动器或扬声器。
存储装置840可以是提供存储的任何合适的设备，比如电存储器、磁存储器或光存储器，包括随机存取存储器(RAM)、高速缓冲存储器、硬盘驱动器、CD-ROM驱动器、磁带驱动器或可移动存储盘。通信设备860可以包括能够通过网络发送和接收信号的任何合适的设备，比如网络接口芯片或卡。计算机的组件可以以任何合适的方式连接，比如经由物理总线连接或无线连接。存储装置840可以是包括一个或多个程序的非临时性计算机可读存储介质，所述一个或多个程序当由诸如处理器810之类的一个或多个处理器执行时，使所述一个或多个处理器执行本文中所述的方法。
可以存储在存储装置840中并由处理器810执行的软件850例如可以包括体现本公开的功能的编程(例如，体现在如上所述的系统、计算机、服务器和/或设备中)。在一些实施例中，软件850可以包括诸如应用服务器和数据库服务器之类的服务器的组合。
软件850也可以在任何计算机可读存储介质内存储和/或传输，以供诸如上面所述之类的指令执行系统、装置或设备使用或与之结合使用，所述指令执行系统、装置或设备可以从指令执行系统，装置或设备获取和执行与软件关联的指令。在本公开的上下文中，计算机可读存储介质可以是可以包含或存储供指令执行系统、装置或设备使用或与之结合使用的编程的任何介质，比如存储装置840。
软件850也可以在任何传输介质内传播，以供诸如上面所述之类的指令执行系统、装置或设备使用或与之结合使用，所述指令执行系统、装置或设备可以从指令执行系统，装置或设备获取并执行与软件关联的指令。在本公开的上下文中，传输介质可以是能够通信、传播或传输编程，以供指令执行系统、装置或设备使用或与之结合使用的任何介质。传输可读介质可以包括但不限于电子、磁、光、电磁或红外有线或无线传播介质。
计算机800可以连接到网络，该网络可以是任何合适类型的互连通信系统。该网络可以实现任何合适的通信协议，并且可以由任何合适的安全协议来保护。该网络可以包括可以实现网络信号的发送和接收的任何合适布置的网络链路，比如无线网络连接、T1或T3线路、有线网络、DSL或电话线路。
计算机800可以实现适合于在网络上操作的任何操作系统。软件850可以用任何合适的编程语言编写，比如C、C++、Java或Python。在各个实施例中，体现本公开的功能的应用软件可以以不同的配置来部署，比如部署在客户端/服务器布置中或者通过Web浏览器作为基于Web的应用或Web服务来部署。
以下是实施例的列表：
实施例1.一种用于为通过多个数据处理层处理数据提供可解释性的系统，所述系统包括一个或多个处理器，所述一个或多个处理器被配置为使所述系统：
在输入层：
接收证据数据集，所述证据数据集包括多个证据项目；
将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及
生成输入层可解释性数据，其中所述输入层可解释性数据表示关于所述输入层对所述证据数据集的处理的信息；
在呈现层：
接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；
将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及
生成呈现层可解释性数据，其中所述呈现层可解释性数据表示关于所述输入层对接收数据的处理的信息；
导致所述呈现数据的显示；以及
导致以下中的一个或多个的显示：所述输入层可解释性数据和所述呈现层可解释性数据。
实施例2.按照实施例1所述的系统，其中所述一个或多个处理器被配置为使所述系统：
在一个或多个中间层：
接收由所述输入层生成的证据理解数据；
将一个或多个中间层处理模型应用于证据理解数据以生成由呈现层接收的数据；
将由所述呈现层接收的数据提供给所述呈现层；以及
生成中间层可解释性数据，其中所述中间层可解释性数据表示关于所述一个或多个中间层对所述证据理解数据的处理的信息。
实施例3.按照实施例1-2任意之一所述的系统，其中所述输入层和所述呈现层分别被配置为应用相应的本体。
实施例4.按照实施例1-3任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统：
接收包括修改所述输入层的指令的用户输入；以及
按照所述用户输入修改所述输入层而不修改所述呈现层。
实施例5.按照实施例1-4任意之一所述的系统，其中所述一个或多个处理器被配置为：
接收包括修改所述呈现层的指令的用户输入；以及
按照所述用户输入修改所述呈现层而不修改所述输入层。
实施例6.按照实施例5所述的系统，其中修改所述呈现层包括修改所述一个或多个呈现生成模型，同时保持所述一个或多个呈现生成模型的输入数据格式，并且保持所述一个或多个呈现生成模型的输出数据格式。
实施例7.按照实施例5-6任意之一所述的系统，其中修改所述呈现层包括修改所述呈现层与所述系统的一个或多个其他层的一个或多个连接。
实施例8.按照实施例1-7任意之一所述的系统，其中所述一个或多个处理器被配置为通过应用一个或多个机器学习模型对来自所述系统进行的一个或多个先前分析的输出数据进行分类来初始化所述呈现层。
实施例9.按照实施例1-8任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统：
接收表示一个或多个用户利用呈现输出的方式的利用数据；以及
按照所述利用数据自动修改所述呈现层。
实施例10.按照实施例1-9任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统：
接收包括对所显示的呈现的一部分的选择的用户输入，
其中导致所述输入层可解释性数据和所述呈现层可解释性数据中的一个或多个的显示是按照所述用户输入进行的。
实施例11.按照实施例1-10任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统在所述呈现层基于所接收的数据，从呈现生成模型的超集中选择所述一个或多个呈现生成模型。
实施例12.一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质存储用于为通过多个数据处理层处理数据提供可解释性的指令，其中所述指令被配置为由包括一个或多个处理器的系统执行，以使所述系统：
在输入层：
接收证据数据集，所述证据数据集包括多个证据项目；
将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及
生成输入层可解释性数据，其中所述输入层可解释性数据表示关于所述输入层对所述证据数据集的处理的信息；
在呈现层：
接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；
将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及
生成呈现层可解释性数据，其中所述呈现层可解释性数据表示关于所述输入层对接收数据的处理的信息；
导致所述呈现数据的显示；以及
导致以下中的一个或多个的显示：所述输入层可解释性数据和所述呈现层可解释性数据。
实施例13.一种用于为通过多个数据处理层处理数据提供可解释性的方法，其中所述方法由包括一个或多个处理器的系统进行，所述方法包括：
在输入层：
接收证据数据集，所述证据数据集包括多个证据项目；
将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及
生成输入层可解释性数据，其中所述输入层可解释性数据表示关于所述输入层对所述证据数据集的处理的信息；
在呈现层：
接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；
将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及
生成呈现层可解释性数据，其中所述呈现层可解释性数据表示关于所述输入层对接收数据的处理的信息；
导致所述呈现数据的显示；以及
导致以下中的一个或多个的显示：所述输入层可解释性数据和所述呈现层可解释性数据。
本申请通过引用并入2022年6月30日提交的题为“AI-AUGMENTED AUDITINGPLATFORM INCLUDING TECHNIQUES FOR AUTOMATED ASSESSMENT OF VOUCHING EVIDENCE”的美国专利申请(代理人案号13574-20068.00)的全部内容。
本申请通过引用并入2022年6月30日提交的题为“AI-AUGMENTED AUDITINGPLATFORM INCLUDING TECHNIQUES FOR AUTOMATED ADJUDICATION OF COMMERCIALSUBSTANCE，RELATED PARTIES，AND COLLECTABILITY”的美国专利申请(代理人案号13574-20069.00)的全部内容。
本申请通过引用并入2022年6月30日提交的题为“AI-AUGMENTED AUDITINGPLATFORM INCLUDING TECHNIQUES FOR APPLYING A COMPOSABLE ASSURANCE INTEGRITYFRAMEWORK”的美国专利申请(代理人案号13574-20070.00)的全部内容。
本申请通过引用并入2022年6月30日提交的题为“AI-AUGMENTED AUDITINGPLATFORM INCLUDING TECHNIQUES FOR AUTOMATED DOCUMENT PROCESSING”的美国专利申请(代理人案号13574-20071.00)的全部内容。
Claims (13)
1.一种用于为通过多个数据处理层处理数据提供可解释性的系统，所述系统包括一个或多个处理器，所述一个或多个处理器被配置为使所述系统：
在输入层：
接收证据数据集，所述证据数据集包括多个证据项目；
将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及
生成输入层可解释性数据，其中所述输入层可解释性数据表示关于所述输入层对所述证据数据集的处理的信息；
在呈现层：
接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；
将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及
生成呈现层可解释性数据，其中所述呈现层可解释性数据表示关于所述输入层对接收数据的处理的信息；
导致所述呈现数据的显示；以及
导致以下中的一个或多个的显示：所述输入层可解释性数据和所述呈现层可解释性数据。
2.按照权利要求1所述的系统，其中所述一个或多个处理器被配置为使所述系统：
在一个或多个中间层：
接收由所述输入层生成的证据理解数据；
将一个或多个中间层处理模型应用于证据理解数据以生成由呈现层接收的数据；
将由所述呈现层接收的数据提供给所述呈现层；以及
生成中间层可解释性数据，其中所述中间层可解释性数据表示关于所述一个或多个中间层对所述证据理解数据的处理的信息。
3.按照权利要求1-2任意之一所述的系统，其中所述输入层和所述呈现层分别被配置为应用相应的本体。
4.按照权利要求1-3任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统：
接收包括修改所述输入层的指令的用户输入；以及
按照所述用户输入修改所述输入层而不修改所述呈现层。
5.按照权利要求1-4任意之一所述的系统，其中所述一个或多个处理器被配置为：
接收包括修改所述呈现层的指令的用户输入；以及
按照所述用户输入修改所述呈现层而不修改所述输入层。
6.按照权利要求5所述的系统，其中修改所述呈现层包括修改所述一个或多个呈现生成模型，同时保持所述一个或多个呈现生成模型的输入数据格式，并且保持所述一个或多个呈现生成模型的输出数据格式。
7.按照权利要求5-6任意之一所述的系统，其中修改所述呈现层包括修改所述呈现层与所述系统的一个或多个其他层的一个或多个连接。
8.按照权利要求1-7任意之一所述的系统，其中所述一个或多个处理器被配置为通过应用一个或多个机器学习模型对来自所述系统进行的一个或多个先前分析的输出数据进行分类，来初始化所述呈现层。
9.按照权利要求1-8任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统：
接收表示一个或多个用户利用呈现输出的方式的利用数据；以及
按照所述利用数据自动修改所述呈现层。
10.按照权利要求1-9任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统：
接收包括对所显示的呈现数据的一部分的选择的用户输入，
其中导致所述输入层可解释性数据和所述呈现层可解释性数据中的一个或多个的显示是按照所述用户输入进行的。
11.按照权利要求1-10任意之一所述的系统，其中所述一个或多个处理器被配置为使所述系统在所述呈现层基于所接收的数据，从呈现生成模型的超集中选择所述一个或多个呈现生成模型。
12.一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质存储用于为通过多个数据处理层处理数据提供可解释性的指令，其中所述指令被配置为由包括一个或多个处理器的系统执行，以使所述系统：
在输入层：
接收证据数据集，所述证据数据集包括多个证据项目；
将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及
生成输入层可解释性数据，其中所述输入层可解释性数据表示关于所述输入层对所述证据数据集的处理的信息；
在呈现层：
接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；
将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及
生成呈现层可解释性数据，其中所述呈现层可解释性数据表示关于所述输入层对接收数据的处理的信息；
导致所述呈现数据的显示；以及
导致以下中的一个或多个的显示：所述输入层可解释性数据和所述呈现层可解释性数据。
13.一种用于为通过多个数据处理层处理数据提供可解释性的方法，其中所述方法由包括一个或多个处理器的系统进行，所述方法包括：
在输入层：
接收证据数据集，所述证据数据集包括多个证据项目；
将一个或多个证据处理模型应用于所述证据数据集以生成证据理解数据；以及
生成输入层可解释性数据，其中所述输入层可解释性数据表示关于所述输入层对所述证据数据集的处理的信息；
在呈现层：
接收数据，其中接收的数据包括以下之一：证据理解数据，以及基于证据理解数据生成的数据；
将一个或多个呈现生成模型应用于接收的数据以生成呈现数据；以及
生成呈现层可解释性数据，其中所述呈现层可解释性数据表示关于所述输入层对接收数据的处理的信息；
导致所述呈现数据的显示；以及
导致以下中的一个或多个的显示：所述输入层可解释性数据和所述呈现层可解释性数据。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163217134P | 2021-06-30 | 2021-06-30 | |
| US63/217,123 | 2021-06-30 | ||
| US63/217,134 | 2021-06-30 | ||
| US63/217,127 | 2021-06-30 | ||
| US63/217,119 | 2021-06-30 | ||
| US63/217,131 | 2021-06-30 | ||
| PCT/US2022/073292 WO2023279047A1 (en) | 2021-06-30 | 2022-06-30 | Ai-augmented auditing platform including techniques for providing ai-explainability for processing data through multiple layers |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117882041A true CN117882041A (zh) | 2024-04-12 |
Family
ID=90254927
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280057790.XA Pending CN117882081A (zh) | 2021-06-30 | 2022-06-30 | 包括自动评估核单证据的技术的ai增强审计平台 |
| CN202280057933.7A Pending CN117859122A (zh) | 2021-06-30 | 2022-06-30 | 包括用于自动化文档处理的技术的ai增强的审计平台 |
| CN202280057802.9A Pending CN117882041A (zh) | 2021-06-30 | 2022-06-30 | 包括为通过多层处理数据提供ai可解释性的技术的ai增强审计平台 |
| CN202280053275.4A Pending CN117751362A (zh) | 2021-06-30 | 2022-06-30 | 包括用于应用可组合保证完整性框架的技术的ai增强的审计平台 |
| CN202280057539.3A Pending CN117897705A (zh) | 2021-06-30 | 2022-06-30 | 包括用于商业实质、相关方和可收回性的自动裁决的技术的ai增强的审计平台 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280057790.XA Pending CN117882081A (zh) | 2021-06-30 | 2022-06-30 | 包括自动评估核单证据的技术的ai增强审计平台 |
| CN202280057933.7A Pending CN117859122A (zh) | 2021-06-30 | 2022-06-30 | 包括用于自动化文档处理的技术的ai增强的审计平台 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280053275.4A Pending CN117751362A (zh) | 2021-06-30 | 2022-06-30 | 包括用于应用可组合保证完整性框架的技术的ai增强的审计平台 |
| CN202280057539.3A Pending CN117897705A (zh) | 2021-06-30 | 2022-06-30 | 包括用于商业实质、相关方和可收回性的自动裁决的技术的ai增强的审计平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (5) | CN117882081A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118505371B (zh) * | 2024-07-18 | 2024-10-11 | 浪潮通用软件有限公司 | 一种债权债务数据核销方法、设备及介质 |
-
2022
- 2022-06-30 CN CN202280057790.XA patent/CN117882081A/zh active Pending
- 2022-06-30 CN CN202280057933.7A patent/CN117859122A/zh active Pending
- 2022-06-30 CN CN202280057802.9A patent/CN117882041A/zh active Pending
- 2022-06-30 CN CN202280053275.4A patent/CN117751362A/zh active Pending
- 2022-06-30 CN CN202280057539.3A patent/CN117897705A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN117897705A (zh) | 2024-04-16 |
| CN117882081A (zh) | 2024-04-12 |
| CN117751362A (zh) | 2024-03-22 |
| CN117859122A (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230004845A1 (en) | Ai-augmented auditing platform including techniques for providing ai-explainability for processing data through multiple layers | |
| US11048706B2 (en) | Malicious activity detection system capable of efficiently processing data accessed from databases and generating alerts for display in interactive user interfaces | |
| US11928733B2 (en) | Systems and user interfaces for holistic, data-driven investigation of bad actor behavior based on clustering and scoring of related data | |
| US11526579B1 (en) | System and methods for performing automatic data aggregation | |
| US11175910B2 (en) | System and method for code and data versioning in computerized data modeling and analysis | |
| US9536225B2 (en) | Aggregating business analytics architecture and configurator | |
| US20170286502A1 (en) | System and Method for Interactive Reporting in Computerized Data Modeling and Analysis | |
| US10817813B2 (en) | Resource configuration and management system | |
| US11526261B1 (en) | System and method for aggregating and enriching data | |
| Southerton | Datafication | |
| US20220027380A1 (en) | Data management system and method for general ledger | |
| US11556510B1 (en) | System and method for enriching and normalizing data | |
| Alghushairy et al. | Data storage | |
| Imran et al. | Data provenance | |
| CN117882041A (zh) | 包括为通过多层处理数据提供ai可解释性的技术的ai增强审计平台 | |
| Pakhchanyan et al. | Machine learning for categorization of operational risk events using textual description | |
| AU2022420862A1 (en) | Deduplication of accounts using account data collision detected by machine learning models | |
| Huang et al. | Data cleansing | |
| Wen | Data sharing | |
| US20240169355A1 (en) | Settlement card having locked-in card specific merchant and rule-based authorization for each transaction | |
| US20230394478A1 (en) | Generating and publishing unified transaction streams from a plurality of computer networks for downstream computer service systems | |
| US20240331056A1 (en) | Ai-augmented composable and configurable microservices for determining a roll forward amount | |
| Chen | Digital Ecosystem | |
| Agrawal | Data Virtualization | |
| CN118786449A (zh) | 用于基于监管报告和分析来生成洞察的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |