CN113434575B - 基于数据仓库的数据归因处理方法、装置及存储介质 - Google Patents

基于数据仓库的数据归因处理方法、装置及存储介质 Download PDF

Info

Publication number
CN113434575B
CN113434575B CN202110738027.0A CN202110738027A CN113434575B CN 113434575 B CN113434575 B CN 113434575B CN 202110738027 A CN202110738027 A CN 202110738027A CN 113434575 B CN113434575 B CN 113434575B
Authority
CN
China
Prior art keywords
data
index
indexes
layer
warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110738027.0A
Other languages
English (en)
Other versions
CN113434575A (zh
Inventor
杜駉骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yinglinktong Network Technology Co ltd
Shenzhen Lian Intellectual Property Service Center
Original Assignee
Shanghai Yinglinktong Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yinglinktong Network Technology Co ltd filed Critical Shanghai Yinglinktong Network Technology Co ltd
Priority to CN202110738027.0A priority Critical patent/CN113434575B/zh
Publication of CN113434575A publication Critical patent/CN113434575A/zh
Application granted granted Critical
Publication of CN113434575B publication Critical patent/CN113434575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及数据处理领域，提供一种基于数据仓库的数据归因处理方法，包括获得待分析指标数据；将所获取的待分析指标数据输入数据仓库进行数据处理；根据预设的数据维度将数据指标以及数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据；将数据指标的目标指标数据形成数据立方体并输出。本发明还涉及区块链技术，所述基于数据仓库的数据归因处理数据存储于区块链中。本发明达到了提高数据归因分析精准性的技术效果。

Description

基于数据仓库的数据归因处理方法、装置及存储介质
技术领域
本发明涉及数据处理领域，涉及一种基于数据仓库的数据归因处理方法、装置、电子设备及计算机可读存储介质。
背景技术
数据分析的数据来源是全部数据，数据分析是全量数据分析，数据分析结果所获取的是大体的数据方向和数据的相关关系。但是，利用人力基于大量的统计报表进行关联性分析，具有耗时长和主观性强的弊端。
数据分析模型是指用适当的统计方法对收集来的大量数据进行分析，以求最大化地开发数据资料的功能，发挥其数据的作用。具体地说，数据分析是根据数据的特征信息进行分析，挖掘出数据之间的关系以及发展趋势信息的过程。
但是，传统的数据分析模型为通过时间特征得到响应的影响，具有的弊端如下：
1)仅仅通过时间特征进行数据分析，所得到的结果较为片面；
2)所获得的归因分析结果，仅可以进行事后解释，无法进行提前预警，因此，无法较精确地得到数据传播的趋势。
因此，亟需一种全面，客观的指标数据处理方法。
发明内容
本发明提供一种基于数据仓库的数据归因处理方法、装置、电子设备及计算机可读存储介质，其主要目的在于能够提升数据分析的全面性和准确性。
为实现上述目的，本发明提供的一种基于数据仓库的数据归因处理方法，方法包括，获得待分析的指标数据，其中，所述待分析的指标数据包括数据指标以及所述数据指标对应的数据；
将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；
将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，并以数据立方体形式输出。
进一步，优选的，将所获取的指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据的方法包括：
将所获取的标数据发送至数据仓库的采集中心层，在所述采集中心层根据预设数据结构对所述待分析指标数据进行存储，并将所存储的具有预设数据结构的指标数据发送至数据仓库的细节数据层；
通过所述细节数据层对所述待分析指标数据进行预处理，获得标准化的明细指标数据，并将所述明细指标数据发送至数据仓库的数据计算层；其中，所述预处理包括数据校验、数据补充、数据加密；
通过所述数据计算层对所述明细指标数据进行数据处理，并获得所述数据指标以及所述数据指标对应的指标变化率数据。
进一步，优选的，在所述步骤根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合中，所述预设的数据维度包括，定义数据指标的维度层次以及按照所述数据指标的维度层次罗列所需计算的数据指标名目。
进一步，优选的，将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值方法包括：
将任意两个与同一数据指标相关的所述指标项目集合输入归因模型；
将所述两个指标项目集合分别进行矩阵化处理，得到两个特征向量；
利用所得到的两组特征向量构建判别典型相关分析算法的准则函数；
根据所述准则函数获得所述两个特征向量各自对应的典型投影矢量集；根据特征融合策略，利用所述典型投影矢量集获得两个特征向量融合后的相关性特征向量以及其对应的特征值；
采用近邻分类器对所述融合后的相关性特征向量进行分类识别，获得每组中与同一数据指标相关的两个指标项目集合间的关联度值。
进一步，优选的，在所述筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，并以数据立方体形式输出步骤之后，还包括贡献率分析步骤，包括：
将同一数据指标的目标指标数据输入基于主成分分析的贡献率分析模型，获得所述数据指标的指标贡献率；
筛选指标贡献率大于预设的贡献率阈值的数据指标作为核心影响指标；
利用所述核心影响指标判断突变指标变化的成因。
进一步，优选的，所述基于主成分分析的贡献率分析模型的网络结构为输入层、隐含层和输出层；其中，所述隐含层甄选使用tansig传递函数、trainlm训练函数、learngdm阈值学习函数，所述输出层采用线性传递purelin函数；所述隐含层神经元数设置为每层12个。
进一步，优选的，所述步骤根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合中，还包括：
为了提升所述指标项目集合的有效性，对所述数据指标的指标项目集合中的所述指标变化率数据进行正相关收集；
其中，所述正相关收集为筛选大于预设的数据指标变化率阈值的指标变化率形成数据指标的指标项目集合。
为了解决上述问题，本发明还提供一种基于数据仓库的数据归因处理装置，所述装置包括：
指标数据获取单元，用于获得待分析的指标数据，其中，所述待分析的指标数据包括数据指标以及所述数据指标对应的数据；
指标项目集合形成单元，用于将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；
目标指标数据获取单元，用于将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据；
目标指标数据输出单元，用于将所述数据指标的目标指标数据形成数据立方体并输出。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的基于数据仓库的数据归因处理方法中的步骤。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于数据仓库的数据归因处理方法。
本发明实施例首先获得待分析的指标数据；将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据；将所述数据指标的目标指标数据形成数据立方体并输出。利用了数据仓库对指标数据进行分析，通过归因模型筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据的数据立方体；进而达到分析指标变动原因的技术效果。
附图说明
图1为本发明一实施例提供的基于数据仓库的数据归因处理方法的流程示意图；
图2为本发明一实施例提供的基于数据仓库的数据归因处理装置的模块示意图；
图3为本发明一实施例提供的实现基于数据仓库的数据归因处理方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了解决现有技术中，数据分析模型分析结果滞后的问题；本发明提供一种基于数据仓库的数据归因处理方法，保证数据分析准确性和全面性的前提下，可以实现对突变指标的成因分析。参照图1所示，为本发明一实施例提供的基于数据仓库的数据归因处理方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，基于数据仓库的数据归因处理方法包括S1～S5：
S1、获得待分析的指标数据，其中，所述待分析指标数据包括数据指标以及所述数据指标对应的数据。
需要说明的是，所述待分析指标数据来自于源数据层，源数据层的数据包括结构化数据和非结构化数据，其中，结构化数据如oracle、MySQL、mogodb、postgresql等语言表示的数据，非结构化数据包括Excel，xml等格式的数据；源数据层数据来自于业务库目录、文件，外部第三方以及其他。
在具体的实施过程中，待分析指标数据包括流量日志数据、告警日志数据、网络安全事件数据、资产相关数据、运维监控数据、恶意域名数据、恶意ip知识数据、有害程序数据、漏洞知识数据、等保知识数据、告警规则描述数据等。
S2、将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合。
其中，将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据的方法包括：
S21、将所获取的待分析指标数据发送至数据仓库的采集中心层，在所述采集中心层根据预设数据结构对所述待分析指标数据进行存储，并将所存储的具有预设数据结构的指标数据发送至数据仓库的细节数据层。
需要说明的是，采集中心层也叫作数据准备区(ODS Operation Data Store)，用于数据仓库源头系统的数据表通常会原封不动的存储一份，是后续数据仓库加工数据的来源。
S22、通过所述细节数据层对所述待分析指标数据进行预处理，获得标准化的明细指标数据，并将所述明细指标数据发送至数据仓库的数据计算层；其中，所述预处理包括数据校验、数据补充、数据加密。
需要说明的是，细节数据层(data warehouse details DWD)，是业务层与数据仓库的隔离层，用于数据清洗和加密。在具体的实施过程中，主要对ODS数据层做一些数据清洗和规范化的操作，例如可以为去除空值、脏数据、超过极限范围的数据进行数据清洗。进一步的，可以利用dwd层做数据加密和数据脱敏，用于防止金融信息泄露。其中，加密算法可以根据实际需求设计算法进行加密，也可以采用现有技术中常用的加密算法。总之，细节数据层可以进行数据清洗，还有数据归一化，数据加密，极限值处理，等进一步保证数据准确性的处理工作。使得预处理后的数据能够满足数据分析模型设定的数据输入格式，使得相关数据分析模型能够基于预处理后的数据进行分析，得到准确的分析结果。
S23、通过所述数据计算层对所述明细指标数据进行数据处理，并获得所述数据指标以及所述数据指标对应的指标变化率数据。
具体地说，在数据仓库中实现上述数据分析模型功能的是DWM层以及DWS层。数据中间层(DWM Data WareHouse Middle)，即数据模型层。用于在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的对数据依据业务场景定义有规律有约定的中间表。数据服务层DWS(Data WareHouse Servce)，即主题模型层，用于利用DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，可以直接提供数据服务，也可以给其它dwm层供数。
需要说明的是，每个指标为一个项目集合，也就是说，指标对应的指标变化率在一个项集中既存在正变化也存在负变化，即，既有正值也有负值。在具体的实施过程中，对于指标数据而言，指标变化率数据可以分为粗粒度指标变化率数据以及细粒度指标指标变化率数据，仍然以销售数据为例，在一个销售日报的项目集合里，粗粒度指标变化率数据即日销售额的增长还是下降，即日销售额超过昨天就是正向，低于昨天是负向；而细粒度指标变化率数据，则是销售额的细分指标，比如日销售额同比上月比率，同比去年日比例，月累计MTD，月预计达成MRR，年累计YTD，无抵押销售额等；也可以将一个项目集合中一个指标再次进行拆分，进而形成多个项目集合。
所述步骤根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合中，还包括：为了提升所述指标项目集合的有效性，对所述数据指标的指标项目集合中的所述指标变化率数据进行正相关收集；其中，所述正相关收集为筛选大于预设的数据指标变化率阈值的指标变化率形成数据指标的指标项目集合。也就是说，设定指标变化率阈值，按照指标变化率>设定指标变化率阈值的规则进行筛选，以实现对正相关的收集。其中，关于指标变化率阈值，可以根据实际的应用场景，算法里进行选择性设置。
具体地说，所述预设的数据维度包括，定义数据指标的维度层次以及按照所述数据指标的维度层次罗列所需计算的数据指标名目。
以银行贷款项目分析为例，所需的待分析指标数据包括新产品营销、黑名单数、中长期贷款利率数、合作银行数、监管指标、市场活跃因子、人均互联网指标、电话接通率、人均APP市场、MTD放款金额、申请件数、件均和期末贷款余额等。
以上述银行贷款项目中，MTD放款金额作为待分析指标为例，与MTD放款金额指标相关联的指标包括：新产品营销、黑名单数、中长期贷款利率数、合作银行数、监管指标、市场活跃因子、人均互联网指标、电话接通率、人均APP市场等。在步骤S2中，对MTD放款金额的数据进行数据处理，获得MTD放款金额变化率。
总之，数据处理包括通过深度统计分析数据之间的维度关联关系，将数据进行汇聚后，再进行多层汇总后进一步提炼数据获得指标数据以及指标数据对应的变化率数据。具体地说，将所述标准化的明细指标数据通过数据计算层进行数据处理以获得各个指标以及所述指标对应的变化率。这里的数据计算层进行数据处理是通过数据分析模型实现的。数据分析模型可以是基于Apriori算法，FP-growth算法，典型关联分析(CanonicalCorrelation Analysis)，支持向量机(SVM)等。各个数据分析模型可以基于R语言进行编写，例如通过R语言对如银行贷款的相关数据分析算法进行程序编写，从而封装成数据分析模型。
S3、将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；
在现有技术中，各个待分析指标之间可以自定义绑定关联关系。其中，主要是按照其对应的管理人员的主观意愿进行绑定，进而进行关联分析。比如说，一个根报表，本次设置每日销售日报，业务设置每日销售业绩和人力团队成员报表，营销调整报表，培训安排表，风控规则报表。点击每个卡片能够跳转到各个报表的详细信息。人力团队成员报表和各个元事业部报表中团队人数配置配置关联关系。有些报表可以配置归属关系，如第二营业部配置人员计划报表，并归属到一元事业部下面。但是，存在主观性强以及工作量大的弊端。
在本发明通过归因模型分析获得每两个指标的项目集合间的关联度值；进而通过关联度值去进行关联度分析，并生成关联报表。也就是说，利用归因模型将各个指标间的关联度进行打分，进而发掘指标间的相互关联关系。
将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值方法包括：
S31、将任意两个与同一数据指标相关的所述指标项目集合输入归因模型；
需要说明的是，将与同一数据指标相关的所有的所述指标项目集合，进行任意两个一组进行组合，将任意两个与同一数据指标相关的所有的所述指标项目集合作为一组数据同时输入归因模型。仍以MTD放款金额作为待分析指标为例，若MTD放款金额指标相关联的指标项目集合为：新产品营销指标项目集合、黑名单数指标项目集合、中长期贷款利率数指标项目集合、合作银行数指标项目集合、监管指标指标项目集合、市场活跃因子指标项目集合；上述6个指标项目集合存在15种组合方式。
S32、将所述两个指标项目集合分别进行矩阵化处理，得到两个特征向量；
S33、利用所得到的两组特征向量构建判别典型相关分析算法的准则函数；
S34、根据所述准则函数获得所述两个特征向量各自对应的典型投影矢量集；根据特征融合策略，利用所述典型投影矢量集获得两个特征向量融合后的相关性特征向量以及其对应的特征值；
S35、采用近邻分类器对所述融合后的相关性特征向量进行分类识别，获得每组中与同一数据指标相关的两个指标项目集合间的关联度值。
S4、筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，将所述数据指标的目标指标数据形成数据立方体并输出。
在现有技术中，通过手动在相应指标报表上设置监控阈值，设置关联关系报表浮动变化的阈值，如设定阈值为10％，当指标上下变化大于10％，则将卡片变色，并记录变化信息。
而在本发明中，利用归因模型将各个指标间的关联度进行打分，进而发掘指标间的相互关联关系。其实就是关联分析中的支持度，从而分析出待分析指标间支持度大小，为了美观将支持度归一化到0～0.1之间。每个独立的报表，只能看到某个指标，某个领域的结果，而一个大指标的影响通常是和很多关联指标，或市场指标，政策指标关联，通过归因关联分析后，可以更好地解释变化。
在具体的实施过程中，是通过数据仓库的直接模型映射层(Direct ModelMapping)实现的，数据立方体实际就是一张张可以直接用的结果表，然后将结果标提供给前端进行数据展示。具体地说，结果表可以是表格或者图形，表格(如统计描述表和频数表等)和图形(直方图、箱线图、正态概率图、条形图、饼图和分布拟合图等)。
总之，通过利用数据仓库中各数据层的处理，最终将待分析的数据形成一个图像或者报表展示。通过归因模型提出监控的方法，通过设置阈值，对关联指标发生突变的时候能够及时发现并提出来，这就能够事前预防，快速提出修改策略。
具体地说，输出的方式包括：依据任务的重要性和时效要求，按级别进行区别配置输出方式。例如通过邮件、工作时间电话、24小时电话、自动群发邮件抄送领导、自动组建工作群以及UIOC最高级别处理生产事故等方式进行输出。
在所述筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，并以数据立方体形式输出步骤之后，本发明还包括贡献率分析步骤，包括：
S5、将同一数据指标的目标指标数据输入基于主成分分析的贡献率分析模型，获得所述数据指标的指标贡献率。筛选指标贡献率大于预设的贡献率阈值的数据指标作为核心影响指标；利用所述核心影响指标判断突变指标变化的成因。
在一个具体的实施例中，如果取出贡献率前85％影响指标，作为该指标的重点关注项；则，将该指标的重点关注项生成报告发送相关干系人。当某个指标发生变化后，比如MTD放款金额暴涨20％，申请件暴涨30％这种场景，可以根据归因模型从关联性分析归因，是哪些指标导致了这个现象。使用PCA分析后，对每个预测指标求取前85％贡献率的变量，作为该预测指标的核心影响指标，可以将分析报告发送运营部门，各个运营部门根据自己关心的指标来重点关注。
将关联度值大于所述关联度阈值的待检测指标的指标变化率数据输入基于主成分分析的贡献率分析模型，按照指标贡献率选取核心影响指标，进而判断突变指标变化的成因。
所述基于主成分分析的贡献率分析模型的网络结构为输入层、隐含层和输出层；其中，所述隐含层甄选使用tansig传递函数、trainlm训练函数、learngdm阈值学习函数，所述输出层采用线性传递purelin函数；所述隐含层神经元数设置为每层12个。具体地说，成分分析的预测模型的网络结构为输入层1层、隐含层1层、输出层1层；隐含层甄选使用tansig传递函数、trainlm训练函数、learngdm阈值学习函数，输出层采用线性传递purelin函数；隐含层神经元数设置为每层12个；设定网络的最大学习迭代次数为1000次；设定网络的最小均方误差0.000001，学习步长0.001。
基于主成分分析的预测模型的训练过程为，收集待检测指标的指标变化率数据，将待检测指标的指标变化率数据输入基于主成分分析的预测模型进行训练；比如说，收集1万组有效数据，随机选择其中的8000组对上述神经网络进行训练，利用余下的2000组数据作为对比验证，构建基于主成分分析的预测模型，以预测现有的指标数据可能出现的突变异常。
综上，本发明的一种基于数据仓库的数据归因处理方法，通过获得待分析指标数据；将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据；将所述数据指标的目标指标数据形成数据立方体并输出。利用了数据仓库对指标数据进行分析，通过归因模型筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据的数据立方体；进一步将关联度值大于所述关联度阈值的待检测指标的指标变化率数据输入基于主成分分析的贡献率分析模型，按照指标贡献率选取核心影响指标，进而判断突变指标变化的成因，达到了充分利用数据资源的基础上，提高数据分析结果客观性的效果，从而适用于各种数据分析场景。
如图2所示，本发明提供一种基于数据仓库的数据归因处理装置200，本发明可以安装于电子设备中。根据实现的功能，该基于数据仓库的数据归因处理装置200可以包括指标数据获取单元201、指标项目集合形成单元202、目标指标数据获取单元203和目标指标数据输出单元204。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
指标数据获取单元201，用于获得待分析指标数据，其中，所述待分析指标数据包括数据指标以及所述数据指标对应的数据；
指标项目集合形成单元202，用于将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；
目标指标数据获取单元203，用于将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据；
目标指标数据输出单元204，用于将所述数据指标的目标指标数据形成数据立方体并输出。
本发明的基于数据仓库的数据归因处理装置200通过通过获得待分析指标数据；将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据；将所述数据指标的目标指标数据形成数据立方体并输出。利用了数据仓库对指标数据进行分析，通过归因模型筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据的数据立方体；进一步将关联度值大于所述关联度阈值的待检测指标的指标变化率数据输入基于主成分分析的贡献率分析模型，按照指标贡献率选取核心影响指标，进而判断突变指标变化的成因，达到了充分利用数据资源的基础上，提高数据分析结果客观性的效果，从而适用于各种数据分析场景。
如图3所示，本发明提供一种基于数据仓库的数据归因处理方法的电子设备3。
该电子设备3可以包括处理器30、存储器31和总线，还可以包括存储在存储器31中并可在所述处理器30上运行的计算机程序，如基于数据仓库的数据归因处理程序32。
其中，所述存储器31至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器31在一些实施例中可以是电子设备3的内部存储单元，例如该电子设备3的移动硬盘。所述存储器31在另一些实施例中也可以是电子设备3的外部存储设备，例如电子设备3上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括电子设备3的内部存储单元也包括外部存储设备。所述存储器31不仅可以用于存储安装于电子设备3的应用软件及各类数据，例如基于数据仓库的数据归因处理程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器30在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器30是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块(例如基于数据仓库的数据归因处理程序等)，以及调用存储在所述存储器41内的数据，以执行电子设备3的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器31以及至少一个处理器30等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备3的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备3还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器30逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备3还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备3与其他电子设备之间建立通信连接。
可选地，该电子设备3还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备3中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备3中的所述存储器31存储的基于数据仓库的数据归因处理程序32是多个指令的组合，在所述处理器30中运行时，可以实现：通过获得待分析指标数据；将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据；将所述数据指标的目标指标数据形成数据立方体并输出。利用了数据仓库对指标数据进行分析，通过归因模型筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据的数据立方体；进一步将关联度值大于所述关联度阈值的待检测指标的指标变化率数据输入基于主成分分析的贡献率分析模型，按照指标贡献率选取核心影响指标，进而判断突变指标变化的成因。
具体地，所述处理器30对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述基于数据仓库的数据归因处理程序的私密和安全性，上述数据库高可用处理数据存储于本服务器集群所处区块链的节点中。
进一步地，所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明实施例还提供一种计算机可读存储介质，所述存储介质可以是非易失性的，也可以是易失性的，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：通过获得待分析指标数据；将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据；将所述数据指标的目标指标数据形成数据立方体并输出。利用了数据仓库对指标数据进行分析，通过归因模型筛选关联度值大于预设的关联度阈值的数据指标的指标项目集合形成数据指标的目标指标数据的数据立方体；进一步将关联度值大于所述关联度阈值的待检测指标的指标变化率数据输入基于主成分分析的贡献率分析模型，按照指标贡献率选取核心影响指标，进而判断突变指标变化的成因。
具体地，所述计算机程序被处理器执行时具体实现方法可参考实施例基于数据仓库的数据归因处理方法中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种基于数据仓库的数据归因处理方法，其特征在于，包括：
获得待分析指标数据，其中，所述待分析的指标数据包括数据指标以及所述数据指标对应的数据；所述待分析指标数据来自于源数据层，源数据层的数据包括结构化数据和非结构化数据；待分析指标数据包括流量日志数据、告警日志数据、网络安全事件数据、资产相关数据、运维监控数据、恶意域名数据、恶意ip知识数据、有害程序数据、漏洞知识数据、等保知识数据和告警规则描述数据；
将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；其中，将所获取的指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据的方法包括：将所获取的指标数据发送至数据仓库的采集中心层，在所述采集中心层根据预设数据结构对所述待分析指标数据进行存储，并将所存储的具有预设数据结构的指标数据发送至数据仓库的细节数据层；通过所述细节数据层对所述待分析指标数据进行预处理，获得标准化的明细指标数据，并将所述明细指标数据发送至数据仓库的数据计算层；其中，所述预处理包括数据校验、数据补充、数据加密；通过所述数据计算层对所述明细指标数据进行数据处理，并获得所述数据指标以及所述数据指标对应的指标变化率数据；
将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值方法包括：将任意两个与同一数据指标相关的所述指标项目集合输入归因模型；将所述两个指标项目集合分别进行矩阵化处理，得到两个特征向量；利用所得到的两组特征向量构建判别典型相关分析算法的准则函数；根据所述准则函数获得所述两个特征向量各自对应的典型投影矢量集；根据特征融合策略，利用所述典型投影矢量集获得两个特征向量融合后的相关性特征向量以及其对应的特征值；采用近邻分类器对所述融合后的相关性特征向量进行分类识别，获得每组中与同一数据指标相关的两个指标项目集合间的关联度值；
筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，并以数据立方体形式输出。
2.如权利要求1所述的基于数据仓库的数据归因处理方法，其特征在于，在所述步骤根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合中，所述预设的数据维度包括，定义数据指标的维度层次以及按照所述数据指标的维度层次罗列所需计算的数据指标名目。
3.如权利要求1所述的基于数据仓库的数据归因处理方法，其特征在于，在所述筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，并以数据立方体形式输出步骤之后，还包括贡献率分析步骤，包括：
将同一数据指标的目标指标数据输入基于主成分分析的贡献率分析模型，获得所述数据指标的指标贡献率；
筛选指标贡献率大于预设的贡献率阈值的数据指标作为核心影响指标；
利用所述核心影响指标判断突变指标变化的成因。
4.如权利要求3所述的基于数据仓库的数据归因处理方法，其特征在于，所述基于主成分分析的贡献率分析模型的网络结构为输入层、隐含层和输出层；其中，所述隐含层甄选使用tansig传递函数、trainlm训练函数、learngdm阈值学习函数，所述输出层采用线性传递purelin函数；所述隐含层神经元数设置为每层12个。
5.如权利要求4所述的基于数据仓库的数据归因处理方法，其特征在于，所述步骤根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合中，还包括：
为了提升所述指标项目集合的有效性，对所述数据指标的指标项目集合中的所述指标变化率数据进行正相关收集；
其中，所述正相关收集为筛选大于预设的数据指标变化率阈值的指标变化率形成数据指标的指标项目集合。
6.一种基于数据仓库的数据归因处理装置，其特征在于，所述装置包括：
指标数据获取单元，用于获得待分析指标数据，其中，所述待分析的指标数据包括数据指标以及所述数据指标对应的数据；所述待分析指标数据来自于源数据层，源数据层的数据包括结构化数据和非结构化数据；待分析指标数据包括流量日志数据、告警日志数据、网络安全事件数据、资产相关数据、运维监控数据、恶意域名数据、恶意ip知识数据、有害程序数据、漏洞知识数据、等保知识数据和告警规则描述数据；
指标项目集合形成单元，用于将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；其中，将所获取的指标数据输入数据仓库进行数据处理；获得数据指标的变化率数据的方法包括，将所获取的指标数据发送至数据仓库的采集中心层，在所述采集中心层根据预设数据结构对所述待分析指标数据进行存储，并将所存储的具有预设数据结构的指标数据发送至数据仓库的细节数据层；通过所述细节数据层对所述待分析指标数据进行预处理，获得标准化的明细指标数据，并将所述明细指标数据发送至数据仓库的数据计算层；其中，所述预处理包括数据校验、数据补充、数据加密；通过所述数据计算层对所述明细指标数据进行数据处理，并获得所述数据指标以及所述数据指标对应的指标变化率数据；
目标指标数据获取单元，用于将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值方法包括：将任意两个与同一数据指标相关的所述指标项目集合输入归因模型；将所述两个指标项目集合分别进行矩阵化处理，得到两个特征向量；利用所得到的两组特征向量构建判别典型相关分析算法的准则函数；根据所述准则函数获得所述两个特征向量各自对应的典型投影矢量集；根据特征融合策略，利用所述典型投影矢量集获得两个特征向量融合后的相关性特征向量以及其对应的特征值；采用近邻分类器对所述融合后的相关性特征向量进行分类识别，获得每组中与同一数据指标相关的两个指标项目集合间的关联度值；
筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据；
目标指标数据输出单元，用于将所述数据指标的目标指标数据形成数据立方体并输出。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的基于数据仓库的数据归因处理方法中的步骤。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的基于数据仓库的数据归因处理方法。
CN202110738027.0A 2021-06-30 2021-06-30 基于数据仓库的数据归因处理方法、装置及存储介质 Active CN113434575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738027.0A CN113434575B (zh) 2021-06-30 2021-06-30 基于数据仓库的数据归因处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738027.0A CN113434575B (zh) 2021-06-30 2021-06-30 基于数据仓库的数据归因处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113434575A CN113434575A (zh) 2021-09-24
CN113434575B true CN113434575B (zh) 2023-09-08

Family

ID=77758164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738027.0A Active CN113434575B (zh) 2021-06-30 2021-06-30 基于数据仓库的数据归因处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113434575B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547133B (zh) * 2022-01-17 2023-03-28 北京元年科技股份有限公司 基于多维数据集的对话式归因分析方法、装置及设备
CN116701410B (zh) * 2023-08-07 2023-11-14 北京大学 数联网数据语用内存状态数据的存储方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844291A (zh) * 2016-03-18 2016-08-10 常州大学 一种基于核典型相关分析的特征融合方法
CN110704751A (zh) * 2019-10-22 2020-01-17 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN111241128A (zh) * 2020-01-21 2020-06-05 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN111695052A (zh) * 2020-06-12 2020-09-22 上海智臻智能网络科技股份有限公司 标签分类方法、数据处理设备、可读存储介质
CN112308465A (zh) * 2020-11-24 2021-02-02 腾讯科技（深圳）有限公司 一种业务指标的处理方法及装置
CN112434200A (zh) * 2020-11-30 2021-03-02 北京思特奇信息技术股份有限公司 一种数据展示方法、系统及电子设备
CN112990696A (zh) * 2021-03-12 2021-06-18 深圳供电局有限公司 数据分析方法、系统、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311394B2 (en) * 2011-08-17 2019-06-04 Roundhouse One Llc System and method analyzing business intelligence applied to physical assets and environment factors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844291A (zh) * 2016-03-18 2016-08-10 常州大学 一种基于核典型相关分析的特征融合方法
CN110704751A (zh) * 2019-10-22 2020-01-17 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN111241128A (zh) * 2020-01-21 2020-06-05 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN111695052A (zh) * 2020-06-12 2020-09-22 上海智臻智能网络科技股份有限公司 标签分类方法、数据处理设备、可读存储介质
CN112308465A (zh) * 2020-11-24 2021-02-02 腾讯科技（深圳）有限公司 一种业务指标的处理方法及装置
CN112434200A (zh) * 2020-11-30 2021-03-02 北京思特奇信息技术股份有限公司 一种数据展示方法、系统及电子设备
CN112990696A (zh) * 2021-03-12 2021-06-18 深圳供电局有限公司 数据分析方法、系统、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113434575A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
US10552735B1 (en) Applied artificial intelligence technology for processing trade data to detect patterns indicative of potential trade spoofing
US20140081652A1 (en) Automated Healthcare Risk Management System Utilizing Real-time Predictive Models, Risk Adjusted Provider Cost Index, Edit Analytics, Strategy Management, Managed Learning Environment, Contact Management, Forensic GUI, Case Management And Reporting System For Preventing And Detecting Healthcare Fraud, Abuse, Waste And Errors
CN109492945A (zh) 企业风险识别监控方法、装置、设备及存储介质
CN108492196A (zh) 通过数据分析推断医疗保险违规行为的风控方法
CN113434575B (zh) 基于数据仓库的数据归因处理方法、装置及存储介质
CN107633030B (zh) 基于数据模型的信用评估方法及装置
CN110163413A (zh) 企业监控及预警方法、装置、计算机设备及可读存储介质
CN110162445A (zh) 基于主机日志及性能指标的主机健康评价方法及装置
CN111986027A (zh) 基于人工智能的异常交易处理方法、装置
CN113609193A (zh) 训练用于预测客户交易行为的预测模型的方法及装置
CN113722433A (zh) 一种信息推送方法、装置、电子设备及计算机可读介质
CN115908022A (zh) 一种基于网络建模的异常交易风险预警方法及系统
CN112232950A (zh) 针对借贷风险的评估方法及装置、设备、计算机可读存储介质
CN109146667B (zh) 一种基于量化统计的外部接口综合应用模型的构建方法
CN108304990B (zh) 一种停电敏感预判方法和系统
CN112686446A (zh) 一种面向机器学习可解释性的信贷违约预测方法及系统
CN117114409A (zh) 企业数据的数据处理方法、设备和存储介质
CN116563028A (zh) 基于ai的报送数据校验方法、系统及存储介质
WO2022143431A1 (zh) 一种反洗钱模型的训练方法及装置
KR102499182B1 (ko) 인공지능을 이용한 가계대출 사기/부실 상시감사지원시스템
CN114742412A (zh) 一种软件技术服务系统及方法
CN111651652B (zh) 基于人工智能的情感倾向识别方法、装置、设备及介质
TWM622331U (zh) 風險預測系統及其設備
CN110675240B (zh) 风险雷达预警的监控方法及系统
US20210350457A1 (en) System and method for analyzing data by identifying patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230808

Address after: 200120, Room 302, No. 7, Lane 2449, Jinhai Road, Pudong New Area, Shanghai

Applicant after: Shanghai Yinglinktong Network Technology Co.,Ltd.

Address before: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen LIAN intellectual property service center

Effective date of registration: 20230808

Address after: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen LIAN intellectual property service center

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: PING AN PUHUI ENTERPRISE MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant