CN111639117A - 基于数据加工的业务处理方法及装置 - Google Patents

基于数据加工的业务处理方法及装置 Download PDF

Info

Publication number
CN111639117A
CN111639117A CN202010455364.4A CN202010455364A CN111639117A CN 111639117 A CN111639117 A CN 111639117A CN 202010455364 A CN202010455364 A CN 202010455364A CN 111639117 A CN111639117 A CN 111639117A
Authority
CN
China
Prior art keywords
data
service
processing
analysis
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010455364.4A
Other languages
English (en)
Other versions
CN111639117B (zh
Inventor
李绍兵
闫康宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chenhai Mathematical Information Technology Co.,Ltd.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010455364.4A priority Critical patent/CN111639117B/zh
Publication of CN111639117A publication Critical patent/CN111639117A/zh
Application granted granted Critical
Publication of CN111639117B publication Critical patent/CN111639117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于数据加工的业务处理方法及装置。在应用上述方案时,确定每个业务数据的业务指标信息和每个业务数据的业务指标信息的指标参数,对每个业务数据进行业务数据分析,进一步对每个业务数据以及每个分析结果进行数据加工处理,进而对确定出的待处理数据进行业务数据加工,对获取的样本数据进行数据加工处理,得到多个目标样本数据并进行逻辑分析处理,在符合预设逻辑条件的情况下,对目标逻辑分析结果对所述待处理数据进行同步整合处理,并将同步整合处理结果上传至服务器进行存储。这样设计能够对各业务处理系统的数据进行统一整合,同时也能够对各业务部门的业务数据进行同步处理。

Description

基于数据加工的业务处理方法及装置
技术领域
本公开涉及监控技术领域,特别涉及基于数据加工的业务处理方法及装置。
背景技术
随着网络技术的不断发展,数据库已经在信息技术领域有了广泛的应用。在社会生活的各个部门几乎都有各种各样的数据库保存着与人们的生活息息相关的各种数据。
而数据库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的。而数据加工是业务处理的必要手段。
在实际应用中,随着数据量的越来越大,大量的数据分布于各个业务处理系统,同时各业务处理系统面对着不同的处理对象。在现有技术中,面对日益增长的数据量和日益复杂的业务,各业各处理系统的建设水平不一致,使得各业务处理系统不能统一整合加工后的数据,进而无法对各业务部门的业务数据进行同步处理。
发明内容
为改善相关技术中存在的技术问题,本公开提供了基于数据加工的业务处理方法及装置。
本发明提供了一种基于数据加工的业务处理方法,所述方法包括:
确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数,所述业务指标信息用于表征所述业务数据是否属于待处理数据;
根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,所述业务数据分析包括数据拆分和数据汇总;
对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据;
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,所述数据加工集合中包括不同维度的多个待处理数据的加工结果;
获取待加工的样本数据,对所述样本数据进行数据加工处理后,将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果;
在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下,根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理,得到同步整合处理结果,并将所述同步整合处理结果上传至服务器进行存储。
在一种可替代的实施方式中,根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,具体包括:
将业务数据进行业务类型筛选,得到业务筛选集合;
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理,获得数据分析结果和对应的数据分析表;
根据所述数据分析结果,记录业务数据分析过程,并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单,获取所述频率单元中每个单元在分析记录清单中的对应列表;
根据预设的匹配度,将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理,获得业务数据分析总表;所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表;
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表;
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
在一种可替代的实施方式中,对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据,具体包括:
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合,所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元;
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值,将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元;
根据预设的条件将所述特征信息值输入到所述目标数据信息单元,在所述目标数据信息单元中得到输入值,并根据所述特征信息值、所述输入值以及预设的加工条件,对所述每个业务数据和所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
在一种可替代的实施方式中,基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,具体包括:
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段,得到所述待处理数据对应的不同属性的数据分段单元;
从所述待处理数据中标记出第一数据分段单元;
从所述第一数据分段单元中提取出第一数据分段信息,所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息;
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除,得到第二数据分段单元,所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域;
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工,得到所述数据加工集合。
在一种可替代的实施方式中,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果,具体包括:
查找数据加工集合中是否存在多个目标样本数据,得到查找结果;
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理,得到排列表;
提取所述多个目标样本数据对应的多个数据特征信息,将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值;
根据所述排列表和所述数据特征值,对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
本发明还提供了一种基于数据加工的业务处理装置,所述装置包括:
信息确定模块,用于确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数,所述业务指标信息用于表征所述业务数据是否属于待处理数据;
数据分析模块,用于根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,所述业务数据分析包括数据拆分和数据汇总;
数据加工模块,用于对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据;
业务数据加工模块,用于基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,所述数据加工集合中包括不同维度的多个待处理数据的加工结果;
数据逻辑分析模块,用于获取待加工的样本数据,对所述样本数据进行数据加工处理后,将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果;
数据同步整合模块,用于在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下,根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理,得到同步整合处理结果,并将所述同步整合处理结果上传至服务器进行存储。
在一种可替代的实施方式中,所述数据分析模块,具体用于:
将业务数据进行业务类型筛选,得到业务筛选集合;
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理,获得数据分析结果和对应的数据分析表;
根据所述数据分析结果,记录业务数据分析过程,并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单,获取所述频率单元中每个单元在分析记录清单中的对应列表;
根据预设的匹配度,将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理,获得业务数据分析总表;所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表;
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表;
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
在一种可替代的实施方式中,所述数据加工模块,具体用于:
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合,所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元;
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值,将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元;
根据预设的条件将所述特征信息值输入到所述目标数据信息单元,在所述目标数据信息单元中得到输入值,并根据所述特征信息值、所述输入值以及预设的加工条件,对所述每个业务数据和所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
在一种可替代的实施方式中,所述业务数据加工模块,具体用于:
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段,得到所述待处理数据对应的不同属性的数据分段单元;
从所述待处理数据中标记出第一数据分段单元;
从所述第一数据分段单元中提取出第一数据分段信息,所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息;
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除,得到第二数据分段单元,所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域;
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工,得到所述数据加工集合。
在一种可替代的实施方式中,所述数据逻辑分析模块,具体用于:
查找数据加工集合中是否存在多个目标样本数据,得到查找结果;
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理,得到排列表;
提取所述多个目标样本数据对应的多个数据特征信息,将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值;
根据所述排列表和所述数据特征值,对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
本公开的实施例提供的技术方案可以包括以下有益效果。
本公开提供了基于数据加工的业务处理方法及装置,确定每个业务数据的业务指标信息和每个业务数据的业务指标信息的指标参数,对每个业务数据进行业务数据分析,进一步对每个业务数据以及每个分析结果进行数据加工处理,基于得到每个业务数据对应的第一目标业务数据和分析结果对应的第二目标业务数据对确定出的待处理数据进行业务数据加工,进一步对获取到的样本数据进行数据加工处理,得到多个目标样本数据并对多个目标样本数据进行逻辑分析处理,在符合预设逻辑条件的情况下,对目标逻辑分析结果对所述待处理数据进行同步整合处理,并将同步整合处理结果上传至服务器进行存储。这样设计能够对各业务处理系统的数据进行统一整合,同时也能够对各业务部门的业务数据进行同步处理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是本发明实施例提供的一种基于数据加工的业务处理方法的流程图。
图2是本发明实施例提供的一种基于数据加工的业务处理装置的框图。
图3是本发明实施例提供的一种服务器的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据本公开所涉及的一种基于数据加工的业务处理方法的流程图,该方法可以包括以下内容。
步骤S110,确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数,所述业务指标信息用于表征所述业务数据是否属于待处理数据。
步骤S120,根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,所述业务数据分析包括数据拆分和数据汇总。
步骤S130,对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
步骤S140,基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,所述数据加工集合中包括不同维度的多个待处理数据的加工结果。
步骤S150,获取待加工的样本数据,对所述样本数据进行数据加工处理后,将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
步骤S160,在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下,根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理,得到同步整合处理结果,并将所述同步整合处理结果上传至服务器进行存储。
通过执行上述步骤,确定每个业务数据的业务指标信息和每个业务数据的业务指标信息的指标参数,对每个业务数据进行业务数据分析,进一步对每个业务数据以及每个分析结果进行数据加工处理,基于得到每个业务数据对应的第一目标业务数据和分析结果对应的第二目标业务数据对确定出的待处理数据进行业务数据加工,进一步对获取到的样本数据进行数据加工处理,得到多个目标样本数据并对多个目标样本数据进行逻辑分析处理,在符合预设逻辑条件的情况下,对目标逻辑分析结果对所述待处理数据进行同步整合处理,并将同步整合处理结果上传至服务器进行存储。这样设计能够对各业务处理系统的数据进行统一整合,同时也能够对各业务部门的业务数据进行同步处理。
在实际实施时,为了够准确地得到分析结果,在步骤S120中具体可以包括以下子步骤。
步骤S1201,将业务数据进行业务类型筛选,得到业务筛选集合。
步骤S1202,根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理,获得数据分析结果和对应的数据分析表。
步骤S1203,根据所述数据分析结果,记录业务数据分析过程,并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单,获取所述频率单元中每个单元在分析记录清单中的对应列表。
步骤S1204,根据预设的匹配度,将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理,获得业务数据分析总表;所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表。
步骤S1205,从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表。
步骤S1206,将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
通过执行上述步骤,通过对业务数据进行业务类型筛选,进一步进行业务数据分析处理,进一步根据数据分析结果,记录业务数据分析过程,进而得分析记录清单中的对应列表,根据预设的匹配度,将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理,得业务数据分析总表。进一步从业务数据分析总表筛选不满足预设分析条件的业务数据分析表,将剩余的业务数据分析表确定为所述业务数据对应的分析结果。这样能够提高业务数据分析处理的效率,同时能够准确地得到分析结果,进一步满足数据分析的要求。
在实际实施时,为了能够降低对数据加工的成本,提高对数据加工的准确性。在步骤S130中具体可以包括以下子步骤。
步骤S1301,确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合,所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元。
步骤S1302,提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值,将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元。
步骤S1303,根据预设的条件将所述特征信息值输入到所述目标数据信息单元,在所述目标数据信息单元中得到输入值,并根据所述特征信息值、所述输入值以及预设的加工条件,对所述每个业务数据和所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。其中,所述数据加工处理包括:数据筛选、数据分类、数据对比、数据校验、数据传输以及数据储存。
通过执行上述步骤,通过提取每个业务数据对应的业务关键信息集合任一数据信息单元的特征信息值,将每个分析结果对应的关键参数集合中最有小维度的数据信息单元确定为目标数据信息单元,进一步根据预设的条件将特征信息值输入到目标数据信息单元,得到输入值,进而对每个业务数据和每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。这样能够降低对数据加工的成本,进而提高对数据加工的准确性。
在实际实施时,为了能够提高数据加工速率和效率,能够让待处理数据按照统一的流程进行数据加工,在步骤S140中具体可以包括以下子步骤。
步骤S1401,基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段,得到所述待处理数据对应的不同属性的数据分段单元。
步骤S1402,从所述待处理数据中标记出第一数据分段单元。
步骤S1403,从所述第一数据分段单元中提取出第一数据分段信息,所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息。
步骤S1404,将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除,得到第二数据分段单元,所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域。
步骤S1405,根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工,得到所述数据加工集合。
通过执行上述步骤,通过对待处理数据进行数据分段,根据预设的加工顺序对目标分段区域中的所述待处理数据进行业务数据加工,这样使得待处理数据能够按照统一的流程进行数据加工,进而能够提高数据加工速率,同进能够提高数据加工的效率。
在实际实施时,在面对日益增长的数据量和日益复杂的业务的情况,为了能够对更加精准地对数据进行处理,避免在进行数据处理过程中出错。在步骤S150中具体可以包括以下子步骤。
步骤S1501,查找数据加工集合中是否存在多个目标样本数据,得到查找结果。
步骤S1502,当所述查找结果指示所述数据加工集合中存在多个目标样本数据时,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理,得到排列表。
步骤S1503,提取所述多个目标样本数据对应的多个数据特征信息,将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值。
步骤S1504,根据所述排列表和所述数据特征值,对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
通过执行上述步骤,通过查找数据加工集合中是否存在多个目标样本数据,进而对多个目标样本数据进行数据排列处理以及提取多个目标样本数据对应的多个数据特征信息,基于得到的排列表和数据特征值对所述多个目标样本数据进行逻辑分析处理。这样在面对日益增长的数据量和日益复杂的业务的情况,能够对更加精准地对数据进行处理,进而避免出错。
可选地,在具体实施时候,为了能够快速准确地进行数据同步整合处理,进一步避免数据丢失,在步骤S160所描述的在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下,根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理,得到同步整合处理结果,进一步可以包括以下子步骤。
对多个逻辑分析结果中的目标逻辑分析结果进行标记,得到所述多个逻辑分析结果对应的标记信息素;对待处理数据进行统计,得到所述待处理数据对应的统计表;根据所述标记信息素和统计表,判断所述多个逻辑分析结果对应的标记信息素中是否存在所述待处理数据;若判断结果是所述多个逻辑分析结果存在所述待处理数据,则将所述待处理数据添加到多个逻辑分析结果中的所述目标逻辑分析结果中进行同步整合处理,得到同步整合处理结果。
通过执行上述步骤,能够快速准确地进行数据同步整合处理,同时可以避免数据丢失,有效提高数据同步的准确性和安全性。
在上述基础上,请结合参阅图2,本发明提供了一种基于数据加工的业务处理装置,该装置具体可以包括以下功能模块。
信息确定模块110,用于确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数,所述业务指标信息用于表征所述业务数据是否属于待处理数据。
数据分析模块120,用于根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,所述业务数据分析包括数据拆分和数据汇总。
数据加工模块130,用于对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
业务数据加工模块140,用于基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,所述数据加工集合中包括不同维度的多个待处理数据的加工结果。
数据逻辑分析模块150,用于获取待加工的样本数据,对所述样本数据进行数据加工处理后,将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
数据同步整合模块160,用于在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下,根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理,得到同步整合处理结果,并将所述同步整合处理结果上传至服务器进行存储。
在一种可替代的实施方式中,所述数据分析模块120,具体用于:
将业务数据进行业务类型筛选,得到业务筛选集合。
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理,获得数据分析结果和对应的数据分析表。
根据所述数据分析结果,记录业务数据分析过程,并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单,获取所述频率单元中每个单元在分析记录清单中的对应列表。
根据预设的匹配度,将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理,获得业务数据分析总表;所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表。
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表。
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
在一种可替代的实施方式中,所述数据加工模块130,具体用于:
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合,所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元。
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值,将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元。
根据预设的条件将所述特征信息值输入到所述目标数据信息单元,在所述目标数据信息单元中得到输入值,并根据所述特征信息值、所述输入值以及预设的加工条件,对所述每个业务数据和所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
在一种可替代的实施方式中,所述业务数据加工模块140,具体用于:
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段,得到所述待处理数据对应的不同属性的数据分段单元。
从所述待处理数据中标记出第一数据分段单元。
从所述第一数据分段单元中提取出第一数据分段信息,所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息。
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除,得到第二数据分段单元,所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域。
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工,得到所述数据加工集合。
在一种可替代的实施方式中,所述数据逻辑分析模块150,具体用于:
查找数据加工集合中是否存在多个目标样本数据,得到查找结果。
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理,得到排列表。
提取所述多个目标样本数据对应的多个数据特征信息,将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值。
根据所述排列表和所述数据特征值,对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
在上述基础上,请结合参阅图3,提供了一种服务器200,包括处理器211以及与所述处理器211连接的存储器212和总线213;其中,所述处理器211和所述存储器212通过所述总线213完成相互间的通信;所述处理器211用于调用所述存储器212中的程序指令,以执行上述的方法。
进一步地,还提供了一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于数据加工的业务处理方法,其特征在于,所述方法包括:
确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数,所述业务指标信息用于表征所述业务数据是否属于待处理数据;
根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,所述业务数据分析包括数据拆分和数据汇总;
对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据;
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,所述数据加工集合中包括不同维度的多个待处理数据的加工结果;
获取待加工的样本数据,对所述样本数据进行数据加工处理后,将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果;
在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下,根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理,得到同步整合处理结果,并将所述同步整合处理结果上传至服务器进行存储。
2.根据权利要求1所述的一种基于数据加工的业务处理方法,其特征在于,根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,具体包括:
将业务数据进行业务类型筛选,得到业务筛选集合;
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理,获得数据分析结果和对应的数据分析表;
根据所述数据分析结果,记录业务数据分析过程,并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单,获取所述频率单元中每个单元在分析记录清单中的对应列表;
根据预设的匹配度,将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理,获得业务数据分析总表;所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表;
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表;
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
3.根据权利要求1所述的一种基于数据加工的业务处理方法,其特征在于,对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据,具体包括:
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合,所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元;
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值,将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元;
根据预设的条件将所述特征信息值输入到所述目标数据信息单元,在所述目标数据信息单元中得到输入值,并根据所述特征信息值、所述输入值以及预设的加工条件,对所述每个业务数据和所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
4.根据权利要求1所述的一种基于数据加工的业务处理方法,其特征在于,基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,具体包括:
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段,得到所述待处理数据对应的不同属性的数据分段单元;
从所述待处理数据中标记出第一数据分段单元;
从所述第一数据分段单元中提取出第一数据分段信息,所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息;
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除,得到第二数据分段单元,所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域;
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工,得到所述数据加工集合。
5.根据权利要求1所述的一种基于数据加工的业务处理方法,其特征在于,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果,具体包括:
查找数据加工集合中是否存在多个目标样本数据,得到查找结果;
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理,得到排列表;
提取所述多个目标样本数据对应的多个数据特征信息,将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值;
根据所述排列表和所述数据特征值,对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
6.一种基于数据加工的业务处理装置,其特征在于,所述装置包括:
信息确定模块,用于确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数,所述业务指标信息用于表征所述业务数据是否属于待处理数据;
数据分析模块,用于根据所述指标参数对所述每个业务数据进行业务数据分析,得到所述业务数据对应的分析结果,所述业务数据分析包括数据拆分和数据汇总;
数据加工模块,用于对所述每个业务数据以及所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据;
业务数据加工模块,用于基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工,得到数据加工集合,所述数据加工集合中包括不同维度的多个待处理数据的加工结果;
数据逻辑分析模块,用于获取待加工的样本数据,对所述样本数据进行数据加工处理后,将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果;
数据同步整合模块,用于在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下,根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理,得到同步整合处理结果,并将所述同步整合处理结果上传至服务器进行存储。
7.根据权利要求6所述的一种基于数据加工的业务处理装置,其特征在于,所述数据分析模块,具体用于:
将业务数据进行业务类型筛选,得到业务筛选集合;
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理,获得数据分析结果和对应的数据分析表;
根据所述数据分析结果,记录业务数据分析过程,并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单,获取所述频率单元中每个单元在分析记录清单中的对应列表;
根据预设的匹配度,将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理,获得业务数据分析总表;所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表;
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表;
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
8.根据权利要求6所述的一种基于数据加工的业务处理装置,其特征在于,所述数据加工模块,具体用于:
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合,所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元;
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值,将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元;
根据预设的条件将所述特征信息值输入到所述目标数据信息单元,在所述目标数据信息单元中得到输入值,并根据所述特征信息值、所述输入值以及预设的加工条件,对所述每个业务数据和所述每个分析结果进行数据加工处理,得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
9.根据权利要求6所述的一种基于数据加工的业务处理装置,其特征在于,所述业务数据加工模块,具体用于:
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段,得到所述待处理数据对应的不同属性的数据分段单元;
从所述待处理数据中标记出第一数据分段单元;
从所述第一数据分段单元中提取出第一数据分段信息,所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息;
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除,得到第二数据分段单元,所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域;
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工,得到所述数据加工集合。
10.根据权利要求6所述的一种基于数据加工的业务处理装置,其特征在于,所述数据逻辑分析模块,具体用于:
查找数据加工集合中是否存在多个目标样本数据,得到查找结果;
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时,通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理,得到排列表;
提取所述多个目标样本数据对应的多个数据特征信息,将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值;
根据所述排列表和所述数据特征值,对所述多个目标样本数据进行逻辑分析处理,得到与每个目标样本数据分别对应的逻辑分析结果。
CN202010455364.4A 2020-05-26 2020-05-26 基于数据加工的业务处理方法及装置 Active CN111639117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010455364.4A CN111639117B (zh) 2020-05-26 2020-05-26 基于数据加工的业务处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010455364.4A CN111639117B (zh) 2020-05-26 2020-05-26 基于数据加工的业务处理方法及装置

Publications (2)

Publication Number Publication Date
CN111639117A true CN111639117A (zh) 2020-09-08
CN111639117B CN111639117B (zh) 2023-12-01

Family

ID=72331113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010455364.4A Active CN111639117B (zh) 2020-05-26 2020-05-26 基于数据加工的业务处理方法及装置

Country Status (1)

Country Link
CN (1) CN111639117B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115204851A (zh) * 2022-09-19 2022-10-18 北京中创碳投科技有限公司 一种智慧核算模型的效果评估和优化方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452550A (zh) * 2008-11-19 2009-06-10 中国网络通信集团公司 系统的需求信息处理方法
WO2013160721A1 (en) * 2012-04-26 2013-10-31 Amadeus S.A.S. Database system using batch-oriented computation
WO2017133615A1 (zh) * 2016-02-03 2017-08-10 腾讯科技(深圳)有限公司 一种业务参数获取方法及装置
CN108536826A (zh) * 2018-04-10 2018-09-14 口口相传(北京)网络技术有限公司 数据分析方法及装置
CN109254966A (zh) * 2018-08-23 2019-01-22 平安科技(深圳)有限公司 数据表查询方法、装置、计算机设备及存储介质
CN110008255A (zh) * 2019-04-03 2019-07-12 平安信托有限责任公司 业务数据分析方法、装置、计算机设备和存储介质
CN110069519A (zh) * 2018-08-23 2019-07-30 平安科技(深圳)有限公司 数据信息管理方法、装置、计算机设备及存储介质
CN110222336A (zh) * 2019-05-22 2019-09-10 深圳壹账通智能科技有限公司 财务报告分析方法、装置、计算机设备和存储介质
CN110618983A (zh) * 2019-08-15 2019-12-27 复旦大学 基于json文档结构的工业大数据多维分析与可视化方法
CN110781184A (zh) * 2019-09-16 2020-02-11 平安科技(深圳)有限公司 数据表的构建方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452550A (zh) * 2008-11-19 2009-06-10 中国网络通信集团公司 系统的需求信息处理方法
WO2013160721A1 (en) * 2012-04-26 2013-10-31 Amadeus S.A.S. Database system using batch-oriented computation
WO2017133615A1 (zh) * 2016-02-03 2017-08-10 腾讯科技(深圳)有限公司 一种业务参数获取方法及装置
CN108536826A (zh) * 2018-04-10 2018-09-14 口口相传(北京)网络技术有限公司 数据分析方法及装置
CN109254966A (zh) * 2018-08-23 2019-01-22 平安科技(深圳)有限公司 数据表查询方法、装置、计算机设备及存储介质
CN110069519A (zh) * 2018-08-23 2019-07-30 平安科技(深圳)有限公司 数据信息管理方法、装置、计算机设备及存储介质
CN110008255A (zh) * 2019-04-03 2019-07-12 平安信托有限责任公司 业务数据分析方法、装置、计算机设备和存储介质
CN110222336A (zh) * 2019-05-22 2019-09-10 深圳壹账通智能科技有限公司 财务报告分析方法、装置、计算机设备和存储介质
CN110618983A (zh) * 2019-08-15 2019-12-27 复旦大学 基于json文档结构的工业大数据多维分析与可视化方法
CN110781184A (zh) * 2019-09-16 2020-02-11 平安科技(深圳)有限公司 数据表的构建方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115204851A (zh) * 2022-09-19 2022-10-18 北京中创碳投科技有限公司 一种智慧核算模型的效果评估和优化方法及系统

Also Published As

Publication number Publication date
CN111639117B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US10459971B2 (en) Method and apparatus of generating image characteristic representation of query, and image search method and apparatus
EP3709184B1 (en) Sample set processing method and apparatus, and sample querying method and apparatus
US10459888B2 (en) Method, apparatus and system for data analysis
US11157550B2 (en) Image search based on feature values
CN111460961B (zh) 一种基于cdvs的相似图聚类的静态视频摘要方法
TW201327451A (zh) 確定用戶群體、資訊查詢及推薦的方法及系統
US10387805B2 (en) System and method for ranking news feeds
CN104573130A (zh) 基于群体计算的实体解析方法及装置
CN111897528B (zh) 一种面向企业在线教育的低代码平台
CN111368867B (zh) 档案归类方法及系统、计算机可读存储介质
US10467276B2 (en) Systems and methods for merging electronic data collections
CN112347372A (zh) 一种金融企业基于用户画像方案业务推广的方法
CN108667678A (zh) 一种基于大数据的运维日志安全检测方法及装置
CN112084761A (zh) 一种水利工程信息管理方法及装置
CN111444362A (zh) 恶意图片拦截方法、装置、设备和存储介质
CN111639117B (zh) 基于数据加工的业务处理方法及装置
CN111191046A (zh) 一种实现信息搜索的方法、装置、计算机存储介质及终端
CN111460268B (zh) 数据库查询请求的确定方法、装置和计算机设备
CN113568888A (zh) 索引推荐方法及装置
CN112417281B (zh) 数据分析方法、装置及设备
CN108520012A (zh) 基于机器学习的移动互联网用户评论挖掘方法
CN113868141A (zh) 数据测试方法、装置、电子设备及存储介质
CN114021716A (zh) 一种模型训练的方法、系统及电子设备
CN113392208A (zh) It运维故障处理经验积累的方法、装置及存储介质
CN112465075B (zh) 元数据管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 650100 building A3, southwest sea phase I, Xishan resort, Kunming City, Yunnan Province

Applicant after: Li Shaobing

Address before: No. 67, Wugu Road, Wenwei community residents committee, Wufeng Town, Zhenxiong County, Zhaotong City, Yunnan Province, 657299

Applicant before: Li Shaobing

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20231107

Address after: 6th Floor, East Tower, Big Data Industrial Park, No. 16 Shaping Road, Guoxing Avenue, Sanjiang New District, Yibin City, Sichuan Province, 644005

Applicant after: Sichuan Sanjiang Digital Intelligence Technology Co.,Ltd.

Address before: 650100 building A3, southwest sea phase I, Xishan resort, Kunming City, Yunnan Province

Applicant before: Li Shaobing

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 644005, 6th Floor, East Tower, Big Data Industrial Park, No. 16 Shaping Road, Guoxing Avenue, Sanjiang New District, Yibin City, Sichuan Province (Self declaration and commitment)

Patentee after: Sichuan Chenhai Mathematical Information Technology Co.,Ltd.

Country or region after: China

Address before: 6th Floor, East Tower, Big Data Industrial Park, No. 16 Shaping Road, Guoxing Avenue, Sanjiang New District, Yibin City, Sichuan Province, 644005

Patentee before: Sichuan Sanjiang Digital Intelligence Technology Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address