CN111639117B - 基于数据加工的业务处理方法及装置 - Google Patents
基于数据加工的业务处理方法及装置 Download PDFInfo
- Publication number
- CN111639117B CN111639117B CN202010455364.4A CN202010455364A CN111639117B CN 111639117 B CN111639117 B CN 111639117B CN 202010455364 A CN202010455364 A CN 202010455364A CN 111639117 B CN111639117 B CN 111639117B
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- service
- analysis
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 256
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 148
- 238000007405 data analysis Methods 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000010354 integration Effects 0.000 claims abstract description 32
- 230000001360 synchronised effect Effects 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims description 47
- 238000012216 screening Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 abstract description 3
- 239000003016 pheromone Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于数据加工的业务处理方法及装置。在应用上述方案时，确定每个业务数据的业务指标信息和每个业务数据的业务指标信息的指标参数，对每个业务数据进行业务数据分析，进一步对每个业务数据以及每个分析结果进行数据加工处理，进而对确定出的待处理数据进行业务数据加工，对获取的样本数据进行数据加工处理，得到多个目标样本数据并进行逻辑分析处理，在符合预设逻辑条件的情况下，对目标逻辑分析结果对所述待处理数据进行同步整合处理，并将同步整合处理结果上传至服务器进行存储。这样设计能够对各业务处理系统的数据进行统一整合，同时也能够对各业务部门的业务数据进行同步处理。
Description
技术领域
本公开涉及监控技术领域，特别涉及基于数据加工的业务处理方法及装置。
背景技术
随着网络技术的不断发展，数据库已经在信息技术领域有了广泛的应用。在社会生活的各个部门几乎都有各种各样的数据库保存着与人们的生活息息相关的各种数据。
而数据库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的。而数据加工是业务处理的必要手段。
在实际应用中，随着数据量的越来越大，大量的数据分布于各个业务处理系统，同时各业务处理系统面对着不同的处理对象。在现有技术中，面对日益增长的数据量和日益复杂的业务，各业各处理系统的建设水平不一致，使得各业务处理系统不能统一整合加工后的数据，进而无法对各业务部门的业务数据进行同步处理。
发明内容
为改善相关技术中存在的技术问题，本公开提供了基于数据加工的业务处理方法及装置。
本发明提供了一种基于数据加工的业务处理方法，所述方法包括：
确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数，所述业务指标信息用于表征所述业务数据是否属于待处理数据；
根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，所述业务数据分析包括数据拆分和数据汇总；
对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据；
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，所述数据加工集合中包括不同维度的多个待处理数据的加工结果；
获取待加工的样本数据，对所述样本数据进行数据加工处理后，将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果；
在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下，根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理，得到同步整合处理结果，并将所述同步整合处理结果上传至服务器进行存储。
在一种可替代的实施方式中，根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，具体包括：
将业务数据进行业务类型筛选，得到业务筛选集合；
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理，获得数据分析结果和对应的数据分析表；
根据所述数据分析结果，记录业务数据分析过程，并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单，获取所述频率单元中每个单元在分析记录清单中的对应列表；
根据预设的匹配度，将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理，获得业务数据分析总表；所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表；
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表；
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
在一种可替代的实施方式中，对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据，具体包括：
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合，所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元；
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值，将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元；
根据预设的条件将所述特征信息值输入到所述目标数据信息单元，在所述目标数据信息单元中得到输入值，并根据所述特征信息值、所述输入值以及预设的加工条件，对所述每个业务数据和所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
在一种可替代的实施方式中，基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，具体包括：
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段，得到所述待处理数据对应的不同属性的数据分段单元；
从所述待处理数据中标记出第一数据分段单元；
从所述第一数据分段单元中提取出第一数据分段信息，所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息；
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除，得到第二数据分段单元，所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域；
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工，得到所述数据加工集合。
在一种可替代的实施方式中，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果，具体包括：
查找数据加工集合中是否存在多个目标样本数据，得到查找结果；
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理，得到排列表；
提取所述多个目标样本数据对应的多个数据特征信息，将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值；
根据所述排列表和所述数据特征值，对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
本发明还提供了一种基于数据加工的业务处理装置，所述装置包括：
信息确定模块，用于确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数，所述业务指标信息用于表征所述业务数据是否属于待处理数据；
数据分析模块，用于根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，所述业务数据分析包括数据拆分和数据汇总；
数据加工模块，用于对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据；
业务数据加工模块，用于基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，所述数据加工集合中包括不同维度的多个待处理数据的加工结果；
数据逻辑分析模块，用于获取待加工的样本数据，对所述样本数据进行数据加工处理后，将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果；
数据同步整合模块，用于在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下，根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理，得到同步整合处理结果，并将所述同步整合处理结果上传至服务器进行存储。
在一种可替代的实施方式中，所述数据分析模块，具体用于：
将业务数据进行业务类型筛选，得到业务筛选集合；
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理，获得数据分析结果和对应的数据分析表；
根据所述数据分析结果，记录业务数据分析过程，并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单，获取所述频率单元中每个单元在分析记录清单中的对应列表；
根据预设的匹配度，将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理，获得业务数据分析总表；所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表；
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表；
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
在一种可替代的实施方式中，所述数据加工模块，具体用于：
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合，所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元；
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值，将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元；
根据预设的条件将所述特征信息值输入到所述目标数据信息单元，在所述目标数据信息单元中得到输入值，并根据所述特征信息值、所述输入值以及预设的加工条件，对所述每个业务数据和所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
在一种可替代的实施方式中，所述业务数据加工模块，具体用于：
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段，得到所述待处理数据对应的不同属性的数据分段单元；
从所述待处理数据中标记出第一数据分段单元；
从所述第一数据分段单元中提取出第一数据分段信息，所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息；
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除，得到第二数据分段单元，所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域；
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工，得到所述数据加工集合。
在一种可替代的实施方式中，所述数据逻辑分析模块，具体用于：
查找数据加工集合中是否存在多个目标样本数据，得到查找结果；
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理，得到排列表；
提取所述多个目标样本数据对应的多个数据特征信息，将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值；
根据所述排列表和所述数据特征值，对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
本公开的实施例提供的技术方案可以包括以下有益效果。
本公开提供了基于数据加工的业务处理方法及装置，确定每个业务数据的业务指标信息和每个业务数据的业务指标信息的指标参数，对每个业务数据进行业务数据分析，进一步对每个业务数据以及每个分析结果进行数据加工处理，基于得到每个业务数据对应的第一目标业务数据和分析结果对应的第二目标业务数据对确定出的待处理数据进行业务数据加工，进一步对获取到的样本数据进行数据加工处理，得到多个目标样本数据并对多个目标样本数据进行逻辑分析处理，在符合预设逻辑条件的情况下，对目标逻辑分析结果对所述待处理数据进行同步整合处理，并将同步整合处理结果上传至服务器进行存储。这样设计能够对各业务处理系统的数据进行统一整合，同时也能够对各业务部门的业务数据进行同步处理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是本发明实施例提供的一种基于数据加工的业务处理方法的流程图。
图2是本发明实施例提供的一种基于数据加工的业务处理装置的框图。
图3是本发明实施例提供的一种服务器的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据本公开所涉及的一种基于数据加工的业务处理方法的流程图，该方法可以包括以下内容。
步骤S110，确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数，所述业务指标信息用于表征所述业务数据是否属于待处理数据。
步骤S120，根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，所述业务数据分析包括数据拆分和数据汇总。
步骤S130，对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
步骤S140，基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，所述数据加工集合中包括不同维度的多个待处理数据的加工结果。
步骤S150，获取待加工的样本数据，对所述样本数据进行数据加工处理后，将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
步骤S160，在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下，根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理，得到同步整合处理结果，并将所述同步整合处理结果上传至服务器进行存储。
通过执行上述步骤，确定每个业务数据的业务指标信息和每个业务数据的业务指标信息的指标参数，对每个业务数据进行业务数据分析，进一步对每个业务数据以及每个分析结果进行数据加工处理，基于得到每个业务数据对应的第一目标业务数据和分析结果对应的第二目标业务数据对确定出的待处理数据进行业务数据加工，进一步对获取到的样本数据进行数据加工处理，得到多个目标样本数据并对多个目标样本数据进行逻辑分析处理，在符合预设逻辑条件的情况下，对目标逻辑分析结果对所述待处理数据进行同步整合处理，并将同步整合处理结果上传至服务器进行存储。这样设计能够对各业务处理系统的数据进行统一整合，同时也能够对各业务部门的业务数据进行同步处理。
在实际实施时，为了够准确地得到分析结果，在步骤S120中具体可以包括以下子步骤。
步骤S1201，将业务数据进行业务类型筛选，得到业务筛选集合。
步骤S1202，根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理，获得数据分析结果和对应的数据分析表。
步骤S1203，根据所述数据分析结果，记录业务数据分析过程，并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单，获取所述频率单元中每个单元在分析记录清单中的对应列表。
步骤S1204，根据预设的匹配度，将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理，获得业务数据分析总表；所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表。
步骤S1205，从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表。
步骤S1206，将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
通过执行上述步骤，通过对业务数据进行业务类型筛选，进一步进行业务数据分析处理，进一步根据数据分析结果，记录业务数据分析过程，进而得分析记录清单中的对应列表，根据预设的匹配度，将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理，得业务数据分析总表。进一步从业务数据分析总表筛选不满足预设分析条件的业务数据分析表，将剩余的业务数据分析表确定为所述业务数据对应的分析结果。这样能够提高业务数据分析处理的效率，同时能够准确地得到分析结果，进一步满足数据分析的要求。
在实际实施时，为了能够降低对数据加工的成本，提高对数据加工的准确性。在步骤S130中具体可以包括以下子步骤。
步骤S1301，确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合，所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元。
步骤S1302，提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值，将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元。
步骤S1303，根据预设的条件将所述特征信息值输入到所述目标数据信息单元，在所述目标数据信息单元中得到输入值，并根据所述特征信息值、所述输入值以及预设的加工条件，对所述每个业务数据和所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。其中，所述数据加工处理包括：数据筛选、数据分类、数据对比、数据校验、数据传输以及数据储存。
通过执行上述步骤，通过提取每个业务数据对应的业务关键信息集合任一数据信息单元的特征信息值，将每个分析结果对应的关键参数集合中最有小维度的数据信息单元确定为目标数据信息单元，进一步根据预设的条件将特征信息值输入到目标数据信息单元，得到输入值，进而对每个业务数据和每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。这样能够降低对数据加工的成本，进而提高对数据加工的准确性。
在实际实施时，为了能够提高数据加工速率和效率，能够让待处理数据按照统一的流程进行数据加工，在步骤S140中具体可以包括以下子步骤。
步骤S1401，基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段，得到所述待处理数据对应的不同属性的数据分段单元。
步骤S1402，从所述待处理数据中标记出第一数据分段单元。
步骤S1403，从所述第一数据分段单元中提取出第一数据分段信息，所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息。
步骤S1404，将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除，得到第二数据分段单元，所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域。
步骤S1405，根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工，得到所述数据加工集合。
通过执行上述步骤，通过对待处理数据进行数据分段，根据预设的加工顺序对目标分段区域中的所述待处理数据进行业务数据加工，这样使得待处理数据能够按照统一的流程进行数据加工，进而能够提高数据加工速率，同进能够提高数据加工的效率。
在实际实施时，在面对日益增长的数据量和日益复杂的业务的情况，为了能够对更加精准地对数据进行处理，避免在进行数据处理过程中出错。在步骤S150中具体可以包括以下子步骤。
步骤S1501，查找数据加工集合中是否存在多个目标样本数据，得到查找结果。
步骤S1502，当所述查找结果指示所述数据加工集合中存在多个目标样本数据时，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理，得到排列表。
步骤S1503，提取所述多个目标样本数据对应的多个数据特征信息，将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值。
步骤S1504，根据所述排列表和所述数据特征值，对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
通过执行上述步骤，通过查找数据加工集合中是否存在多个目标样本数据，进而对多个目标样本数据进行数据排列处理以及提取多个目标样本数据对应的多个数据特征信息，基于得到的排列表和数据特征值对所述多个目标样本数据进行逻辑分析处理。这样在面对日益增长的数据量和日益复杂的业务的情况，能够对更加精准地对数据进行处理，进而避免出错。
可选地，在具体实施时候，为了能够快速准确地进行数据同步整合处理，进一步避免数据丢失，在步骤S160所描述的在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下，根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理，得到同步整合处理结果，进一步可以包括以下子步骤。
对多个逻辑分析结果中的目标逻辑分析结果进行标记，得到所述多个逻辑分析结果对应的标记信息素；对待处理数据进行统计，得到所述待处理数据对应的统计表；根据所述标记信息素和统计表，判断所述多个逻辑分析结果对应的标记信息素中是否存在所述待处理数据；若判断结果是所述多个逻辑分析结果存在所述待处理数据，则将所述待处理数据添加到多个逻辑分析结果中的所述目标逻辑分析结果中进行同步整合处理，得到同步整合处理结果。
通过执行上述步骤，能够快速准确地进行数据同步整合处理，同时可以避免数据丢失，有效提高数据同步的准确性和安全性。
在上述基础上，请结合参阅图2，本发明提供了一种基于数据加工的业务处理装置，该装置具体可以包括以下功能模块。
信息确定模块110，用于确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数，所述业务指标信息用于表征所述业务数据是否属于待处理数据。
数据分析模块120，用于根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，所述业务数据分析包括数据拆分和数据汇总。
数据加工模块130，用于对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
业务数据加工模块140，用于基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，所述数据加工集合中包括不同维度的多个待处理数据的加工结果。
数据逻辑分析模块150，用于获取待加工的样本数据，对所述样本数据进行数据加工处理后，将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
数据同步整合模块160，用于在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下，根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理，得到同步整合处理结果，并将所述同步整合处理结果上传至服务器进行存储。
在一种可替代的实施方式中，所述数据分析模块120，具体用于：
将业务数据进行业务类型筛选，得到业务筛选集合。
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理，获得数据分析结果和对应的数据分析表。
根据所述数据分析结果，记录业务数据分析过程，并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单，获取所述频率单元中每个单元在分析记录清单中的对应列表。
根据预设的匹配度，将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理，获得业务数据分析总表；所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表。
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表。
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
在一种可替代的实施方式中，所述数据加工模块130，具体用于：
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合，所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元。
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值，将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元。
根据预设的条件将所述特征信息值输入到所述目标数据信息单元，在所述目标数据信息单元中得到输入值，并根据所述特征信息值、所述输入值以及预设的加工条件，对所述每个业务数据和所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据。
在一种可替代的实施方式中，所述业务数据加工模块140，具体用于：
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段，得到所述待处理数据对应的不同属性的数据分段单元。
从所述待处理数据中标记出第一数据分段单元。
从所述第一数据分段单元中提取出第一数据分段信息，所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息。
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除，得到第二数据分段单元，所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域。
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工，得到所述数据加工集合。
在一种可替代的实施方式中，所述数据逻辑分析模块150，具体用于：
查找数据加工集合中是否存在多个目标样本数据，得到查找结果。
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理，得到排列表。
提取所述多个目标样本数据对应的多个数据特征信息，将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值。
根据所述排列表和所述数据特征值，对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
在上述基础上，请结合参阅图3，提供了一种服务器200，包括处理器211以及与所述处理器211连接的存储器212和总线213；其中，所述处理器211和所述存储器212通过所述总线213完成相互间的通信；所述处理器211用于调用所述存储器212中的程序指令，以执行上述的方法。
进一步地，还提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (6)
1.一种基于数据加工的业务处理方法，其特征在于，所述方法包括：
确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数，所述业务指标信息用于表征所述业务数据是否属于待处理数据；
根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，所述业务数据分析包括数据拆分和数据汇总；
对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据；
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，所述数据加工集合中包括不同维度的多个待处理数据的加工结果；
获取待加工的样本数据，对所述样本数据进行数据加工处理后，将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果；
在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下，根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理，得到同步整合处理结果，并将所述同步整合处理结果上传至服务器进行存储；
其中，对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据，具体包括：
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合，所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元；
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值，将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元；
根据预设的条件将所述特征信息值输入到所述目标数据信息单元，在所述目标数据信息单元中得到输入值，并根据所述特征信息值、所述输入值以及预设的加工条件，对所述每个业务数据和所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据；
其中，基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，具体包括：
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段，得到所述待处理数据对应的不同属性的数据分段单元；
从所述待处理数据中标记出第一数据分段单元；
从所述第一数据分段单元中提取出第一数据分段信息，所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息；
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除，得到第二数据分段单元，所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域；
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工，得到所述数据加工集合。
2.根据权利要求1所述的一种基于数据加工的业务处理方法，其特征在于，根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，具体包括：
将业务数据进行业务类型筛选，得到业务筛选集合；
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理，获得数据分析结果和对应的数据分析表；
根据所述数据分析结果，记录业务数据分析过程，并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单，获取所述频率单元中每个单元在分析记录清单中的对应列表；
根据预设的匹配度，将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理，获得业务数据分析总表；所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表；
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表；
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
3.根据权利要求1所述的一种基于数据加工的业务处理方法，其特征在于，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果，具体包括：
查找数据加工集合中是否存在多个目标样本数据，得到查找结果；
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理，得到排列表；
提取所述多个目标样本数据对应的多个数据特征信息，将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值；
根据所述排列表和所述数据特征值，对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
4.一种基于数据加工的业务处理装置，其特征在于，所述装置包括：
信息确定模块，用于确定每个业务数据的业务指标信息和所述每个业务数据的业务指标信息的指标参数，所述业务指标信息用于表征所述业务数据是否属于待处理数据；
数据分析模块，用于根据所述指标参数对所述每个业务数据进行业务数据分析，得到所述业务数据对应的分析结果，所述业务数据分析包括数据拆分和数据汇总；
数据加工模块，用于对所述每个业务数据以及所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据；
业务数据加工模块，用于基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行业务数据加工，得到数据加工集合，所述数据加工集合中包括不同维度的多个待处理数据的加工结果；
数据逻辑分析模块，用于获取待加工的样本数据，对所述样本数据进行数据加工处理后，将经过数据加工处理得到的多个目标样本数据代入所述数据加工集合中，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果；
数据同步整合模块，用于在多个逻辑分析结果中的目标逻辑分析结果符合预设逻辑条件的情况下，根据所述目标逻辑分析结果对所述待处理数据进行同步整合处理，得到同步整合处理结果，并将所述同步整合处理结果上传至服务器进行存储；
其中，所述数据加工模块，具体用于：
确定每个业务数据对应的业务关键信息集合以及每个分析结果对应的关键参数集合，所述业务关键信息集合和所述关键参数集合分别包括多个不同维度的数据信息单元；
提取所述每个业务数据在所述业务关键信息集合的任一数据信息单元的特征信息值，将所述关键参数集合中具有最小维度的数据信息单元确定为目标数据信息单元；
根据预设的条件将所述特征信息值输入到所述目标数据信息单元，在所述目标数据信息单元中得到输入值，并根据所述特征信息值、所述输入值以及预设的加工条件，对所述每个业务数据和所述每个分析结果进行数据加工处理，得到每个业务数据对应的第一目标业务数据和所述分析结果对应的第二目标业务数据；
其中，所述业务数据加工模块，具体用于：
基于所述第一目标业务数据和所述第二目标业务数据对通过所述业务指标信息确定出的待处理数据进行数据分段，得到所述待处理数据对应的不同属性的数据分段单元；
从所述待处理数据中标记出第一数据分段单元；
从所述第一数据分段单元中提取出第一数据分段信息，所述第一数据分段信息用于表征所述第一数据分段单元中的分段区域的分段信息；
将所述第一数据分段信息中的分段区域从所述第一数据分段单元中删除，得到第二数据分段单元，所述第二数据分段单元为所述第一数据分段单元中删除所述分段区域后剩余的目标分段区域；
根据预设的加工顺序对所述目标分段区域中的所述待处理数据进行业务数据加工，得到所述数据加工集合。
5.根据权利要求4所述的一种基于数据加工的业务处理装置，其特征在于，所述数据分析模块，具体用于：
将业务数据进行业务类型筛选，得到业务筛选集合；
根据所述指标参数对基于所述业务筛选集合中多个相邻的子集合在预设业务数据线程中共同出现的频率所建立的频率单元进行业务数据分析处理，获得数据分析结果和对应的数据分析表；
根据所述数据分析结果，记录业务数据分析过程，并选取业务数据分析过程的数据分析结果对应的数据分析表构成分析记录清单，获取所述频率单元中每个单元在分析记录清单中的对应列表；
根据预设的匹配度，将匹配度大于或等于预设的匹配度的对应列表所对应的相邻子集合进行归一化处理，获得业务数据分析总表；所述业务数据分析总表包括所述业务数据分析过程的各类型的业务数据分析表；
从所述业务数据分析总表中筛选出不满足预设分析条件的业务数据分析表；
将所述业务数据分析总表中剩余的业务数据分析表确定为所述业务数据对应的分析结果。
6.根据权利要求4所述的一种基于数据加工的业务处理装置，其特征在于，所述数据逻辑分析模块，具体用于：
查找数据加工集合中是否存在多个目标样本数据，得到查找结果；
当所述查找结果指示所述数据加工集合中存在多个目标样本数据时，通过所述数据加工集合中的不同维度的多个待处理数据的加工结果分别对所述多个目标样本数据进行数据排列处理，得到排列表；
提取所述多个目标样本数据对应的多个数据特征信息，将所述多个数据特征信息确定为所述多个目标样本数据的数据特征值；
根据所述排列表和所述数据特征值，对所述多个目标样本数据进行逻辑分析处理，得到与每个目标样本数据分别对应的逻辑分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455364.4A CN111639117B (zh) | 2020-05-26 | 2020-05-26 | 基于数据加工的业务处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455364.4A CN111639117B (zh) | 2020-05-26 | 2020-05-26 | 基于数据加工的业务处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111639117A CN111639117A (zh) | 2020-09-08 |
| CN111639117B true CN111639117B (zh) | 2023-12-01 |
Family
ID=72331113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010455364.4A Active CN111639117B (zh) | 2020-05-26 | 2020-05-26 | 基于数据加工的业务处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639117B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115204851B (zh) * | 2022-09-19 | 2023-01-10 | 北京中创碳投科技有限公司 | 一种智慧核算模型的效果评估和优化方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452550A (zh) * | 2008-11-19 | 2009-06-10 | 中国网络通信集团公司 | 系统的需求信息处理方法 |
| WO2013160721A1 (en) * | 2012-04-26 | 2013-10-31 | Amadeus S.A.S. | Database system using batch-oriented computation |
| WO2017133615A1 (zh) * | 2016-02-03 | 2017-08-10 | 腾讯科技（深圳）有限公司 | 一种业务参数获取方法及装置 |
| CN108536826A (zh) * | 2018-04-10 | 2018-09-14 | 口口相传(北京)网络技术有限公司 | 数据分析方法及装置 |
| CN109254966A (zh) * | 2018-08-23 | 2019-01-22 | 平安科技（深圳）有限公司 | 数据表查询方法、装置、计算机设备及存储介质 |
| CN110008255A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 业务数据分析方法、装置、计算机设备和存储介质 |
| CN110069519A (zh) * | 2018-08-23 | 2019-07-30 | 平安科技（深圳）有限公司 | 数据信息管理方法、装置、计算机设备及存储介质 |
| CN110222336A (zh) * | 2019-05-22 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 财务报告分析方法、装置、计算机设备和存储介质 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN110781184A (zh) * | 2019-09-16 | 2020-02-11 | 平安科技（深圳）有限公司 | 数据表的构建方法、装置、设备及存储介质 |
-
2020
- 2020-05-26 CN CN202010455364.4A patent/CN111639117B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452550A (zh) * | 2008-11-19 | 2009-06-10 | 中国网络通信集团公司 | 系统的需求信息处理方法 |
| WO2013160721A1 (en) * | 2012-04-26 | 2013-10-31 | Amadeus S.A.S. | Database system using batch-oriented computation |
| WO2017133615A1 (zh) * | 2016-02-03 | 2017-08-10 | 腾讯科技（深圳）有限公司 | 一种业务参数获取方法及装置 |
| CN108536826A (zh) * | 2018-04-10 | 2018-09-14 | 口口相传(北京)网络技术有限公司 | 数据分析方法及装置 |
| CN109254966A (zh) * | 2018-08-23 | 2019-01-22 | 平安科技（深圳）有限公司 | 数据表查询方法、装置、计算机设备及存储介质 |
| CN110069519A (zh) * | 2018-08-23 | 2019-07-30 | 平安科技（深圳）有限公司 | 数据信息管理方法、装置、计算机设备及存储介质 |
| CN110008255A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 业务数据分析方法、装置、计算机设备和存储介质 |
| CN110222336A (zh) * | 2019-05-22 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 财务报告分析方法、装置、计算机设备和存储介质 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN110781184A (zh) * | 2019-09-16 | 2020-02-11 | 平安科技（深圳）有限公司 | 数据表的构建方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111639117A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10459971B2 (en) | Method and apparatus of generating image characteristic representation of query, and image search method and apparatus | |
| US11157550B2 (en) | Image search based on feature values | |
| CN111460138B (zh) | 一种基于bim的数字化工程监理方法与系统 | |
| WO2015035864A1 (en) | Method, apparatus and system for data analysis | |
| CN111339171B (zh) | 数据查询的方法、装置及设备 | |
| CN106164896B (zh) | 用于发现对手方关系的多维递归方法及系统 | |
| CN104573130A (zh) | 基于群体计算的实体解析方法及装置 | |
| CN111444188B (zh) | 存量测试数据的准备方法、装置、存储介质及电子设备 | |
| CN107153670A (zh) | 基于多幅图像融合的视频检索方法及系统 | |
| WO2019019767A1 (zh) | 客户身份信息处理方法、装置、存储介质和计算机设备 | |
| CN111709303A (zh) | 一种人脸图像的识别方法和装置 | |
| CN111143689A (zh) | 根据用户需求和用户画像构建推荐引擎的方法 | |
| CN111078512A (zh) | 告警记录生成方法、装置、告警设备及存储介质 | |
| CN111639117B (zh) | 基于数据加工的业务处理方法及装置 | |
| CN112084761A (zh) | 一种水利工程信息管理方法及装置 | |
| CN110310127B (zh) | 录音获取方法、装置、计算机设备及存储介质 | |
| CN111652259B (zh) | 一种清洗数据的方法及系统 | |
| CN112199388A (zh) | 陌电识别方法、装置、电子设备及存储介质 | |
| CN108319606A (zh) | 专业数据库的构建方法和装置 | |
| CN115146103A (zh) | 图像检索方法、装置、计算机设备、存储介质和程序产品 | |
| CN111460268B (zh) | 数据库查询请求的确定方法、装置和计算机设备 | |
| CN113868141A (zh) | 数据测试方法、装置、电子设备及存储介质 | |
| CN114021716A (zh) | 一种模型训练的方法、系统及电子设备 | |
| CN112417281A (zh) | 数据分析方法、装置及设备 | |
| KR19990025292A (ko) | 필터링 과정에 의한 이미지 데이터 베이스의 효과적 검색 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 650100 building A3, southwest sea phase I, Xishan resort, Kunming City, Yunnan Province Applicant after: Li Shaobing Address before: No. 67, Wugu Road, Wenwei community residents committee, Wufeng Town, Zhenxiong County, Zhaotong City, Yunnan Province, 657299 Applicant before: Li Shaobing |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231107 Address after: 6th Floor, East Tower, Big Data Industrial Park, No. 16 Shaping Road, Guoxing Avenue, Sanjiang New District, Yibin City, Sichuan Province, 644005 Applicant after: Sichuan Sanjiang Digital Intelligence Technology Co.,Ltd. Address before: 650100 building A3, southwest sea phase I, Xishan resort, Kunming City, Yunnan Province Applicant before: Li Shaobing |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |