CN112527813A

CN112527813A - 业务系统的数据处理方法及装置、电子设备、存储介质

Info

Publication number: CN112527813A
Application number: CN201910888078.4A
Authority: CN
Inventors: 卢洪志
Original assignee: Zhejiang Dasou Vehicle Software Technology Co Ltd
Current assignee: Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2021-03-19

Abstract

本发明公开了业务系统的数据处理方法及装置、电子设备、存储介质。其中，所述数据处理方法包括：接收所述业务系统发送的查询请求，所述查询请求包括至少两个关键词；从所述业务系统的数据库中查找与每个关键词匹配的目标数据集；确定不同目标数据集中的数据在各个维度的关联关系，以使所述业务系统根据所述关联关系对所述目标数据集进行关联显示。本发明实施例中，根据用户输入的关键词获取与每个关键词匹配的目标数据集，并确定不同目标数据集中的数据在各个维度的关联关系，以挖掘更加有价值的数据信息，使业务系统根据关联关系对目标数据集进行关联显示，便于用户直观地理解数据信息，为用户分析问题、制作决策提供了更加可靠的依据。

Description

业务系统的数据处理方法及装置、电子设备、存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及业务系统的数据处理方法及装置、电子设备、存储介质。

背景技术

目前，各类业务系统可根据用户需求将数据查询结果以图形方式可视化地展示给用户，以便于用户更加直观地理解繁杂、动态的数据信息。然而，目前的业务系统只能获取并展示与用户输入的关键词相匹配的数据，无法对数据作进一步分析，不能为用户提供更加有价值的数据信息。

发明内容

本发明提供一种业务系统的数据处理方法及装置、电子设备、存储介质，以对数据查询结果进行挖掘，为用户提供更加有价值的数据信息。

具体地，本发明是通过如下技术方案实现的：

第一方面，提供一种业务系统的数据处理方法，所述数据处理方法包括：

接收所述业务系统发送的查询请求，所述查询请求包括至少两个关键词；

从所述业务系统的数据库中查找与每个关键词匹配的目标数据集；

确定不同目标数据集中的数据在各个维度的关联关系，以使所述业务系统根据所述关联关系对所述目标数据集进行关联显示。

第二方面，提供一种业务系统的数据处理装置，所述数据处理装置包括：

接收模块，用于接收所述业务系统发送的查询请求，所述查询请求包括至少两个关键词；

查找模块，用于从所述业务系统的数据库中查找与每个关键词匹配的目标数据集；

确定模块，用于确定不同目标数据集中的数据在各个维度的关联关系，以使所述业务系统根据所述关联关系对所述目标数据集进行关联显示。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的业务系统的数据处理方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的业务系统的数据处理方法的步骤。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明实施例中，根据用户输入的关键词获取与每个关键词匹配的目标数据集，并确定不同目标数据集中的数据在各个维度的关联关系，以挖掘更加有价值的数据信息，使业务系统根据关联关系对目标数据集进行关联显示，便于用户直观地理解数据信息，为用户分析问题、制作决策提供了更加可靠的依据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明一示例性实施例示出的一种业务系统的数据处理方法的流程图；

图2A是使用本发明实施例提供的业务系统的数据处理方法后，业务系统的用户界面对目标数据集进行关联显示的一种结果示意图；

图2B是使用本发明实施例提供的业务系统的数据处理方法后，业务系统的用户界面对目标数据集进行关联显示的另一种结果示意图；

图3是本发明另一示例性实施例示出的一种业务系统的数据处理方法的流程图；

图4是本发明一示例性实施例示出的一种业务系统的数据处理装置的模块示意图；

图5是本发明一示例性实施例示出的另一种业务系统的数据处理装置的模块示意图；

图6是本发明一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是本发明一示例性实施例示出的一种业务系统的数据处理方法的流程图，该数据处理方法包括以下步骤：

步骤101、接收业务系统发送的查询请求。

其中，查询请求包括至少两个关键词。用户可通过业务系统的用户界面选择或输入与所要查询的数据对应的关键词，业务系统则根据用户输入的关键词生成相应的查询请求。

步骤102、从业务系统的数据库中查找与每个关键词匹配的目标数据集。

在用户输入至少两个关键词的前提下，步骤102中不仅仅查找与两个关键词同时匹配的数据，而是获取与每个关键词匹配的目标数据集，例如，用户输入n个关键词，对应获取n组目标数据集，以供后续对n组目标数据集中的数据作关联关系分析，从而挖掘更加有价值的数据。其中，目标数据集中包括多个维度的数据。维度例如可以是对象维度、时间维度、区域维度等。

在一种实现方式中，步骤102中可以但不限于采用第一正则表达式从业务系统的数据库中查找与每个关键词匹配的目标数据集。

步骤103、确定不同目标数据集中的数据在各个维度的关联关系，以使业务系统根据关联关系对目标数据集进行关联显示。

步骤103中，确定关联关系，可以但不限于：针对每个维度，对不同目标数据集中的数据进行布尔运算，例如交集运算或并集运算等，以确定关联关系。

在一个例子中，对目标数据集进行关联显示可采用柱状图、饼状图、折线图等图表的形式，且在图表中以不同的图形参数(尺寸、颜色等)对目标数据集进行关联显示。

假设用户想要知道全国范围内销售产品a、产品b和产品d的店铺数量，图2A示出了使用本实施例的数据处理方法后，业务系统的用户界面对目标数据集进行关联显示的结果的一个例子，用户界面的右侧提供给用户选择关键词的区域，关键词可以但不限于是产品名称，还可以是区域、时间等。用户界面的左侧显示了关联显示的结果，图中不仅显示了与关键词匹配的数据，也即分别对应产品a、产品b、产品c的店铺数量(通过对销售各个产品的店铺数量作并集得到)，还显示了在业务系统中注册的所有店铺数这个维度的信息、还显示了同时销售产品a与产品b的店铺数量这个维度的信息(图2A中的区域A和D，通过对销售产品a与产品b的店铺数量作交集得到)、还显示了同时销售产品b与产品d的店铺数量这个维度的信息(图2A中的区域B和D，通过对销售产品b与产品d的店铺数量作交集得到)、还显示了同时销售产品d与产品a的店铺数量这个维度的信息(图2A中的区域C和D，通过对销售产品d与产品a的店铺数量作交集得到)以及同时销售产品a、产品b和产品c的店铺数量这个维度的信息(图2A中的区域D，通过对销售产品a、产品b与产品d的店铺数量作交集得到)，其中图形中不同区块的尺寸大小还与对应区块所表征的维度的数据量相对应。

图2B示出了以某一产品及广州、河南、河北、山东等区域作为关键词，业务系统的用户界面对目标数据集进行关联显示的结果，图中不仅示出了用户输入的省份对应的销售该产品的店铺数量情况，还示出了除用户输入的省份之外的其他省份的店铺覆盖情况，其中图形中每一区块可使用不同颜色显示，以区分不同省份对应的店铺分布数量。

本实施例中，根据用户输入的关键词获取与每个关键词匹配的目标数据集，并确定不同目标数据集中的数据在各个维度的关联关系，以挖掘更加有价值的数据信息，从而使业务系统根据关联关系对目标数据集进行关联显示，便于用户直观地理解数据信息，为用户分析问题、制作决策提供了更加可靠的依据。

图3是本发明一示例性实施例示出的另一种业务系统的数据处理方法的流程图，该数据处理方法包括以下步骤：

步骤301、获取业务系统的数据文件。

其中，数据文件用于记录业务系统的业务数据，其格式可以但不限于是excel格式、csv格式或文本格式。

步骤302、基于第二正则表达式对数据文件中的数据进行校验，以删除校验未通过的数据，或使用数据文件中对应字段的数据平均值代替校验未通过的数据。

以下提供步骤302的一种可能的实现方式：

根据业务数据的出现规律，生成第二正则表达式，基于第二正则表达式逐行遍历数据文件中的每条数据，这里需要逐行遍历，以分析得到每条数据的数据项(数据项是每条数据的不可分割的最小单位)，然后比较数据项的长度，将包括超出预设长度的数据项的数据确认为未校验通过的数据，将该数据进行排除或替换，以保证导入的均是正确数据。

以文本格式的数据文件为例，若数据文件中记录了以下业务数据：

a,b,c,d；

a1,b1,c1,d1；

a2,b2,c2,d2222222222222222222；

a3,b3,c3,d3；

其中，每一行代表一条数据，用“,”分割每条数据包含的数据项，经过数据校验发现“d2222222222222222222”该数据项的字节长度过长，说明包含该数据项的数据为错误数据，则将该条数据直接删除，校验后的结果如下：

a,b,c,d；

a1,b1,c1,d1；

a3,b3,c3,d3；

步骤303、基于第三正则表达式对经过校验的数据文件进行查重。

其中，第三正则表达式根据业务数据的出现规律而生成。并基于第三正则表达式对数据文件的表头信息进行分析，将批量数据文件分为若干类，判断数据文件中的字段名称是否一致，实现查重。

步骤304、合并经过查重后的数据文件，并将合并后的数据文件存储于数据库中。

以下以2个数据文件存在相同字段为例，对查重合并过程进行示例性说明。

文件1包括以下业务数据：

q,w,e,r,t；

y,u,i,o,p；

a,s,d,f,g；

文件2包括以下业务数据：

h,j,k,l；

z,x,c,v；

b,n,m,a；

q,w,e,r,t；

查重合并后的数据文件包括以下业务数据：

q,w,e,r,t；

y,u,i,o,p；

a,s,d,f,g；

h,j,k,l；

z,x,c,v；

b,n,m；

业务系统在处理大量单一表结构的数据文件时，会出现多个数据文件中的字段相同的情形，若将该多个数据文件直接导入业务系统的数据库，一方面会占用过多的存储空间，另一方面因目前的导入工具每次只能对单一数据文件进行导入操作，对于大量的小数据文件需要人工不停的进行导入配置，致使数据导入效率很低。本实施例中，将多个数据文件经过查重合并后存入数据库中，不仅较小了数据库的内存，提高数据存储的效率，还能提高数据查询的准确度。

步骤305、接收业务系统发送的查询请求。

步骤306、从业务系统的数据库中查找与每个关键词匹配的目标数据集。

步骤307、确定不同目标数据集中的数据在各个维度的关联关系。

其中，步骤305～步骤307的具体实现方式与步骤101～步骤103类似，此处不再赘述。

步骤308、将目标数据集关联显示于业务系统生成的可视化界面中。

步骤308中，将目标数据集关联显示于业务系统生成的可视化界面中，以便于用户对数据进行可视化分析。

在另一个实现方式中，合并经过查重后的数据文件之后，还可以进一步包括以下步骤：

获取业务系统的用户界面的字段信息；

根据字段信息对合并后的数据文件中的数据进行重新排列；

将经过重新排列的数据文件存储于数据库中。

本实施例中，针对用户界面的字段信息对数据文件中的数据进行重排，使其在数据查询时能够符合业务系统用户界面的应用场景需求，有利于提高数据查询的效率。

与前述业务系统的数据处理方法实施例相对应，本发明还提供了业务系统的数据处理装置的实施例。

图4是本发明一示例性实施例示出的一种业务系统的数据处理装置的模块示意图，该数据处理装置包括：接收模块41、查找模块42、确定模块43。

接收模块41用于接收业务系统发送的查询请求，查询请求包括至少两个关键词。

查找模块42用于从业务系统的数据库中查找与每个关键词匹配的目标数据集。

在一个实现方式中，查找模块具体用于：基于第一正则表达式从业务系统的数据库中查找与每个关键词匹配的目标数据集。

确定模块43用于确定不同目标数据集中的数据在各个维度的关联关系，以使业务系统根据关联关系对目标数据集进行关联显示。

在一个实现方式中，确定模块具体用于：针对每个维度，对不同目标数据集中的数据进行布尔运算，以确定关联关系。

图5是本发明一示例性实施例示出的另一种业务系统的数据处理装置的模块示意图，该数据处理装置包括：第一获取模块51、校验模块52、存储模块53、接收模块54、查找模块55、确定模块56和显示模块57。

第一获取模块51用于获取业务系统的数据文件；

校验模块52用于基于第二正则表达式对数据文件中的数据进行校验，以删除校验未通过的数据，或使用数据文件中对应字段的数据平均值代替校验未通过的数据；

存储模块53用于将经过校验的数据文件存储于数据库中。

接收模块54用于接收业务系统发送的查询请求，查询请求包括至少两个关键词。

查找模块55用于从业务系统的数据库中查找与每个关键词匹配的目标数据集。

确定模块56用于确定不同目标数据集中的数据在各个维度的关联关系。

显示模块57用于将目标数据集关联显示于业务系统生成的可视化界面中。

在另一个例子中，数据处理装置还包括：查重模块和合并模块。

校验模块校验完成后调用查重模块，以基于第三正则表达式对经过校验的数据文件进行查重。

合并模块用于合并经过查重后的数据文件，并调用存储模块以将合并后的数据文件存储于数据库中。

在另一个例子中，数据处理装置还包括：第二获取模块和重排模块。

合并模块合并数据文件后调用第二获取模块，以获取业务系统的用户界面的字段信息；

重排模块，用于根据字段信息对合并后的数据文件中的数据进行重新排列，并调用存储模块以将经过重新排列的数据文件存储于数据库中。

图6为本发明实施例提供的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备60的框图。图6显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。

总线63包括数据总线、地址总线和控制总线。

存储器62可以包括易失性存储器，例如随机存取存储器(RAM)621和/或高速缓存存储器622，还可以进一步包括只读存储器(ROM)623。

存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具)，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的业务系统的数据处理方法。

电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所提供的业务系统的数据处理方法的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种业务系统的数据处理方法，其特征在于，所述数据处理方法包括：

2.如权利要求1所述的数据处理方法，其特征在于，基于第一正则表达式从所述业务系统的数据库中查找与每个关键词匹配的目标数据集。

3.如权利要求1所述的数据处理方法，其特征在于，确定不同目标数据集中的数据在各个维度的关联关系，包括：

针对每个维度，对不同目标数据集中的数据进行布尔运算，以确定所述关联关系。

4.如权利要求1所述的数据处理方法，其特征在于，数据处理方法还包括：

获取所述业务系统的数据文件；

基于第二正则表达式对所述数据文件中的数据进行校验，以删除校验未通过的数据，或使用所述数据文件中对应字段的数据平均值代替所述校验未通过的数据；

将经过校验的数据文件存储于所述数据库中。

5.如权利要求4所述的数据处理方法，其特征在于，将经过校验的数据文件存储于所述数据库中之前，还包括：

基于第三正则表达式对经过校验的数据文件进行查重；

合并经过查重后的数据文件，并将合并后的数据文件存储于所述数据库中。

6.如权利要求5所述的数据处理方法，其特征在于，合并经过查重后的数据文件之后，还包括：

获取所述业务系统的用户界面的字段信息；

根据所述字段信息对合并后的数据文件中的数据进行重新排列。

7.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

将所述目标数据集关联显示于所述业务系统生成的可视化界面中。

8.一种业务系统的数据处理装置，其特征在于，所述数据处理装置包括：

9.如权利要求8所述的数据处理装置，其特征在于，所述查找模块具体用于：

基于第一正则表达式从所述业务系统的数据库中查找与每个关键词匹配的目标数据集。

10.如权利要求8所述的数据处理装置，其特征在于，所述确定模块具体用于：

11.如权利要求8所述的数据处理装置，其特征在于，数据处理装置还包括：

第一获取模块，用于获取所述业务系统的数据文件；

校验模块，用于基于第二正则表达式对所述数据文件中的数据进行校验，以删除校验未通过的数据，或使用所述数据文件中对应字段的数据平均值代替所述校验未通过的数据；

存储模块，用于将经过校验的数据文件存储于所述数据库中。

12.如权利要求11所述的数据处理装置，其特征在于，所述数据处理装置还包括：

查重模块，用于基于第三正则表达式对经过校验的数据文件进行查重；

合并模块，用于合并经过查重后的数据文件，并调用所述存储模块以将合并后的数据文件存储于所述数据库中。

13.如权利要求12所述的数据处理装置，其特征在于，所述数据处理装置还包括：

第二获取模块，用于获取所述业务系统的用户界面的字段信息；

重排模块，用于根据所述字段信息对合并后的数据文件中的数据进行重新排列。

14.如权利要求8所述的数据处理装置，其特征在于，所述数据处理装置还包括：

显示模块，用于将所述目标数据集关联显示于所述业务系统生成的可视化界面中。

15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的业务系统的数据处理方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的业务系统的数据处理方法的步骤。