CN113342830A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN113342830A CN113342830A CN202110774698.2A CN202110774698A CN113342830A CN 113342830 A CN113342830 A CN 113342830A CN 202110774698 A CN202110774698 A CN 202110774698A CN 113342830 A CN113342830 A CN 113342830A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- field
- processing
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000012098 association analyses Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000007667 floating Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据处理方法及装置,当用户想要对目标数据进行处理时,用户可以通过可视化界面设置目标数据源和目标字段。其中目标数据源为存储目标数据的文件或位置,例如可以是目标数据所在的数据表或数据库等存储形式,目标字段为目标数据源中目标数据所属的字段。接着,可以根据目标字段确定目标处理流程,例如可以根据从对应关系中查找与目标字段对应的目标处理流程,再根据目标处理对目标数据源中的目标数据进行处理。如此,相较于传统技术,无需技术人员手动编写分析程序,降低了数据分析人员的工作量,提升了数据分析效率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
随着计算机技术的发展,产生的数据量越来越大。通过对数据进行分析,可以从数据中挖掘出大量有价值的信息。例如,对用户在交易过程中产生的数据进行分析,可以分析出用户的行为习惯,从而基于用户的行为习惯为用户提供更好的服务。
目前,为了对数据进行分析,需要每个数据分析任务设置编写对应的分析流程,缺乏一种能够自动对数据进行分析的技术方案。
发明内容
有鉴于此,本申请实施例提供了一种数据处理方法及装置,旨在提供一种能够自动对数据进行分析的技术方案。
第一方面,本申请实施例提供了一种数据处理方法,所述方法包括:
获取目标数据源和目标字段,所述目标数据源包括目标数据,所述目标数据属于所述目标字段;
根据所述目标字段和对应关系确定目标处理流程,所述对应关系包括所述目标字段和所述目标处理流程之间的对应关系;
根据所述目标处理流程对所述目标数据源中的目标数据进行处理,得到处理结果。
可选地,所述对应关系包括字段类型和所述目标处理流程之间的对应关系,所述根据所述目标字段和对应关系确定目标处理流程包括:
根据所述目标字段确定所述字段类型,所述字段类型表示所述目标数据所满足的属性;
根据所述字段类型和对应关系确定所述目标处理流程。
可选地,所述根据所述目标字段确定所述字段类型包括:
从所述目标数据源中提取样本数据,所述样本数据属于所述目标字段,所述样本数据的数据量小于或等于所述目标数据的数据量;
根据所述目标字段确定基本字段类型,所述基本字段类型为所述目标字段所满足的数据类型;
根据所述基本字段类型和所述样本数据确定所述字段类型。
可选地,在根据所述目标字段和对应关系确定目标处理流程之前,所述方法还包括:
获取处理参数信息;
所述根据所述目标字段和对应关系确定目标处理流程包括:
根据所述处理参数信息、所述目标字段和对应关系确定目标处理流程。
可选地,所述目标字段包括至少第一目标字段和第二目标字段,所述目标数据包括所述第一目标字段对应的第一目标数据和所述第二目标字段对应的第二目标数据,所述处理参数信息包括关联分析指示参数;所述根据所述处理参数信息、所述目标字段和对应关系确定目标处理流程包括:
响应于所述处理参数信息包括关联分析使能参数,确定所述目标处理流程包括关联性分析流程;
所述根据所述目标处理流程对所述目标数据源中的目标数据进行处理包括:
对所述第一目标数据和所述第二目标数据进行关联性分析。
可选地,所述处理结果包括至少一张数据图表,所述方法还包括:
展示所述数据图表。
第二方面,本申请实施例提供了一种数据处理装置,所述数据处理装置包括:
获取单元,用于获取目标数据源和目标字段,所述目标数据源包括目标数据,所述目标数据属于所述目标字段。
确定单元,用于根据所述目标字段和对应关系确定目标处理流程,所述对应关系包括所述目标字段和所述目标处理流程之间的对应关系。
处理单元,用于根据所述目标处理流程对所述目标数据源中的目标数据进行处理,得到处理结果。
可选地,所述对应关系包括字段类型和所述目标处理流程之间的对应关系,所述确定单元,用于根据所述目标字段确定所述字段类型,所述字段类型表示所述目标数据所满足的属性;根据所述字段类型和对应关系确定所述目标处理流程。
可选地,所述确定单元,用于从所述目标数据源中提取样本数据,所述样本数据属于所述目标字段,所述样本数据的数据量小于或等于所述目标数据的数据量;根据所述目标字段确定基本字段类型,所述基本字段类型为所述目标字段的数据类型;根据所述基本字段类型和所述样本数据确定所述字段类型。
可选地,所述获取单元,还用于获取处理参数信息,所述确定单元,还用于根据所述处理参数信息、所述目标字段和对应关系确定目标处理流程
可选地,所述目标字段包括至少第一目标字段和第二目标字段,所述目标数据包括所述第一目标字段对应的第一目标数据和所述第二目标字段对应的第二目标数据;所述处理参数信息包括关联分析指示参数;所述确定单元,还用于响应于所述处理参数信息包括关联分析使能参数,确定所述目标处理流程包括关联性分析流程;所述处理单元,还用于对所述第一目标数据和所述第二目标数据进行关联性分析。
可选地,所述处理结果包括至少一张数据图表,所述处理单元,还用于展示所述数据图表。
第三方面,本申请实施例还提供了一种设备,所述设备包括存储器和处理器,所述存储器用于存储指令,所述处理器用于运行所述存储器存储的所述指令,以使所述设备执行前述第一方面所述的数据处理方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储机制用于存储计算机程序,所述计算机程序用于控制计算机执行前述第一方面所述的数据处理方法。
本申请实施例提供了一种数据处理方法及装置,当用户想要对目标数据进行处理时,用户可以通过可视化界面设置目标数据源和目标字段。其中目标数据源为存储目标数据的文件或位置,例如可以是目标数据所在的数据表或数据库等存储形式,目标字段为目标数据源中目标数据所属的字段。接着,可以根据目标字段确定目标处理流程,例如可以根据从对应关系中查找与目标字段对应的目标处理流程,再根据目标处理对目标数据源中的目标数据进行处理。这样,当用户向对特定的目标数据进行处理时,只需确定目标数据对应的目标数据源和目标字段,即可自动对目标数据进行处理。如此,相较于传统技术,无需技术人员手动编写分析程序,降低了数据分析人员的工作量,提升了数据分析效率。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理方法的方法流程图;
图2为本申请实施例提供的数据处理装置的一种结构示意图。
具体实施方式
随着计算机技术的发展,对数据分析处理得到了越来越广泛的应用。以数据表为例,在传统的数据处理流程中,大多由技术人员先对数据表的结构进行分析,并通过结构化查询语言(Structured Query Language,SQL)等语言编写对应的脚本,从而通过脚本实现对数据表的提取和自动分析。这样,可以从数据表的大量数据中挖掘出有价值的信息,从而在历史数据的指导下进行优化。
但是,在传统的数据分析处理的过程中,需要技术人员手动编写脚本。这一方面需要技术人员耗费时间亲自编写脚本,浪费了技术人员的人力,降低了数据分析处理的效率。另一方面,也要求编写脚本的技术人员掌握SQL等数据处理工具。这对技术人员的要求较高,提高了数据处理的门槛,进一步降低了数据分析处理的效率。特别地,在银行和电商等生成数据量较大的领域,传统的数据分析方法局限性较大,效率较低。
通过研究,本申请发明人发现,在进行数据处理的过程中,往往会采用相同或相似的手段对同一类型的数据进行处理。即,对于相同类型的数据,可以采用相同或相似的手段对其进行分析。基于此,本申请实施例提供了一种数据处理方法及装置,旨在提供一种能够自动对数据进行分析的技术方案。以下将计算机软件的角度对本申请优选实施例进行说明,需要说明的是,该计算机软件可以运行于服务器、计算机和手机等具有数据处理能力的实体设备,也可以是运行于服务器集群的云计算平台。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,图1为本申请实施例提供的数据处理方法的方法流程图,包括:
S101:获取目标数据源和目标字段。
在对目标数据进行处理之前,可以先确定需要处理的目标数据。在本申请实施例中,可以通过目标数据源和目标字段确定目标数据。其中,目标数据源包括目标数据,为目标数据所在的文件或集合,例如可以是包括目标数据的数据表。目标字段为目标数据具有的属性信息,例如可以表示目标数据的类别信息。可选地,当目标数据源为数据表时,目标数据可以是数据表中一列或多列数据,那么目标字段可以是目标数据所在的列的名称。
在本申请实施例中,可以接收用户输入的目标数据源和目标字段。具体地,可以通过屏幕等显示设备向用户展示输入界面。用户可以在输入界面中输入目标数据源的标识(例如可以是目标数据源的名称)和目标字段的标识(例如可以是目标字段的名称)。这样,可以通过用户的输入确定目标数据源和目标字段。可选地,输入界面可以包括至少两个输入框,分别用于接收用户输入的目标数据源和目标字段。在一些可能的实现方式中,该输入框还可以为选择控件,用户可以通过选择控件选中想要处理的目标数据源和目标字段。
需要说明的是,在实际的应用场景中,一次处理往往可以对多个数据源中多个字段的数据进行处理,为了便于说明,本申请实施例中均以一个目标数据源和一个目标字段进行说明。在此基础上,本领域技术人员应当能够想到具有多个目标数据源和多个目标字段的情况。
S102:根据目标字段和对应关系确定目标处理流程。
在确定所处理的目标数据源和目标字段之后,可以根据目标字段和对应关系确定目标处理流程。其中,对应关系可以包括目标字段和目标处理流程之间的对应关系,还可以包括其他字段与其他处理流程之间的对应关系。目标处理流程为预先设置的,对目标字段对应的数据的处理方法。可选地,技术人员可以预先建立目标字段与目标处理流程之间的对应关系,并存储对应关系。这样,在接收到目标字段之后,可以根据目标字段和对应关系确定对目标数据的目标处理流程。
在一些可能的实现方式中,对应关系可以包括字段类型和所述目标处理流程之间的对应关系,其中字段类型为目标字段的所属的类型,表示目标数据所满足的属性。那么在确定目标处理流程的过程中,可以先根据目标字段确定字段类型,然后再根据对应关系和字段类型确定目标处理流程。这样,采用相同或相似的流程对同一数据类型的字段进行处理,无需技术人员手动设置处理流程。
在本申请实施例中,字段类型可以是计算机定义上的数据类型,例如整型(Integer,Int)数据、浮点(Floating Point)型数据、字符(Char)串型数据、可变字符串(Varchar)型数据和日期型(Date)型数据等,那么在确定字段类型时,可以直接根据目标字段的相关信息确定,也可以根据目标字段从目标数据源中提取部分或全部的目标数据,进而确定目标数据的字段类型。在一些其他可能的实现中,字段类型还可以表示分类后的目标数据对应的类别。下面进行详细介绍。
由于数据分析任务大多是对相同或相似的数据进行分析,在分析的过程中,对于多个字段对应的数据可能会采用相同的分析方法。为此,技术人员可以将能够采用相同分析方法的字段归为一类,并将同一类数据中属于不同字段的数据均具有的特点确定为该类数据的字段类型。
以银行产生的交易数据为例进行说明,交易数据可以被分为单值型、空值型、时间型、离散型、连续型、位置型和索引型共七种类型。其中,单值型对应的目标数据取特定值;空值型对应的目标数据取空值的数量或比例高于空值阈值;时间型对应的目标数据表示时间信息;在位置型对应的数据表示位置信息;离散型对应的目标数据为离散分布的数据;连续型对应的目标数据为连续分布的数据;索引型对应的目标数据为数据表中的索引。
在确定字段类型的过程中,可以先根据目标字段确定基本类型,该基本类型为目标数据的数据类型,例如整型和/或浮点型等。接着,可以根据目标字段从目标数据源中提取样本数据,样本数据为部分或全部的目标数据。这样,当需要处理的目标数据的数据量相对较大(例如数万条、数百万条等)时,可以从目标数据中抽取出数据量相对较小(例如数十或数百条)的数据作为样本数据,并根据样本数据和基本字段类型确定目标数据的字段类型。
仍以银行产生的交易数据为例进行说明,可以对样本数据进行去重,如去重后得到的结果仅包括一个值,那么可以将样本数据的字段类型确定为单值型。如果去重后得到的结果中不同值的数量小于离散阈值,可以将样本数据的字段类型确定为离散型。可选地,如果样本数据的字段类型为整型,且去重后的得到的结果中不同值的数量小于离散阈值,可以将样本数据的字段类型确定为离散型。如果样本数据的字段类型为浮点型,同样可以将样本数据的字段类型确定为连续型。可选地,还可以判断样本数据中空值的数量(或比例)是否大于空值阈值,若是,可以将样本数据的字段类型确定为空值型。可选地,可以判断任意样本数据是否为日期类型,若是,可以将样本数据的字段类型确定为日期型,若否,可以进一步判断样本数据的字段类型是否为字符串类型且任意样本数据能否转换为日期,若是,同样可以将样本数据的字段类型确定为日期型。可选地,可以判断样本数据是否为字符串类型,若是,可以进一步判断任意样本数据是否能转换为地点的描述,若是,可以将样本数据的字段类型确定为位置型。
在确定目标数据的字段类型后,可以根据对应关系查找与目标数据的字段类型对应的目标处理流程。关于目标处理流程的介绍可以参见后文,这里不再赘述。
S103:根据目标处理流程对目标数据源中的目标数据进行处理,得到处理结果。
在确定对目标数据的目标处理流程之后,可以根据目标处理流程对目标数据源中的目标数据进行处理,得到处理结果。在对目标数据进行处理之前,还可以先根据目标字段从目标数据源中提取目标字段对应的数据作为目标数据。在一些可能的实现中,对目标数据进行处理可以是指对目标数据进行统计学分析,得到至少一张数据图表。在得到数据图表之后,还可以向用户展示该数据图表,以便用户通过数据图表了解到目标数据的特点。可选地,数据图表例如可以包括直方图、折线图和饼图等。
下面目标数据包括银行交易产生的第一数据集合(第一数据集合包括至少一个第一数据)为例进行说明。在本申请实施例中,当第一数据集合中多个第一数据的字段类型为索引型、单值型和空值型中的任意一种时,可以认为第一数据属于价值较低的数据或统计难度较大的数据,那么可以不对第一数据集合进行统计分析,直接展示第一数据。
如果第一数据中多个第一数据的字段类型为连续型,那么可以从第一数据集合中查找第一数据的最小值、第一数据的四分之一分位数、第一数据的中间值、第一数据的3/4分位数和第一数据的最大值,并转化为箱型图图表。另外,还可以根据最大值和最小值对第一数据集合中各个第一数据进行分段,并统计每个分段的数量,形成直方图图表。
如果第一数据集合中多个第一数据的字段类型为连续型,可以对第一数据集合进行聚合,并统计每一类所包含的第一数据的数量,计算数量占比,得到饼图图表。
如果第一数据集合中多个第一数据的字段类型为时间型,可以对第一数据集合进行聚合,并按第一数据对应的时间进行序排列,得到按时间分布的折线图图表。
如果第一数据集合中多个第一数据的字段类型为位置型,可以按照地理位置的名称,对多个第一数据进行聚合,并统计分类后各类第一数据的数量,再将其标注在地图上,得到地图型图表。
除此以外,在一些可能的实现方式中,还可以对至少两个目标字段的目标数据进行处理。具体地,假设目标数据包括第一数据集合和第二数据集合(包括至少一个第二数据),那么可以将位于图表中同一行的第一数据和第二数据称为相对应的第一数据和第二数据。
在进行处理的过程中,如果第一数据集合中多个第一数据的字段类型为离散型,且第二数据集合中多个第二数据的字段类型为离散型字段,可以以相对应的一对第一数据和第二数据为整体,对多个第一数据和第二数据做聚合,并计算其数量,得到直方图图表。
如果第一数据集合中多个第一数据的字段类型为离散型,且第二数据集合中多个第二数据的字段类型为连续型字段,那么可以对多个第一数据进行聚合,并统计多类第一数据中每一类第一数据分别对应的第二数据的数量、累积和以及平均值,得到直方图图表。
如果第一数据集合中多个第一数据的字段类型为时间型,且第二数据集合中多个第二数据的字段类型为连续型字段,那么可以对多个第一数据进行聚合,并统计多类第一数据中每一类第一数据分别对应的第二数据的数量、累积和以及平均值,得到直方图图表。
如果第一数据集合中多个第一数据的字段类型为地点型,且第二数据集合中多个第二数据的字段类型为连续型字段,那么可以对多个第一数据进行聚合,并统计多类第一数据中每一类第一数据分别对应的第二数据的数量、累积和以及平均值,得到地图型图表。
如果第一数据集合中多个第一数据的字段类型为连续性型,且第二数据集合中多个第二数据的字段类型为连续型字段,那么可以对计算第一数据和第二数据的皮尔森相关系数(Pearson Correlation Coefficient),得到列相关系数表数据。
本申请实施例提供了一种数据处理方法,当用户想要对目标数据进行处理时,用户可以通过可视化界面设置目标数据源和目标字段。其中目标数据源为存储目标数据的文件或位置,例如可以是目标数据所在的数据表或数据库等存储形式,目标字段为目标数据源中目标数据所属的字段。接着,可以根据目标字段确定目标处理流程,例如可以根据从对应关系中查找与目标字段对应的目标处理流程,再根据目标处理对目标数据源中的目标数据进行处理。这样,当用户向对特定的目标数据进行处理时,只需确定目标数据对应的目标数据源和目标字段,即可自动对目标数据进行处理。如此,相较于传统技术,无需技术人员手动编写分析程序,降低了数据分析人员的工作量,提升了数据分析效率。
在一些可能的实现方式中,用户还可以通过处理参数信息对目标处理流程进行调整。具体地,用户可以输入处理参数信息,例如可以在步骤S101中所述的输入界面中输入处理参数信息。在接收到处理参数信息之后,可以根据处理参数信息和对应关系确定目标处理流程。例如,假设对应关系包括第一使能参数和关联分析计算流程之间的对应关系,那么如果处理参数信息包括第一使能参数,可以确定目标处理流程包括关联分析计算流程。
举例说明,假设目标字段包括第一目标字段和第二目标字段,分别对应第一目标数据和第二目标数据。那么如果目标处理流程包括关联分析计算流程,可以确定目标处理流程包括关联性分析流程。在对目标数据进行处理的过程中,可以对第一目标数据和第二目标数据进行关联性分析,得到桑基图(Sankey diagram)图表。
以上为本申请实施例提供数据处理方法的一些具体实现方式,基于此,本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的上述装置进行介绍。
参见图2所示的数据处理装置的结构示意图,该装置200包括:
获取单元210,用于获取目标数据源和目标字段,所述目标数据源包括目标数据,所述目标数据属于所述目标字段。
确定单元220,用于根据所述目标字段和对应关系确定目标处理流程,所述对应关系包括所述目标字段和所述目标处理流程之间的对应关系。
处理单元230,用于根据所述目标处理流程对所述目标数据源中的目标数据进行处理,得到处理结果。
本申请实施例提供了一种数据处理装置,当用户想要对目标数据进行处理时,用户可以通过可视化界面设置目标数据源和目标字段。其中目标数据源为存储目标数据的文件或位置,例如可以是目标数据所在的数据表或数据库等存储形式,目标字段为目标数据源中目标数据所属的字段。接着,可以根据目标字段确定目标处理流程,例如可以根据从对应关系中查找与目标字段对应的目标处理流程,再根据目标处理对目标数据源中的目标数据进行处理。这样,当用户向对特定的目标数据进行处理时,只需确定目标数据对应的目标数据源和目标字段,即可自动对目标数据进行处理。如此,相较于传统技术,无需技术人员手动编写分析程序,降低了数据分析人员的工作量,提升了数据分析效率。
可选地,在一些可能的实现中,所述对应关系包括字段类型和所述目标处理流程之间的对应关系,所述确定单元220,用于根据所述目标字段确定所述字段类型,所述字段类型表示所述目标数据所满足的属性;根据所述字段类型和对应关系确定所述目标处理流程。
可选地,在一些可能的实现中,所述确定单元220,用于从所述目标数据源中提取样本数据,所述样本数据属于所述目标字段,所述样本数据的数据量小于或等于所述目标数据的数据量;根据所述目标字段确定基本字段类型,所述基本字段类型为所述目标字段的数据类型;根据所述基本字段类型和所述样本数据确定所述字段类型。
可选地,在一些可能的实现中,所述获取单元210,还用于获取处理参数信息,所述确定单元220,还用于根据所述处理参数信息、所述目标字段和对应关系确定目标处理流程。
可选地,在一些可能的实现中,所述目标字段包括至少第一目标字段和第二目标字段,所述目标数据包括所述第一目标字段对应的第一目标数据和所述第二目标字段对应的第二目标数据;所述处理参数信息包括关联分析指示参数;所述确定单元220,还用于响应于所述处理参数信息包括关联分析使能参数,确定所述目标处理流程包括关联性分析流程;所述处理单元230,还用于对所述第一目标数据和所述第二目标数据进行关联性分析。
可选地,在一些可能的实现中,所述处理结果包括至少一张数据图表,所述处理单元230,还用于展示所述数据图表。
本申请实施例中提到的“第一目标字段”、“第二目标字段”等名称中的“第一”、“第二”只是用来做名字标识,并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,ROM)/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请示例性的实施方式,并非用于限定本申请的保护范围。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
获取目标数据源和目标字段,所述目标数据源包括目标数据,所述目标数据属于所述目标字段;
根据所述目标字段和对应关系确定目标处理流程,所述对应关系包括所述目标字段和所述目标处理流程之间的对应关系;
根据所述目标处理流程对所述目标数据源中的目标数据进行处理,得到处理结果。
2.根据权利要求1所述的方法,其特征在于,所述对应关系包括字段类型和所述目标处理流程之间的对应关系,所述根据所述目标字段和对应关系确定目标处理流程包括:
根据所述目标字段确定所述字段类型,所述字段类型表示所述目标数据所满足的属性;
根据所述字段类型和对应关系确定所述目标处理流程。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标字段确定所述字段类型包括:
从所述目标数据源中提取样本数据,所述样本数据属于所述目标字段,所述样本数据的数据量小于或等于所述目标数据的数据量;
根据所述目标字段确定基本字段类型,所述基本字段类型为所述目标字段所满足的数据类型;
根据所述基本字段类型和所述样本数据确定所述字段类型。
4.根据权利要求1所述的方法,其特征在于,在根据所述目标字段和对应关系确定目标处理流程之前,所述方法还包括:
获取处理参数信息;
所述根据所述目标字段和对应关系确定目标处理流程包括:
根据所述处理参数信息、所述目标字段和对应关系确定目标处理流程。
5.根据权利要求4所述的方法,其特征在于,所述目标字段包括至少第一目标字段和第二目标字段,所述目标数据包括所述第一目标字段对应的第一目标数据和所述第二目标字段对应的第二目标数据,所述处理参数信息包括关联分析指示参数;所述根据所述处理参数信息、所述目标字段和对应关系确定目标处理流程包括:
响应于所述处理参数信息包括关联分析使能参数,确定所述目标处理流程包括关联性分析流程;
所述根据所述目标处理流程对所述目标数据源中的目标数据进行处理包括:
对所述第一目标数据和所述第二目标数据进行关联性分析。
6.根据权利要求1所述的方法,其特征在于,所述处理结果包括至少一张数据图表,所述方法还包括:
展示所述数据图表。
7.一种数据处理装置,其特征在于,所述装置包括:
获取单元,用于获取目标数据源和目标字段,所述目标数据源包括目标数据,所述目标数据属于所述目标字段;
确定单元,用于根据所述目标字段和对应关系确定目标处理流程,所述对应关系包括所述目标字段和所述目标处理流程之间的对应关系;
处理单元,用于根据所述目标处理流程对所述目标数据源中的目标数据进行处理,得到处理结果。
8.根据权利要求7所述的装置,其特征在于,所述对应关系包括字段类型和所述目标处理流程之间的对应关系,
所述确定单元,用于根据所述目标字段确定所述字段类型,所述字段类型表示所述目标数据所满足的属性;根据所述字段类型和对应关系确定所述目标处理流程。
9.根据权利要求8所述的装置,其特征在于,
所述确定单元,用于从所述目标数据源中提取样本数据,所述样本数据属于所述目标字段,所述样本数据的数据量小于或等于所述目标数据的数据量;根据所述目标字段确定基本字段类型,所述基本字段类型为所述目标字段的数据类型;根据所述基本字段类型和所述样本数据确定所述字段类型。
10.根据权利要求7所述的装置,其特征在于,所述目标字段包括至少第一目标字段和第二目标字段,所述目标数据包括所述第一目标字段对应的第一目标数据和所述第二目标字段对应的第二目标数据;
所述获取单元,还用于获取处理参数信息,所述处理参数信息包括关联分析指示参数;
所述确定单元,还用于响应于所述处理参数信息包括关联分析使能参数,确定所述目标处理流程包括关联性分析流程;
所述处理单元,还用于对所述第一目标数据和所述第二目标数据进行关联性分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110774698.2A CN113342830A (zh) | 2021-07-08 | 2021-07-08 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110774698.2A CN113342830A (zh) | 2021-07-08 | 2021-07-08 | 一种数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113342830A true CN113342830A (zh) | 2021-09-03 |
Family
ID=77483108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110774698.2A Pending CN113342830A (zh) | 2021-07-08 | 2021-07-08 | 一种数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113342830A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101442539A (zh) * | 2008-12-19 | 2009-05-27 | 北京中创信测科技股份有限公司 | 实现字段过滤的方法和装置 |
CN101719915A (zh) * | 2009-11-10 | 2010-06-02 | 北京中创信测科技股份有限公司 | 实现字段解码的方法和装置 |
US20160070757A1 (en) * | 2014-09-09 | 2016-03-10 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for processing information |
CN109634805A (zh) * | 2018-11-19 | 2019-04-16 | 平安科技(深圳)有限公司 | 监控数据处理方法、装置、电子设备及存储介质 |
CN110990777A (zh) * | 2019-07-03 | 2020-04-10 | 北京市安全生产科学技术研究院 | 数据关联性分析方法及系统、可读存储介质 |
-
2021
- 2021-07-08 CN CN202110774698.2A patent/CN113342830A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101442539A (zh) * | 2008-12-19 | 2009-05-27 | 北京中创信测科技股份有限公司 | 实现字段过滤的方法和装置 |
CN101719915A (zh) * | 2009-11-10 | 2010-06-02 | 北京中创信测科技股份有限公司 | 实现字段解码的方法和装置 |
US20160070757A1 (en) * | 2014-09-09 | 2016-03-10 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for processing information |
CN109634805A (zh) * | 2018-11-19 | 2019-04-16 | 平安科技(深圳)有限公司 | 监控数据处理方法、装置、电子设备及存储介质 |
CN110990777A (zh) * | 2019-07-03 | 2020-04-10 | 北京市安全生产科学技术研究院 | 数据关联性分析方法及系统、可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10037305B2 (en) | Computer-implemented systems and methods for time series exploration | |
US9244887B2 (en) | Computer-implemented systems and methods for efficient structuring of time series data | |
US10191968B2 (en) | Automated data analysis | |
CN106980573B (zh) | 一种构建测试用例请求对象的方法、装置及系统 | |
US10157204B2 (en) | Generating statistical views in a database system | |
US7730023B2 (en) | Apparatus and method for strategy map validation and visualization | |
US11157550B2 (en) | Image search based on feature values | |
US9224217B2 (en) | Analytical charting | |
CN110837520A (zh) | 一种数据处理方法、平台及系统 | |
KR102345410B1 (ko) | 빅데이터 지능형 수집 방법 및 장치 | |
CN105095436A (zh) | 数据源数据自动建模方法 | |
CN114419631A (zh) | 一种基于rpa的网管虚拟系统 | |
US20150134660A1 (en) | Data clustering system and method | |
CN112214557A (zh) | 数据匹配分类方法及装置 | |
CN112100177A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
CN113342830A (zh) | 一种数据处理方法及装置 | |
CN112766245B (zh) | 基于pdf格式文件的可视化仪器采集方法及系统 | |
CN115186063A (zh) | 一种业务数据处理方法、装置、设备及存储介质 | |
CN114495137A (zh) | 票据异常检测模型生成方法与票据异常检测方法 | |
CN113934894A (zh) | 基于指标树的数据显示方法、终端设备 | |
US20150081735A1 (en) | System and method for fast identification of variable roles during initial data exploration | |
US9058345B2 (en) | System and method of generating reusable distance measures for data processing | |
US20220237388A1 (en) | Method and apparatus for generating table description text, device and storage medium | |
CN116821099A (zh) | 一种数据库优化方法、装置、电子设备和存储介质 | |
CN114297729A (zh) | 一种配置管理数据库的审计方法、系统及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |