CN111382187A - 数据提取方法及装置 - Google Patents

Abstract

本发明实施例提供一种数据提取方法及装置，所述方法包括：根据用户选择的数据属性，获取所述用户从预先构建的数据提取策略集合中为各所述数据属性选择的数据提取策略；根据所述用户选择的数据提取策略中各因子所包含的预设条件和所述预设条件对应的分数，获取各所述数据属性中每个值的得分；根据各所述数据属性中每个值的得分，将各所述数据属性中得分最高的一个或多个值进行提取。本发明实施例一方面根据使用场景为每个数据属性都配置一个数据提取策略，从而提高了提取数据的质量；另一方面，针对不同使用场景选择不同数据属性，为各数据属性选择不同数据提取策略，提取不同数据，提高了数据提取的灵活性。

Description

数据提取方法及装置

技术领域

本发明实施例属于数据预处理技术领域，更具体地，涉及一种数据提取方法及装置。

背景技术

数据提取是指从目标数据集合中抽取出感兴趣的数据的过程。然后使用感兴趣的数据对业务进行分析，从而挖掘出有意义的信息。

目标数据集合中的每个属性有多个不同来源的值。现有的数据提取方法一般只设置一个数据提取策略，根据预先设置的单一数据提取策略从目标数据集合中提取数据，即获取与目标场景相关的属性，从每个相关属性的多个值中选择一个或多个值。但在使用场景发生变化时，需要使用不同的数据提取策略从目标数据集合中提取不同的数据。此时，一般根据当前使用场景的需要，手动对预先设置的单一数据提取策略进行更改。这种数据提取方法费时费力，容易出错，且灵活性差。

发明内容

为克服上述现有的数据提取方法费时费力，容易出错，且灵活性差的问题或者至少部分地解决上述问题，本发明实施例提供一种数据提取方法及装置。

根据本发明实施例的第一方面，提供一种数据提取方法，包括：

S101，根据用户选择的数据属性，获取所述用户从预先构建的数据提取策略集合中为各所述数据属性选择的数据提取策略；

S102，根据所述用户选择的数据提取策略中各因子所包含的预设条件和所述预设条件对应的分数，获取各所述数据属性中每个值的得分；

S103，根据各所述数据属性中每个值的得分，将各所述数据属性中得分最高的一个或多个值进行提取。

根据本发明实施例第二方面提供一种数据提取装置，包括：

选择模块，用于根据用户选择的数据属性，获取所述用户从预先构建的数据提取策略集合中为各所述数据属性选择的数据提取策略；

计算模块，用于根据所述用户选择的数据提取策略中各因子所包含的预设条件和所述预设条件对应的分数，获取各所述数据属性中每个值的得分；

提取模块，用于根据各所述数据属性中每个值的得分，将各所述数据属性中得分最高的一个或多个值进行提取。

根据本发明实施例的第三个方面，还提供一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的数据提取方法。

根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的数据提取方法。

本发明实施例提供一种数据提取方法及装置，该方法通过根据用户为各数据属性选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各数据属性中每个值的得分，将各数据属性中得分最高的一个或多个值进行提取，一方面根据使用场景为每个数据属性都配置一个数据提取策略，从而提高了提取数据的质量；另一方面，针对不同使用场景选择不同数据属性，为各数据属性选择不同数据提取策略，提取不同数据，提高了数据提取的灵活性。

附图说明

图1为本发明实施例提供的数据提取方法整体流程示意图；

图2为本发明实施例提供的数据提取装置整体结构示意图；

图3为本发明实施例提供的电子设备整体结构示意图。

具体实施方式

下面结合附图和实施例，对本发明实施例的具体实施方式作进一步详细描述。以下实施例用于说明本发明实施例，但不用来限制本发明实施例的范围。

在本发明实施例的一个实施例中提供一种数据提取方法，图1为本发明实施例提供的数据提取方法整体流程示意图，该方法包括：

S101，根据用户选择的数据属性，获取用户从预先构建的数据提取策略集合中为各数据属性选择的数据提取策略；

其中，数据属性为需要提取的数据所属的属性，属性是指一个实体所具有的特性。一个实体可以由若干个属性来刻画，如员工实体有员工编号、姓名、年龄、性别等属性。用户根据提取数据的使用场景确定需要提取的数据，从而根据需要提取的数据选择数据属性，即需要提取的数据对应的属性。

数据提取策略用于确定从各数据属性的多个值中提取出来的值。一个数据提取策略包括一个或多个因子，每个因子包括预设条件和该预设条件对应的分数。例如，用户为数据属性房屋建筑面积选择的数据提取策略中包含两个因子，一个因子中的预设条件为数据来源为经纪人填写的数据，该预设条件对应的分数为5分；另一个因子中的预设条件为数据来源为交易来源的数据，该预设条件对应的分数为4分。数据提取策略集合为多个数据提取策略的集合。其他数据提取策略可能也包含两个因子，且两个因子中的预设条件与用户为房屋建筑面积选择的数据提取策略中两个因子的预设条件相同，但分数可能不同。

用户判断所选择的各数据属性是否已绑定数据提取策略，即是否已与数据提取策略建立了对应关系。若各数据属性已绑定数据提取策略，则解除绑定。然后用户判断需要选择的数据提取策略在数据提取策略集合中是否存在。若存在，则从预先构建的数据提取策略集合中为各数据属性选择数据提取策略，并将各数据属性与用户为各数据属性选择的数据提取策略进行绑定，即生成数据属性与数据提取策略之间的对应关系。

S102，根据用户选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各数据属性中每个值的得分；

通过判断各数据属性中每个值是否满足各数据属性对应的数据提取策略中各因子包含的预设条件，根据各预设条件对应的分数获取各数据属性中每个值的得分。

S103，根据各数据属性中每个值的得分，将各数据属性中得分最高的一个或多个值进行提取。

由于各数据属性中得分最高的值可能有一个，也可能有多个。当得分最高的值有多个时，将得分最高的多个值进行提取或者将得分最高的多个值中最新的值进行提取。

本发明实施例通过根据用户为各数据属性选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各数据属性中每个值的得分，将各数据属性中得分最高的一个或多个值进行提取，一方面根据使用场景为每个数据属性都配置一个数据提取策略，从而提高了提取数据的质量；另一方面，针对不同使用场景选择不同数据属性，为各数据属性选择不同数据提取策略，提取不同数据，提高了数据提取的灵活性。

在上述实施例的基础上，本实施例中S101步骤之前还包括：S1011，获取用户从预先构建的因子集合中选择的一个或多个因子；S1012，根据用户选择的因子生成数据提取策略，并将生成的数据提取策略存储到预先构建的数据提取策略集合中。

其中，因子集合为由多个因子构成的集合。用户判断为各数据属性需要选择的数据提取策略在数据提取策略集合中是否存。若存在，则直接为各数据属性选择数据提取策略。若不存在，则用户判断构建所需数据提取策略的因子是否都存在。若构建所需数据提取策略的因子都存在，则根据用户从因子集合中选择的因子构建所需数据提取策略，然后将所需数据提取策略与相应数据属性进行绑定，即生成所需数据提取策略与相应数据属性之间的对应关系。并将新增的数据提取策略存储到数据提取策略集合中，以供用户将其选为其他数据属性对应的数据提取策略。

在上述实施例的基础上，本实施例中S1011步骤之前还包括：将用户输入的因子保存到预先构建的因子集合中。

用户判断为各数据属性需要选择的数据提取策略在数据提取策略集合中是否存。若不存在，则用户判断构建所需数据提取策略的因子是否全部存在。若构建所需数据提取策略的因子不是全部存在，则用户向因子集合中添加所需数据提取策略的因子中不存在的因子，从而进一步根据用户选择的所需数据提取策略的全部因子，生成所需数据提取策略。

在上述各实施例的基础上，本实施例中S102步骤之前还包括：对于任一数据属性，将对该数据属性每次更新的值都存储到一个单元数组中；其中，单元数组与数据属性一一对应；相应地，S102步骤具体包括：根据用户选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各单元数组中每个值的得分。

具体地，对于任一数据属性，将对该数据属性每次更新的值都存储到一个单元数组中的步骤可以在S101和S102之间，也可以在S101之前。现有技术中在对数据属性的值进行更新时，根据判断条件确定是否对数据属性的值进行替换。当新数据满足判断条件时，使用新数据对数据属性的值进行替换，否则不进行替换。对于每个数据属性，只保留该数据属性的一个值。对于不同的使用场景可能需要使用不同的策略提取每个数据属性的不同值，而当前策略需要提取的数据可能已经被丢弃。本实施例中监听各数据属性的变化，当监听到使用新数据对数据属性进行更新时，触发一次数据属性的更新操作。其中，单元数组为数据类型Cell Array。每个数据属性对应有一个单元数组，一个单元数组中存储一个数据属性的原始值和每次更新的值。并为各数据属性的每个值分配唯一编号。相应地，用户根据使用场景选择数据属性，获取用户选择的各数据属性对应的单元数组。通过判断各数据属性对应的单元数组中每个值是否满足各数据属性对应的数据提取策略中各因子包含的预设条件，根据各预设条件对应的分数获取各单元数组中每个值的得分。

在上述各实施例的基础上，本实施例中S102步骤具体包括：根据用户为各数据属性选择的数据提取策略中各因子所包含的预设条件和各数据属性中每个值的信息，判断各数据属性中每个值的信息是否满足各数据属性对应的预设条件；将各数据属性中每个值的信息所满足的预设条件对应的分数作为各数据属性中每个值的得分。

例如，数据属性房屋建筑面积对应的数据提取策略中包含两个因子，一个因子中的预设条件为数据来源为经纪人填写的数据，该预设条件对应的分数为5分；另一个因子中的预设条件为数据来源为交易来源的数据，该预设条件对应的分数为4分。房屋建筑面积的第一个值为100，第二个值为100，第三个值为90。第一个值和第三个值的来源为经纪人，第二个值的来源为交易，则第一个值和第三个值的得分分别为5分，第二个值的得分为4分。最大得分5分对应的值为第一个值和第三个值，则将第一个值和第三个值进行提取，或者将两个值中最新的值进行提取。

在上述实施例的基础上，本实施例中每个值的信息包括数据编号、数据来源、数据提交场景、数据提交用户和数据提交时间中的一种或多种。

其中，数据编号为每个值的唯一编号id，数据来源为每个值的来源，如经纪人填写和交易来源等。数据提交场景包括用户提交各数据属性的值使用的各种APP的名称。数据提交用户为提交各数据属性的值的用户名。数据提交时间为提交各数据属性的值的时间。

在上述各实施例的基础上，本实施例中S103步骤之后还包括：根据用户为各数据属性选择的数据提取策略中的存储位置，将提取的各数据属性的值进行保存。

具体地，存储位置可以是任何存储介质或业务方提供的接口。每个数据提取策略中还包括业务方使用数据的存储位置。将从各数据属性的值中提取的数据按照各数据属性对应的数据提取策略中的存储位置进行存储。从而将提取的数据存储到业务方使用数据的存储位置，便于对提取数据的直接使用。

在本发明实施例的另一个实施例中提供一种数据提取装置，该装置用于实现前述各实施例中的方法。因此，在前述数据提取方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的数据提取装置整体结构示意图，该装置包括选择模块201、计算模块202和提取模块203；其中：

选择模块201用于根据用户选择的数据属性，获取用户从预先构建的数据提取策略集合中为各数据属性选择的数据提取策略；计算模块202用于根据用户选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各数据属性中每个值的得分；提取模块203用于根据各数据属性中每个值的得分，将各数据属性中得分最高的一个或多个值进行提取。

在上述实施例的基础上，本实施例中还包括生成模块，用于获取用户从预先构建的因子集合中选择的一个或多个因子；根据用户选择的因子生成数据提取策略，并将生成的数据提取策略存储到预先构建的数据提取策略集合中。

在上述实施例的基础上，本实施例中还包括添加模块，用于将用户输入的因子保存到预先构建的因子集合中。

在上述各实施例的基础上，本实施例中还包括第一存储模块，用于对于任一数据属性，将对该数据属性每次更新的值都存储到一个单元数组中；其中，单元数组与数据属性一一对应；相应地，计算模块具体用于：根据用户选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各单元数组中每个值的得分。

在上述各实施例的基础上，本实施例中计算模块具体用于根据用户为各数据属性选择的数据提取策略中各因子所包含的预设条件和各数据属性中每个值的信息，判断各数据属性中每个值的信息是否满足各数据属性对应的预设条件；将各数据属性中每个值的信息所满足的预设条件对应的分数作为各数据属性中每个值的得分。

在上述实施例的基础上，本实施例中每个值的信息包括数据编号、数据来源、数据提交场景、数据提交用户和数据提交时间中的一种或多种。

在上述实施例的基础上，本实施例中还包括第二存储模块，用于根据用户为各数据属性选择的数据提取策略中的存储位置，将提取的各数据属性的值进行保存。

本发明实施例通过根据用户为各数据属性选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各数据属性中每个值的得分，将各数据属性中得分最高的一个或多个值进行提取，一方面根据使用场景为每个数据属性都配置一个数据提取策略，从而提高了提取数据的质量；另一方面，针对不同使用场景选择不同数据属性，为各数据属性选择不同数据提取策略，提取不同数据，提高了数据提取的灵活性。

本发明实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，

处理器301和存储器302通过总线303完成相互间的通信；

存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：根据用户选择的数据属性，获取用户从预先构建的数据提取策略集合中为各数据属性选择的数据提取策略；根据用户选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各数据属性中每个值的得分；根据各数据属性中每个值的得分，将各数据属性中得分最高的一个或多个值进行提取。

本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：根据用户选择的数据属性，获取用户从预先构建的数据提取策略集合中为各数据属性选择的数据提取策略；根据用户选择的数据提取策略中各因子所包含的预设条件和预设条件对应的分数，获取各数据属性中每个值的得分；根据各数据属性中每个值的得分，将各数据属性中得分最高的一个或多个值进行提取。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种数据提取方法，其特征在于，包括：

S101，根据用户选择的数据属性，获取所述用户从预先构建的数据提取策略集合中为各所述数据属性选择的数据提取策略；

S102，根据所述用户选择的数据提取策略中各因子所包含的预设条件和所述预设条件对应的分数，获取各所述数据属性中每个值的得分；

S103，根据各所述数据属性中每个值的得分，将各所述数据属性中得分最高的一个或多个值进行提取。

2.根据权利要求1所述的方法，其特征在于，在所述S101步骤之前还包括：

S1011，获取用户从预先构建的因子集合中选择的一个或多个因子；

S1012，根据所述用户选择的因子生成数据提取策略，并将生成的所述数据提取策略存储到预先构建的数据提取策略集合中。

3.根据权利要求2所述的方法，其特征在于，所述S1011的步骤之前还包括：

将用户输入的因子保存到预先构建的因子集合中。

4.根据权利要求1-3任一所述的方法，其特征在于，在所述S102步骤之前还包括：

对于任一所述数据属性，将对该数据属性每次更新的值都存储到一个单元数组中；其中，所述单元数组与所述数据属性一一对应；

相应地，S102步骤具体包括：

根据所述用户选择的数据提取策略中各因子所包含的预设条件和所述预设条件对应的分数，获取各所述单元数组中每个值的得分。

5.根据权利要求1-3任一所述的方法，其特征在于，所述S102步骤具体包括：

根据所述用户为各所述数据属性选择的数据提取策略中各因子所包含的预设条件和各所述数据属性中每个值的信息，判断各所述数据属性中每个值的信息是否满足各所述数据属性对应的预设条件；

将各所述数据属性中每个值的信息所满足的预设条件对应的分数作为各所述数据属性中每个值的得分。

6.根据权利要求5所述的方法，其特征在于，每个值的信息包括数据编号、数据来源、数据提交场景、数据提交用户和数据提交时间中的一种或多种。

7.根据权利要求1-3任一所述的方法，其特征在于，在所述S103步骤之后还包括：

根据所述用户为各所述数据属性选择的数据提取策略中的存储位置，将提取的各所述数据属性的值进行保存。

8.一种数据提取装置，其特征在于，包括：

选择模块，用于根据用户选择的数据属性，获取所述用户从预先构建的数据提取策略集合中为各所述数据属性选择的数据提取策略；

计算模块，用于根据所述用户选择的数据提取策略中各因子所包含的预设条件和所述预设条件对应的分数，获取各所述数据属性中每个值的得分；

提取模块，用于根据各所述数据属性中每个值的得分，将各所述数据属性中得分最高的一个或多个值进行提取。

9.一种电子设备，其特征在于，包括：

至少一个处理器、至少一个存储器和总线；其中，

所述处理器和存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。

Images