CN107295039B - 数据接入处理方法和装置 - Google Patents

Abstract

本申请提出一种数据接入处理方法和装置，其中，所述方法包括：从至少一个接入终端的业务数据中提取原始数据；将原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段；根据原始数据与映射字段的对应关系，生成与接入终端对应的转换脚本。本申请实施例的数据接入处理方法和装置，可在接收接入终端的业务数据后，自动将异构格式的业务数据映射成标准格式数据，提高了业务数据的转换效率，节省了人力，且有利于业务拓展。

Description

数据接入处理方法和装置

技术领域

本申请涉及数据处理领域，尤其涉及一种数据接入处理方法和装置。

背景技术

为了减少水、电、气等收费单位以及银行等的发账单成本，出现了与互联网对接的电子形式的账单数据，即电子账单。以支付宝的电子账单发送平台为例，该平台业务流程大体是：若干水、电、气等收费单位以及银行将数据提供给支付宝，由支付宝对数据信息进行处理，进而将处理后的数据推送给相应用户。

出于准确性和可靠性的考虑，处理平台一般都需要标准化结构的数据，而上述的水、电、气等收费单位以及银行提供的数据的结构一般都不相同，尤其是当数据提供单位规模较大时，这种“映射”的工作量和沟通是非常大的，因此需要花费大量的人工成本将个性化的数据结构转换为标准的数据结构。这必然会使得处理平台接入业务数据模型的成本高，对处理平台本身的支撑能力是一个挑战，且业务数据接入的效率低，不利于处理平台自身业务的拓展。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种数据接入处理方法，该方法能够使将接收的异构格式数据，自动映射成标准格式数据，提高了异构格式数据的转换效率，节省了人力，有利于处理平台的业务拓展。

本申请的第二个目的在于提出一种数据接入处理装置。

为达上述目的，本申请第一方面实施例提出了一种数据接入处理方法，包括：从至少一个接入终端的业务数据中提取原始数据；将所述原始数据与标准格式数据的字段进行匹配，确定与所述原始数据对应的映射字段；根据所述原始数据与所述映射字段的对应关系，生成与接入终端对应的转换脚本。

本申请实施例的数据接入处理方法，可从接入终端的业务数据中提取原始数据，并将原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段，进而生成与接入终端对应的转换脚本。由此，可将接入终端的异构格式的业务数据，自动映射成标准格式数据，提高了个接入终端业务数据的转换效率，节省了人力，有利于处理平台的业务拓展。

为达上述目的，本申请第二方面实施例提出了一种数据接入处理方法，包括：接收携带接入终端标识的业务数据；获取与所述接入终端标识对应的转换脚本，其中，所述转换脚本是根据所述业务数据中的原始数据与标准格式数据的映射字段的对应关系生成的；根据所述转换脚本完成所述业务数据到所述标准格式数据的映射。

本申请实施例的数据接入处理方法，可从携带接入终端标识的业务数据中获取与接入终端表示对应的转换脚本，进而根据转换脚本完成业务数据到标准格式数据的映射。由此，可使接入终端的异构格式的业务数据，自动映射成标准格式数据，提高了个接入终端业务数据的转换效率，节省了人力，有利于处理平台的业务拓展。

为达上述目的，本申请第三方面实施例提出了一种数据接入处理装置，包括：提取模块，用于从至少一个接入终端的业务数据中提取原始数据；匹配确定模块，用于将所述原始数据与标准格式数据的字段进行匹配，确定与所述原始数据对应的映射字段；第一生成模块，用于根据所述原始数据与所述映射字段的对应关系，生成与接入终端对应的转换脚本。

本申请实施例的数据接入处理装置，可通过提取模块从接入终端的业务数据中提取原始数据，通过匹配确定模块将原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段，进而通过生成模块生成与接入终端对应的转换脚本。由此，可将接入终端的异构格式的业务数据，自动映射成标准格式数据，提高了个接入终端业务数据的转换效率，节省了人力，有利于处理平台的业务拓展。

为达上述目的，本申请第四方面实施例提出了一种数据接入处理装置，包括：接收模块，用于接收携带接入终端标识的业务数据；获取模块，用于获取与所述接入终端标识对应的转换脚本，其中，所述转换脚本是根据所述业务数据中的原始数据与标准格式数据的映射字段的对应关系生成的；第一映射模块，用于根据所述转换脚本完成所述业务数据到所述标准格式数据的映射。

本申请实施例的数据接入处理装置，可通过接收模块接收携带接入终端标识的业务数据，通过获取模块获取与接入终端标识对应的转换脚本，进而通过映射模块根据转换脚本完成业务数据到标准格式数据的映射。由此，可将接入终端的异构格式的业务数据，自动映射成标准格式数据，提高了个接入终端业务数据的转换效率，节省了人力，有利于处理平台的业务拓展。

附图说明

图1是本申请一个实施例的数据接入处理方法的流程图。

图2是本申请一个实施例的步骤S101的流程图。

图3是本申请一个实施例的步骤S102的流程图。

图4是本申请另一个实施例的数据接入处理方法的流程图。

图5是本申请一个实施例的数据接入处理方法的示意图。

图6是本申请又一个实施例的数据接入处理方法的流程图。

图7是本申请一个实施例的数据接入处理装置的结构框图。

图8是本申请一个实施例的数据接入处理装置的一个组成的结构框图。

图9是本申请一个实施例的数据接入处理装置的另一个组成的结构框图。

图10是本申请另一个实施例的数据接入处理装置的结构框图。

图11是本申请又一个实施例的数据接入处理装置的结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的数据接入处理方法、系统和装置。

图1是本申请一个实施例的数据接入处理方法的流程图，如图1所示，该数据接入处理方法包括：

S101，从至少一个接入终端的业务数据中提取原始数据。

具体地，为了提高处理平台对各接入终端上传的各种异构格式数据进行标准化处理的效率，处理平台需要建立各接入终端提供的异构格式数据与处理平台的标准格式数据的映射关系。

为了提高处理效率，在本申请的一个实施例中，可以先从至少一个接入终端的业务数据中提取实验数据，再从实验数据中提取原始数据。

其中，实验数据可以是从业务数据中随机提取的一些数据，也可以是从业务数据中提取的有代表性的一些数据。

需要说明的是，不同的业务类型对应不同的处理平台，不同的处理平台根据业务特点预先建立符合需要的标准格式数据。以账单发送平台为例：

账单发送平台预先建立的账单标准格式数据包括：姓名、地址、项目名称、金额等字段。与该账单发送平台对应的接入终端可以包括：供电机构、供水机构等。

为了建立接入终端的异构格式数据与标准格式数据的映射关系，首先，从接入终端的业务数据中提取原始数据。

需要注意的是，业务数据的来源很多，可以根据应用需要进行选取，例如：可以是至少一个接入终端初次上传到业务数据，也可以是至少一个接入终端上传的历史业务数据。

在本申请的实施例中，从至少一个接入终端的业务数据中提取原始数据的方法可以有多种，例如分隔符法、字段数量法、关键字法等，可以在实际应用中根据不同的场景进行选择，本实施例对此不作限制。

需要解释的是，原始数据是接入终端的业务数据中要进行标准化处理的信息内容，例如：接入终端A上传的业务数据包括：“张三，北京，600度，欠费金额500元，滞纳金0”，那么原始数据就是：“张三”“北京”等具体的内容，而不是逗号等字符。

S102，将原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段。

具体地，其中，标准格式数据的字段是处理平台预先设置的，标准格式数据具有多个字段，每个字段有对应的名称和功能。例如：第一字段为姓名、第二字段为地址、第三字段为项目名称、第四字段为金额等。

由于每个接入终端的数据格式中的字段名称和功能都是自定义的，个性化的，与处理平台的标准格式数据不符。因此，处理平台需要通过将原始数据与处理平台的标准格式数据的字段进行匹配，确定标准格式数据中与原始数据对应的映射字段。

S103，根据原始数据与映射字段的对应关系，生成与接入终端对应的转换脚本。

具体地，根据原始数据与映射字段的对应关系，生成与各接入终端对应的转换脚本。进而，对于在处理平台生成转换脚本的接入终端后续上传的业务数据，可以根据转换脚本自动进行标准格式数据的转换处理。

需要说明的是，与接入终端对应的转换脚本的内容可以根据应用需要进行不同的设置。举例如下：

示例一：

转换脚本为查询存储原始数据与映射字段的对应关系的脚本。进而，通过运行该脚本查询相应的存储区域获取原始数据与映射字段的对应关系，实现对业务数据进行标准格式数据的转换处理。

示例二：

转换脚本为将原始数据转换为对应映射字段的脚本。进而，通过运行该脚本直接将业务数据中的原始数据进行标准格式数据的转换处理。

本申请实施例的数据接入处理方法，可以从至少一个接入终端的业务数据中提取原始数据，进而将原始数据与标准格式数据的字段进行匹配，以确定与原始数据对应的映射字段，并根据原始数据与映射字段的对应关系，生成与接入终端对应的转换脚本，由此，可使接入终端的业务数据自动映射成标准式数据，提高了业务数据的转换效率，节省了人力，有利于业务拓展。

基于上述实施例，以分隔符法为例说明原始数据的提取过程。具体地，如图2所示，在本申请的一个实施例中，步骤S101可以包括以下步骤：

S1011，根据预设的分隔符列表识别业务数据中的分隔符。

可以理解的是，预设的分隔符列表可以包含在处理平台系统中，该列表中可以包括所有可能的分隔符，例如：逗号“，”、分号“；”、空格“”等。因此，处理平台在识别业务数据中的分隔符时，需要遍历分隔符列表，进而可以按分隔符出现的概率大小对业务数据进行数据拆分。

S1012，如果业务数据包括一种类型的分隔符，则根据分隔符对业务数据进行数据拆分获取原始数据。

例如，业务数据为：“张三，北京，600度，欠费金额500元，滞纳金0”，分隔符为逗号，只有一种类型，则对业务数据拆分获取的原始数据为：“张三、北京、600度、欠费金额500元、滞纳金0”。需要说明的是，上述提取的原始数据中的顿号“、”只是为了方便说明，即根据逗号分隔符，上述业务数据被分为5个字段。

S1013，如果业务数据包括多种类型的分隔符，则根据所有类型的分隔符，依次对业务数据进行数据拆分获取多组候选的原始数据。

S1014，根据标准格式数据的格式信息与多组候选的原始数据进行匹配，分别获取每组候选的原始数据与标准格式数据的匹配度。

其中，标准格式数据的格式信息应至少包括字段数量和关键字符中的一个。

S1015，比较所有的匹配度，选择匹配度最高的候选原始数据。

举例而言，如果业务数据为：“张三，北京；600度；欠费金额500元；滞纳金0”，分隔符有逗号1个和分号3个，则对业务数据拆分获取的两组候选的原始数据为：“张三北京、600度、欠费金额500元、滞纳金0”和“张三、北京600度欠费金额500元滞纳金0”。而标准格式数据为：“姓名、城市、缴费类别、应缴费用，滞纳金”，是5个字段，可以得出上述两组候选的原始数据“张三北京、600度、欠费金额500元、滞纳金0”中与标准格式数据的匹配度为4/5,“张三、北京600度欠费金额500元滞纳金0”与标准格式数据的匹配度为2/5。比较上述匹配度，则可以得出提取的原始数据应为：“张三北京、600度、欠费金额500元、滞纳金0”。

综上，本申请实施例的数据接入处理方法，可根据预设的分隔符列表从各接入终端向处理平台上传的业务数据中提取原始数据，该提取方式简单明了，易于实现。

基于上述实施例，在本申请的一个实施例中，在步骤S102中识别标准格式数据中与原始数据匹配的字段之前，需要根据业务类型以及标准格式数据中的字段特征，生成与标准格式数据的每个字段对应的解析器。

可以理解的是，解析器可以根据标准格式数据字段的特点和业务特点决定。以电费缴纳时的电子账单为例，与标准格式数据“姓名、城市、欠费金额”的字段对应的解析器包括姓名解析器、城市解析器和欠费金额解析器。其中，姓名解析器的解析规则为“姓名”字数通常为2-3个汉字，并且第1个或前2个字为姓氏；城市解析器的解析规则为在预设的城市列表中有可以选择的“城市”；欠费金额解析器的解析规则可以是以元(如可以精确到小数点后两位)为单位的十进制数字，可以设置上限为2000元。

具体地，如图3所示，在本申请的一个实施例中，步骤S102可以包括以下步骤：

S1021，根据与标准格式数据的各字段对应的解析器，识别标准格式数据中与原始数据匹配的字段。

S1022，如果与原始数据匹配成功的为一个字段，则将字段确定为与原始数据对应的映射字段。

S1023，如果与原始数据匹配成功的为多个候选字段，则确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与原始数据对应的映射字段。

举例而言，如果原始数据为“张家国、张家口、600度、欠费金额500元、滞纳金0”，与张家国匹配成功的是姓名一个字段，与600度匹配成功的是缴费类别一个字段，与欠费金额500元匹配成功的是欠费金额一个字段，与滞纳金0匹配成功的是滞纳金一个字段，则将张家国、600度、500元、0确定为与原始数据对应的映射字段；与张家口匹配成功的有姓名和城市两个字段，则确定张家口与姓名对应的权重可以为5，张家口与城市对应的权重可以为9，并发送到控制中心由管理员进行人工确认，管理员可以确认张家口为城市，即将城市确定为与原始数据中张家口对应的映射字段。

需要说明的是，上述实施例中，由控制中心处管理员确认与原始数据中张家口对应的映射字段为城市，这一过程可以认为是一次训练，之后原始数据中再次出现张家口时，均可认为与张家口对应的映射字段为城市，即处理平台可以对上述确认行为进行自学习，从而能够节省人力。

本申请实施例的数据接入处理方法，可以根据业务类型以及标准格式数据中的字段特征，生成与标准格式数据的每个字段对应的解析器，进而根据该解析器，识别标准格式数据中与原始数据匹配的字段，如果与原始数据匹配成功的为一个字段，则将字段确定为与原始数据对应的映射字段，以及如果与原始数据匹配成功的为多个候选字段，则确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与原始数据对应的映射字段，由此，保证了与原始数据对应的映射字段的准确性。

基于上述实施例，为了检验所生成的与各接入终端对应的转换脚本的准确性，在本申请的一个实施例中，如图4所示，在生成与各接入终端对应的转换脚本之后，本申请的数据接入处理方法还可以包括：

S104，检测处理平台上各接入终端的业务运行状况。

S105，如果检测获知业务运行状况不符合预设指标，则调整相应接入终端中原始数据与映射字段的对应关系，并更新对应的转换脚本。

举例而言，如果一个接入终端中的原始数据为“张家口、北京、200元”，且与该接入终端对应的转换脚本中已将张家口与城市对应，则使用转换脚本进行转换时，在该接入终端的业务运行会出现两个城市字段选项，且没有姓名字段选项，不符合预设指标，因此需要将该接入终端中张家口对应城市调整为张家口与姓名对应，同时更新对应的转换脚本。

本申请实施例的数据接入处理方法，能够在生成与各接入终端对应的转换脚本之后，对接入终端的业务运行状况进行检测，并在业务运行状况不符合预设指标时，调整相应接入终端中的原始数据与映射字段的对应关系，以更新对应的转换脚本，由此，提高转换脚本的准确性。

为了便于理解本申请实施例的数据接入处理方法，可通过图5进行说明：

如图6所示，从至少一个接入终端提供的数据中随机抽取若干条业务数据输入处理平台，根据分隔符对业务数据进行数据拆分以获取原始数据，并将原始数据与处理平台的标准格式数据进行匹配，具体地，可以通过相应的解析器解析得到与原始数据对应的映射字段，即获取原始数据与映射字段的对应关系，进而根据该对应关系可以获得与各接入终端对应的转换脚本。

当原始数据与标准格式数据匹配出现问题时，可以将出现问题的原始数据和对应标准格式数据的字段推送至处理平台的控制中心处，由控制中心处的管理员对上述问题进行确认，该确认结果即为相应出现问题的原始数据与映射字段的对应关系，该过程可认为是一次训练，有助于处理平台进行自学习，即可根据上述训练自动对对应关系进行调整，以提高生成映射脚本的准确率。获得了转换脚本之后，处理平台可以对各接入终端的原始数据进行处理，即自动将原始数据映射成相应的标准格式数据。

需要说明的是，本申请的上述实施例是对以文件为载体的数据标准化过程进行的阐述，通常是针对非实时数据交互场景，而对于实时数据交互场景，如报文交互等与本申请的上述实施例类似，只是数据的输入形式和解析方式不同，为减少冗余。此处不做赘述。

图6是本申请一个实施例的数据接入处理方法的流程图，如图6所示，该数据接入处理方法包括：

S201，接收携带接入终端标识的业务数据。

其中，接入终端标识可以是水、电、气等收费机构的名称，例如**燃气责任有限公司。

S202，获取与接入终端标识对应的转换脚本。

其中，转换脚本可以是根据业务数据中的原始数据与标准格式数据的映射字段的对应关系生成的。

S203，根据转换脚本完成业务数据到标准格式数据的映射。

需要说明的是，如果没有存储与接入终端标识对应的转换脚本，则将业务数据中的原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段，进而生成与接入终端标识对应的转换脚本。

可以理解的是，没有存储与接入终端标识对应的转换脚本(即无法直接获取与接入终端标识对应的转换脚本)可以有多种情况，例如，接入终端可以有很多，当有新的接入终端向处理平台上传业务数据时，处理平台中没有存储与这些接入终端标识对应的转换脚本；或者由于一些原因，处理平台丢失了与一些接入终端标识对应的转换脚本等。

本申请实施例的数据接入处理方法，可从携带接入终端标识的业务数据中直接获取或生成与接入终端表示对应的转换脚本，进而根据转换脚本完成业务数据到标准格式数据的映射。由此，可使接入终端的异构格式的业务数据，自动映射成标准格式数据，提高了个接入终端业务数据的转换效率，节省了人力，有利于处理平台的业务拓展。，为了实现上述实施例，本申请还提出了一种数据接入处理装置。

图7是根据本申请一个实施例的数据接入处理装置的结构框图。

如图7所示，该数据接入的处理装置包括：提取模块10、匹配确定模块20和第一生成模块30。

其中，提取模块10用于从至少一个接入终端的业务数据中提取原始数据。

具体地，为了提高处理平台对各接入终端上传的各种异构格式数据进行标准化处理的效率，处理平台需要建立各接入终端提供的异构格式数据与处理平台的标准格式数据的映射关系。

为了提高处理效率，在本申请的一个实施例中，提取模块10可以先从业务数据中提取实验数据，再从实验数据中提取原始数据。

其中，实验数据可以是从业务数据中随机提取的一些数据，也可以是从业务数据中提取的有代表性的一些数据。需要说明的是，不同的业务类型对应不同的处理平台，不同的处理平台根据业务特点预先建立符合需要的标准格式数据。以账单发送平台为例：

账单发送平台预先建立的账单标准格式数据包括：姓名、地址、项目名称、金额等字段。与该账单发送平台对应的接入终端可以包括：供电机构、供水机构等。

为了建立接入终端的异构格式数据与标准格式数据的映射关系，首先，通过提取模块10从至少一个接入终端的业务数据中提取原始数据。

需要注意的是，业务数据的来源很多，可以根据应用需要进行选取，例如：可以是至少一个接入终端初次上传的业务数据，也可以是至少一个接入终端上传的历史业务数据。

在本申请的实施例中，从至少一个接入终端的业务数据中提取原始数据的方法可以有多种，例如分隔符法、字段数量法、关键字法等，可以在实际应用中根据不同的场景进行选择，本实施例对此不作限制。

需要解释的是，原始数据是各接入终端的业务数据中要进行标准化处理的信息内容，例如：接入终端A上传的业务数据包括：“张三，北京，600度，欠费金额500元，滞纳金0”，那么原始数据就是：“张三”“北京”等具体的内容，而不是逗号等字符。

匹配确定模块20用于将原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段。

具体地，其中，标准格式数据的字段是预先设置的，标准格式数据具有多个字段，每个字段有对应的名称和功能。例如：第一字段为姓名、第二字段为地址、第三字段为项目名称、第四字段为金额等。

由于每个接入终端的数据格式中的字段名称和功能都是自定义的，个性化的，与标准格式数据不符。因此，需要通过匹配确定模块20将原始数据与标准格式数据的字段进行匹配，确定标准格式数据中与原始数据对应的映射字段。

第一生成模块30用于根据原始数据与映射字段的对应关系，生成与各接入终端对应的转换脚本。

具体地，第一生成模块30根据原始数据与映射字段的对应关系，生成与接入终端对应的转换脚本。进而，对于生成转换脚本的接入终端后续上传的业务数据，可以根据转换脚本自动进行标准格式数据的转换处理。

需要说明的是，与接入终端对应的转换脚本的内容可以根据应用需要进行不同的设置。举例如下：

示例一：

转换脚本为查询存储原始数据与映射字段的对应关系的脚本。进而，通过运行该脚本查询相应的存储区域获取原始数据与映射字段的对应关系，实现对业务数据进行标准格式数据的转换处理。

示例二：

转换脚本为将原始数据转换为对应映射字段的脚本。进而，通过运行该脚本直接将业务数据中的原始数据进行标准格式数据的转换处理。

本申请实施例的数据接入处理装置，可通过提取模块从至少一个接入终端的业务数据中提取原始数据，通过匹配确定模块将原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段，进而通过生成模块生成与接入终端对应的转换脚本。由此，可使接入终端输入的业务数据，自动映射成标准格式数据，提高了个接入终端业务数据的转换效率，节省了人力，有利于业务拓展。

基于上述实施例，以分隔符法为例说明原始数据的提取过程。具体地，如图8所示，在本申请的一个实施例中，所述提取模块10包括第一识别模块11、第一获取模块12、第二获取模块13、第三获取模块14和比较选择模块15。

其中，第一识别模块11用于根据预设的分隔符列表识别业务数据中的分隔符。

可以理解的是，预设的分隔符列表可以包含在处理平台系统中，该列表中可以包括所有可能的分隔符，例如：逗号“，”、分号“；”、空格“”等。因此，处理平台在识别业务数据中的分隔符时，需要遍历分隔符列表，进而可以按分隔符出现的概率大小对业务数据进行数据拆分。

第一获取模块12用于在业务数据包括一种类型的分隔符时，根据分隔符对业务数据进行数据拆分获取原始数据。

例如，业务数据为：“张三，北京，600度，欠费金额500元，滞纳金0”，分隔符为逗号，只有一种类型，则通过第一获取模块12对业务数据拆分获取的原始数据为：“张三、北京、600度、欠费金额500元、滞纳金0”。需要说明的是，上述提取的原始数据中的顿号“、”只是为了方便说明，即根据逗号分隔符，上述业务数据被分为5个字段。

第二获取模块13用于在业务数据包括多种类型的分隔符时，根据所有类型的分隔符，依次对业务数据进行数据拆分获取多组候选的原始数据。

第三获取模块14用于根据标准格式数据的格式信息与多组候选的原始数据进行匹配，分别获取每组候选的原始数据与标准格式数据的匹配度。

其中，标准格式数据的格式信息应至少包括字段数量和关键字符中的一个。

比较选择模块15用于比较所有的匹配度，选择匹配度最高的候选原始数据。

举例而言，如果业务数据为：“张三，北京；600度；欠费金额500元；滞纳金0”，分隔符有逗号1个和分号3个，则通过第二获取模块13对业务数据拆分获取的两组候选的原始数据为：“张三北京、600度、欠费金额500元、滞纳金0”和“张三、北京600度欠费金额500元滞纳金0”。而标准格式数据为：“姓名、城市、缴费类别、应缴费用，滞纳金”，是5个字段，通过第三获取模块14可以得出上述两组候选的原始数据“张三北京、600度、欠费金额500元、滞纳金0”中与标准格式数据的匹配度为4/5,“张三、北京600度欠费金额500元滞纳金0”与标准格式数据的匹配度为2/5。通过比较选择模块15比较上述匹配度，则可以得出提取的原始数据应为：“张三北京、600度、欠费金额500元、滞纳金0”。

综上，本申请实施例的数据接入处理装置，可根据预设的分隔符列表从各接入终端向处理平台上传的业务数据中提取原始数据，该提取方式简单明了，易于实现。

基于上述实施例，在本申请的一个实施例中，本申请的数据接入处理装置还可以包括第二生成模块40。其中，第二生成模块40用于在识别标准格式数据中与原始数据匹配的字段之前，根据处理平台的业务类型以及标准格式数据中的字段特征，生成与标准格式数据的每个字段对应的解析器。

可以理解的是，解析器可以根据标准格式数据字段的特点和业务特点决定。以电费缴纳时的电子账单为例，与标准格式数据“姓名、城市、欠费金额”的字段对应的解析器包括姓名解析器、城市解析器和欠费金额解析器。其中，姓名解析器的解析规则为“姓名”字数通常为2-3个汉字，并且第1个或前2个字为姓氏；城市解析器的解析规则为在预设的城市列表中有可以选择的“城市”；欠费金额解析器的解析规则可以是以元(如可以精确到小数点后两位)为单位的十进制数字，可以设置上限为2000元。

具体地，如图9所示，在本申请的一个实施例中，匹配确定模块20可以包括第二识别模块21、第一确定模块22和第二确定模块23。

其中，第二识别模块21用于根据与标准格式数据的各字段对应的解析器，识别标准格式数据中与原始数据匹配的字段；第一确定模块22用于在与原始数据匹配成功的为一个字段时，将字段确定为与原始数据对应的映射字段；第二确定模块23用于在与原始数据匹配成功的为多个候选字段时，确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与原始数据对应的映射字段。

举例而言，如果原始数据为“张家国、张家口、600度、欠费金额500元、滞纳金0”，通过第二识别模块21识别出与张家国匹配成功的是姓名一个字段，与600度匹配成功的是缴费类别一个字段，与欠费金额500元匹配成功的是欠费金额一个字段，与滞纳金0匹配成功的是滞纳金一个字段，则通过第一确定模块22将张家国、600度、500元、0确定为与原始数据对应的映射字段；与张家口匹配成功的有姓名和城市两个字段，则通过第二确定模块20确定张家口与姓名对应的权重可以为5，张家口与城市对应的权重可以为9，并发送到控制中心由管理员进行人工确认，管理员可以确认张家口为城市，即将城市确定为与原始数据中张家口对应的映射字段。

需要说明的是，上述实施例中，由控制中心处管理员确认与原始数据中张家口对应的映射字段为城市，这一过程可以认为是一次训练，之后原始数据中再次出现张家口时，均可认为与张家口对应的映射字段为城市，即处理平台可以对上述确认行为进行自学习，从而能够节省人力。

本申请实施例的数据接入处理装置，可以通过第二生成模块根据处理平台的业务类型以及标准格式数据中的字段特征，生成与标准格式数据的每个字段对应的解析器，进而根据该解析器，通过第二识别模块识别标准格式数据中与原始数据匹配的字段，如果与原始数据匹配成功的为一个字段，则通过第一确定模块将字段确定为与原始数据对应的映射字段，以及如果与原始数据匹配成功的为多个候选字段，则通过第二确定模块确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与原始数据对应的映射字段，由此，保证了与原始数据对应的映射字段的准确性。

基于上述实施例，为了检验所生成的与各接入终端对应的转换脚本的准确性，在本申请的一个实施例中，如图10所示，本申请的数据接入处理装置还可以包括检测模块50和更新模块60。

其中，检测模块50用于在生成与各接入终端对应的转换脚本之后，检测接入终端的业务运行状况；更新模块60用于在检测模块50检测获知业务运行状况不符合预设指标时，调整相应接入终端中原始数据与映射字段的对应关系，并更新对应的转换脚本。

举例而言，如果一个接入终端中的原始数据为“张家口、北京、200元”，且与该接入终端对应的转换脚本中已将张家口与城市对应，则使用转换脚本进行转换时，在处理平台上该接入终端的业务运行会出现两个城市字段选项，且没有姓名字段选项，通过检测模块50检测获知该接入终端对应的业务运行状况不符合预设指标，因此需要通过更新模块60将该接入终端中张家口对应城市调整为张家口与姓名对应，同时更新对应的转换脚本。

本申请实施例的数据接入处理装置，能够在第一生成模块生成与各接入终端对应的转换脚本之后，通过检测模块对接入终端的业务运行状况进行检测，并在业务运行状况不符合预设指标时，通过更新模块调整相应接入终端中的原始数据与映射字段的对应关系，以更新对应的转换脚本，由此，提高转换脚本的准确性。

图11是根据本申请一个实施例的数据接入处理装置的结构框图，如图11所示，本申请的数据接入处理装置包括：接收模块100、获取模块200和映射模块300。

其中，接收模块100用于接收携带接入终端标识的业务数据。

其中，接入终端标识可以是水、电、气等收费机构的名称，例如**燃气责任有限公司。

获取模块200用于获取与接入终端标识对应的转换脚本。

其中，转换脚本可以是根据业务数据中的原始数据与标准格式数据的映射字段的对应关系生成的。

映射模块300用于根据转换脚本完成业务数据到标准格式数据的映射。

如图11所示，在本申请的一个实施例中，数据接入处理装置还可以包括生成模块400。

生成模块400用于在没有存储与接入终端标识对应的转换脚本时，将业务数据中的原始数据与标准格式数据的字段进行匹配，确定与原始数据对应的映射字段，进而生成与接入终端标识对应的转换脚本

可以理解的是，没有存储与接入终端标识对应的转换脚本(即获取模块无法直接获取与接入终端标识对应的转换脚本)可以有多种情况，例如，接入终端可以有很多，当有新的接入终端向处理平台上传业务数据时，处理平台中没有存储与这些接入终端标识对应的转换脚本；或者由于一些原因，处理平台丢失了与一些接入终端标识对应的转换脚本等。

本申请实施例的数据接入处理装置，可通过获取模块从携带接入终端标识的业务数据中获取与接入终端表示对应的转换脚本，或通过生成模块从携带接入终端标识的业务数据中生成与接入终端表示对应的转换脚本，进而通过映射模块根据转换脚本完成业务数据到标准格式数据的映射。由此，可使接入终端的异构格式的业务数据，自动映射成标准格式数据，提高了个接入终端业务数据的转换效率，节省了人力，有利于处理平台的业务拓展。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种数据接入处理方法，其特征在于，包括以下步骤：

从至少一个接入终端的业务数据中提取原始数据，包括：从所述业务数据中提取实验数据，从所述实验数据中提取所述原始数据，其中，所述业务数据包括：至少一个接入终端初次上传的业务数据；或者，至少一个接入终端上传到的历史业务数据；所述实验数据是从业务数据中随机提取的一些数据，或从业务数据中提取的有代表性的一些数据；

将所述原始数据与标准格式数据的字段进行匹配，确定与所述原始数据对应的映射字段，其中，根据与所述标准格式数据的各字段对应的解析器，识别所述标准格式数据中与所述原始数据匹配的字段，所述解析器根据标准格式数据字段的特点和业务特点决定，如果与所述原始数据匹配成功的为一个字段，则将所述字段确定为与所述原始数据对应的映射字段，如果与所述原始数据匹配成功的为多个候选字段，则确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与所述原始数据对应的映射字段；

根据所述原始数据与所述映射字段的对应关系，生成与接入终端对应的转换脚本。

2.如权利要求1所述的方法，其特征在于，所述从至少一个接入终端的业务数据中提取原始数据，包括：

根据预设的分隔符列表识别所述业务数据中的分隔符；

如果所述业务数据包括一种类型的分隔符，则根据所述分隔符对所述业务数据进行数据拆分获取原始数据。

3.如权利要求2所述的方法，其特征在于，还包括：

如果所述业务数据包括多种类型的分隔符，则根据所有类型的分隔符，依次对所述业务数据进行数据拆分获取多组候选的原始数据；

根据所述标准格式数据的格式信息与所述多组候选的原始数据进行匹配，分别获取每组候选的原始数据与所述标准格式数据的匹配度；

比较所有的匹配度，选择匹配度最高的候选原始数据。

4.如权利要求3所述的方法，其特征在于，所述标准格式数据的格式信息包括以下至少之一：

字段数量，关键字符。

5.如权利要求1所述的方法，其特征在于，在所述识别所述标准格式数据中与所述原始数据匹配的字段之前，还包括：

根据业务类型以及所述标准格式数据中的字段特征，生成与所述标准格式数据的每个字段对应的解析器。

6.如权利要求1所述的方法，其特征在于，在所述生成与各接入终端对应的转换脚本之后，还包括：

检测接入终端的业务运行状况；

如果检测获知所述业务运行状况不符合预设指标，则调整相应接入终端中所述原始数据与所述映射字段的对应关系，并更新对应的转换脚本。

7.一种数据接入处理方法，其特征在于，包括以下步骤：

接收携带接入终端标识的业务数据，其中，所述业务数据包括：至少一个接入终端初次上传的业务数据；或者，至少一个接入终端上传到的历史业务数据；

获取与所述接入终端标识对应的转换脚本，其中，所述转换脚本是根据所述业务数据中的原始数据与标准格式数据的映射字段的对应关系生成的，从所述业务数据中提取实验数据，从所述实验数据中提取所述原始数据，所述实验数据是从业务数据中随机提取的一些数据，或从业务数据中提取的有代表性的一些数据；

根据所述转换脚本完成所述业务数据到所述标准格式数据的映射；

如果没有存储与所述接入终端标识对应的转换脚本，则将所述业务数据中的原始数据与所述标准格式数据的字段进行匹配，确定与所述原始数据对应的映射字段，进而生成与所述接入终端标识对应的转换脚本，其中，根据与所述标准格式数据的各字段对应的解析器，识别所述标准格式数据中与所述原始数据匹配的字段，所述解析器根据标准格式数据字段的特点和业务特点决定，如果与所述原始数据匹配成功的为一个字段，则将所述字段确定为与所述原始数据对应的映射字段，如果与所述原始数据匹配成功的为多个候选字段，则确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与所述原始数据对应的映射字段。

8.一种数据接入处理装置，其特征在于，包括：

提取模块，用于从至少一个接入终端的业务数据中提取原始数据，包括：从所述业务数据中提取实验数据，从所述实验数据中提取所述原始数据，其中，所述业务数据包括：至少一个接入终端初次上传的业务数据；或者，至少一个接入终端上传到的历史业务数据；所述实验数据是从业务数据中随机提取的一些数据，或从业务数据中提取的有代表性的一些数据；

匹配确定模块，用于将所述原始数据与标准格式数据的字段进行匹配，确定与所述原始数据对应的映射字段；

所述匹配确定模块包括：

第二识别模块，用于根据与所述标准格式数据的各字段对应的解析器，识别所述标准格式数据中与所述原始数据匹配的字段，所述解析器根据标准格式数据字段的特点和业务特点决定；

第一确定模块，用于在与所述原始数据匹配成功的为一个字段时，将所述字段确定为与所述原始数据对应的映射字段；

第二确定模块，用于在与所述原始数据匹配成功的为多个候选字段时，确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与所述原始数据对应的映射字段；

第一生成模块，用于根据所述原始数据与所述映射字段的对应关系，生成与接入终端对应的转换脚本。

9.如权利要求8所述的装置，其特征在于，所述提取模块包括：

第一识别模块，用于根据预设的分隔符列表识别所述业务数据中的分隔符；

第一获取模块，用于在所述业务数据包括一种类型的分隔符时，根据所述分隔符对所述业务数据进行数据拆分获取原始数据。

10.如权利要求9所述的装置，其特征在于，所述提取模块还包括：

第二获取模块，用于在所述业务数据包括多种类型的分隔符时，根据所有类型的分隔符，依次对所述业务数据进行数据拆分获取多组候选的原始数据；

第三获取模块，用于根据所述标准格式数据的格式信息与所述多组候选的原始数据进行匹配，分别获取每组候选的原始数据与所述标准格式数据的匹配度；

比较选择模块，用于比较所有的匹配度，选择匹配度最高的候选原始数据。

11.如权利要求10所述的装置，其特征在于，所述标准格式数据的格式信息包括以下至少之一：

字段数量，关键字符。

12.如权利要求8所述的装置，其特征在于，还包括：

第二生成模块，用于在所述识别所述标准格式数据中与所述原始数据匹配的字段之前，根据业务类型以及所述标准格式数据中的字段特征，生成与所述标准格式数据的每个字段对应的解析器。

13.如权利要求8所述的装置，其特征在于，还包括：

检测模块，用于在所述生成与各接入终端对应的转换脚本之后，检测接入终端的业务运行状况；

更新模块，用于在所述检测模块检测获知所述业务运行状况不符合预设指标时，调整相应接入终端中所述原始数据与所述映射字段的对应关系，并更新对应的转换脚本。

14.一种数据接入处理装置，其特征在于，包括：

接收模块，用于接收携带接入终端标识的业务数据，其中，所述业务数据包括：至少一个接入终端初次上传的业务数据；或者，至少一个接入终端上传到的历史业务数据；

获取模块，用于获取与所述接入终端标识对应的转换脚本，其中，所述转换脚本是根据所述业务数据中的原始数据与标准格式数据的映射字段的对应关系生成的，从所述业务数据中提取实验数据，从所述实验数据中提取所述原始数据，所述实验数据是从业务数据中随机提取的一些数据，或从业务数据中提取的有代表性的一些数据；

映射模块，用于根据所述转换脚本完成所述业务数据到所述标准格式数据的映射；

生成模块，用于在没有存储与所述接入终端标识对应的转换脚本时，将所述业务数据中的原始数据与所述标准格式数据的字段进行匹配，确定与所述原始数据对应的映射字段，进而生成与所述接入终端标识对应的转换脚本，其中，根据与所述标准格式数据的各字段对应的解析器，识别所述标准格式数据中与所述原始数据匹配的字段，所述解析器根据标准格式数据字段的特点和业务特点决定，如果与所述原始数据匹配成功的为一个字段，则将所述字段确定为与所述原始数据对应的映射字段，如果与所述原始数据匹配成功的为多个候选字段，则确定与每个候选字段对应的权重，并发送到控制中心进行确认，并将与确认结果对应的字段确定为与所述原始数据对应的映射字段。

Images