CN106528718B

CN106528718B - 用于处理来自第三方的数据的方法及装置

Info

Publication number: CN106528718B
Application number: CN201610952520.1A
Authority: CN
Inventors: 林森林; 鲁丽
Original assignee: Taikang Insurance Group Co Ltd
Current assignee: Taikang Insurance Group Co Ltd
Priority date: 2016-11-02
Filing date: 2016-11-02
Publication date: 2020-05-12
Anticipated expiration: 2036-11-02
Also published as: CN106528718A

Abstract

本申请公开一种用于处理来自第三方的数据的方法及装置，用于处理来自第三方的数据的方法包括：将第一目标文件发送给第三方服务器；获取来自所述第三方服务器的所述第一目标文件的回传文件；调用对应于所述第三方的第一AWK脚本处理文件；通过所述第一AWK脚本处理文件对所述回传文件进行处理，以生成第二目标文件；以及利用4GL语言对所述第二目标文件进行处理。本申请公开的用于处理来自第三方的数据的方法，能够提升数据处理的效率，节省开发与测试的人力。

Description

用于处理来自第三方的数据的方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种用于处理来自第三方的数据的方法及装置。

背景技术

保险公司信息系统需要与大量第三方系统对接，处理来自第三方系统的数据。本申请中所称的第三方，是指保险公司和投保人以外的相关机构。以银保系统为例，其主要作用是，通过银行的业务处理系统与保险公司系统的连接，实现投保人信息的及时传递，由银行柜面将保险公司予以承保的信息及时传递给客户，并在客户得到保险公司的承保后，在银行柜面及时打出保险单，从而为在银行办理保险业务的客户提供代理保险服务。作为一个对接银行渠道的核心系统，银保系统跟各银行间进行日终对账交易，对账交易是以文件的方式将对账信息进行传送再进行处理的业务。例如，如图1所示，银保系统的基本流程可为：系统生成发盘数据；财务岗人员获取每个银行的数据文件；财务岗人员和银行交接；财务岗人员获得银行转回文件；财务岗人员进行银行转回文件回盘处理。

银保系统一般情况下是运行在AIX小型机上的银保保单核心管理系统，其数据库采用IBM Informix关系数据库管理系统，银保系统的核心业务逻辑采用基于Informix的4GL语言编写。由于每个银行传递给银保系统的对账文件格式各异，在银保系统的核心程序中需要对每个银行的对账文件进行差异化处理。利用Informix的4GL语言编写差异化处理的程序需要进行大量代码开发测试，并且当银保系统处理的文件数据量很大时，利用Informix的4GL语言编写的差异化处理程序有可能导致对账失败，存在较大的风险。并且，当银保系统新增银行渠道或者新增对账文件类型时，都要修改银保系统核心程序，也需要进行大量软件代码开发与测试，消耗时间与人力成本。

因此，需要一种新的用于处理来自第三方的数据的方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于处理来自第三方的数据的方法及装置，能够提升数据处理的效率，节省开发与测试人力，减少由处理大量数据给系统带来的风险。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种用于处理来自第三方的数据的方法，包括：将第一目标文件发送给第三方服务器；获取来自第三方服务器的第一目标文件的回传文件；调用对应于第三方的第一AWK脚本处理文件；通过第一AWK脚本处理文件对回传文件进行处理，以生成第二目标文件；以及利用4GL语言对第二目标文件进行处理。

在本公开的一种示例性实施例中，还包括：建立对应于第三方的第一AWK脚本处理文件。

在本公开的一种示例性实施例中，还包括：生成请求数据；调用对应于第三方的第二AWK脚本处理文件；以及通过第二AWK脚本处理文件对请求数据进行处理，以生成第一目标文件。

在本公开的一种示例性实施例中，将请求数据发送给第三方的服务器，包括：利用4GL语言生成请求数据。

在本公开的一种示例性实施例中，还包括：建立对应于第三方的第二AWK脚本处理文件。

在本公开的一种示例性实施例中，调用对应于第三方的第一AWK脚本处理文件，包括：获取第一AWK脚本处理文件的储存路径；以及获取适合第三方的第一AWK脚本处理文件。

在本公开的一种示例性实施例中，调用对应于第三方的第一AWK脚本处理文件，包括：判断回传文件的格式是否与第二目标文件的格式相同；以及如果回传文件的格式与第二目标文件的格式不相同，则调用对应于第三方的第一AWK脚本处理文件。

在本公开的一种示例性实施例中，通过第一AWK脚本处理文件对回传文件进行处理，以生成第二目标文件，包括：按行读取回传文件的信息；以及将读取到的回传文件的行中的信息，储存到第二目标文件中对应位置。

在本公开的一种示例性实施例中，还包括：对回传文件进行格式处理。

根据本发明的一方面，提供一种用于处理来自第三方的数据的装置，包括：发送模块，用于将第一目标文件发送给第三方服务器；接收模块，用于获取来自第三方服务器的第一目标文件的回传文件；脚本模块，用于调用适合第三方的第一AWK脚本处理文件以及第二AWK脚本处理文件；处理模块，用于通过第一AWK脚本处理文件对回传文件进行处理，以生成第二目标文件；以及通过第二AWK脚本处理文件对请求数据进行处理，以生成第一目标文件；以及对账模块，用于利用4GL语言对第二目标文件进行对账处理。

在本公开的一种示例性实施例中，还包括：判断模块，判断回传文件的格式是否与第二目标文件的格式相同；预设模块，用于建立对应于第三方的第一AWK脚本处理文件，以及对应于第三方的第二AWK脚本处理文件；以及路径模块，用于获取第一AWK脚本处理文件的储存路径以及第二AWK脚本处理文件的储存路径。

根据本发明的用于处理来自第三方的数据的方法及装置，能够提升数据处理的效率，节省开发与测试人力，减少由处理大量数据给系统带来的风险。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性来动的前提下，还可以根据这些附图获得其他的附图。

图1是根据现有技术示出的一种用于处理来自第三方的数据的方法的流程图。

图2是根据一示例性实施例示出的一种用于处理来自第三方的数据的方法的流程图。

图3是根据另一示例性实施例示出的一种用于处理来自第三方的数据的方法的流程图。

图4是根据一示例性实施例示出的一种用于处理来自第三方的数据的装置的框图。

图5是根据另一示例性实施例示出的一种用于处理来自第三方的数据的装置的框图。

具体实施例

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

如图2所示，在S202中，将第一目标文件发送给第三方服务器。

第一目标文件中包含所有交易所需的基本信息。可例如，第一目标文件为发盘表数据，也可称为发盘文件，涵盖发盘所需的基本信息。发盘是指交易的一方为了销售或购买一批商品，向对方提出有关的交易条件，并表示愿按这些条件达成一笔交易，这种意思表示的行为称作发盘。交易一方欲购买或出售某种商品而向对方提出交易条件，表示愿意按此达成交易的行为。通常由卖方提出，也可由买方提出。一个完整的发盘表数据，可例如，包括明确肯定的交易条件，如商品名称、规格、数量、价格、支付方式、装运期等，有些发盘表数据还应有有效期限。发盘数据的格式可例如为：多行多列的文本格式。

在S204中，获取来自第三方服务器的第一目标文件的回传文件。

接收来自第三方服务器的基于第一目标文件的回传文件。银保系统需要和多家第三方对接数据业务，而每家第三方在对接过程中，对于上述第一目标文件的返回数据格式并不相同，可例如，针对银保系统提出的发盘文件，第三方方面需要返回回盘数据，也可称为回盘文件，回盘文件是指，第三方操作人员接收到发盘表数据后，在确认或填写如商品名称、规格、数量、价格、支付方式、装运期等信息后。返回给银保系统的数据文件，不同第三方的回盘文件之间并不相同，而且，回盘文件与银保系统可处理的标准文件之间也存在差异。

在S206中，调用对应于第三方的第一AWK脚本处理文件。

根据不同的第三方调用对应于不同第三方的第一AWK脚本处理文件，可例如，可根据财务人员人工判断第三方，并手动选择第三方，从而进行第一AWK脚本处理文件的调用，也可例如，根据系统后台的判断自动进行第一AWK脚本处理文件的调用，本发明不限于此。

在S208中，通过第一AWK脚本处理文件对回传文件进行处理，以生成第二目标文件。

通过第一AWK脚本对回传文件进行处理，可例如，根据财务人员的选择，调用适合于回传文件的第一AWK脚本文件，可例如，回传文件为回盘文件。将回盘文件用第一AWK脚本文件转换为该第三方所需格式的第二目标文件。第二目标文件，可例如下载到银保系统中，以方便进行后续处理。

在S210中，利用4GL语言对第二目标文件进行处理。

仍以银保系统为例，银保系统一般情况下是运行在AIX小型机上的银保保单核心管理系统，其数据库采用IBM Informixx关系数据库管理系统，银保系统的核心业务逻辑采用基于Informix的4GL语言编写。4GL语言中的查询语言是数据库管理系统的主要工具，它提供用户对数据库进行查询的功能。有的查询语言(如SQL)实际上还包括有查询、操纵、定义、控制四种功能。4GL语言中的报表生成器(Report Generator)是为用户提供的自动产生报表的重要工具，它提供非过程化的描述手段让用户很方便地根据数据库中的信息来生成报表。利用4GL语言对第二目标文件进行银保系统的核心业务的处理，例如，利用4GL语言对第二目标文件进行对账业务的处理。

根据本实施例的用于处理来自第三方的数据的方法，将各个第三方的文件转换为统一格式的文件，再进行处理。这种处理方法能够提升数据处理的效率，减少因为处理大量不同的数据文件而给系统带来的风险。

仍以银保系统为例，上述的实施例主要描述了银保系统发盘流程中4GL语言与AWK脚本语言的处理过程，本发明也适用于银保系统的付款流程。唯一的差异仅仅在于付款中的发盘文件以及银行回盘文件的处理是采用另外的AWK脚本配置。可例如，每个银行可以配置多个AWK脚本，功能分别是针对收款发盘文件，收款回盘文件，付款发盘文件，付款回盘文件等等，进行标准化或者特性化处理。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。

在本公开的一种示例性实施例中，还包括：建立对应于第三方的所述第一AWK脚本处理文件。

建立对应于不同第三方的不同的第一AWK脚本处理文件。AWK是Linux/Unix中也是任何环境中现有的功能最强大的数据处理引擎之一，非常善于处理分成多个逻辑字段、结构化的的文本数据。AWK程序设计语言，是一种用于处理文本的编程语言工具，其目的是用于文本处理，该实用工具扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行。

如图3所示，在S302中，生成请求数据。

生成请求数据，可例如，请求数据为预发盘表数据，预发盘表数据中包括交易条件，如商品名称、规格、数量、价格、支付方式、装运期等。

在S304中，调用对应于第三方的第二AWK脚本处理文件。

根据需要发送的不同的第三方，调用对应于不同第三方的第二AWK脚本处理文件，可例如，可根据财务人员判断第三方，并手动选择第三方进行第二AWK脚本处理文件的调用，也可例如，根据系统后台的判断自动进行第二AWK脚本处理文件的调用，本发明不限于此。

在S306中，通过第二AWK脚本处理文件对请求数据进行处理，以生成第一目标文件。

通过第二AWK脚本处理文件对请求数据进行处理，处理之后获得第一目标文件。可例如，通过第二AWK脚本处理文件对预发盘表数据进行处理，得到发盘表数据。本发明不限于此。

在本实施例中，利用4GL语言对第二目标文件进行银保系统的核心业务的处理，例如，利用4GL语言生成请求数据。

建立对应于不同第三方的不同的第二AWK脚本处理文件。

在本公开的一种示例性实施例中，调用对应于所述第三方的第一AWK脚本处理文件，包括：获取第一AWK脚本处理文件的储存路径；以及获取适合第三方的第一AWK脚本处理文件。

在核心对账业务逻辑的4GL语言程序中获取第一AWK脚本处理文件的储存路径；以及获取适合第三方的第一AWK脚本处理文件。可例如在4GL语言中定义一个如"awk-v file＝目标文件-f引入awk脚本待处理文本"的变量，然后即可通过AWK脚本处理文件的储存路径，获取AWK脚本处理文件，进而运行AWK脚本处理文件处理数据文件从而得到所需的目标文件。

接收来自第三方服务器的基于第一目标文件的回传文件后，由于上述第一目标文件的返回数据，可例如，返回给银保系统的数据文件，不同第三方的回盘文件之间并不相同，而且，回盘文件与银保系统可处理的标准文件之间也存在差异。判断回传文件的格式是否与银保系统可处理的第二目标文件的格式相同，如果相同则直接进行后续处理，如果回传文件的格式是否与银保系统可处理的第二目标文件的格式不相同，则进行调用第一AWK脚本文件对回传文件进行进一步的处理。

根据本实施例的用于处理来自第三方的数据的方法，通过4GL语言调用AWK文件的方式，将不同第三方的不同待处理文本的进行标准化处理，形成统一文件格式，后续第三方文件有变更的时候，只需修改AWK脚本文件即可，这种方法提高了系统的扩展性，节省开发与测试人力。

在本公开的一种示例性实施例中，通过第一AWK脚本处理文件述回传文件进行处理，以生成第二目标文件，包括：按行读取回传文件的信息；以及将读取到的回传文件的行中的信息，储存到第二目标文件中对应位置。

本发明实施例中，如上文所述，为不同第三方建立不同的AWK脚本语言处理文件。AWK脚本语言处理模块，可例如包含如下功能：接收执行AWK脚本时传入的参数数据，定义AWK脚本语言处理中需要的变量，指定行分隔符，可例如，本实施例中的AWK脚本语言可以支持’|’,’$’,’&’等各种分隔符；将原数据文件按行处理，按行读取回传文件的数据，将每行数据按照行分隔符分隔，进而获得每一列数据，将读取到的回传文件的数据中的信息，储存到第二目标文件中对应位置。然后AWK脚本文件中的其他功能函数对数据进行处理，读取回传文件中的本行数据结束后，再进行下一行数据处理，直到得到第二目标文件为止。还可例如，采用AWK脚本语言对文件进行处理，将第三方文件每一列或移动顺序或运算或规制格式等，其中的保留BEGIN和END块分别可以输入在文件处理前的执行初始化代码以及在处理所有文件行后的执行逻辑。本发明不限于此。

在本公开的一种示例性实施例中，还包括：对所述回传文件进行格式处理。

在本发明实施例中的AWK脚本处理文件，还可以对回传文件进行格式处理。可例如，AWK脚本文件中包含功能函数，如去除前后空格，补齐位数，字符转换，小数点保留，格式转换等诸多功能，满足在主体功能块所需结果数据的处理。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图4是根据一示例性实施例示出的一种用于处理来自第三方的数据的装置的框图。该装置可用于如图2所示的用于处理来自第三方的数据的方法。

如图4所示，用于处理来自第三方的数据的装置40包括：发送模块402，接收模块404，脚本模块406，处理模块408以及对账模块410。

发送模块402用于将第一目标文件发送给第三方服务器。

接收模块404用于获取来自所述第三方服务器的所述第一目标文件的回传文件。

脚本模块406用于调用适合所述第三方的第一AWK脚本处理文件以及第二AWK脚本处理文件。

处理模块408用于通过所述第一AWK脚本处理文件对所述回传文件进行处理，以生成第二目标文件；以及通过所述第二AWK脚本处理文件对请求数据进行处理，以生成所述第一目标文件。

对账模块410用于利用4GL语言对所述第二目标文件进行对账处理。

根据本实施例的用于处理来自第三方的数据的装置，能够提升数据处理的效率，减少因为处理大量数据而给系统带来的风险。

如图5所示，用于处理来自第三方的数据的装置50包括：判断模块502，预设模块504，以及路径模块506。

判断模块502用于判断所述回传文件的格式是否与所述第二目标文件的格式相同。

预设模块504用于建立对应于所述第三方的所述第一AWK脚本处理文件，以及对应于所述第三方的所述第二AWK脚本处理文件。

路径模块506用于获取所述第一AWK脚本处理文件的储存路径以及第二AWK脚本处理文件的储存路径。

通过以上的详细描述，本领域的技术人员易于理解，根据本发明实施例的用于处理来自第三方的数据的方法及装置具有以下优点中的一个或多个。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。

以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims

1.一种用于处理来自第三方的数据的方法，其特征在于，包括：

将第一目标文件发送给第三方服务器；

获取来自所述第三方服务器的所述第一目标文件的回传文件；

调用对应于所述第三方的第一AWK脚本处理文件；具体包括：根据不同的第三方调用对应于所述不同的第三方的第一AWK脚本处理文件；

通过所述第一AWK脚本处理文件对所述回传文件进行处理，以生成第二目标文件；以及

利用4GL语言对所述第二目标文件进行处理；

其中，通过所述第一AWK脚本处理文件对所述回传文件进行处理，以生成第二目标文件，包括：

按行读取所述回传文件的数据，将每行数据按照行分隔符分隔，进而获得每一列数据；以及

将读取到的所述回传文件的数据中的信息，储存到所述第二目标文件中对应位置；

通过所述第一AWK脚本处理文件对所述回传文件进行处理，以生成第二目标文件，还包括：

通过所述第一AWK脚本处理文件对所述回传文件进行格式处理；其中，所述第一AWK脚本处理文件包含功能函数，所述功能函数为去除前后空格、补齐位数、字符转换、小数点保留或格式转换；

其中，利用4GL语言对所述第二目标文件进行处理，包括：

利用4GL语言将所述第二目标文件进行标准化处理，形成统一文件格式；

所述方法还包括：

建立对应于不同的第三方的不同的第一AWK脚本处理文件；

所述方法还包括：

利用4GL语言生成请求数据；

建立对应于不同第三方的不同的第二AWK脚本处理文件；

根据需要发送的不同的第三方，调用对应于不同第三方的第二AWK脚本处理文件；以及

通过所述第二AWK脚本处理文件对所述请求数据进行处理，以生成所述第一目标文件。

2.如权利要求1所述的方法，其特征在于，调用对应于所述第三方的第一AWK脚本处理文件，包括：

获取所述第一AWK脚本处理文件的储存路径；以及

获取适合所述第三方的第一AWK脚本处理文件。

3.如权利要求1所述的方法，其特征在于，调用对应于所述第三方的第一AWK脚本处理文件，包括：

判断所述回传文件的格式是否与所述第二目标文件的格式相同；以及

如果所述回传文件的格式与所述第二目标文件的格式不相同，则调用对应于所述第三方的第一AWK脚本处理文件。

4.一种用于处理来自第三方的数据的装置，其特征在于，包括：

发送模块，用于将第一目标文件发送给第三方服务器；

接收模块，用于获取来自所述第三方服务器的所述第一目标文件的回传文件；

脚本模块，用于调用适合所述第三方的第一AWK脚本处理文件以及第二AWK脚本处理文件；具体包括：根据不同的第三方调用对应于所述不同的第三方的第一AWK脚本处理文件，以及根据需要发送的不同的第三方，调用对应于不同第三方的第二AWK脚本处理文件；

处理模块，用于通过所述第一AWK脚本处理文件对所述回传文件进行处理，以生成第二目标文件；以及通过所述第二AWK脚本处理文件对请求数据进行处理，以生成所述第一目标文件；以及

对账模块，用于利用4GL语言对所述第二目标文件进行对账处理；

其中，所述处理模块通过所述第一AWK脚本处理文件对所述回传文件进行处理，以生成第二目标文件，包括：

所述处理模块，还用于通过所述第一AWK脚本处理文件对所述回传文件进行格式处理；其中，所述第一AWK脚本处理文件包含功能函数，所述功能函数为去除前后空格、补齐位数、字符转换、小数点保留或格式转换；

其中，所述对账模块利用4GL语言对所述第二目标文件进行处理，包括：

所述脚本模块，还用于建立对应于不同的第三方的不同的第一AWK脚本处理文件，以及建立对应于不同第三方的不同的所述第二AWK脚本处理文件；

所述处理模块，还用于利用4GL语言生成所述请求数据，通过所述第二AWK脚本处理文件对所述请求数据进行处理，以生成所述第一目标文件。

5.如权利要求4所述的装置，其特征在于，还包括：

判断模块，用于判断所述回传文件的格式是否与所述第二目标文件的格式相同；

预设模块，用于建立对应于所述第三方的所述第一AWK脚本处理文件，以及对应于所述第三方的所述第二AWK脚本处理文件；以及

路径模块，用于获取所述第一AWK脚本处理文件的储存路径以及第二AWK脚本处理文件的储存路径。