CN109885532A

CN109885532A - 一种交易数据标准化方法和装置

Info

Publication number: CN109885532A
Application number: CN201910110051.2A
Authority: CN
Inventors: 袁文波; 于谨皓; 张洪宽; 操健
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2019-02-11
Filing date: 2019-02-11
Publication date: 2019-06-14

Abstract

本说明书实施例提供一种交易数据标准化方法和装置。所述方法包括：根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据；将所述文本数据传输到服务端，以便于对所述文本数据进行解析，得到标准化数据。本说明书实施例通过将交易数据标准化，实现零加工成本、高效、实时的获取交易数据。

Description

一种交易数据标准化方法和装置

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种交易数据标准化方法和装置。

背景技术

随着我国经济不断发展，银行作为金融市场体系的核心，其交易的数量逐渐增多、交易的规模逐渐增大和交易的类型多种多样。银行交易数据的特点不仅是数据量大，而且每一条交易数据包含的信息量也很多，其中包括：账户ID、交易类型、交易日期、交易金额等等。此外，在不同系统或者同系统内，因交易的业务场景不同或者设计人员不同，会产生各式各样的交易数据，分析这些交易时，需要定制交易现场数据。

目前收集各系统的数据主要采用批量的方式进行收集，首先遇到的问题是如果采集数据需求改变了，必须对源系统进行代码逻辑的修改，另外收集的时候无法实现实时收集现场数据，且各个系统之间因为是通过数据文件下传的方式，各系统间的依赖较为严重，某系统只要表结构有变动就有可能导致接口变更，另外目标系统接收到了文件之后还需要进行二次加工才能获取到标准化的数据。

发明内容

本说明书实施例的目的是提供一种交易数据标准化法和装置，以实现零加工成本、高效、实时的获取交易数据。

为解决上述技术问题，本说明书实施例提供一种交易数据标准化法和装置是这样实现的：

一种交易数据标准化方法，所述方法包括：

根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据；

将所述文本数据传输到服务端，以便于对所述文本数据进行解析，得到标准化数据。

一种交易数据标准化方法，所述方法包括：

接收文本数据；所述文本数据根据预先设置的采集标识、标准化映射关系，将待标准化交易数据转换得到；

解析所述文本数据，得到标准化数据。

一种交易数据标准化装置，所述装置包括：

文本数据生成模块，用于根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据；

文本数据传输模块，用于将所述文本数据传输到服务端，以便于对所述文本数据进行解析，得到标准化数据。

一种交易数据标准化装置，所述装置包括：

文本数据接收模块，用于接收文本数据；所述文本数据根据预先设置的采集标识、标准化映射关系，将待标准化交易数据转换得到；

文本数据解析模块，用于解析所述文本数据，得到标准化数据。

由以上本说明书实施例提供的技术方案可见，本说明书实施例通过交易数据标准化技术，从客户端系统采集数据，并根据采集标识和标准化映射关系，将待标准化交易数据转换成文本数据；将文本数据从客户端传送到服务端，服务端解析文本数据，并通过预设的映射关系将文本数据解析成标准化的字段进行存储，从而实现零加工成本、高效、实时的获取交易数据。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一种交易数据标准化方法第一实施例流程图；

图2为本说明书一种交易数据标准化方法第二实施例流程图；

图3为本说明书一种交易数据标准化方法第三实施例流程图；

图4为本说明书一种交易数据标准化装置第一实施例的功能结构示意图；

图5为本说明书一种交易数据标准化装置第一实施例中，文本数据生成模块的功能结构示意图；

图6为本说明书一种交易数据标准化装置第二实施例的功能结构示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

图1为本说明书一种交易数据标准化方法第一实施例流程图。

在本实施方式中，执行所述交易数据标准化方法的主体可以是具有逻辑运算功能的电子设备，所述电子设备可以是服务器或客户端，所述客户端可以为台式电脑、平板电脑、笔记本电脑、工作站等。当然，客户端并不限于上述具有一定实体的电子设备，其还可以为运行于上述电子设备中的软体。还可以是一种通过程序开发形成的程序软件，该程序软件可以运行于上述电子设备中。

如图1所示，本说明书实施例提供了一种交易数据标准化方法，包括以下步骤：

S110：根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据。

不同系统或者同系统内，因交易的业务场景不同或者设计人员不同，同一业务涵义的数据会被命名成各式各样的变量。在发生交易时，客户端能够接收交易数据处理请求，并采集交易数据。

在一些实施例中，所述客户端可以预先设置采集标识、标准化映射关系。具体的，设置所述采集标识，可以从交易数据中采集所需要的交易数据，所述采集标识可以是以注解的方式进行标识，或者是加入标准化代码进行标识；设置所述标准化映射关系可以使不同系统或者同系统内，因交易的业务场景不同或者设计人员不同，从而产生各式各样的交易数据以一定的关系联系起来。所述标准化映射关系是指，待标准化字段和标准数据字段映射关系。所述标准数据字段可以是满足java命名规范的变量名称，待标准化字段以标准字段作为key值。

具体的，标准数据字段可以是在服务器端定义好的各种固定的名称，例如客户名称为cusname，客户号为cusno，流程编号为flowid等等；待标准化字段可以为各客户端的变量字段，例如A客户端有客户名称为customername，B客户端也有客户名称为customernm，各个客户端的关于一个中文含义名称的变量命名可能都不一样；无论客户端为哪个变量，在采集一个含义的字段内容时映射到服务器的字段都为一个，例如采集A客户端的客户名称，映射方式为customername:cusname；采集B客户端的客户名称，映射方式customernm:cusname。无论客户端的变量怎么取值，服务器端的变量始终不变，即从客户端通过客户端的变量获取的是客户端这个变量的值，而这个值在服务器端的名称是唯一的。

在一些实施例中，在待标准化交易数据上设置采集标识和标准化映射关系之前，客户端还可以设置设置服务端地址、生成文件目录、文件类型的指定和文本格式指定等。

在一些实施例中，所述客户端还可以待标准化交易数据上设置交易类型区别码、基础交易信息。所述基础交易信息可以包括：交易系统名称、操作系统类型、交易时间、交易者等。

在一些实施例中，客户端系统的交易在发生时，客户端会实时根据采集标识采集待标准化交易数据，并根据标准化映射关系将待标准化交易数据生成文本数据。

在一些实施例中，根据所述采集标识和所述标准化映射关系将待标准化交易数据生成文本数据，包括：根据所述采集标识和所述标准化映射关系，将待标准化交易数据按照预先设定的文本格式生成文本数据，并将文本数据存储在客户端预先生成的文件目录中。

在一些实施例中，客户端系统的交易在发生时，按照采集标识和标准化映射关系，以key-value的形式形成键值对的文本。每个交易需采集字段的所有键值对文本冒号隔开进行拼接，每个交易所有的键值文本前后都有特殊标记的开始和结束唯一标识符，交易结束时客户端程序以写日志的方式进行本地制定目录文本的写入动作。

具体的，所述文本数据可以按照如下逻辑来生成：

每个客户端的交易都有一个唯一64位的序列号，每一个客户端生成文本时都会把这个序列号作为文本的开头，同时也把这个序列号作为文本的结尾，这样唯一确认一个交易生成的文本。

生成文本时根据每个方法上面的注解中定义的映射顺序获取当前方法内变量和标准变量的字符串，例如可以根据如下交易方法：

@stdTran{customerno:cusno,customername:cusname,flowseq:flowid}

public void startProcess(Context context)throws Exception{

String customerno＝(String)context.get("custno")；//例如customerno的值为2966008

String customername＝(String)context.get("customernm")；//例如customername的值为山下集团

String flowseq＝(String)context.get("flowseq")；//例如flowseq的值为000023

}

交易执行完后，生成的文本为：2966008:cusno,山下集团:cusname,000023:flowid，该文本左右分别有64位长度的数字串。

S120：将所述文本数据传输到服务端，以便于对所述文本数据进行解析，得到标准化数据。

在一些实施例中，在文本数据发生变化后，可以通过客户端通过传输服务实时将所述文本数据传输到服务端。

在一些实施例中，传输服务可以通过中间件完成，可以利用中间件实时将所述文本数据传输到服务端。

在一些实施例中，可以采用MQ、卡夫卡或者其它中间件将所述文本数据传输到服务端。

在一些实施例中，服务端在接收到文本数据后，根据约定的文本格式解析文本数据。在解析文本数据时，可以通过S110设置的标准化映射关系将文本数据提取为标准字段，得到标准化数据。

在一些实施例中，在得到标准化数据后，可以将所述标准化数据存储到服务端的数据库中。

本说明书实施例通过交易数据标准化技术，从客户端系统采集数据，并根据采集标识和标准化映射关系，将待标准化交易数据生成文本数据；将文本数据从客户端传送到服务端，服务端解析文件，并通过预设的映射关系将文本数据解析成标准化的字段进行存储，从而实现零加工成本、高效、实时的获取交易数据。

下面介绍本说明书一种交易数据标准化方法第二实施例。

图2为本说明书一种交易数据标准化方法第二实施例流程图，如图2所示，所述交易数据标准化方法包括以下步骤：

S200：客户端设置服务端地址、生成文件目录、指定文件类型和指定文本格式。

S201：根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据。

不同系统或者同系统内，因交易的业务场景不同或者设计人员不同，会产生各式各样的交易数据。在发生交易时，客户端能够接收交易数据处理请求，并采集交易数据。

在一些实施例中，所述客户端可以预先设置采集标识、标准化映射关系。具体的，设置所述采集标识可以从交易数据中采集所需要的交易数据，所述采集标识可以是以注解的方式进行标识，或者是加入标准化代码进行标识；设置所述标准化映射关系可以使不同系统或者同系统内，因交易的业务场景不同或者设计人员不同，从而产生各式各样的交易数据以一定的关系联系起来。所述标准化映射关系是指，待标准化字段和标准数据字段映射关系。所述标准数据字段可以是满足java命名规范的变量名称，待标准化字段以标准字段作为key值。

具体的，所述文本数据可以按照如下逻辑来生成：

@stdTran{customerno:cusno,customername:cusname,flowseq:flowid}

public void startProcess(Context context)throws Exception{

}

S202：所述客户端将所述文本数据传输到服务端。

在一些实施例中，在文本数据发生变化后，可以通过客户端实时将所述文本数据传输到服务端。

在一些实施例中，在文本数据发生变化后，可以利用中间件实时将所述文本数据传输到服务端。

S210：所述服务端对文本数据进行解析，得到标准化数据。

在一些实施例中，服务端在接收到文本数据后，根据约定的文本格式解析文本数据。在解析文本数据时，可以通过S201设置的标准化映射关系将文本数据提取为标准字段，得到标准化数据。

S211：所述服务端将所述标准化数据存储到服务端的数据库。

本说明书实施例通过交易数据标准化技术，在客户端交易上设置采集标识；客户端依据采集标识在交易发生时，实时获取现场数据并且在指定的目录下生成指定格式的文本，服务端依据映射规则解析文本，从而实现零加工成本、高效、实时的获取交易数据。

下面介绍本说明书一种交易数据标准化方法第三实施例。

图3为本说明书一种交易数据标准化方法第三实施例流程图，如图3所示，所述交易数据标准化方法包括以下步骤：

S310：接收文本数据；所述文本数据根据预先设置的采集标识、标准化映射关系，将待标准化交易数据转换得到。

S320：解析所述文本数据，得到标准化数据。

在一些实施例中，服务端在接收到文本数据后，根据约定的文本格式解析文本数据。在解析文本数据时，可以通过预先设置的标准化映射关系将文本数据提取为标准字段，得到标准化数据。

本说明书实施例通过交易数据标准化技术，服务端接收待标准化交易数据转换得到的文本数据，并对文本数据进行解析，通过数据的映射关系解析成标准化的字段进行存储，从而实现零加工成本、高效、实时的获取交易数据。

下面介绍本说明书一种交易数据标准化装置第一实施例。

图4为本说明书一种交易数据标准化装置第一实施例的功能结构示意图，如图4所示，所述交易数据标准化装置可以包括：文本数据生成模块410和文本数据传输模块420。

其中，所述文本数据生成模块410，用于根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据。

文本数据传输模块420，用于将所述文本数据传输到服务端，以便于对所述文本数据进行解析，得到标准化数据。

在一些实施例中，如图5所示，所述文本数据生成模块410还包括：

采集标识设置子模块411，用于设置采集标识、标准化映射关系。

文本数据生成子模块412，用于根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据。

在一些实施例中，所述采集标识设置子模块411，还可以用于在待标准化交易数据上设置交易类型区别码、基础交易信息。

在一些实施例中，所述基础交易信息可以包括：交易系统名称、操作系统类型、交易时间、交易者等信息。

下面介绍本说明书一种交易数据标准化装置第二实施例。

图6为本说明书一种交易数据标准化装置第二实施例的功能结构示意图，如图6所示，所述交易数据标准化装置可以包括文本数据接收模块610和文本数据解析模块620。

其中，所述文本数据接收模块610，用于接收文本数据；所述文本数据根据预先设置的采集标识、标准化映射关系，将待标准化交易数据转换得到。

所述文本数据解析模块620，用于解析所述文本数据，得到标准化数据。

在一些实施例中，所述交易数据标准化装置可以包括标准化数据存储模块。

所述标准化数据存储模块，用于将所述标准化数据存储到服务端的数据库。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例和设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片2。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims

1.一种交易数据标准化方法，其特征在于，所述方法包括：

2.如权利要求1所述的交易数据标准化方法，其特征在于，在根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据之前，包括：

设置服务端地址、生成文件目录、指定文件类型和指定文本格式。

3.如权利要求1或2所述的交易数据标准化方法，其特征在于，还可以在待标准化交易数据上设置交易类型区别码、基础交易信息。

4.如权利要求3所述的交易数据标准化方法，其特征在于，所述基础交易信息包括：

交易系统名称、操作系统类型、交易时间、交易者。

5.如权利要求2所述的交易数据标准化方法，其特征在于，根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据，包括：

根据所述采集标识、所述标准化映射关系，将待标准化交易数据按照所述文本格式生成文本数据；

将文本数据存储在所述文件目录中。

6.如权利要求1所述的交易数据标准化方法，其特征在于，将所述文本数据传输到服务端，包括：

在文本数据发生变化后，利用中间件将所述文本数据传输到服务端。

7.如权利要求1所述的交易数据标准化方法，其特征在于，得到所述标准化数据之后，包括：

将所述标准化数据存储到服务端的数据库。

8.一种交易数据标准化方法，其特征在于，所述方法包括：

解析所述文本数据，得到标准化数据。

9.如权利要求8所述的交易数据标准化方法，其特征在于，所述方法还包括：

将所述标准化数据存储到服务端的数据库。

10.一种交易数据标准化装置，其特征在于，所述装置包括：

11.如权利要求10所述的装置，其特征在于，所述文本数据生成模块包括：

采集标识设置子模块，用于设置采集标识、标准化映射关系；

文本数据生成子模块，用于根据预先设置的采集标识、标准化映射关系，将待标准化交易数据生成文本数据。

12.如权利要求11所述的装置，其特征在于，所述采集标识设置子模块，还可用于在待标准化交易数据上设置交易类型区别码、基础交易信息。

13.如权利要求12所述的装置，其特征在于，所述基础交易信息包括：

交易系统名称、操作系统类型、交易时间、交易者。

14.一种交易数据标准化装置，其特征在于，所述装置包括：

15.如权利要求14所述的装置，其特征在于，所述装置还包括：

标准化数据存储模块，用于将所述标准化数据存储到服务端的数据库。