CN108268615B

CN108268615B - 一种数据处理方法、装置以及系统

Info

Publication number: CN108268615B
Application number: CN201810001658.2A
Authority: CN
Inventors: 张建荣; 王大猷; 金帅; 危林
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2018-01-02
Filing date: 2018-01-02
Publication date: 2021-10-26
Anticipated expiration: 2038-01-02
Also published as: CN108268615A

Abstract

本发明公开了一种数据处理方法、装置以及系统，其中，数据处理方法包括：根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；所述JSON信息串存储至数据明细表的数据对象字段内。

Description

一种数据处理方法、装置以及系统

技术领域

本申请涉及计算机信息技术领域，特别涉及一种数据处理方法、装置以及系统。

背景技术

在日常系统开发中，存在某类数据因不同业务背景存在差异化，如供应链金融中涉及的货物凭证，可使用订单、存单及其他凭证类型。这些凭证存在一些相同信息：如交易金额、交易对象，但也存在一些差异信息，如订单包含货物信息，存单包含仓库信息等。系统通常实现方法是在采集、存储和展示这些凭证信息时都分开处理，如针对不同凭证类型，要建立不同的数据表分别管理，新增凭证信息类型时要新增数据表支持。相关信息如涉及修改时，需要分别修改不同数据表进行支持，差异数据导致数据表膨胀、各个处理环节程序增加，数据变化时，配合改造工作量大，无法快速上线。

发明内容

本申请实施方式的目的是提供一种数据处理方法、装置以及系统，解决现有技术处理数据时无法快速上线的技术问题。

为实现上述目的，本申请实施方式提供一种数据处理方法，包括：

根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；

根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；

所述JSON信息串存储至数据明细表的数据对象字段内。

优选地，还包括：

从所述数据明细表中获取需要展示的信息的记录；

从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。

优选地，还包括：

根据数据的业务场景信息确定数据模型，并设置自定义复合主键；

根据所述数据的实际内容从要素库中获得对应地数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表。

优选地，所述数据明细表用于存储记录，所述记录是每次采集到数据生成的；其中，所述记录包括：明细编号、数据对象和公共字段；一个明细编号对应一条记录，所述数据对象用于存储JSON信息串，所述公共字段用于存储不同业务领域定义的公共信息。

优选地，所述数据对象采用clob字段。

为实现上述目的，本申请实施方式还提供一种数据处理装置，包括：

采集参数确定单元，用于根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；

采集单元，用于根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；

存储单元，用于所述JSON信息串存储至数据明细表的数据对象字段内。

优选地，还包括：

展示单元，用于从所述数据明细表中获取需要展示的信息的记录，从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。

优选地，还包括：

数据模型建立单元，用于根据数据的业务场景信息确定数据模型，并设置自定义复合主键；

模型与要素关联表和要素校验控制表获取单元，用于根据所述数据的实际内容从要素库中获得对应地数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表。

为实现上述目的，本申请实施方式还提供一种数据处理系统，包括：存储器和处理器；其中，

处理器，适于实现各计算机程序；以及

存储器，适于存储多条计算机程序，所述计算机程序适于由所述处理器加载并执行：

所述JSON信息串存储至数据明细表的数据对象字段内。

优选地，所述计算机程序被所述处理器执行时，还实现以下功能：

从所述数据明细表中获取需要展示的信息的记录，从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。

上述技术方案具有如下有益效果：

本技术方案实现了不同应用场景下的数据从采集、存储和展示的通用处理，对于数据要素变化后也无需对数据处理程序通篇修改即可支持，在以下方面展现出突出的优点：

1、信息参数化

本技术方案把各类数据进行抽象提取公共要素，根据不同数据场景定义数据模型，数据采集、展示时完全根据数据模型对应的参数动态采集、展示，提升信息处理灵活性。在本技术方案中，数据模型对应的参数包括：数据要素和要素校验控制规则。

2、易维护性和可扩展性

本技术方案在实施新增数据、删除数据、修改数据等数据处理操作时，仅仅修改数据明细表内的数据对象，对公共信息部分无需操作处理，也无需修改数据表结构，更无需对数据处理程序通篇进行修改，工作量大大减少，实现数据的快速上线。并且，对不同应用数据达到灵活扩展效果。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提出的一种数据处理方法流程图之一；

图2为本实施例的数据明细表示意图；

图3为本发明实施例提出的一种数据处理方法流程图之二；

图4为本实施例的实例操作流程图；

图5为本技术方案的数据处理与传统数据处理效果对比示意图；

图6为本申请实施方式提供一种数据处理装置功能框图之一；

图7为本申请实施方式提供一种数据处理装置功能框图之二；

图8为本申请实施方式提供一种数据处理系统示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。

本技术方案的工作原理为：通过引入JSON数据格式存储数据，提出一种差异数据通用化处理的技术方案。JSON本身是一种轻量级的数据交换格式，完全独立于语言的文本格式，可使用任何语言进行操作，其数据等同于一个字符串。将差异信息统一处理成一个JSON数据串对应数据明细表中的数据对象，其他字段作为信息公有字段，从而实现只有一张数据表完成所有不同类型信息的处理，达到通用化的目的。另外，针对不同类型信息中的要素变更，如新增、修改或删除要素，只需要处理JSON数据串一个字段即可，无需再修改其他内容，针对差异修改可快速完成功能开发上线。

基于上述工作原理，本发明实施例提出一种数据处理方法，如图1所示。包括：

步骤101)：根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从所述模型与要素关联表和所述要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则。

在本实施例中，根据不同类型数据的应用场景抽取成数据模型，如订单业务、存单业务等，则抽取成订单数据模型、存单数据模型。根据数据的实际内容从要素库中获得对应地数据要素，确定模型与要素关联表。比如：当前处理的数据为订单业务数据，则数据模型为订单模型，因为订单业务有订单实有金额、预收货款金额、单价这几个业务要素，在模型与要素关联表中，能够获得订单实有金额、预收货款金额、单价等这些要素信息。

对于要素库来说，分析各种类型的数据后，将所有数据要素进行集中定义，将各类数据要素形成一个要素库。在定义要素时，定义了各要素在不同应用场景下的格式要求，使得要存储的要素数据信息合理合法，为后期进一步数据各种操作处理打下基础。

在本实施例中，根据业务要素采集要求，确定要素校验控制表。在要素校验控制表中，存放有数据要素采集要求，用于控制各要素在采集时是否必输、数据类型等。数据采集的同时，对采集的数据进行校验，使得采集到的数据符合要求。

在本实施例中，获取数据模型时预先分配自定义复合主键，如：类型代码+序列号，用于具体业务场景。但同样的订单模型，在不同场景采集信息也会存在差异，自定义复合主键可灵活调整。

步骤102)：根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串。

在本实施例中，JSON信息串格式统一为字段名称和值的键值对，如{“name”:”li”,”amount”:”100.00”,”date”:”20161204”}存储名称、金额和日期三个字段，另外从JSON信息串中提取字段信息时非常便利，可采用类型obj.get(“name”)的形式获取对应字段值。

步骤103)：所述JSON信息串存储至数据明细表的数据对象字段内。

如图2所示，为本实施例的数据明细表示意图。在数据明细表中，包括明细编号、模版号、供应链编号、融资申请号、交易金额、状态、数据对象以及备注。其中，每次采集到数据生成一条记录，该记录记载此次采集完成后获得的数据信息，一条记录对应一个明细编号。将差异信息统一处理成一个JSON数据串，数据对象字段使用一个clob字段存储JSON信息串，数据明细表的其他字段是根据不同业务领域定义成的公共字段。

在本实施例中，clob字段类型存储JSON信息串无大小限制，对于其他模型修改或新增模型时数据存储表保持不变，只需修改参数定制即可完成数据采集，采集完成后信息统一以JSON信息串存储到一个字段，无需再做其他修改，针对差异修改可快速完成功能开发上线。

在图1的基础上，本发明实施例还提出另一种数据处理方法。如图3所示。还包括：

步骤104)：从所述数据明细表中获取需要展示的信息的记录；从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。

下面结合图1和图2的技术方案给出一个数据处理的通用方案。如：目前有订单和商品供销协议单两种凭证类型，订单凭证包括应付账款金额、应付账款余额、订单实有金额、货物名称、货物数量字段。商品供销协议单凭证包括：货物名称、货物数量、预收货款金额、单价字段。

根据不同凭证类型，抽取数据要素，将数据要素以及各要素的控制规则纳入统一的要素库中，此实施例中提取的要素为：应付账款金额、应付账款余额、订单实有金额、货物名称、货物数量、预收货款金额、单价。

根据数据模型从要素库中提取需要的要素，完成模型与要素关联表，如订单模型，模型与要素关联定义中放入应付账款金额、应付账款余额、订单实有金额、货物名称、货物数量这5个字段的关联信息，并同步在要素校验控制表放入各个要素的控制规则，如要素长度、必输控制等。

模型定义完成后预先分配自定义复合主键，如：类型代码+序列号，用于具体业务场景。但同是订单模型，在不同场景采集信息也会存在差异，自定义复合主键可灵活调整。

如图4所示，为本实施例的实例操作流程图。包括：

步骤401：在具体信息采集时，根据当前采集场景传入预定义的自定义复合主键，匹配当前信息采集模板号，根据模板号从模型与要素关联表中提取预定义的要素，从要素校验控制表中获得对应地要素控制信息，采集时同步根据要素控制完成采集合法性检验。

步骤402：采集完成后，将采集完成的数据组装成轻量级的JSON信息串，所有字段以键值对拼接成一个JSON信息串，如采集要素字段为name、amount、date三个，则拼接完成的格式如{“name”:”li”,”amount”:”100.00”,”date”:”20161204”}，字段名和值之前以冒号分隔，字段与字段间以逗号分隔。

步骤403：将JSON信息串统一在数据明细表中的数据对象字段中存储，数据对象字段使用clob字段，不限制JSON信息串大小，所有模型采集的数据统一存储在数据明细表中，JSON信息串统一存储在一个Clob字段。

步骤404：在需要展示信息时，从数据明细表中获取当前数据采集记录，包含数据对象、模板号等关键字段。其中，数据对象为JSON信息串，调用JSON.parseObject解析该信息串返回JSONObject对象后，可直接采用JSONObject.get(“name”)方式获取对应字段值。

步骤405：根据模板号解析出需要展示的数据对应要素信息，根据要素名称调用get(“name”)方式从JSON信息串中取出各要素对应的值然后进行展示。

图5为本技术方案的数据处理与传统数据处理效果对比示意图。传统数据处理时，不同类型数据使用不同的数据表进行存储，同时，每增加一个信息要素都需要修改数据表进行存储。

而本技术方案中的数据明细表从建立好之后就无需再修改，需要对数据进行删除、增加、或修改操作时，要素库中要素定义以及控制规则进行变更即可。在实际信息存储时，不再像传统存储方式每个要素对应数据表中一个字段，而是将所有要素的差异信息生成一个JSON信息串在数据明细表中专门的一个字段中存储，差异信息全部在JSON信息串内部，对于JSON信息串内部新增、删除或修改字段时对于整体数据表不变，而且JSON信息串中的要素调整也是跟着要素库设置的信息变化，如原信息为三个字段{“A1”:”123”,”A2”:”123”,”A3”:”123”}，在要素调整后删除掉A3字段后，在采集时只有A1和A2二个要素，那么采集完成后所有字段生成的JSON信息串自然为{“A1”:”123”,”A2”:”123”}，对访问程序无需做任何修改。

如图6所示，为本申请实施方式提供一种数据处理装置功能框图之一。包括：

采集参数确定单元601，用于根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；

采集单元602，用于根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；

存储单元603，用于所述JSON信息串存储至数据明细表的数据对象字段内。

如图7所示，为本申请实施方式提供一种数据处理装置功能框图之二。在图6的基础上，还包括：

展示单元604，用于从所述数据明细表中获取需要展示的信息的记录，从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。

在图7的基础上，数据处理装置还包括：

如图8所示，为本申请实施方式提供一种数据处理系统示意图。包括：存储器a和处理器b；其中，

处理器b，适于实现各计算机程序；以及

存储器a，适于存储多条计算机程序，所述计算机程序适于由所述处理器b加载并执行：

所述JSON信息串存储至数据明细表的数据对象字段内。

优选地，所述计算机程序被所述处理器b执行时，还实现以下功能：

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片2。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现客户端、服务器以外，完全可以通过将方法步骤进行逻辑编程来使得客户端、服务器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种客户端、服务器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对客户端的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims

1.一种数据处理方法，其特征在于，包括：

根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应的自定义复合主键；利用当前数据处理对应的自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应的数据要素以及要素控制规则，其中，根据数据的应用场景确定数据模型，并设置自定义复合主键，根据所述数据的实际内容从要素库中获得对应的数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表；

根据当前数据处理对应的数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；

所述JSON信息串存储至数据明细表的数据对象字段内。

2.如权利要求1所述的方法，其特征在于，还包括：

从所述数据明细表中获取需要展示的信息的记录；

从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各数据要素对应的值进行展示。

3.如权利要求1或2所述的方法，其特征在于，所述数据明细表用于存储记录，所述记录是根据每次采集到数据生成的；其中，所述记录包括：明细编号、数据对象和公共字段；一个明细编号对应一条记录，所述数据对象用于存储JSON信息串，所述公共字段用于存储不同业务领域定义的公共信息。

4.如权利要求3所述的方法，其特征在于，所述数据对象采用clob字段。

5.一种数据处理装置，其特征在于，包括：

采集参数确定单元，用于根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应的自定义复合主键；利用当前数据处理对应的自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应的数据要素以及要素控制规则；

数据模型建立单元，用于根据数据的应用场景确定数据模型，并设置自定义复合主键；

模型与要素关联表和要素校验控制表获取单元，用于根据所述数据的实际内容从要素库中获得对应的数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表；

采集单元，用于根据当前数据处理对应的数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；

6.如权利要求5所述的装置，其特征在于，还包括：

展示单元，用于从所述数据明细表中获取需要展示的信息的记录，从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各数据要素对应的值进行展示。

7.一种数据处理系统，其特征在于，包括：存储器和处理器；其中，

处理器，适于实现各计算机程序；以及

所述JSON信息串存储至数据明细表的数据对象字段内。

8.如权利要求7所述的系统，其特征在于，所述计算机程序被所述处理器执行时，还实现以下功能：

从所述数据明细表中获取需要展示的信息的记录，从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各数据要素对应的值进行展示。