CN108052590B - 一种结构化数据的动态使用方法及系统 - Google Patents

Abstract

本发明公开了一种结构化数据的动态使用方法及系统，旨在解决现有技术动态数据结构由于需要定义通用的数据解析方法以及调用方法而导致非法使用者容易获取源数据内容进而导致数据信息的安全性低的问题；本申请通过双方协议定义属性字段类型与属性字段位置值解析关系，在数据组装方以及数据使用方之间无须对数据结构进行详细定义，只需要使用方输入使用当时所需的属性字段，提高了数据传输的效率，本申请在解析时候必须获取得到属性字段与属性字段位置值关系才能进行解析，避免了现有的非法使用者利用数据解析即可获取数据导致的数据安全性低的问题；本申请适用于数据使用相关领域。

Description

一种结构化数据的动态使用方法及系统

技术领域

本发明涉及数据使用领域，具体涉及一种结构化数据的动态使用方法及系统。

背景技术

传统的数据使用方中输入的数据结构为固定结构，缺点如下：

1.数据传输时候输入没有数据的字段，由于即便没有数据也需要在输入字段名，因此造成传输的数据包较大，降低传输效率；

2.在定义数据结构时，可能定义一个有非常多字段的数据结构，对于数据结构的管理成本较高；

3.需要增加或修改属性字段时候，需要重新定义输入数据的格式，重新编译、部署、上线系统，系统动态扩展能力较低。

现有的动态数据结构生成前需要定义数据解析方法、数据属性、调用方法等，同时为了增加其通用性，其解析以及调用的方法是采用通用性强的方法，动态数据结构相对于固定结构的数据结构，其冗余情况相对减少，但是依然还会存在其他问题：第一，提前定义的内容相对多，依旧会有一定的冗余；第二，使用的数据解析方法以及调用方法等大多是现有的，一旦其他非法使用者获取到数据内容，即容易通过现有的数据处理方法获取得到相关源数据内容，导致使用者的数据安全很难得到保障。但是对于银行系统而言，数据覆盖的用户广，且大多是用户的重要信用信息以及金融信息，一旦出现信息泄漏，将会造成不可弥补的损失。

发明内容

本发明的目的在于：针对现有技术动态数据结构由于需要定义通用的数据解析方法以及调用方法而导致非法使用者容易获取源数据内容进而导致数据信息的安全性低的问题，本申请提供了一种结构化数据的动态使用方法及系统。

本发明采用的技术方案如下：

一种结构化数据的动态使用方法，包括以下步骤：

步骤1：按照数据组装方与数据使用方的协议生成属性字段类型与属性字段位置值对应关系的数据解析方法；

步骤2：生成解析数据所需的标准结构数据信息；

具体地，所述步骤2的具体步骤为：

步骤2.1：数据使用方输入数据解析方法所需的基本数据信息；

具体地，所述基本数据信息包括属性字段名称、属性字段类型和属性字段之间的包含关系；

步骤2.2：数据组装方根据数据解析方法对基本数据信息进行组装生成标准结构数据信息；

步骤3：数据使用方根据数据解析方法对标准结构数据信息解析获取到对应的属性字段位置值，将获取的属性字段位置值作为下位数据使用模块的参数，完成下位数据使用模块的数据输入。

本申请通过提前双方定义属性字段类型与属性字段位置值对应关系从而使得后期在解析数据时候必须获得属性字段类型与属性字段位置值对应关系才能对数据进行解析，从而保证了数据的安全性，换言之，本申请在不增加数据组装方的工作量的情况下获得了不同的数据使用方的对应的不同数据解析方法，提高数据传递速度的同时保证了数据的安全性。

本申请提供了一种具体化的结构化数据的动态使用系统，包括具有属性字段类型与属性字段位置值对应关系的数据解析方法的数据组装端和数据使用端；

所述数据组装端，将数据使用方输入数据解析方法所需的基本数据信息或新增的属性字段类型组装生成标准结构数据信息，并将标准结构数据信息发送至数据使用端；

所述数据使用端，接收数据组装端发送的标准结构数据信息，并根据数据解析方法对标准结构数据信息进行解析出属性字段类型所对应的属性字段位置值，将获取的属性字段位置值作为下位数据使用模块的参数。

具体地，所述数据组装端包括数据配置模块与数据组装模块；

所述数据配置模块，包括段名重复性检查器、配置逻辑校验器，所述数据组装模块，包括格式控制器、属性适配器和数据发送器；

配置当前类型业务中所需使用的字段名称和类型，段名重复性检查器和配置逻辑校验器对字段名称和类型进行配置检查和控制；

属性适配器根据配置的属性字段类型将值匹配到属性字段中，格式控制器对匹配完成属性字段名和值进行数据格式化为标准结构数据信息，数据发送器将标准结构数据信息发送到数据组装模块；

进一步地，所述数据使用端包括具有属性字段类型与属性字段位置值对应关系的数据解析方法的数据接收模块和数据使用模块；

所述数据接收模块，包括数据接收器和数据缓存器，所述数据使用模块，包括具体的数据使用模块、类型适配器和格式解析器；

数据接收器，接收数据发送器发送的标准结构数据信息；

数据缓存器，用于缓存标准结构数据信息；

格式解析器，匹配标准结构数据信息是否正确进行格式验证；

类型适配器，属性字段名称和属性字段数据类型获取到属性字段位置值；

具体的数据使用模块，将获取的属性字段位置值作为具体的数据使用模块的使用参数。

本申请提供了一种结构化数据的动态使用系统，包括数据组装模块与规则判断模块；

所述数据组装模块，将数据使用方输入数据解析方法所需的基本数据信息或新增的属性字段组装生成标准结构数据信息；

所述规则判断模块，生成数据解析方法，并根据数据解析方法对标准结构数据信息进行解析出属性字段类型所对应的属性字段位置值，将获取的属性字段位置值作为下位数据使用模块的参数。

在反欺诈系统有数据组装模块和规则判断模块，在配置规则时通过数据组装模块将数据组装完成后传输到规则判断模块进行数据分析和判断。且一次传输时将输送大量数据，因此需要将数据结构化后发送，在规则判断模块中解析出对应的属性字段的值执行规则。使用本申请的方法进行组装和解析数据后，对于规则的实时部署、数据传输效率都有良好的保障。

在反欺诈系统有数据组装模块和规则判断模块，在配置规则时通过数据组装模块将数据组装完成后传输到规则判断模块进行数据分析和判断。且一次传输时将输送大量数据，因此需要将数据结构化后发送，在规则判断模块中解析出对应的属性字段的值执行规则。使用本申请的方法进行组装和解析数据后，对于规则的实时部署、数据传输效率都有良好的保障。

本申请所涉及的场景为一个数据准备方一个数据使用方，数据准备方通过网络向数据使用方传递输入供数据使用方使用。传统这种数据对接模式中，双方会事先定义固定的数据结构(事先定义的数据结构将包含属性字段名称、类型、属性字段之间的包含关系等，会形成一个明确的结构文件，比如Java的class)明确数据传递的格式以保证数据的正确性。

本申请中事先不做数据结构的详细定义，仅协议传输数据的格式(比如：json、xml等)在数据使用时候根据实现协议好的字段位置通过数据解析方法获取到对应位置属性字段的值即可。而数据解析方法将按照实现协议好的数据格式进行解析。

数据输入方根据数据使用方需要的字段属性按照协议的格式组装数据，数据使用方在接收到数据以后不需要进行数据解析，只需将数据传递给需要使用数据的模块，在使用数据时实时进行数据解析获取到需要属性字段的值对数据进行使用。数据解析是一个在数据使用方内置的工具(方法模块)，在此工具中提供根据协议的数据格式解析具体位置的属性字段的值，同时可根据使用需要获取到属性字段对应的数据类型。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本申请通过双方协议定义属性字段类型与属性字段位置值解析关系，所以在数据组装方以及数据使用方之间无须对数据结构进行详细定义，只需要使用方输入使用当时所需的属性字段，减少了传输时候的字符量，提高了数据传输的效率，最为重要的是，本申请由数据组装方与数据使用方协议来确定属性字段类型与属性字段位置值关系，在解析时候必须获取得到属性字段类型与属性字段位置值关系才能进行解析，即数据不固定，避免了现有的非法使用者利用数据解析即可获取数据导致的数据安全性低的问题；

2.本申请使用方的下位数据使用模块只需要通过数据解析的方法得到相应的属性字段，无需重新建立数据，降低开发和成本，增加、修改或减少需要使用的属性字段时，直接在输入端按照格式要求增加，使用端直接解析获取，不需要编译、部署、上线过程，可以做到属性字段维护实时生效；

3.本申请的结构化的数据的动态使用方法定义属性字段类型与属性字段位置值解析关系，在数据使用领域具备通用性，适用范围广；

4.在使用固定的数据结构进行数据传输时候，所需定义的数据结构中属性字段会有上千个字段，但是在每一次调用具体的业务模块时需要使用数据字段一般有几十个，但是在固定数据结构方式传输数据时没有值的字段也需要将字段名进行传输，每次传输的数据量是本申请方法下传输数据量的2到3倍，换言之，本申请大大提高了数据传输的效率，减少了数据冗余；

5.对于丰富的业务场景需要各种各样的数据字段对业务进行支撑处理，且各类数据又具有较大的异构性，但是本申请将去掉数据结构定义，对于此类异构数据的兼容性大大增强，克服了需要建立数据结构来增加数据传输效率的技术偏见；

6.本申请在扩展性方面由于协议大于定义的思路进行系统架构，无需再维护一个固定的数据结构，系统根据业务的发展将会增加需要输入的属性字段及类型，在本申请中增加字段可实时添加而且没有任何的编码级修改，仅需对发送端和使用端进行正确配置即可使用，在业务时效性方面有相当大的提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。

图1是本申请的系统示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

一种结构化数据的动态使用系统，包括具有属性字段类型与属性字段位置值对应关系的数据解析方法的数据组装模块与规则判断模块；

所述数据组装模块，将数据使用方输入数据解析方法所需的基本数据信息或新增的属性字段类型组装生成标准结构数据信息；

所述规则判断模块，生成数据解析方法，并根据数据解析方法对标准结构数据信息进行解析出属性字段类型所对应的属性字段位置值，将获取的属性字段位置值作为下位数据使用模块的参数；

由于业务的需要规则会经常性的调整，在规则中需要临时增加一个属性字段时，需要规则管理人员在数据组装模块中配置增加需要加入的字段，在规则判断模块中加入对于新增属性字段的值解析方法，就可以将加入的属性字段的值作为输入参数参与到规则的运算中。无需重新定义输入的数据结构、编译输入端程序、发布和上线的操作。

实施例二

一种结构化数据的动态使用系统，包括具有属性字段类型与属性字段位置值对应关系的数据解析方法的数据组装模块与规则判断模块；

所述数据组装模块，将数据使用方输入数据解析方法所需的基本数据信息或新增的属性字段组装生成标准结构数据信息；

所述规则判断模块，根据数据解析方法对标准结构数据信息进行解析出属性字段类型所对应的属性字段位置值，将获取的属性字段位置值作为下位数据使用模块的参数；

由于业务场景繁多，每一个场景所需要用到的属性字段差异较大，因此在使用固定的数据结构进行数据传输时候，所需定义的数据结构中属性字段会有上千个字段，但是在每一次调用具体的业务模块时需要使用数据字段一般有几十个，但是在固定数据结构方式传输数据时没有值的字段也需要将字段名进行传输，每次传输的数据量是动态数据机构方式下传输数据量的2到3倍。

实施例三

一种结构化数据的动态使用系统，所述数据组装端包括具有属性字段类型与属性字段位置值对应关系的数据解析方法的数据配置模块与数据组装模块；

所述数据配置模块，包括段名重复性检查器、配置逻辑校验器，所述数据组装模块，包括格式控制器、属性适配器和数据发送器；

配置当前类型业务中所需使用的字段名称和类型，段名重复性检查器和配置逻辑校验器对字段名称和类型进行配置检查和控制；

属性适配器根据配置的属性字段将值匹配到属性字段中，格式控制器对匹配完成属性字段名和值进行数据格式化为标准结构数据信息，数据发送器将标准结构数据信息发送到数据组装模块；

进一步地，所述数据使用端包括数据接收模块和数据使用模块；

所述数据接收模块，包括数据接收器和数据缓存器，所述数据使用模块，包括具体的数据使用模块、类型适配器和格式解析器；

数据接收器，接收数据发送器发送的标准结构数据信息；

数据缓存器，用于缓存标准结构数据信息；

格式解析器，匹配标准结构数据信息是否正确进行格式验证；

类型适配器，属性字段名称和属性字段数据类型获取到属性字段位置值；

具体的数据使用模块，将获取的属性字段位置值作为具体的数据使用模块的使用参数，最后完成具体的数据使用模块的数据输入。

具体地，属性字段类型与属性字段位置之间的对应关系，知道类型和位置就能获取到对应的数据。数据类型会有很多种，不同数据类型解析方式不一样，比如：int、double、string、date(时间)、array(数组)等等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种结构化数据的动态使用方法，其特征在于，包括以下步骤：

步骤1：按照数据组装方与数据使用方的协议生成属性字段类型与属性字段位置值对应关系的数据解析方法；

步骤2：生成解析数据所需的标准结构数据信息；

所述步骤2的具体步骤为：

步骤2.1：数据使用方输入数据解析方法所需的基本数据信息，所述基本数据信息包括属性字段名称、属性字段类型、属性字段之间的包含关系；

步骤2.2：数据组装方根据数据解析方法对基本数据信息进行组装生成标准结构数据信息；

步骤3：数据使用方根据数据解析方法对标准结构数据信息解析获取到对应的属性字段位置值，将获取的属性字段位置值作为下位数据使用模块的参数。