CN108664665A - 数据格式转化方法、装置、设备及可读存储介质 - Google Patents

数据格式转化方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN108664665A
CN108664665A CN201810498504.9A CN201810498504A CN108664665A CN 108664665 A CN108664665 A CN 108664665A CN 201810498504 A CN201810498504 A CN 201810498504A CN 108664665 A CN108664665 A CN 108664665A
Authority
CN
China
Prior art keywords
data
transformed
format
conversion
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810498504.9A
Other languages
English (en)
Inventor
臧磊
傅婧
郭鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201810498504.9A priority Critical patent/CN108664665A/zh
Publication of CN108664665A publication Critical patent/CN108664665A/zh
Withdrawn legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据格式转化方法、装置、设备及可读存储介质,所述方法包括:根据接收到的指令定义数据转化平台的接口参数,接收数据转化请求,根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。本发明能够提高维护风控系统的效率、提高数据格式转化的效率和降低维护系统的成本。

Description

数据格式转化方法、装置、设备及可读存储介质
技术领域
本发明涉及数据转化领域,尤其涉及一种数据格式转化方法、装置、设备及计算机可读存储介质。
背景技术
目前,随着计算机软件技术的发展,大多数数据源都是定制化开发,不同的数据源对应的数据类型一般不一样。
在不同的系统中,存储数据的数据库往往存在差别,但是系统之间往往存在较为紧密的依赖关系,一个系统在正常运行时,可能经常需要从一个或多个其他的系统中导入或导出数据,或者,经常将该系统的数据同步到一个或多个其他的系统中去。
然而,由于不同的数据源对应的数据类型一般不一样,这导致不同系统之间在进行数据导入、数据导出、以及数据同步任务时,会由于数据格式不同而无法进行,或者需要先进行数据格式转化,而通过大量的代码进行数据格式转化时,会导致数据导入或者导出的时间较长,而影响系统的工作效率。
发明内容
本发明的主要目的在于提出一种数据格式转化方法、装置、设备及计算机可读存储介质,旨在提高维护系统的效率、提高数据格式转化的效率和降低维护系统的成本。
为实现上述目的,本发明提供一种数据格式转化方法,所述方法包括:
根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;
根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
此外,为实现上述目的,本发明还提供一种数据格式转化装置,所述装置包括:
参数定义模块,用于根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
接收模块,用于接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
提取模块,用于根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;
格式转化模块,用于根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
此外,为实现上述目的,本发明还提供一种数据格式转化设备,所述数据格式转化设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的数据格式转化程序,所述数据格式转化程序被所述处理器执行时实现如上所述的数据格式转化方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据格式转化程序,所述已接入数据格式转化程序被处理器执行时实现如上所述的数据格式转化方法的步骤。
本发明提出的数据格式转化方法、装置、设备及计算机可读存储介质,首先根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;实时接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;并根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;再根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据,从而实现通过接口进行数据格式转化,提高了维护系统的效率、提高数据格式转化的效率和降低维护系统的成本。
附图说明
图1为本发明数据格式转化方法第一实施例的流程示意图;
图2为本发明数据格式转化方法中根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化的步骤的细化流程示意图;
图3为本发明数据格式转化方法第二实施例中通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据的步骤的细化流程示意图;
图4为本发明数据格式转化方法第三实施例中的流程示意图;
图5是本发明实施例方案涉及的硬件运行环境的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种数据格式转化方法。
参照图1,图1为本发明数据格式转化方法第一实施例的流程示意图。
在本实施例中,该方法包括:
步骤S10,根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
在本实施例中,采用通过接口对数据的格式进行转化,即在接入数据之前,首先通过预设的数据转化平台对数据进行格式转化,由于不同的系统存在多个,各个系统接入的数据的格式不同,因此所述数据转化平台可以存在多个接口,每个接口存在不同的参数,当然,当需要进行数据格式转化的系统只有一个时,所述数据转化平台也可以只包括一个接口,在此不做限定。在进行接口参数定义时,具体可以根据各个系统保存的数据类型进行设置,或者根据接收到的数据类型进行设置,欺诈,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称,本实施例优先采用根据接收到的待转化数据类型对接口参数进行设置,以便对接收到的待转化数据进行过滤后再进行转化。
步骤S20,接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
在对各个接口的参数进行定义之后,可实时监测是否接收到数据转化请求,具体为通过数据转化平台对数据转化请求进行监测,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
步骤S30,根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;
当接收到数据转化请求时,根据所述数据转化请求中的待转化数据类型和待转化数据源类型提取对应的接口参数,即确定通过哪个接口对所述待转化数据进行格式转化,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;即对待转化数据进行过滤,从而判断待转化数据是否符合当前接口的转化要求,具体地,可以通过对所述待转化数据进行数据分析,获得所述待转化数据的参数,其中,所述待转化数据的参数包括数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;然后将所述待转化数据的数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称分别与所述接口参数进行匹配;若在所述接口参数中匹配到与所述待转化数据的参数一致的各个参数,其中,在本实施例中,要求待转化数据的各个参数都与接口参数中,对应的参数一致,才确定待转化数据符合当前接口的转化要求,比如待转化数据的数据类型与接口参数中的数据类型一致,数据字段标识与接口参数中的数据字段标识一致等,否则,确定所述待转化数据不符合当前接口的转化要求,并将所述待转化数据删除,不对接收到的待转化数据进行格式转化。
步骤S40,根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
在通过数据分析,确定所述待转化数据符合当前接口的转化要求之后,即可对待转化数据进行格式转化,具体地,首先根据所述目的转化类型和目的转化格式,然后根据所述目的转化类型和目的转化格式提取与当前接口对应的转化规则,由于待转化数据的类型有多种,因此也存在多种转化规则,然后将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
进一步地,参照图2,当所述待转化数据为json字符串数据,目的转化类型为json,目的转化格式为数组时,
所述步骤S40包括:
步骤S41,获取json数据的字符长度,并获取待转化格式的数组字符长度;
在本实施例中,当所述待转化数据为json字符串数据,目的转化类型为json,目的转化格式为数组时,提取的转化规则即为将json字符串转化为json数组的规则,其中,所述规则可以为预设的代码,即执行对应的代码,从而进行数据格式转化。具体地,首先获取json数据的字符长度,并获取待转化格式的数组字符长度;
步骤S42,获取json数据对应的主键和键值,根据所述主键和键值以及所述待转化格式的数组字符长度对json数据进行嵌套处理,获得JSONObject字符串;
然后进一步获取json数据对应的主键和键值,在json数据,就是一个猪键对应一个键值,通常通过使用的是大括号{}进行表示,如:{key:value},即key为主键,对应的键值为value。然后根据所述主键和键值以及所述待转化格式的数组字符长度对json数据进行嵌套处理,即根据所述待转化格式的数组字符长度,选取符合待转化格式的数组字符长度的数据,并将选取到的数据对应的主键和键值嵌套到同一列表中,然后将所述json数据对应的主键和键值转化为JSONObject字符串;
步骤S43,将所述JSONObject字符串进行拼接,获得格式转化后的数组。
然后将所述JSONObject字符串进行拼接,即先提取JSONObject字符串中需要输出的信息,具体可通过getString("")分别提取需要数据的信息,然后将提取到的信息进行拼接至同一列表或预设位置中,即可完成数据格式的转化,从而获得格式转化后的数组。
可以理解的是,本实施例中的数据格式转化并不局限与将json字符串转化为json数组,还可以为将MySQL、Oracle、Hive,Hdfs等格式的数据转化为json格式的数据,在此不做限制,转化的流程与上述json字符串转化为json数组的流程一致,只是具体的转化参数存在差异,在此不再赘述。
本实施例提出的数据格式转化方法,首先根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;实时接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;并根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;再根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据,从而实现通过接口进行数据格式转化,提高了维护系统的效率、提高数据格式转化的效率和降低维护系统的成本。
进一步地,参照图3,基于本发明数据格式转化方法第一实施例提出本发明数据格式转化方法第二实施例。
在本实施例中,所述步骤S30包括:
步骤S31,对所述待转化数据进行数据分析,获得所述待转化数据的参数,其中,所述待转化数据的参数包括数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
在本实施例中,在进行数据格式转化之前,需要对待转化数据进行分析,获得所述待转化数据的参数,其中,所述待转化数据的参数包括数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;以便判断待转化数据是否符合当前接口的转化要求,其中,所述数据类型可直接通过数据转化请求获得,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称可具体通过对待转化数据进行语义分析,然后进行字段提取获得。
步骤S32,将所述待转化数据的数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称分别与所述接口参数进行匹配;
然后将所述待转化数据的数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称分别与所述接口参数进行匹配;即查找接口参数中是否存在与待转化数据的数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称一致的参数。
步骤S33,若在所述接口参数中匹配到与所述待转化数据的参数一致的各个参数,则确定所述待转化数据符合当前接口的转化要求,否则,确定所述待转化数据不符合当前接口的转化要求,并将所述待转化数据删除。
若在所述接口参数中匹配到与所述待转化数据的参数一致的各个参数,则确定所述待转化数据符合当前接口的转化要求,否则,确定所述待转化数据不符合当前接口的转化要求,并将所述待转化数据删除。其中,在本实施例中,要求待转化数据的各个参数都与接口参数中,对应的参数一致,才确定待转化数据符合当前接口的转化要求,比如待转化数据的数据类型与接口参数中的数据类型一致,数据字段标识与接口参数中的数据字段标识一致等,否则,确定所述待转化数据不符合当前接口的转化要求,并将所述待转化数据删除,不对接收到的待转化数据进行格式转化。
进一步地,参照图4,基于本发明数据格式转化方法第一实施例提出本发明数据格式转化方法第三实施例。
在本实施例中,所述步骤S40之后的步骤还包括:
步骤S50,在预设时间内统计数据格式转化后的数据的使用次数及频率;
步骤S60,若所述使用次数及频率小于对应的预设阈值,则生成删除提示信息,并将所述删除提示信息向用户进行推送。
在本实施例中,在将数据格式进行转化之后,在预设时间内,可以进一步统计数据格式转化后的数据的使用次数及频率,并将所述数据的使用次数与频率与对应的预设阈值进行对比,其中,所述预设阈值可以根据对应的系统的存储空间进行设置,当系统的存储空间较大时,可以将预设阈值设置为较小的值,当系统的存储空间较小时,从而提高系统存储空间的性能,可以将预设阈值设置为较大的值。若所述使用次数及频率小于对应的预设阈值,则说明数据被使用的次数与频率较少,则生成删除提示信息,并将所述删除提示信息向用户进行推送,以便用户进行删除,避免占用系统的存储空间。
进一步地,所述步骤S10之后的步骤还包括:
在接口参数中设置数据和\或流量警告阀值、并发量异常提前预警。
在本实施例,在定义接口参数之后,还可以进一步设置数据警告阀值、流量、并发量异常提前预警,即设置接口接收数据量或使用流量的极限,当接口接收到的数据过多或使用流量过多时,即触发数据警告,以及设置并发量异常提前预警,即设置接口可同时进行数据转化的并发量,当并发量超过阈值时,进行提前预警,从而避免接口因数据过多等原因而崩溃。
本发明进一步提供一种数据格式转化装置,所述装置包括:
参数定义模块,用于根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
接收模块,用于接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
提取模块,用于根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;
格式转化模块,用于根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
需要说明的是,数据格式转化装置的各个实施例与上述数据格式转化方法的各实施例基本相同,在此不再详细赘述。
此外,本发明还提供一种数据格式转化设备。如图5所示,图5是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图5即可为数据格式转化设备的硬件运行环境的结构示意图。本发明实施例数据格式转化设备可以是PC,便携计算机等终端设备。
如图5所示,该数据格式转化设备可以包括:处理器1001,例如CPU,网络接口1004,存储器1005,用户接口1003,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,数据格式转化设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解,图5中示出的数据格式转化设备结构并不构成对数据格式转化设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图5所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据格式转化程序。其中,操作系统是管理和控制数据格式转化设备硬件和软件资源的程序,支持数据格式转化程序以及其它软件或程序的运行。
在图5所示的数据格式转化设备中,用户接口1003主要用于获取待传输数据,以及输出提示信息等,网络接口1004主要用于连接接收端,与接收端进行数据通信;处理器1001可以用于调用存储器1005中存储的数据格式转化程序,并执行如上所述的数据格式转化方法的步骤。
本发明数据格式转化设备具体实施方式与上述数据格式转化方法各实施例基本相同,在此不再赘述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有数据格式转化程序,所述数据格式转化程序被处理器执行时实现如上所述的数据格式转化方法的步骤。
本发明计算机可读存储介质具体实施方式与上述数据格式转化方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据格式转化方法,其特征在于,所述方法包括以下步骤:
根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;
根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
2.如权利要求1所述的数据格式转化方法,其特征在于,所述通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据的步骤包括:
对所述待转化数据进行数据分析,获得所述待转化数据的参数,其中,所述待转化数据的参数包括数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
将所述待转化数据的数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称分别与所述接口参数进行匹配;
若在所述接口参数中匹配到与所述待转化数据的参数一致的各个参数,则确定所述待转化数据符合当前接口的转化要求,否则,确定所述待转化数据不符合当前接口的转化要求,并将所述待转化数据删除。
3.如权利要求1所述的数据格式转化方法,其特征在于,当所述待转化数据为json字符串数据,目的转化类型为json,目的转化格式为数组时,
所述根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化的步骤包括:
获取json数据的字符长度,并获取待转化格式的数组字符长度;
获取json数据对应的主键和键值,根据所述主键和键值以及所述待转化格式的数组字符长度对json数据进行嵌套处理,获得JSONObject字符串;
将所述JSONObject字符串进行拼接,获得格式转化后的数组。
4.如权利要求1所述的数据格式转化方法,其特征在于,所述获得进行格式转化后的数据的步骤之后,还包括:
在预设时间内统计数据格式转化后的数据的使用次数及频率;
若所述使用次数及频率小于对应的预设阈值,则生成删除提示信息,并将所述删除提示信息向用户进行推送。
5.如权利要求1-4任一项所述的数据格式转化方法,其特征在于,所述根据接收到的指令定义数据转化平台的接口参数的步骤之后,还包括:
在接口参数中设置数据警告阀值、流量、并发量异常提前预警。
6.一种数据格式转化装置,其特征在于,所述装置包括:
参数定义模块,用于根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
接收模块,用于接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
提取模块,用于根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;
格式转化模块,用于根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
7.一种数据格式转化设备,其特征在于,所述数据格式转化设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的数据格式转化程序,所述数据格式转化程序被所述处理器执行时实现如下步骤:
根据接收到的指令定义数据转化平台的接口参数,其中,所述接口参数包括数据源类型以及数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
接收数据转化请求,其中,所述数据转化请求包括待转化数据、待转化数据类型、待转化数据源类型、目的转化类型和目的转化格式;
根据所述待转化数据类型和待转化数据源类型提取对应的接口参数,并通过提取到的接口参数对待转化数据进行数据分析,获得符合当前接口转化要求的待转化数据;
根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化,获得进行格式转化后的数据。
8.如权利要求7所述的数据格式转化设备,其特征在于,所述数据格式转化程序被所述处理器执行时还实现如下步骤:
对所述待转化数据进行数据分析,获得所述待转化数据的参数,其中,所述待转化数据的参数包括数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称;
将所述待转化数据的数据类型,数据字段标识,数据字段名称,数据最大长度,数据通用标识以及通用名称分别与所述接口参数进行匹配;
若在所述接口参数中匹配到与所述待转化数据的参数一致的各个参数,则确定所述待转化数据符合当前接口的转化要求,否则,确定所述待转化数据不符合当前接口的转化要求,并将所述待转化数据删除。
9.如权利要求7所述的数据格式转化设备,其特征在于,所述数据格式转化程序被所述处理器执行时还实现如下步骤:
所述根据所述目的转化类型和目的转化格式,将数据分析后的待转化数据通过对所述接口参数对应的转化规则进行拼接嵌套,从而对所述数据分析后的待转化数据进行格式转化的步骤包括:
获取json数据的字符长度,并获取待转化格式的数组字符长度;
获取json数据对应的主键和键值,根据所述主键和键值以及所述待转化格式的数组字符长度对json数据进行嵌套处理,获得JSONObject字符串;
将所述JSONObject字符串进行拼接,获得格式转化后的数组。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据格式转化程序,所述已接入数据格式转化程序被处理器执行时实现如权利要求1至5中任一项所述的数据格式转化方法的步骤。
CN201810498504.9A 2018-05-22 2018-05-22 数据格式转化方法、装置、设备及可读存储介质 Withdrawn CN108664665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810498504.9A CN108664665A (zh) 2018-05-22 2018-05-22 数据格式转化方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810498504.9A CN108664665A (zh) 2018-05-22 2018-05-22 数据格式转化方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN108664665A true CN108664665A (zh) 2018-10-16

Family

ID=63776551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810498504.9A Withdrawn CN108664665A (zh) 2018-05-22 2018-05-22 数据格式转化方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN108664665A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766262A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 接口数据处理方法、自动化测试方法、装置、设备和介质
CN110362630A (zh) * 2019-07-19 2019-10-22 深圳前海微众银行股份有限公司 数据管理方法、装置、设备与计算机可读存储介质
CN111708750A (zh) * 2019-12-27 2020-09-25 山东鲁能软件技术有限公司 一种基于大数据平台存储适配方法,系统,设备及可读存储介质
CN112311559A (zh) * 2019-07-24 2021-02-02 中兴通讯股份有限公司 计数器自定义过滤方法、装置以及计算机可读存储介质
CN113032332A (zh) * 2021-02-26 2021-06-25 广东核电合营有限公司 标牌数据处理方法、装置、计算机设备和存储介质
CN113407457A (zh) * 2021-07-08 2021-09-17 软子数字软件(广州)有限公司 多数据类型参数化定义及程序引用处理方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766262A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 接口数据处理方法、自动化测试方法、装置、设备和介质
CN109766262B (zh) * 2018-12-15 2022-05-06 深圳壹账通智能科技有限公司 接口数据处理方法、自动化测试方法、装置、设备和介质
CN110362630A (zh) * 2019-07-19 2019-10-22 深圳前海微众银行股份有限公司 数据管理方法、装置、设备与计算机可读存储介质
CN110362630B (zh) * 2019-07-19 2023-11-28 深圳前海微众银行股份有限公司 数据管理方法、装置、设备与计算机可读存储介质
CN112311559A (zh) * 2019-07-24 2021-02-02 中兴通讯股份有限公司 计数器自定义过滤方法、装置以及计算机可读存储介质
CN111708750A (zh) * 2019-12-27 2020-09-25 山东鲁能软件技术有限公司 一种基于大数据平台存储适配方法,系统,设备及可读存储介质
CN113032332A (zh) * 2021-02-26 2021-06-25 广东核电合营有限公司 标牌数据处理方法、装置、计算机设备和存储介质
CN113407457A (zh) * 2021-07-08 2021-09-17 软子数字软件(广州)有限公司 多数据类型参数化定义及程序引用处理方法和系统
CN113407457B (zh) * 2021-07-08 2023-11-07 软子数字软件(广州)有限公司 多数据类型参数化定义及程序引用处理方法和系统

Similar Documents

Publication Publication Date Title
CN108664665A (zh) 数据格式转化方法、装置、设备及可读存储介质
CN110020010A (zh) 数据处理方法、装置及电子设备
CN109684047A (zh) 事件处理方法、装置、设备和计算机存储介质
CN107643932B (zh) 一种数据采集方法、采集装置以及存储装置
CN112363695B (zh) Pmml文件及其运行时环境与工业软件的集成方法
CN108197091B (zh) 一种创建数据表的方法、系统及相关设备
CN107958059B (zh) 智能问答方法、装置、终端和计算机可读存储介质
CN109710631A (zh) 辅助生成sql代码的方法、装置、设备及计算机存储介质
CN103488655B (zh) 复合模型数据处理方法及系统
CN104598570A (zh) 资源的抓取方法及装置
CN105335466A (zh) 一种音频数据的检索方法与装置
CN107277095B (zh) 会话分割方法及装置
CN111522840A (zh) 标签的配置方法、装置、设备及计算机可读存储介质
CN112667632B (zh) 一种元数据处理方法及装置
KR20210000041A (ko) 로그 데이터의 실시간 분석 방법 및 그 장치
CN114968917A (zh) 一种文件数据快速导入方法及装置
CN106169988B (zh) 巡检系统中传输数据的方法
CN104750823B (zh) 推广情况数据的查询方法及装置
CN103607497B (zh) 联系人关联装置及方法
CN112445811A (zh) 基于sql配置的数据服务方法、装置、存储介质及组件
CN104156358B (zh) 一种用于数据库的表的批量读取方法、装置和系统
CN109284097A (zh) 实现复杂数据分析的方法、设备、系统及存储介质
EP3912058A1 (en) Profile data store automation via bots
CN107861969A (zh) 语句修改方法、扫描平台和计算机可读存储介质
CN110727654B (zh) 分布式系统的数据提取方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181016

WW01 Invention patent application withdrawn after publication