发明内容
本发明提供一种配置文件式开放数据获取方法、装置及电子设备,用以解决现有技术中调用web管理系统的相关接口获取第三方平台所需的开放数据而导致的web管理系统的网络安全性低且存在被攻击的风险的缺陷,实现中间平台设置的配置文件灵活且安全获取web管理系统中相关开放数据的目的。
本发明提供一种配置文件式开放数据获取方法,包括:
预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期;
将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中;
确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
根据本发明提供的一种配置文件式开放数据获取方法,所述配置文件包括快照类数据的计算方法及时钟计算周期时,所述将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中,包括:
将所述配置文件发送至web管理器,以使得所述web管理器基于所述快照类数据的计算方法及时钟计算周期分别进行周期性计算且确定每个周期性计算所得数据分别为所述第三方平台所需的第三方快照数据后存储至所述数据库中。
根据本发明提供的一种配置文件式开放数据获取方法,所述配置文件包括快照类数据和实时类数据的标识参数时,所述确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据,包括:
确定接收到第三方数据获取请求时,基于所述快照类数据和实时类数据的标识参数判断所述第三方数据获取请求的请求类型;
当确定所述请求类型为快照类数据请求时,从所述数据库中获取所述快照类数据请求对应的目标第三方快照数据。
根据本发明提供的一种配置文件式开放数据获取方法,所述配置文件包括实时类数据的计算方法及实时计算周期时,在所述确定接收到第三方数据获取请求时,基于所述快照类数据和实时类数据的标识参数判断所述第三方数据获取请求的请求类型的步骤之后,所述方法还包括:
当确定所述请求类型为实时类数据请求时,将所述实时类数据请求作为查询任务存储至消息队列中,以使得所述web管理器基于所述消息队列中的查询任务进行实时计算且将实时计算所得数据确定为所述第三方平台所需的第三方实时数据后存储至所述数据库中。
根据本发明提供的一种配置文件式开放数据获取方法,所述配置文件包括第三方数据获取请求的请求频率阈值时,所述确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据,包括:
确定接收到第三方数据获取请求时,统计所述第三方数据获取请求的累计请求频率;
判断所述累计请求频率与所述请求频率阈值的大小关系;
确定所述累计请求频率小于等于所述请求频率阈值时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
根据本发明提供的一种配置文件式开放数据获取方法,所述配置文件包括敏感数据的特征标识及其安全验证方式时,所述确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据,包括:
确定接收到第三方数据获取请求时,基于所述敏感数据的特征标识判断所述第三方数据获取请求的第三方数据是否为敏感数据;
确定所述第三方数据为敏感数据时,通过调用所述web管理器进入安全验证页面;
基于所述安全验证页面输入的账号和密码,得到所述敏感数据的获取凭证;
基于所述获取凭证和所述配置文件,解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
根据本发明提供的一种配置文件式开放数据获取方法,所述方法还包括:
从所述数据库中获取所述目标第三方实时数据,并指示所述数据库删除所述目标第三方实时数据;
将所述目标第三方实时数据反馈至所述第三方平台。
根据本发明提供的一种配置文件式开放数据获取方法,所述配置文件包括每个第三方数据的数据有效期时,所述从所述数据库中获取与所述请求类型匹配的目标第三方数据,包括:
基于所述每个第三方数据的数据有效期,判断所述数据库中与所述请求类型匹配的目标第三方数据是否有效;
若确定所述目标第三方数据有效,则从所述数据库中获取所述目标第三方数据。
本发明还提供一种配置文件式开放数据获取系统,包括:第三方平台、web管理器、中间平台及数据库,其中:
所述中间平台设置在所述第三方平台与所述数据库之间,所述中间平台分别与所述数据库和所述第三方平台建立通信连接,所述web管理器与所述数据库建立通信连接;
所述第三方平台,用于向所述中间平台下发第三方数据获取请求;
所述中间平台,用于预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期,并将所述配置文件发送至所述web管理器;
所述web管理器,用于基于所述配置文件分别进行计算,并确定每个计算所得数据分别为所述第三方平台所需的第三方数据后存储至所述数据库中;
所述数据库,用于接收所述web管理器发送的所述第三方数据并进行存储;
所述中间平台,用于确定接收到所述第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
本发明还提供一种配置文件式开放数据获取装置,包括:
确定模块,用于预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期;
发送模块,用于将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中;
获取模块,用于确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述配置文件式开放数据获取方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述配置文件式开放数据获取方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述配置文件式开放数据获取方法的步骤。
本发明提供的配置文件式开放数据获取方法、装置及电子设备,其中配置文件式开放数据获取方法,通过预先确定配置文件并加载所述配置文件。由于所述配置文件包括每种类型数据的标识参数、计算方法及计算周期,因此将所述配置文件发送至web管理器时能够使得web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中,而不是第三方平台直接从web管理器中获取相关开放数据,以此降低了web管理器的安全隐患;进一步的,当开放平台接收到第三方数据获取请求时,基于配置文件解析第三方数据获取请求的请求类型,并从数据库中获取与请求类型匹配的目标第三方数据,以此通过第三方平台和web管理器之间的中间平台中设置配置文件的方式,实现从web管理器中获取相关开放数据的目的,有效提高了第三方平台获取开放数据的灵活性和安全性,同时也极大提升了web管理器的网络安全性低及风险攻击能力。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图4描述本发明的配置文件式开放数据获取方法、装置及电子设备,其中配置文件式开放数据获取方法的执行主体为配置文件式开放数据获取系统的中间平台,中间平台可以为开放接口中间件,并且,中间平台设置在第三方平台与web管理器之间,web管理器可以为web管理系统。
图1为本发明提供的配置文件式开放数据获取方法的流程示意图,如图1所示,该配置文件式开放数据获取方法,包括以下步骤:
步骤110、预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期。
具体的,中间平台中可以预先确定配置文件,也即,可以针对第三方平台所需获取的第三方数据的不同类别设置对应标识参数,不同的标识参数对应的第三方数据的类型不同;也可以针对每种类型的第三方数据设置对应的计算方法及计算周期,比如每种类型的第三方数据在何时计算以及采用何种方法计算。以此在中间平台中生成配置文件。
步骤120、将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中。
具体的,本发明中对外公布的是中间平台的相关接口名称,而并不公布web管理器的实际接口名称,中间平台将配置文件发送至web管理器,以使得web管理器在配置文件的加载下读取每种类型数据的计算方法及计算周期并分别进行计算,再进一步将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中。其中,数据库可以是远程字典服务(Remote Dictionary Server,Redis)数据库。
步骤130、确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
具体的,当中间平台接收到第三方平台发送的第三方数据获取请求时,基于配置文件中每种类型数据的标识参数解析第三方数据获取请求的请求类型,也即从第三方数据获取请求中解析表征请求类型的参数,再将该参数与每种类型数据的标识参数进行匹配且确定匹配成功时对应的目标第三方数据类型,进一步再从数据库中获取目标第三方数据类型对应的目标第三方数据,目标第三方数据可以包括目标第三方实时数据和/或目标第三方快照数据。
需要说明的是,中间平台所生成的配置文件中还可以包括与第三方平台对接的中间平台的接口名称,因此,当中间平台从数据库中获取到目标第三方数据时,可以基于配置文件确定中间平台的对应接口且在该对应接口开放时目标第三方数据通过中间平台的对应接口反馈至第三方平台,以此进一步提高了web管理器的安全性。
此外,第三方平台向中间平台发送的第三方数据获取请求中还可以携带指定接口,比如某一具体链接地址,以使得中间平台从数据库中获取到目标第三方数据后可以基于该指定接口反馈至第三方平台。
本发明提供的配置文件式开放数据获取方法,通过预先确定配置文件并加载所述配置文件。由于所述配置文件包括每种类型数据的标识参数、计算方法及计算周期,因此将所述配置文件发送至web管理器时能够使得web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中,而不是第三方平台直接从web管理器中获取相关开放数据,以此降低了web管理器的安全隐患;进一步的,当开放平台接收到第三方数据获取请求时,基于配置文件解析第三方数据获取请求的请求类型,并从数据库中获取与请求类型匹配的目标第三方数据,以此通过第三方平台和web管理器之间的中间平台中设置配置文件的方式,实现从web管理器中获取相关开放数据的目的,有效提高了第三方平台获取开放数据的灵活性和安全性,同时也极大提升了web管理器的网络安全性低及风险攻击能力。
可选的,所述配置文件包括快照类数据的计算方法及时钟计算周期时,步骤120的具体实现过程可以包括:
将所述配置文件发送至web管理器,以使得所述web管理器基于所述快照类数据的计算方法及时钟计算周期分别进行周期性计算且确定每个周期性计算所得数据分别为所述第三方平台所需的第三方快照数据后存储至所述数据库中。
具体的,中间平台将配置文件发送至web管理器,以使得web管理器在配置文件的加载下读取快照类数据的计算方法及时钟计算周期分别进行周期性计算,当快照类数据的数量为3个时每个快照类数据的计算方法及时钟计算周期也不相同,也即快照数据不同时对应不同的时钟计算周期。比如快照类数据为一天内每小时计算一次快照数据1、一天内每隔半小时计算一次快照数据2、一天内每隔15分钟计算一次快照数据3,并将每次计算所得的快照数据1、快照数据2及快照数据3确定为对应第三方平台所需获取的第三方快照数据,再进一步将每个第三方快照数据存储至数据库中。
本发明提供的配置文件式开放数据获取方法,通过web管理器基于快照类数据的计算方法及时钟计算周期分别进行周期性计算的方式,得到各个第三方平台所需的第三方快照数据并存储至数据库,以此为接收到快照类数据获取请求快速且准确获取对应快照数据提供有力依据。
可选的,所述配置文件包括快照类数据和实时类数据的标识参数时,步骤130的实现过程可以包括:
确定接收到第三方数据获取请求时,基于所述快照类数据和实时类数据的标识参数判断所述第三方数据获取请求的请求类型;当确定所述请求类型为快照类数据请求时,从所述数据库中获取所述快照类数据请求对应的目标第三方快照数据。
具体的,当中间平台接收到第三方平台发送的第三方数据获取请求时,基于配置文件中每个快照类数据的标识参数及每个实时类数据的标识参数,解析第三方数据获取请求的请求类型,也即从第三方数据获取请求中解析表征请求类型的参数,再将该参数与每个快照类数据的标识参数与及每个实时类数据的标识参数进行匹配且当该参数与某一快照类数据的标识参数匹配成功时,确定第三方数据获取请求所需获取的具体快照数据类型,再基于该具体快照数据类型从数据库中获取与该具体快照数据类型对应的目标第三方快照数据。比如,第三方数据获取请求的请求类型与快照数据2的标识参数匹配成功时,可以确定第三方数据获取请求获取快照数据2,并从数据库中获取快照数据2对应的各个快照数据2。
本发明提供的配置文件式开放数据获取方法,通过基于配置文件中快照类数据和实时类数据的标识参数解析第三方数据获取请求的请求类型为快照类数据请求时,直接从数据库中获取快照类数据请求对应的目标第三方快照数据,无需再调用web管理器获取,提高了获取快照数据的高效性和准确性。
可选的,当所述配置文件包括实时类数据的计算方法及实时计算周期时,在所述确定接收到第三方数据获取请求时,基于所述快照类数据和实时类数据的标识参数判断所述第三方数据获取请求的请求类型的步骤之后,所述方法还包括:
当确定所述请求类型为实时类数据请求时,将所述实时类数据请求作为查询任务存储至消息队列中,以使得所述web管理器基于所述消息队列中的查询任务进行实时计算且将实时计算所得数据确定为所述第三方平台所需的第三方实时数据后存储至所述数据库中。
具体的,当中间平台接收到第三方平台发送的第三方数据获取请求时,将配置文件中每个快照类数据的标识参数及每个实时类数据的标识参数,分别与第三方数据获取请求中表征请求类型的参数进行匹配,且当该参数与某一实时数据(比如实时数据3)的标识参数匹配成功时,确定第三方数据获取请求为获取具体类型实时数据(比如获取实时数据3)的具体类型实时数据获取请求,并将具体类型实时数据获取请求作为查询任务存储至消息队列中,以使得web管理器基于消息队列中的查询任务分别进行实时计算且将每个实时计算所得数据确定为第三方平台所需的目标第三方实时数据后存储至数据库中。从而在配置文件中包括与第三方平台对接的中间平台的接口名称且基于配置文件确定出匹配接口时,中间平台可以在该匹配接口开放时从数据库中获取目标第三方实时数据且将目标第三方实时数据通过该匹配接口反馈至第三方平台。
需要说明的是,当具体类型实时数据获取请求的数量很多时,存储至消息队列中的查询任务也会相应增加,每个查询任务分别对应一个具体类型实时数据获取请求,此时消息队列中的多个查询任务可以以先进先出的方式经由web管理器读取并分别进行计算,以此进一步提高web管理器的数据管理效率。
本发明提供的配置文件式开放数据获取方法,中间平台基于配置文件确定第三方数据获取请求为实时类数据获取请求时,通过将实时类数据获取请求作为查询任务存储至消息队列且经由web管理器读取查询任务并实时计算的方式,将实时计算所得数据确定为第三方平台所需的第三方实时数据后存储至数据库中,以此进一步提高通过中间平台获取第三方平台所需各种实时数据的灵活性和可靠性。
可选的,所述配置文件包括第三方数据获取请求的请求频率阈值时,所述确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据,包括:
确定接收到第三方数据获取请求时,统计所述第三方数据获取请求的累计请求频率;判断所述累计请求频率与所述请求频率阈值的大小关系;确定所述累计请求频率小于等于所述请求频率阈值时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
具体的,为了放置第三方数据获取频次过多造成web管理器的压力过大,可以在配置文件中预先设置第三方数据获取请求的请求频率阈值,使得当中间平台接收到第三方数据获取请求时,可以首先判断第三方数据获取请求的累计请求频率是否超过请求频域阈值,当确定累计请求频率未超过请求频率阈值时,才能进一步执行基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据的步骤;反之,当确定累计请求频率超过请求频率阈值时,可以输出报错提示,以提示第三方平台当前web管理系统已达到访问上限且不再处理数据获取请求。示例性的,若请求频率阈值为1次/秒或者100次/小时,当第三方数据获取请求的累计请求频率为2次/秒或者101次/小时时,可以输出报错提示。
需要说明的是,针对第三方数据获取请求的频次限制过程,还可以通过令牌桶算法进行控制。
本发明提供的配置文件式开放数据获取方法,通过针对接收的第三方数据获取请求,首先判断其累计请求频率是否超过请求频率阈值且判定累计请求频率并未超过请求频率阈值时才执行后续的开放数据获取操作,以此方式能够更加高效的保护web管理器的稳定性和安全性,从而也提高了通过配置文件获取开放数据的灵活性和安全性。
可选的,所述配置文件包括敏感数据的特征标识及其安全验证方式时,所述确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据,包括:
确定接收到第三方数据获取请求时,基于所述敏感数据的特征标识判断所述第三方数据获取请求的第三方数据是否为敏感数据;确定所述第三方数据为敏感数据时,通过调用所述web管理器进入安全验证页面;基于所述安全验证页面输入的账号和密码,得到所述敏感数据的获取凭证;基于所述获取凭证和所述配置文件,解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
具体的,当第三方平台所需获取的数据涉及敏感数据时,比如也要对敏感数据进行安全保护,此处敏感数据是指泄漏后可能会给社会或个人带来严重危害的数据,包括个人隐私数据,如姓名、身份证号码、住址、电话、银行账号、邮箱、密码、医疗信息、教育背景等;也包括企业或社会机构不适合公布的数据,如企业的经营情况和企业的网络结构、IP地址列表等。
因此,为了加强敏感数据的保护,可在配置文件中预先设置敏感数据的特征标识及其安全验证方式,特征标识可以包括表征个人隐私数据或企事业单保密数据的特征,当接收到第三方数据获取请求时,首先判断第三方数据获取请求的第三方数据是否为敏感数据,当确定第三方数据为敏感数据时,通过调用web管理器进入安全验证页面,基于安全验证页面输入的账号和密码确定安全验证通过时,可以得到敏感数据的获取凭证,然后基于敏感数据的获取凭证,才能执行基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据的步骤;反之,当确定第三方数据为非敏感数据时,则无需进行安全验证,可以直接执行基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据的步骤。
需要说明的是,当第三方平台的数量较多或者某一第三方平台所需获取的数据的种类较多时,可以首先对所需获取的多种不同类型的数据分别进行敏感数据识别,比如所需获取快照数据1、快照数据2、实时数据1、实时数据2及实时数据3这5种第三方数据时,先判断该5种第三方数据是否涉及敏感数据,并针对5种第三方数据中的敏感数据先进行安全验证、后执行数据获取的过程,敏感数据的种类不同时对应的安全验证方式也可以不同。
本发明提供的配置文件式开放数据获取方法,当中间平台基于配置文件中设置的敏感数据的特征标识判定第三方数据获取请求所需获取的第三方数据涉及敏感数据时,基于配置文件中设置的敏感数据的安全验证方式先进入安全验证页面进行安全验证,待安全验证通过后才能执行后续的数据获取操作,提高了基于配置文件获取数据的多样性和安全性。
可选的,在web管理器基于消息队列中的查询任务进行实时计算且将实时计算所得数据确定为第三方平台所需的第三方实时数据后存储至数据库后,所述方法还包括:
从所述数据库中获取所述目标第三方实时数据,并指示所述数据库删除所述目标第三方实时数据;将所述目标第三方实时数据反馈至所述第三方平台。
具体的,由于实时类数据的量通常较大,因此为了确保数据库的存储效率及数据存储安全性,可以在中间平台从数据库中获取到第三方平台所需的目标第三方实时数据时,可以指示数据库删除目标第三方实时数据,然后中间平台再进一步将目标第三方实时数据反馈至第三方平台。
需要说明的是,数据库中也可以设置实时数据自动删除条件,实时数据自动删除条件包括第三方实时数据A被中间平台获取时表征第三方实时数据A满足删除条件,此时当第三方实时数据A被中间平台获取后即可自动删除。以此实现在数据库中最大化存储第三方实时数据的目的。
本发明提供的配置文件式开放数据获取方法,中间平台从数据库中获取到目标第三方实时数据时通过删除数据库内的目标第三方实时数据的方式,提高了数据库内实时类数据的存储效率及存储安全性,也能进一步提高中间平台获取实时类数据的高效性和安全性。
可选的,当中间平台接收到第三方数据请求且基于配置文件解析到第三方数据获取请求的请求类型时,为了确保第三方平台所需获取的数据的有效性,可以预先在配置文件设置每个第三方数据的数据有效期,此时,所述从所述数据库中获取与所述请求类型匹配的目标第三方数据,其过程可以包括:
基于所述每个第三方数据的数据有效期,判断所述数据库中与所述请求类型匹配的目标第三方数据是否有效;若确定所述目标第三方数据有效,则从所述数据库中获取所述目标第三方数据。
具体的,为了确保第三方平台每次所获得的第三方数据充分有效且能够被第三方平台正常使用,可在配置文件中预先设置每个第三方数据的有效期,也即每个第三方数据的有效时间,此时,当中间平台解析出第三方数据获取请求的请求类型时,可以首先判断数据库中存储的与请求类型匹配的目标第三方数据是否还处于有效期,当确定数据库中存储的目标第三方数据还处于有效期时,也即此时数据库中存储的目标第三方数据仍旧有效,此时可以直接从数据库中获取该目标第三方数据;反之,当确定数据库中存储的目标第三方数据已不在其有效期内,可以确定数据库中存储的目标第三方数据已无效,此时可以向对应第三方平台反馈数据无效的提示信息。
本发明提供的配置文件式开放数据获取方法,当中间平台基于配置文件中设置的每个第三方数据的数据有效期判定与第三方数据获取请求的请求类型匹配的目标第三方数据有效时才执行从数据库读取目标第三方数据及向第三方平台反馈的操作,以此提高了第三方平台获取开放数据的可靠性和稳定性。
下面对本发明提供的配置文件式开放数据获取系统进行描述,下文描述的配置文件式开放数据获取系统与上文描述的配置文件式开放数据获取方法可相互对应参照。
图2示例了本发明提供的配置文件式开放数据获取系统,如图2所示,该配置文件式开放数据获取系统200,包括:第三方平台210、web管理器230、中间平台220及数据库240,其中:
所述中间平台220设置在所述第三方平台210与所述数据库240之间,所述中间平台220分别与所述数据库240和所述第三方平台210建立通信连接,所述web管理器230与所述数据库240建立通信连接;
所述第三方平台210,用于向所述中间平台220下发第三方数据获取请求;
所述中间平台220,用于预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期,并将所述配置文件发送至所述web管理器230;
所述web管理器230,用于基于所述配置文件分别进行计算,并确定每个计算所得数据分别为所述第三方平台所需的第三方数据后存储至数据库240中;
所述数据库240,用于接收所述web管理器230发送的所述第三方数据并进行存储。
所述中间平台220,用于确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库240中获取与所述请求类型匹配的目标第三方数据。
可选的,中间平台220,还用于将所述配置文件发送至web管理器230,以使得所述web管理器230基于所述快照类数据的计算方法及时钟计算周期分别进行周期性计算且确定每个周期性计算所得数据分别为所述第三方平台210所需的第三方快照数据后存储至所述数据库240中。
可选的,中间平台220,还用于确定接收到第三方数据获取请求时,基于所述快照类数据和实时类数据的标识参数判断所述第三方数据获取请求的请求类型;当确定所述请求类型为快照类数据请求时,从所述数据库240中获取所述快照类数据请求对应的目标第三方快照数据。
可选的,中间平台220,还用于当确定所述请求类型为实时类数据请求时,将所述实时类数据请求作为查询任务存储至消息队列中,以使得所述web管理器230基于所述消息队列中的查询任务进行实时计算且将实时计算所得数据确定为所述第三方平台210所需的第三方实时数据后存储至所述数据库240中。
可选的,中间平台220,还用于确定接收到第三方数据获取请求时,统计所述第三方数据获取请求的累计请求频率;判断所述累计请求频率与请求频率阈值的大小关系;确定所述累计请求频率小于等于所述请求频率阈值时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库240中获取与所述请求类型匹配的目标第三方数据。
可选的,中间平台220,还用于确定接收到第三方数据获取请求时,基于敏感数据的特征标识判断所述第三方数据获取请求的第三方数据是否为敏感数据;确定所述第三方数据为敏感数据时,通过调用所述web管理器230进入安全验证页面;基于所述安全验证页面输入的账号和密码,得到所述敏感数据的获取凭证;基于所述获取凭证和所述配置文件,解析所述第三方数据获取请求的请求类型,并从所述数据库240中获取与所述请求类型匹配的目标第三方数据。
可选的,中间平台220,还用于从所述数据库240中获取所述目标第三方实时数据,并指示所述数据库240删除所述目标第三方实时数据;将所述目标第三方实时数据反馈至所述第三方平台210。
可选的,中间平台220,还用于基于每个第三方数据的数据有效期,判断所述数据库240中与所述请求类型匹配的目标第三方数据是否有效;若确定所述目标第三方数据有效,则从所述数据库240中获取所述目标第三方数据。
下面对本发明提供的配置文件式开放数据获取装置进行描述,下文描述的配置文件式开放数据获取装置与上文描述的配置文件式开放数据获取方法可相互对应参照。
图3示例了本发明提供的配置文件式开放数据获取装置,如图3所示,该配置文件式开放数据获取装置300,包括:
确定模块310,用于预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期;
发送模块320,用于将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中;
获取模块330,用于确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
可选的,发送模块320,具体还可以用于将所述配置文件发送至web管理器,以使得所述web管理器基于快照类数据的计算方法及时钟计算周期分别进行周期性计算且确定每个周期性计算所得数据分别为所述第三方平台所需的第三方快照数据后存储至所述数据库中。
可选的,获取模块330,具体可以用于确定接收到第三方数据获取请求时,基于快照类数据和实时类数据的标识参数判断所述第三方数据获取请求的请求类型;当确定所述请求类型为快照类数据请求时,从所述数据库中获取所述快照类数据请求对应的目标第三方快照数据。
可选的,所述装置还可以包括处理模块,用于当确定所述请求类型为实时类数据请求时,将所述实时类数据请求作为查询任务存储至消息队列中,以使得所述web管理器基于所述消息队列中的查询任务进行实时计算且将实时计算所得数据确定为所述第三方平台所需的第三方实时数据后存储至所述数据库中。
可选的,获取模块330,具体还可以用于确定接收到第三方数据获取请求时,统计所述第三方数据获取请求的累计请求频率;判断所述累计请求频率与请求频率阈值的大小关系;确定所述累计请求频率小于等于所述请求频率阈值时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
可选的,获取模块330,具体还可以用于确定接收到第三方数据获取请求时,基于所述敏感数据的特征标识判断所述第三方数据获取请求的第三方数据是否为敏感数据;确定所述第三方数据为敏感数据时,通过调用所述web管理器进入安全验证页面;基于所述安全验证页面输入的账号和密码,得到所述敏感数据的获取凭证;基于所述获取凭证和所述配置文件,解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
可选的,所述装置还包括删除模块,用于从所述数据库中获取所述目标第三方实时数据,并指示所述数据库删除所述目标第三方实时数据;将所述目标第三方实时数据反馈至所述第三方平台。
可选的,获取模块330,具体还可以用于基于所述每个第三方数据的数据有效期,判断所述数据库中与所述请求类型匹配的目标第三方数据是否有效;若确定所述目标第三方数据有效,则从所述数据库中获取所述目标第三方数据。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备400可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行配置文件式开放数据获取方法,该方法包括:
预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期;
将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中;
确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的配置文件式开放数据获取方法,该方法包括:
预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期;
将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中;
确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的配置文件式开放数据获取方法,该方法包括:
预先确定配置文件并加载所述配置文件,所述配置文件包括每种类型数据的标识参数、计算方法及计算周期;
将所述配置文件发送至web管理器,以使得所述web管理器基于所述配置文件分别进行计算且将每个计算所得数据分别确定为第三方平台所需的第三方数据后存储至数据库中;
确定接收到第三方数据获取请求时,基于所述配置文件解析所述第三方数据获取请求的请求类型,并从所述数据库中获取与所述请求类型匹配的目标第三方数据。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。