CN113094192B - 一种数据处理方法、装置、介质和设备 - Google Patents

一种数据处理方法、装置、介质和设备 Download PDF

Info

Publication number
CN113094192B
CN113094192B CN202110441537.1A CN202110441537A CN113094192B CN 113094192 B CN113094192 B CN 113094192B CN 202110441537 A CN202110441537 A CN 202110441537A CN 113094192 B CN113094192 B CN 113094192B
Authority
CN
China
Prior art keywords
data
identifier
pool
provider server
identifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110441537.1A
Other languages
English (en)
Other versions
CN113094192A (zh
Inventor
骆德腾
廖祥俐
周斯航
蔡辉
曹偲
周翔
乐意
张�杰
李成凯
吴敬达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Cloud Music Technology Co Ltd
Original Assignee
Hangzhou Netease Cloud Music Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Cloud Music Technology Co Ltd filed Critical Hangzhou Netease Cloud Music Technology Co Ltd
Priority to CN202110441537.1A priority Critical patent/CN113094192B/zh
Publication of CN113094192A publication Critical patent/CN113094192A/zh
Application granted granted Critical
Publication of CN113094192B publication Critical patent/CN113094192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/12Protecting executable software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/541Interprogram communication via adapters, e.g. between incompatible applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及一种数据处理方法、装置、介质和设备。在数据提供方服务端中为数据接收方创建一一对应的数据池和数据标识池,数据接收方客户端可以根据数据提供方服务端下发的数据接收方对应的数据池标识,利用数据提供方服务端提供的第一接口,从数据标识池中获取数据标识集合,进而可以利用数据提供方服务端提供的第二接口,从数据池中获取对应的数据。这样在实现版权数据的转授时,数据接收方客户端可以通过数据提供方提供的指定接口,与数据提供方进行交互,而数据提供方无需对自身提供的接口进行适配。由此使得数据转授过程只需在数据接收方一侧进行开发,无需进行两端开发,有效降低实现过程的复杂性,并减少实现过程的耗时。

Description

一种数据处理方法、装置、介质和设备
技术领域
本公开涉及互联网技术领域,特别涉及一种数据处理方法、装置、介质和设备。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
数据提供方获得的具有版权的数据(可以简称为版权数据),例如,与音乐相关的具有版权的数据(可以简称为音乐类版权数据),可以根据自有权利重新授权(转授)给数据接收方使用。数据接收方(可以记为下游版权方)可以从数据提供方(可以记为上游版权方)获得转授的版权数据,并使用获得的版权数据。
一个上游版权方可以向多个下游版权方进行转授。每个下游版权方需要获取的版权数据包括的具体内容可能不同,获取版权数据的方式也可能不同。
下游版权方获取版权数据的方式可以是定时拉取上游版权方存放在文件传输协议(FTP)服务器中的版权数据,也可以是通过人工收发邮件方式,通过邮件获取版权数据。但是这两种方式无法保证版权数据传输的实时性,不能满足部分下游版权方对于版权数据传输实时性的需求。
为了满足版权数据传输实时性的需求,下游版权方获取版权数据的方式也可以是下游版权方提供开放接口,由上游版权方对其进行适配,上游版权方可以在对需要转授的版权数据进行存储、记录的基础上,采用监听版权数据变更的方式,当监听到有版权数据发生变更时,就主动将发生变更的版权数据按照下游版权方要求的数据格式推送给对方。
但是这种方式针对每一下游版权方,均需要上游版权方与该下游版权方双方的开发人员进行介入,需要进行两端开发,实现过程较为复杂耗时。
发明内容
本公开实施例提供一种数据处理方法、装置、介质和设备,用于解决版权数据的转授实现过程较为复杂耗时的问题。
第一方面,本公开提供了一种数据处理方法,所述方法应用于基于数据提供方服务端提供的指定接口开发的客户端中,所述数据提供方服务端中创建有一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识,所述方法包括:
调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;
获取所述数据提供方服务端根据所述数据标识获取请求提供的数据标识集合,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合;
调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
获取所述数据提供方服务端根据所述数据获取请求提供的数据,所述数据为从所述数据池标识对应的数据池中获取的所述数据标识集合中每个数据标识对应的数据。
可选的,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合。
可选的,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的添加有版本标识,未添加锁定标识的数据标识组成的集合;
所述方法还包括:
利用获取到的添加的版本标识表示最高版本的数据,更新获取到的添加的版本标识不同的同一数据标识对应的数据。
可选的,所述方法还包括:
调用所述数据提供方服务端提供的第三接口,通过所述第三接口,向所述数据提供方服务端反馈数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据,以便所述数据提供方服务端从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
可选的,获取所述数据提供方服务端根据所述数据获取请求提供的数据,包括:
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据中指定格式的非静态资源;以及,
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据的下载地址,根据所述下载地址下载得到该数据中的静态资源。
可选的,调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,包括:
通过线程池中的至少两个线程调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求。
可选的,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,包括:
通过定时轮询的方式,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求。
可选的,所述方法还包括:
调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定所述数据提供方服务端对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
第二方面,本公开还提供了一种数据处理方法,所述方法应用于提供指定接口的数据提供方服务端中,所述数据提供方服务端中创建有一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识,所述方法包括:
接收所述客户端调用所述数据提供方服务端提供的第一接口,通过所述第一接口发送的数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;
响应于接收到所述数据标识获取请求,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,向所述客户端提供数据标识集合;
接收所述客户端调用所述数据提供方服务端提供的第二接口,通过所述第二接口发送的数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
响应于接收到所述数据获取请求,向所述客户端提供所述数据,其中所述数据为所述数据池标识对应的数据池中与所述数据标识集合中每个数据标识对应的数据。
可选的,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,包括:
从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合;
向所述客户端提供所述数据之后,所述方法还包括:
为所述数据标识池中所述数据标识集合对应的数据标识添加锁定标识。
可选的,从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合,包括:
从所述数据池标识对应的数据标识池中获取添加有版本标识,未添加锁定标识的数据标识组成的集合。
可选的,所述方法还包括:
接收所述客户端调用所述数据提供方服务端提供的第三接口,通过所述第三接口,反馈的数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据;
响应于接收到所述数据保存确认消息,从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
可选的,所述方法还包括:
响应于向所述客户端提供所述数据之后的设定时长内,未接收到所述数据保存确认消息,去除为所述数据标识集合对应的数据标识添加的锁定标识。
可选的,所述方法还包括:
响应于监听到所述数据池对应的数据增加请求,在所述数据池中增加数据;以及,
在对应的数据标识池中增加所述数据对应的数据标识。
可选的,所述方法还包括:
响应于监听到所述数据池对应的数据更新请求,在所述数据池中更新数据;以及,
若对应的数据标识池中不包括该数据的数据标识,在对应的数据标识池中增加添加的版本标识更新后的数据标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识未添加锁定标识,更新该数据标识中添加的版本标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识添加有锁定标识,去除该锁定标识,并更新该数据标识中添加的版本标识。
可选的,所述数据池通过以下方式创建:
根据预先建立的数据字段模板与转授合同的关联,确定所述数据接收方对应的字段配置信息,所述字段配置信息用于表示针对所述数据接收方提供的数据包括的字段;
根据针对每条数据,获取到的所述字段配置信息包括的每个字段的数据内容,组装得到所述数据池包括的该条数据。
可选的,所述方法还包括:
所述客户端调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
第三方面,本公开还提供了一种数据处理装置,所述装置应用于基于数据提供方服务端提供的指定接口开发的客户端中,所述数据提供方服务端中创建有一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识,所述装置包括:
调用模块,用于调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
获取模块,用于获取所述数据提供方服务端根据所述数据标识获取请求提供的所述数据标识集合,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合;获取所述数据提供方服务端根据所述数据获取请求提供的数据,所述数据为从所述数据池标识对应的数据池中,获取的所述数据标识集合中每个数据标识对应的数据。
可选的,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合。
可选的,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的添加有版本标识,未添加锁定标识的数据标识组成的集合;
所述装置还包括更新模块,用于利用获取到的添加的版本标识表示最高版本的数据,更新获取到的添加的版本标识不同的同一数据标识对应的数据。
可选的,所述调用模块,还用于调用所述数据提供方服务端提供的第三接口,通过所述第三接口,向所述数据提供方服务端反馈数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据,以便所述数据提供方服务端从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
可选的,所述获取模块,获取所述数据提供方服务端根据所述数据获取请求提供的数据,包括:
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据中指定格式的非静态资源;以及,
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据的下载地址,根据所述下载地址下载得到该数据中的静态资源。
可选的,所述调用模块,调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,包括:
通过线程池中的至少两个线程调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求。
可选的,所述调用模块,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,包括:
通过定时轮询的方式,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求。
可选的,所述装置还包括鉴权模块,用于所述发送模块调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定所述数据提供方服务端对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
第四方面,本公开还提供了一种数据处理装置,所述装置应用于提供指定接口的数据提供方服务端中,所述装置包括:
数据管理模块,用于创建一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识;
接收模块,用于接收所述客户端调用所述数据提供方服务端提供的第一接口,通过所述第一接口发送的数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;接收所述客户端调用所述数据提供方服务端提供的第二接口,通过所述第二接口发送的数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
响应模块,用于响应于接收到所述数据标识获取请求,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,向所述客户端提供所述数据标识集合;响应于接收到所述数据获取请求,向所述客户端提供所述数据,其中所述数据为所述数据池标识对应的数据池中与所述数据标识集合中每个数据标识对应的数据。
可选的,所述响应模块,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,包括:从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合;
所述数据管理模块,还用于所述响应模块向所述客户端提供所述数据之后,为所述数据标识池中所述数据标识集合对应的数据标识添加锁定标识。
可选的,所述响应模块,从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合,包括:从所述数据池标识对应的数据标识池中获取添加有版本标识,未添加锁定标识的数据标识组成的集合。
可选的,所述接收模块,还用于接收所述客户端调用所述数据提供方服务端提供的第三接口,通过所述第三接口,反馈的数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据;
所述响应模块,还用于响应于接收到所述数据保存确认消息,从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
可选的,所述响应模块,还用于响应于向所述客户端提供所述数据之后的设定时长内,所述接收模块未接收到所述数据保存确认消息,去除为所述数据标识集合对应的数据标识添加的锁定标识。
可选的,所述数据管理模块,还用于响应于监听到所述数据池对应的数据增加请求,在所述数据池中增加数据;以及,在对应的数据标识池中增加所述数据对应的数据标识。
可选的,所述数据管理模块,还用于响应于监听到所述数据池对应的数据更新请求,在所述数据池中更新数据;以及,
若对应的数据标识池中不包括该数据的数据标识,在对应的数据标识池中增加添加的版本标识更新后的数据标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识未添加锁定标识,更新该数据标识中添加的版本标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识添加有锁定标识,去除该锁定标识,并更新该数据标识中添加的版本标识。
可选的,所述数据管理模块,通过以下方式创建所述数据池:
根据预先建立的数据字段模板与转授合同的关联,确定所述数据接收方对应的字段配置信息,所述字段配置信息用于表示针对所述数据接收方提供的数据包括的字段;
根据针对每条数据,获取到的所述字段配置信息包括的每个字段的数据内容,组装得到所述数据池包括的该条数据。
可选的,所述装置还包括:
鉴权模块,用于所述客户端调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
第五方面,本公开还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有可执行程序,该可执行程序被处理器执行实现如上所述的方法。
第六方面,本公开还提供了一种数据处理设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存储的程序时,实现如上所述的方法步骤。
根据本公开实施例提供的方案,可以在数据提供方服务端中为数据接收方创建一一对应的数据池和数据标识池,数据接收方对应的客户端可以根据数据提供方服务端下发的数据接收方对应的数据池标识,利用数据提供方服务端提供的第一接口,从对应的数据标识池中获取数据标识集合,进而可以利用数据提供方服务端提供的第二接口,从对应的数据池中获取数据标识集合对应的数据。这样在实现版权数据的转授时,数据接收方对应的客户端可以通过数据提供方提供的指定接口,与数据提供方进行交互,而数据提供方无需对自身提供的接口进行适配,即可以根据指定接口,基于数据池和数据标识池,向数据接收方对应的客户端提供数据。由此使得数据转授过程只需在数据接收方一侧进行开发,无需进行两端开发,有效降低实现过程的复杂性,并减少实现过程的耗时。
本公开的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的数据处理方法的流程示意图;
图2为本公开实施例提供的数据处理方法的流程示意图;
图3为本公开实施例提供的数据字段模板的示意图;
图4为本公开实施例提供的数据处理流程示意图;
图5为本公开实施例提供的数据处理装置的结构示意图;
图6为本公开实施例提供的数据处理装置的结构示意图;
图7为本公开实施例提供的数据处理设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,显然,所描述的实施例仅仅是本公开的一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对目前版权数据转授过程需要进行两端开发,实现过程较为复杂耗时的问题,本公开实施例提供的解决方案中,可以在数据提供方服务端中,针对数据接收方创建一一对应的数据池和数据标识池,并提供访问数据标识池的接口(可以记为第一接口)和访问数据池的接口(可以记为第二接口)。基于数据提供方服务端提供的访问接口开发的数据接收方对应的客户端,可以根据数据提供方服务端下发的数据接收方对应的数据池标识,基于数据提供方服务端提供的访问接口,访问数据提供方服务端中对应的数据标识池和数据池,实现数据获取。
进一步的,本公开实施例提供的解决方案中,还可以在数据提供方服务端中,提供客户端反馈接口(可以记为第三接口)。客户端可以基于反馈接口,向数据提供方服务端反馈数据保存确认消息,数据提供方服务端可以根据客户端反馈的消息,对数据标识池中的数据标识进行更新,以确保客户端可以成功保存对应的数据池中的数据,并避免客户端重复获取已经被成功保存的数据,从而避免资源浪费,节约系统资源。
需要说明的是,数据接收方可以通过在数据提供方服务端(可以理解为数据提供方开放平台,开放平台可以理解为基于开放应用编程接口(OpenApi)协议,提供给开发者的一套包括鉴权、请求、接口调用等功能的平台系统)自助申请账号的方式,获取对数据提供方服务端提供的各个接口进行调用的授权,进而后续可以对获得调用授权的各个接口进行调用。
为了保证各数据接收方可以统一简便快捷调用数据提供方服务端提供的各个接口,且为了保护数据提供方的数据安全和接口稳定性,数据提供方服务端可以提供统一的软件开发工具包(SDK)来作为数据接收方客户端接入工具。
下面分别从数据接收方客户端侧和数据提供方服务端侧,对本公开提供的方案进行说明。
从数据接收方客户端侧,本公开实施例提供一种数据处理方法,该方法的步骤流程可以如图1所示,包括:
步骤101、调用数据提供方服务端提供的第一接口,通过第一接口,向数据提供方服务端发送数据标识获取请求。
在本实施例中,可以理解为数据提供方服务端中创建有一一对应的数据池和数据标识池,数据池包括针对客户端对应的数据接收方提供的数据,数据标识池包括数据池中数据的数据标识。数据接收方客户端可以理解为基于数据提供方服务端提供的指定接口开发的客户端。在一种可能的实现方式中,数据接收方客户端可以理解为基于数据提供方服务端提供的SDK开发的客户端。
在本步骤中,数据接收方客户端可以调用数据提供方服务端提供的用于访问数据标识池的第一接口,通过第一接口,请求从数据提供方服务端获取数据标识。
数据标识获取请求中可以携带预先配置的数据池标识。数据标识获取请求中携带的数据池标识可以理解为数据提供方服务端向客户端下发的、针对该客户端对应的数据接收方创建的数据池的标识。
可以理解为,针对一个数据接收方,数据提供方服务端可以创建至少一个数据池,每个数据池对应一个数据标识池。
如果针对该数据接收方,数据提供方服务端创建有至少两个数据池,在一种可能的实现方式中,数据提供方服务端向客户端下发的数据池的标识,可以是针对该数据接收方创建的每个数据池的标识。数据标识获取请求中可以携带数据提供方服务端下发的每个数据池的标识。
例如,假设针对该数据接收方,数据提供方服务端创建有两个数据池,记为biz1和biz2,那么数据提供方服务端可以向客户端下发对应的数据池标识bizId1和bizId2,同时向数据提供方服务端发送的数据获取请求中也可以携带bizId1和bizId2,以向数据提供方服务端为客户端创建的对应数据池请求获取数据。
在一种可能的实现方式中,在本步骤中,可以通过定时轮询的方式,调用数据提供方服务端提供的第一接口,通过第一接口,向数据提供方服务端发送数据标识获取请求,以实现数据的实时获取,保证数据传输的实时性。
步骤102、获取数据提供方服务端根据数据标识获取请求提供的数据标识集合。
在本步骤中,数据接收方客户端可以获取数据提供方服务端允许访问的数据标识集合,数据标识集合为数据提供方服务端从数据标识获取请求中携带的数据池标识对应的数据标识池中,获取的数据标识组成的集合。
在一种可能的实现方式中,一个数据标识集合可以理解为数据提供方服务端从一个数据池标识对应的数据标识池中,获取的至少一个数据标识组成的集合。此时,可以理解为,针对数据标识获取请求中携带的每个数据池标识,获取一个数据标识集合。在本步骤中,可以获得一批数据标识。
步骤103、调用数据提供方服务端提供的第二接口,通过第二接口,向数据提供方服务端发送数据获取请求。
在本步骤中,数据接收方客户端可以调用数据提供方服务端提供的用于访问数据池的第二接口,通过第二接口,请求从数据提供方服务端获取数据。
数据获取请求可以理解为用于请求获取数据标识集合中的数据标识对应的数据。
为了提高数据的获取效率,在一种可能的实现方式中,数据接收方客户端可以通过线程池中的至少两个线程调用数据提供方服务端提供的第二接口,通过第二接口,向数据提供方服务端发送数据获取请求。
其中,在一种可能的实现方式中,可以理解为,针对获取的每个数据标识集合,可以通过线程池中的一个线程调用数据提供方服务端提供的第二接口,通过第二接口,向数据提供方服务端发送数据获取请求。
步骤104、获取数据提供方服务端根据数据获取请求提供的数据。
在本步骤中,数据接收方客户端可以获取数据提供方服务端允许访问的数据,所述数据为从数据标识获取请求中携带的数据池标识对应的数据池中,获取的数据标识集合中每个数据标识对应的数据。
可以理解为,由于在数据提供方服务端中建立了数据池和数据标识池之间的一一对应关系,针对从数据标识池中获取的数据标识集合,即可以从对应的数据池中获取数据标识集合中每个数据标识对应的数据。
考虑到数据中可以包括静态资源(可以理解为非服务器动态运行生成的文件)和非静态资源,静态资源一般数据量较大,可使用内容分发网络(CDN)进行数据下载加速。因此在一种可能的实现方式中,针对一个数据标识对应的数据,数据池中可以包括该数据中指定格式的非静态资源,以及该数据中静态资源的下载地址。数据接收方客户端获取数据提供方服务端根据数据获取请求提供的数据,可以理解为包括:
获取数据提供方服务端根据数据获取请求,针对数据标识集合中每个数据标识对应的数据,从数据池标识对应的数据池中,获得的该数据中指定格式的非静态资源;以及,
获取数据提供方服务端根据数据获取请求,针对数据标识集合中每个数据标识对应的数据,从数据池标识对应的数据池中,获得的该数据的下载地址,根据下载地址下载得到该数据中的静态资源。
另外需要说明的是,为了确保数据接收方从数据提供方获取数据期间,该部分数据不会被同接口调用重复获取,以避免资源浪费,在一种可能的实现方式中,可以在向客户端提供数据标识集合之后,为数据标识池中数据标识集合对应的数据标识添加锁定标识。
此时可以理解为,从数据池标识对应的数据标识池中获取数据标识组成的集合,包括:从数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合。
此外,为了更好地识别数据的更新信息,还可以在数据标识中添加版本标识。在一种可能的实现方式中,可以理解为版本标识表示越高版本的数据,为越晚更新的数据,最近一次更新的数据的版本标识可以理解为表示该数据的最高版本。
此时可以理解为,从数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合,包括:从数据池标识对应的数据标识池中获取添加有版本标识,未添加锁定标识的数据标识组成的集合。
数据接收方客户端获取数据之后,可以根据版本标识进行数据更新,确保保存的数据为最新的数据。其中,数据接收方客户端可以利用获取到的添加的版本标识表示最高版本的数据,更新获取到的添加的版本标识不同的同一数据标识对应的数据。
通常,数据接收方客户端成功保存数据之后,才会认为数据成功被数据接收方客户端获取。由于网络传输的不可靠性,进一步的,数据接收方客户端还可以向数据提供方服务端反馈确认消息,以通知数据提供方服务端保存成功和/或保存失败的数据,使得数据提供方服务端可以及时了解客户端的数据保存情况,并可以根据数据保存情况及时更新数据标识池,确保数据可以被成功拉取,并防止数据被重复拉取,避免资源的浪费。此时,本实施例还可以在步骤104之后,包括以下步骤:
步骤105、调用数据提供方服务端提供的第三接口,通过第三接口,向数据提供方服务端反馈数据保存确认消息。
在本步骤中,数据接收方客户端可以调用数据提供方服务端提供的用于反馈确认消息的第三接口,通过第三接口,向数据提供方服务端反馈数据保存确认消息,数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据,使得数据提供方服务端可以根据反馈的数据保存确认消息进行数据标识池的更新。
在一种可能的实现方式中,数据保存确认消息可以通过一条消息来同时指示保存成功的数据和/或保存失败的数据,在另一种可能的实现方式中,数据保存确认消息还可以通过数据保存成功消息来指示保存成功的数据,通过数据保存失败消息来指示保存失败的数据。
另外,在一种可能的实现方式中,数据保存确认消息可以理解为用于指示针对客户端获取的数据标识集合,对应的一批数据是否全部保存成功,或者全部保存失败。此时数据保存确认消息可以理解为用于指示保存成功的数据为数据标识集合对应的一批数据,或者用于指示保存失败的数据为数据标识集合对应的一批数据。
在另一种可能的实现方式中,数据保存确认消息也可以理解为用于指示针对客户端获取的数据标识集合,对应的一批数据中的每个数据保存成功还是保存失败。此时数据保存确认消息可以理解为用于指示数据标识集合对应的一批数据中保存成功的数据,和/或,保存失败的数据。
数据提供方服务端根据接收到的数据保存确认消息,可以从数据标识池中删除保存成功的数据对应的数据标识,使得该客户端保存成功的数据不会被再次获取,避免数据重复拉取。
当然,如果在向客户端提供数据标识集合之后,为数据标识池中数据标识集合对应的数据标识添加了锁定标识,那么此时可以理解为:
数据提供方服务端可以从数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识。
数据提供方服务端根据接收到的数据保存确认消息,还可以从数据标识池中去除为保存失败的数据对应的数据标识添加的锁定标识,以将这部分数据标识恢复为初始状态,使得客户端可以再次调用第一接口获取这部分数据标识,进而获取对应的数据。
此外,在一种可能的实现方式中,如果向客户端提供数据之后的设定时长内,未接收到数据保存确认消息,可以理解为数据标识集合对应的一批数据保存失败,此时,可以去除为保存失败的数据对应的数据标识(即数据标识集合对应的数据标识)添加的锁定标识,以将这部分数据标识恢复为初始状态,使得客户端可以再次调用第一接口获取这部分数据标识,进而获取对应的数据。
可以理解为,如果向客户端提供数据之后的一段时间内,客户端都没有反馈数据保存确认消息,那么认为网络链路中可能存在数据丢失等问题,可以释放对数据标识的锁定,使得客户端可以重新获取对应的数据。
另外需要说明的是,为了保证数据提供方数据的安全性,客户端调用数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,可以进一步确定数据提供方服务端对客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功。数据接收方标识以及密钥可以理解为数据接收方在数据提供方服务端申请账号,获得对数据提供方服务端提供的各个接口进行调用的授权之后,数据提供方服务端针对该数据接收方配置并下发给对应的客户端的。
与从数据接收方客户端侧提供的数据处理方法对应的,从数据提供方服务端侧,本公开实施例进一步提供一种数据处理方法,该方法的步骤流程可以如图2所示,包括:
步骤201、接收客户端调用数据提供方服务端提供的第一接口,通过第一接口发送的数据标识获取请求。
在本步骤中,数据提供方服务端可以接收客户端调用第一接口,通过第一接口发送的数据标识获取请求,数据标识获取请求中携带预先配置的数据池标识。该数据池标识为数据提供方服务端向客户端下发的针对客户端对应的数据接收方创建的数据池的标识。
步骤202、响应于接收到数据标识获取请求,从数据池标识对应的数据标识池中获取数据标识组成的集合,向客户端提供数据标识集合。
在本步骤中,数据提供方服务端可以根据数据标识获取请求,从数据池标识对应的数据标识池中获取数据标识组成的集合提供给客户端,允许客户端访问。
步骤203、接收客户端调用数据提供方服务端提供的第二接口,通过第二接口发送的数据获取请求。
在本步骤中,数据提供方服务端可以接收客户端调用第二接口,通过第二接口发送的数据获取请求。数据获取请求用于请求获取数据标识集合中的数据标识对应的数据。
步骤204、响应于接收到数据获取请求,向客户端提供数据。
在本步骤中,数据提供方服务端可以根据数据获取请求,向客户端提供数据,允许客户端访问。其中,向客户端提供的数据为数据池标识对应的数据池中与数据标识集合中每个数据标识对应的数据。
在一种可能的实现方式中,在步骤202中,从数据池标识对应的数据标识池中获取数据标识组成的集合,包括:从数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合。此时在步骤204之后,还可以为数据标识池中数据标识集合对应的数据标识添加锁定标识。以通过加锁操作,保证后续同接口调用不会拉取相同的数据标识,由此避免对应的数据被重复拉取。
在一种可能的实现方式中,还可以在数据标识中添加版本标识,以更好地区分同一个数据被更新的先后顺序,使得客户端可以根据版本标识进行数据更新。此时,进一步的,从数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合,可以理解为包括:从数据池标识对应的数据标识池中获取添加有版本标识,未添加锁定标识的数据标识组成的集合。
进一步的,数据提供方服务端还可以根据客户端反馈的数据保存情况,及时更新数据标识池,确保数据可以被成功拉取,并防止数据被重复拉取,避免资源的浪费。此时,本实施例还可以在步骤204之后,包括以下步骤:
步骤205、接收客户端调用数据提供方服务端提供的第三接口,通过第三接口反馈的数据保存确认消息。
在本步骤中,数据提供方服务端可以接收客户端调用第三接口,通过第三接口反馈的数据保存确认消息,数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据,从而根据反馈的消息进行数据标识池的更新。
数据提供方服务端根据接收到的数据保存确认消息,可以从数据标识池中删除保存成功的数据对应的数据标识,使得该客户端保存成功的数据不会被再次获取,避免数据重复拉取。
如果在向客户端提供数据标识集合之后,为数据标识池中数据标识集合对应的数据标识添加了锁定标识,那么从数据标识池中删除保存成功的数据对应的数据标识,可以理解为:
从数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识。
数据提供方服务端根据接收到的数据保存确认消息,还可以从数据标识池中去除为保存失败的数据对应的数据标识添加的锁定标识,以将这部分数据标识恢复为初始状态,使得客户端可以再次调用第一接口获取这部分数据标识,进而获取对应的数据。
此外,在一种可能的实现方式中,如果向客户端提供数据之后的设定时长内,未接收到数据保存确认消息,可以去除为保存失败的数据对应的数据标识(即数据标识集合对应的数据标识)添加的锁定标识,以将这部分数据标识恢复为初始状态,使得客户端可以再次调用第一接口获取这部分数据标识,进而获取对应的数据。
需要说明的是,为了保证数据提供方数据的安全性,客户端调用数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,数据提供方服务端可以进一步确定对客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功。
另外,需要说明的是,本公开实施例提供的方案中,考虑到数据提供方服务端提供的数据可能会发生增加或更新,数据提供方服务端针对数据接收方创建的数据池中的数据可以随之增加或更新。
针对数据池中的数据增加的情况,数据提供方服务端可以监听数据池对应的数据增加请求,若监听到数据增加请求,则可以在数据池中增加数据,并可以在对应的数据标识池中增加在数据池中增加的数据所对应的数据标识,这样,数据提供方对应的客户端即可以根据数据标识池中增加的数据标识,获取在数据池中增加的数据。
针对数据池中的数据更新的情况,数据提供方服务端可以监听数据池对应的数据更新请求,若监听到数据更新请求,则可以在数据池中更新数据,并可以在对应的数据标识池中利用版本标识更新对应的数据标识,使得客户端可以根据数据标识池中更新的数据标识,获取数据池中更新后的数据。
在一种可能的实现方式中,若对应的数据标识池中不包括被更新数据的数据标识,则可以在对应的数据标识池中增加添加的版本标识更新后的数据标识。可以理解为,如果更新前的数据已经被客户端成功保存,在数据标识池中删除了该数据的数据标识,则可以更新该数据的数据标识中的版本标识,并将更新后的数据标识添加到数据标识池中,使得客户端可以通过数据标识池中增加的数据标识,获取更新后的数据。
在一种可能的实现方式中,若对应的数据标识池中包括该数据的数据标识,且该数据标识未添加锁定标识,则可以更新该数据标识中添加的版本标识。可以理解为,如果更新前的数据对应的数据标识未被锁定,则可以认为该数据尚未被客户端获取,可以直接更新该数据对应的数据标识中的版本标识,使得客户端可以通过更新的数据标识,获取更新后的数据。
在一种可能的实现方式中,若对应的数据标识池中包括该数据的数据标识,且该数据标识添加有锁定标识,则可以去除该锁定标识,并更新该数据标识中添加的版本标识。可以理解为,如果更新前的数据对应的数据标识被锁定,则可以认为客户端正在获取更新前的数据,为了保证客户端可以获取更新后的数据,可以去除数据标识中的锁定标识,并更新数据标识中的版本标识,使得客户端可以通过更新的数据标识,获取更新后的数据。
此外,需要说明的是,本公开实施例提供的方案中,还可以通过模板化的方式来定义数据池中的数据。可以理解为,可以预先在数据提供方服务端中定义一个数据字段模板,该数据字段模板可以理解为包括数据提供方和数据接收方之间传输的数据可能包括的每个字段。进而可以通过数据字段模板来选择数据提供方和数据接收方之间传输的数据包括的字段,通过获取选择出的每个字段对应的数据内容,组装得到数据池中的一条数据,从而实现数据池的创建,进而实现针对不同数据接收方的差异化的数据传输。
在一种可能的实现方式中,可以根据预先建立的数据字段模板与转授合同的关联,确定数据接收方对应的字段配置信息,字段配置信息用于表示针对数据接收方提供的数据包括的字段。进而可以根据针对每条数据,获取到的字段配置信息包括的每个字段的数据内容,组装得到数据池包括的该条数据。
需要指出的是,如果根据关联的转授合同的权利范围,可以确定出多种字段配置信息,也就是说数据接收方需要获取包括的字段不同的数据,那么在一种可能的实现方式中,可以针对每个字段配置信息,创建一个数据池。也就是说,针对一个数据接收方,可以创建多个数据池,不同数据池中的数据对应的字段不同。
例如,针对一个数据接收方,可以创建两个数据池,分别记为biz1和biz2。其中,biz1中的数据包括数据字段模板中的字段1、字段2和字段3对应的数据内容,biz2中的数据包括数据字段模板中的字段4、字段5和字段6对应的数据内容。
以数据接收方需要从数据提供方获取的数据为音乐类版权数据为例,数据字段模板的示意图可以如图3所示。
如图3所示,数据字段模板可以但不限于包括专辑,艺人和歌曲三种类型的字段。
专辑类型的字段中,可以但不限于包括专辑标识(id)、专辑名、专辑翻译名、专辑别名、专辑副标题、专辑语种、专辑图标(icpn)、专辑编码、专辑简介、专辑版本、专辑发行公司、专辑发行日期、专辑封面下载地址(url)、专辑地区、专辑风格、专辑艺人信息、专辑歌曲信息字段和全选字段(该全选字段可以理解为选择全部专辑类型的字段)。
艺人类型的字段中,可以但不限于包括艺人标识、艺人名、艺人别名、艺人角色、艺人简介、艺人头像下载地址、艺人性别、艺人地区字段和全选字段(该全选字段可以理解为选择全部艺人类型的字段)。
歌曲类型的字段中,可以但不限于包括音频下载地址、歌词下载地址字段和全选字段(该全选字段可以理解为选择全部歌曲类型的字段),其中,音频下载地址、歌词下载地址字段在图3中未示出。
如图3所示,可以假设根据关联的转授合同,确定出的数据接收方对应的字段配置信息包括专辑名、专辑语种、专辑图标、专辑发行公司、专辑艺人信息、专辑歌曲信息字段以及艺人名字段。可以理解为,由于根据关联的转授合同,数据接收方对应的字段配置信息不包括歌曲类型的字段,因此,歌曲类型的字段包括的音频下载地址、歌词下载地址字段在图3中未示出。
以图3所示的确定出的字段配置信息为例,在一种可能的实现方式中,可以但不限于采用专辑名作为数据标识池中的数据标识,即可以采用专辑名来标识数据池中的数据。
为了进一步说明本公开提供的方案,仍然以数据接收方需要从数据提供方获取的数据为音乐类版权数据为例,本公开实施例进一步提供一种数据处理方法,该方法的步骤流程可以如图4所示,包括:
步骤301、数据接收方客户端调用第一接口,向数据提供方服务端发送数据标识获取请求,请求访问数据提供方服务端创建的数据标识池。
步骤302、数据提供方服务端根据数据标识获取请求,向数据接收方客户端提供数据标识池中的数据标识集合。
步骤303、数据接收方客户端获取到一批数据标识后,将获取到的数据标识下发给线程池进行处理。
在线程池中分配工作线程,每个工作线程可以执行以下操作:
步骤3031、调用第二接口,向数据提供方服务端发送数据获取请求;
步骤3032、获取数据并保存。
在本步骤中,数据接收方客户端可以从数据池中获取数据中指定格式,例如JSON格式的非静态资源,进一步的,还可以将指定格式,例如JSON格式的非静态资源转换为设定格式,例如XML格式的标准音频描述文件并保存。
在本步骤中,数据接收方客户端还可以根据从数据池中获得的下载地址,下载得到数据中的静态资源,例如音频、图片或歌词等并保存。
步骤3033、调用第三接口,向数据提供方服务端反馈数据保存确认消息。
数据提供方服务端接收到反馈的数据保存确认消息之后,可以根据反馈的数据保存确认消息,对数据标识池进行更新。
在本实施例中,数据接收方客户端成功保存数据之后,还可以触发回调,对保存成功的数据进行业务调用。
需要说明的是,假设数据提供方服务端提供统一的SDK来作为数据接收方客户端接入工具,在本实施例中,SDK还可以提供对鉴权操作的封装。仅需要在客户端中配置好服务端下发的鉴权所需的数据接收方标识(可以记为appId)、密钥以及数据池标识(可以记为bizId),即可以在客户端调用第一接口、第二接口和第三接口的过程中,通过SDK完成鉴权操作。需要指出的是,对客户端的鉴权操作,可以是服务端中的网关实现的,此时可以理解为,在步骤301、3031和3033中还包括网关对客户端的鉴权操作。
通过引入SDK,可以有效降低数据接收方和数据提供方的对接成本,只需要对SDK进行简单的配置即可以实现系统的调用,并可以使用标准流程来获取数据。
另外,需要说明的是,客户端可以通过定时轮询的方式,重复执行步骤301~303,以成功获取对应的数据池中的所有数据,并保证数据获取的实时性。
根据本公开实施例提供的方案,可以针对数据转授过程,提升数据处理的自动化程度,而通过数据提供方提供统一的SDK,还可以提升数据处理的通用性,针对不同的数据接收方,均可以基于统一的SDK实现,无需数据提供方开发人员介入,降低数据接收方和数据提供方之间的对接成本,提升了数据处理效率,摆脱了针对每一个数据接收方均需要开发一套代码的繁琐复杂耗时的实现方式。
另外,还可以提升数据处理的实时性。数据提供方通过监听数据增加和更新,当产生了可被传输的新的数据(可以理解为新增的数据或更新后的数据)时,可以及时地更新数据池和数据标识池,数据接收方通过接口的轮询,可以及时扫描到新的数据并获取该数据,实现基于开放平台的数据实时下发。
此外,可以通过模板化的方式来定义传输的数据内容,通过数据字段模板,提升传输的数据内容的通用性,统一多样化的数据组装形式。
与提供的方法对应的,进一步提供以下的装置。
本公开实施例提供一种数据处理装置,所述装置应用于基于数据提供方服务端提供的指定接口开发的数据接收方客户端中,所述数据提供方服务端中创建有一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识,该装置的结构可以如图5所示,包括:
调用模块01用于调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
获取模块02用于获取所述数据提供方服务端根据所述数据标识获取请求提供的所述数据标识集合,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合;获取所述数据提供方服务端根据所述数据获取请求提供的数据,所述数据为从所述数据池标识对应的数据池中,获取的所述数据标识集合中每个数据标识对应的数据。
在一种可能的实现方式中,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合。
进一步的,在一种可能的实现方式中,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的添加有版本标识,未添加锁定标识的数据标识组成的集合;
所述装置还包括更新模块03:
所述更新模块03,用于利用获取到的添加的版本标识表示最高版本的数据,更新获取到的添加的版本标识不同的同一数据标识对应的数据。
在一种可能的实现方式中,所述调用模块01还用于调用所述数据提供方服务端提供的第三接口,通过所述第三接口,向所述数据提供方服务端反馈数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据,以便所述数据提供方服务端从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
在一种可能的实现方式中,所述获取模块02获取所述数据提供方服务端根据所述数据获取请求提供的数据,包括:
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据中指定格式的非静态资源;以及,
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据的下载地址,根据所述下载地址下载得到该数据中的静态资源。
在一种可能的实现方式中,所述调用模块01调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,包括:
通过线程池中的至少两个线程调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求。
在一种可能的实现方式中,所述调用模块01调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,包括:
通过定时轮询的方式,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求。
在一种可能的实现方式中,所述装置还包括鉴权模块04:
所述鉴权模块04用于所述发送模块调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定所述数据提供方服务端对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
本公开实施例提供一种数据处理装置,该装置可以集成在提供指定接口的数据提供方服务端中,该装置的结构可以如图6所示,包括:
数据管理模块11用于创建一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识;
接收模块12用于接收所述客户端调用所述数据提供方服务端提供的第一接口,通过所述第一接口发送的数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;接收所述客户端调用所述数据提供方服务端提供的第二接口,通过所述第二接口发送的数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
响应模块13用于响应于接收到所述数据标识获取请求,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,向所述客户端提供所述数据标识集合;响应于接收到所述数据获取请求,向所述客户端提供所述数据,其中所述数据为所述数据池标识对应的数据池中与所述数据标识集合中每个数据标识对应的数据。
在一种可能的实现方式中,所述响应模块13从所述数据池标识对应的数据标识池中获取数据标识组成的集合,包括:从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合;
所述数据管理模块11还用于所述响应模块向所述客户端提供所述数据之后,为所述数据标识池中所述数据标识集合对应的数据标识添加锁定标识。
在一种可能的实现方式中,所述响应模块13从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合,包括:从所述数据池标识对应的数据标识池中获取添加有版本标识,未添加锁定标识的数据标识组成的集合。
在一种可能的实现方式中,所述接收模块12还用于接收所述客户端调用所述数据提供方服务端提供的第三接口,通过所述第三接口,反馈的数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据;
所述响应模块13还用于响应于接收到所述数据保存确认消息,从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
在一种可能的实现方式中,所述响应模块13还用于响应于向所述客户端提供所述数据之后的设定时长内,所述接收模块未接收到所述数据保存确认消息,去除为所述数据标识集合对应的数据标识添加的锁定标识。
在一种可能的实现方式中,所述数据管理模块11还用于响应于监听到所述数据池对应的数据增加请求,在所述数据池中增加数据;以及,在对应的数据标识池中增加所述数据对应的数据标识。
在一种可能的实现方式中,所述数据管理模块11还用于响应于监听到所述数据池对应的数据更新请求,在所述数据池中更新数据;以及,
若对应的数据标识池中不包括该数据的数据标识,在对应的数据标识池中增加添加的版本标识更新后的数据标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识未添加锁定标识,更新该数据标识中添加的版本标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识添加有锁定标识,去除该锁定标识,并更新该数据标识中添加的版本标识。
在一种可能的实现方式中,所述数据管理模块11通过以下方式创建所述数据池:
根据预先建立的数据字段模板与转授合同的关联,确定所述数据接收方对应的字段配置信息,所述字段配置信息用于表示针对所述数据接收方提供的数据包括的字段;
根据针对每条数据,获取到的所述字段配置信息包括的每个字段的数据内容,组装得到所述数据池包括的该条数据。
在一种可能的实现方式中,所述装置还包括鉴权模块14:
鉴权模块14用于所述客户端调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
本公开上述实施例提供的各装置的各功能单元的功能,可以通过上述对应的各方法的步骤来实现,因此,本公开实施例提供的各装置中的各个功能单元的可能的工作过程和有益效果,在此不复赘述。
基于同一发明构思,本公开实施例提供以下的设备和介质。
本公开实施例提供一种数据处理设备,该设备的结构可以如图7所示,包括处理器21、通信接口22、存储器23和通信总线24,其中,所述处理器21,所述通信接口22,所述存储器23通过所述通信总线24完成相互间的通信;
所述存储器23,用于存放计算机程序;
所述处理器21,用于执行所述存储器上所存储的程序时,实现本公开上述方法实施例所述的步骤。
可选的,所述处理器21可以包括中央处理器(CPU)、特定应用集成电路(ASIC,Application Specific Integrated Circuit),可以是一个或多个用于控制程序执行的集成电路,可以是使用现场可编程门阵列(FPGA,Field Programmable Gate Array)开发的硬件电路,可以是基带处理器。
可选的,所述处理器21可以包括至少一个处理核心。
可选的,所述存储器23可以包括只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)和磁盘存储器。存储器23用于存储至少一个处理器21运行时所需的数据。存储器23的数量可以为一个或多个。
本公开实施例还提供一种非易失性计算机存储介质,所述计算机存储介质存储有可执行程序,当可执行程序被处理器执行时,实现本公开上述方法实施例提供的方法。
在可能的实施过程中,计算机存储介质可以包括:通用串行总线闪存盘(USB,Universal Serial Bus Flash Drive)、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。
在本公开实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性或其它的形式。
在本公开实施例中的各功能单元可以集成在一个处理单元中,或者各个单元也可以均是独立的物理模块。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开实施例的技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备,例如可以是个人计算机,服务器,或者网络设备等,或处理器(processor)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:通用串行总线闪存盘(Universal Serial Bus Flash Drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

Claims (34)

1.一种数据处理方法,其特征在于,所述方法应用于基于数据提供方服务端提供的指定接口开发的客户端中,所述数据提供方服务端中创建有一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识,所述方法包括:
调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;
获取所述数据提供方服务端根据所述数据标识获取请求提供的数据标识集合,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合;
调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
获取所述数据提供方服务端根据所述数据获取请求提供的数据,所述数据为从所述数据池标识对应的数据池中获取的所述数据标识集合中每个数据标识对应的数据;
其中,所述数据池通过以下方式创建:
根据预先建立的数据字段模板与转授合同的关联,确定所述数据接收方对应的字段配置信息,所述字段配置信息用于表示针对所述数据接收方提供的数据包括的字段;根据针对每条数据,获取到的所述字段配置信息包括的每个字段的数据内容,组装得到所述数据池包括的该条数据。
2.如权利要求1所述的方法,其特征在于,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合。
3.如权利要求2所述的方法,其特征在于,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的添加有版本标识,未添加锁定标识的数据标识组成的集合;
所述方法还包括:
利用获取到的添加的版本标识表示最高版本的数据,更新获取到的添加的版本标识不同的同一数据标识对应的数据。
4.如权利要求2所述的方法,其特征在于,所述方法还包括:
调用所述数据提供方服务端提供的第三接口,通过所述第三接口,向所述数据提供方服务端反馈数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据,以便所述数据提供方服务端从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
5.如权利要求1所述的方法,其特征在于,获取所述数据提供方服务端根据所述数据获取请求提供的数据,包括:
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据中指定格式的非静态资源;以及,
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据的下载地址,根据所述下载地址下载得到该数据中的静态资源。
6.如权利要求1所述的方法,其特征在于,调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,包括:
通过线程池中的至少两个线程调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求。
7.如权利要求4所述的方法,其特征在于,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,包括:
通过定时轮询的方式,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求。
8.如权利要求1~7任一所述的方法,其特征在于,所述方法还包括:
调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定所述数据提供方服务端对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
9.一种数据处理方法,其特征在于,所述方法应用于提供指定接口的数据提供方服务端中,所述数据提供方服务端中创建有一一对应的数据池和数据标识池,所述数据池包括针对客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识,所述方法包括:
接收所述客户端调用所述数据提供方服务端提供的第一接口,通过所述第一接口发送的数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;
响应于接收到所述数据标识获取请求,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,向所述客户端提供数据标识集合;
接收所述客户端调用所述数据提供方服务端提供的第二接口,通过所述第二接口发送的数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
响应于接收到所述数据获取请求,向所述客户端提供所述数据,其中所述数据为所述数据池标识对应的数据池中与所述数据标识集合中每个数据标识对应的数据;
其中,所述数据池通过以下方式创建:
根据预先建立的数据字段模板与转授合同的关联,确定所述数据接收方对应的字段配置信息,所述字段配置信息用于表示针对所述数据接收方提供的数据包括的字段;根据针对每条数据,获取到的所述字段配置信息包括的每个字段的数据内容,组装得到所述数据池包括的该条数据。
10.如权利要求9所述的方法,其特征在于,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,包括:
从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合;
向所述客户端提供所述数据之后,所述方法还包括:
为所述数据标识池中所述数据标识集合对应的数据标识添加锁定标识。
11.如权利要求10所述的方法,其特征在于,从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合,包括:
从所述数据池标识对应的数据标识池中获取添加有版本标识,未添加锁定标识的数据标识组成的集合。
12.如权利要求11所述的方法,其特征在于,所述方法还包括:
接收所述客户端调用所述数据提供方服务端提供的第三接口,通过所述第三接口,反馈的数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据;
响应于接收到所述数据保存确认消息,从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
13.如权利要求12所述的方法,其特征在于,所述方法还包括:
响应于向所述客户端提供所述数据之后的设定时长内,未接收到所述数据保存确认消息,去除为所述数据标识集合对应的数据标识添加的锁定标识。
14.如权利要求9所述的方法,其特征在于,所述方法还包括:
响应于监听到所述数据池对应的数据增加请求,在所述数据池中增加数据;以及,
在对应的数据标识池中增加所述数据对应的数据标识。
15.如权利要求13所述的方法,其特征在于,所述方法还包括:
响应于监听到所述数据池对应的数据更新请求,在所述数据池中更新数据;以及,
若对应的数据标识池中不包括该数据的数据标识,在对应的数据标识池中增加添加的版本标识更新后的数据标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识未添加锁定标识,更新该数据标识中添加的版本标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识添加有锁定标识,去除该锁定标识,并更新该数据标识中添加的版本标识。
16.如权利要求9~15任一所述的方法,其特征在于,所述方法还包括:
所述客户端调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
17.一种数据处理装置,其特征在于,所述装置应用于基于数据提供方服务端提供的指定接口开发的客户端中,所述数据提供方服务端中创建有一一对应的数据池和数据标识池,所述数据池包括针对所述客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识,所述装置包括:
调用模块,用于调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
获取模块,用于获取所述数据提供方服务端根据所述数据标识获取请求提供的所述数据标识集合,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合;获取所述数据提供方服务端根据所述数据获取请求提供的数据,所述数据为从所述数据池标识对应的数据池中,获取的所述数据标识集合中每个数据标识对应的数据;
其中,所述数据池通过以下方式创建:
根据预先建立的数据字段模板与转授合同的关联,确定所述数据接收方对应的字段配置信息,所述字段配置信息用于表示针对所述数据接收方提供的数据包括的字段;根据针对每条数据,获取到的所述字段配置信息包括的每个字段的数据内容,组装得到所述数据池包括的该条数据。
18.如权利要求17所述的装置,其特征在于,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中获取的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合。
19.如权利要求18所述的装置,其特征在于,所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的未添加锁定标识的数据标识组成的集合,包括:
所述数据标识集合为所述数据提供方服务端从所述数据池标识对应的数据标识池中,获取的添加有版本标识,未添加锁定标识的数据标识组成的集合;
所述装置还包括更新模块,用于利用获取到的添加的版本标识表示最高版本的数据,更新获取到的添加的版本标识不同的同一数据标识对应的数据。
20.如权利要求18所述的装置,其特征在于,所述调用模块,还用于调用所述数据提供方服务端提供的第三接口,通过所述第三接口,向所述数据提供方服务端反馈数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据,以便所述数据提供方服务端从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
21.如权利要求17所述的装置,其特征在于,所述获取模块,获取所述数据提供方服务端根据所述数据获取请求提供的数据,包括:
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据中指定格式的非静态资源;以及,
获取所述数据提供方服务端根据所述数据获取请求,针对所述数据标识集合中每个数据标识对应的数据,从所述数据池标识对应的数据池中,获得的该数据的下载地址,根据所述下载地址下载得到该数据中的静态资源。
22.如权利要求17所述的装置,其特征在于,所述调用模块,调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求,包括:
通过线程池中的至少两个线程调用所述数据提供方服务端提供的第二接口,通过所述第二接口,向所述数据提供方服务端发送数据获取请求。
23.如权利要求20所述的装置,其特征在于,所述调用模块,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求,包括:
通过定时轮询的方式,调用所述数据提供方服务端提供的第一接口,通过所述第一接口,向所述数据提供方服务端发送数据标识获取请求。
24.如权利要求17~23任一所述的装置,其特征在于,所述装置还包括鉴权模块,用于所述发送模块调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定所述数据提供方服务端对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
25.一种数据处理装置,其特征在于,所述装置应用于提供指定接口的数据提供方服务端中,所述装置包括:
数据管理模块,用于创建一一对应的数据池和数据标识池,所述数据池包括针对客户端对应的数据接收方提供的数据,所述数据标识池包括所述数据池中数据的数据标识;
所述数据管理模块,通过以下方式创建所述数据池:
根据预先建立的数据字段模板与转授合同的关联,确定所述数据接收方对应的字段配置信息,所述字段配置信息用于表示针对所述数据接收方提供的数据包括的字段;根据针对每条数据,获取到的所述字段配置信息包括的每个字段的数据内容,组装得到所述数据池包括的该条数据;
接收模块,用于接收所述客户端调用所述数据提供方服务端提供的第一接口,通过所述第一接口发送的数据标识获取请求,所述数据标识获取请求中携带预先配置的数据池标识,所述数据池标识为所述数据提供方服务端向所述客户端下发的针对所述客户端对应的数据接收方创建的数据池的标识;接收所述客户端调用所述数据提供方服务端提供的第二接口,通过所述第二接口发送的数据获取请求,所述数据获取请求用于请求获取所述数据标识集合中的数据标识对应的数据;
响应模块,用于响应于接收到所述数据标识获取请求,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,向所述客户端提供所述数据标识集合;响应于接收到所述数据获取请求,向所述客户端提供所述数据,其中所述数据为所述数据池标识对应的数据池中与所述数据标识集合中每个数据标识对应的数据。
26.如权利要求25所述的装置,其特征在于,所述响应模块,从所述数据池标识对应的数据标识池中获取数据标识组成的集合,包括:从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合;
所述数据管理模块,还用于所述响应模块向所述客户端提供所述数据之后,为所述数据标识池中所述数据标识集合对应的数据标识添加锁定标识。
27.如权利要求26所述的装置,其特征在于,所述响应模块,从所述数据池标识对应的数据标识池中获取未添加锁定标识的数据标识组成的集合,包括:从所述数据池标识对应的数据标识池中获取添加有版本标识,未添加锁定标识的数据标识组成的集合。
28.如权利要求27所述的装置,其特征在于,所述接收模块,还用于接收所述客户端调用所述数据提供方服务端提供的第三接口,通过所述第三接口,反馈的数据保存确认消息,所述数据保存确认消息用于指示保存成功的数据和/或指示保存失败的数据;
所述响应模块,还用于响应于接收到所述数据保存确认消息,从所述数据标识池中删除保存成功的数据对应的添加有锁定标识的数据标识,和/或,去除为保存失败的数据对应的数据标识添加的锁定标识。
29.如权利要求28所述的装置,其特征在于,所述响应模块,还用于响应于向所述客户端提供所述数据之后的设定时长内,所述接收模块未接收到所述数据保存确认消息,去除为所述数据标识集合对应的数据标识添加的锁定标识。
30.如权利要求25所述的装置,其特征在于,所述数据管理模块,还用于响应于监听到所述数据池对应的数据增加请求,在所述数据池中增加数据;以及,在对应的数据标识池中增加所述数据对应的数据标识。
31.如权利要求29所述的装置,其特征在于,所述数据管理模块,还用于响应于监听到所述数据池对应的数据更新请求,在所述数据池中更新数据;以及,
若对应的数据标识池中不包括该数据的数据标识,在对应的数据标识池中增加添加的版本标识更新后的数据标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识未添加锁定标识,更新该数据标识中添加的版本标识;若对应的数据标识池中包括该数据的数据标识,且该数据标识添加有锁定标识,去除该锁定标识,并更新该数据标识中添加的版本标识。
32.如权利要求25~31任一所述的装置,其特征在于,所述装置还包括:
鉴权模块,用于所述客户端调用所述数据提供方服务端提供的第一接口、第二接口或第三接口的过程中,确定对所述客户端预先配置的数据接收方标识、密钥以及数据池标识鉴权成功,所述数据接收方标识以及密钥为所述数据提供方服务端针对所述客户端对应的数据接收方配置并下发的。
33.一种非易失性计算机存储介质,其特征在于,所述计算机存储介质存储有可执行程序,该可执行程序被处理器执行实现权利要求1~16任一所述的方法。
34.一种数据处理设备,其特征在于,所述设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存储的程序时,实现权利要求1~16任一所述的方法步骤。
CN202110441537.1A 2021-04-23 2021-04-23 一种数据处理方法、装置、介质和设备 Active CN113094192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110441537.1A CN113094192B (zh) 2021-04-23 2021-04-23 一种数据处理方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110441537.1A CN113094192B (zh) 2021-04-23 2021-04-23 一种数据处理方法、装置、介质和设备

Publications (2)

Publication Number Publication Date
CN113094192A CN113094192A (zh) 2021-07-09
CN113094192B true CN113094192B (zh) 2024-05-28

Family

ID=76679674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110441537.1A Active CN113094192B (zh) 2021-04-23 2021-04-23 一种数据处理方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN113094192B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610190A (zh) * 2009-07-22 2009-12-23 刘文祥 数据网络和系统
CN101969475A (zh) * 2010-11-15 2011-02-09 张军 基于云计算的商业数据可控分发与融合应用系统
CN105490860A (zh) * 2015-12-24 2016-04-13 北京奇虎科技有限公司 部署应用程序运行环境的方法、装置及系统
CN105490842A (zh) * 2015-11-30 2016-04-13 用友网络科技股份有限公司 一种在线服务系统中基于mvvm模型管理对话的方法
CN110134533A (zh) * 2019-05-14 2019-08-16 重庆天蓬网络有限公司 一种可批量调度数据的系统及方法
CN110275887A (zh) * 2019-06-20 2019-09-24 深圳前海微众银行股份有限公司 一种基于区块链系统的数据处理方法、系统及装置
CN110727524A (zh) * 2019-10-17 2020-01-24 广州欢聊网络科技有限公司 一种实现远程过程调用的方法及装置
CN111159436A (zh) * 2018-11-07 2020-05-15 腾讯科技(深圳)有限公司 一种推荐多媒体内容的方法、装置及计算设备
CN111258773A (zh) * 2018-12-01 2020-06-09 阿里巴巴集团控股有限公司 服务调用流程信息处理方法、装置及电子设备
US10983963B1 (en) * 2017-09-25 2021-04-20 Cloudera, Inc. Automated discovery, profiling, and management of data assets across distributed file systems through machine learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050171993A1 (en) * 2004-01-30 2005-08-04 Phagura Vijay S. Element management system architecture without using SNMP
US20060117021A1 (en) * 2004-11-29 2006-06-01 Epic Systems Corporation Shared account information method and apparatus
US20120010892A1 (en) * 2010-07-09 2012-01-12 Sap Ag System and method for handling complex calculations in social services
LU93300B1 (de) * 2016-11-10 2018-06-18 Phoenix Contact Gmbh & Co Kg Intellectual Property Licenses & Standards Austausch von Echtzeitdaten zwischen Programmmodulen

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610190A (zh) * 2009-07-22 2009-12-23 刘文祥 数据网络和系统
CN101969475A (zh) * 2010-11-15 2011-02-09 张军 基于云计算的商业数据可控分发与融合应用系统
CN105490842A (zh) * 2015-11-30 2016-04-13 用友网络科技股份有限公司 一种在线服务系统中基于mvvm模型管理对话的方法
CN105490860A (zh) * 2015-12-24 2016-04-13 北京奇虎科技有限公司 部署应用程序运行环境的方法、装置及系统
US10983963B1 (en) * 2017-09-25 2021-04-20 Cloudera, Inc. Automated discovery, profiling, and management of data assets across distributed file systems through machine learning
CN111159436A (zh) * 2018-11-07 2020-05-15 腾讯科技(深圳)有限公司 一种推荐多媒体内容的方法、装置及计算设备
CN111258773A (zh) * 2018-12-01 2020-06-09 阿里巴巴集团控股有限公司 服务调用流程信息处理方法、装置及电子设备
CN110134533A (zh) * 2019-05-14 2019-08-16 重庆天蓬网络有限公司 一种可批量调度数据的系统及方法
CN110275887A (zh) * 2019-06-20 2019-09-24 深圳前海微众银行股份有限公司 一种基于区块链系统的数据处理方法、系统及装置
CN110727524A (zh) * 2019-10-17 2020-01-24 广州欢聊网络科技有限公司 一种实现远程过程调用的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于代码生成的机载软件配置与定制技术研究;包静茹;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715;I138-243 *

Also Published As

Publication number Publication date
CN113094192A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN110601952B (zh) 多渠道消息通知发送方法和装置
CN107483627B (zh) 一种文件分发、下载方法、分发服务器、客户端及系统
WO2016145747A1 (zh) 智能网关的功能插件管理方法、客户端及系统
US8392597B2 (en) Method and apparatus for providing pair play service
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
CN110716734B (zh) 一种软件升级的方法、装置、电子设备及介质
CN104348848B (zh) 管理图片的方法、终端设备和服务器
WO2016026329A1 (zh) 终端的升级方法及装置
CN110855746A (zh) 中间件管理方法、电子装置及存储介质
CN111680328A (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN111988418B (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN113556359A (zh) 一种通讯协议转换方法、设备、系统及网关设备
CN112307486B (zh) 一种权限获取方法、设备和系统
CN107295003B (zh) 一种数据传输方法、装置及系统
CN113094192B (zh) 一种数据处理方法、装置、介质和设备
US11570183B2 (en) Tenant grouping for secure transport of content
CN111897565A (zh) 基于物联网的数据处理方法、装置和设备
CN109104472B (zh) 区块链网络组网方法、装置、设备及计算机可读存储介质
CN111147585A (zh) 设备升级方法、装置、存储介质及系统
CN114025005B (zh) 一种数据通讯方法、系统、电子设备及存储介质
CN112766486A (zh) 神经网络结构的搜索方法、终端、服务器及可读存储介质
CN112799744A (zh) 工业app的调用方法、装置、计算机可读介质及电子设备
CN112418796A (zh) 子流程节点激活方法、装置、电子设备及存储介质
US9977700B2 (en) System and method for providing an application programming interface for deploying a service bus artifact from a local development environment to a cloud environment
CN116614323B (zh) 一种基于Rclone的云存储企业网盘管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant