CN110851209B - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

一种数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110851209B
CN110851209B CN201911089082.0A CN201911089082A CN110851209B CN 110851209 B CN110851209 B CN 110851209B CN 201911089082 A CN201911089082 A CN 201911089082A CN 110851209 B CN110851209 B CN 110851209B
Authority
CN
China
Prior art keywords
data processing
data
index information
data content
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911089082.0A
Other languages
English (en)
Other versions
CN110851209A (zh
Inventor
马福龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201911089082.0A priority Critical patent/CN110851209B/zh
Publication of CN110851209A publication Critical patent/CN110851209A/zh
Application granted granted Critical
Publication of CN110851209B publication Critical patent/CN110851209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/448Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482Procedural
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Abstract

本公开提供了一种数据处理方法、装置、电子设备及存储介质,其中,该方法应用于服务器,服务器中包含预先构建的软件开发工具包SDK,SDK设置有多种数据处理类型分别对应的应用程序调用接口,数据处理方法包括:接收到客户端发送的数据处理请求时,解析数据处理请求中包含的至少一个索引信息和客户端属性信息;基于数据处理请求对应的数据处理类型,确定SDK中与数据处理类型对应的待调用的应用程序调用接口;确定预先建立的与客户端属性信息对应的数据存储库,并通过调用与数据处理类型对应的应用程序调用接口,对数据存储库中获取至少一个索引信息分别对应的数据内容,并将数据内容发送至客户端。本公开实施例降低了开发成本。

Description

一种数据处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
很多不同的业务中,均有对数据处理的场景,往往每种业务可以由对应的一种应用程序(Application,App)执行,有很多场景下需要针对服务器存储的数据信息进行不同类型的处理,这些数据处理过程可以由该服务器进行处理,比如针对数据的提取、删除和更新处理等。
一般地,不同的App针对数据处理过程相似,也会开发一套与该App对应的数据处理方式,当存在多个App时,就需要开发与每个App对应的数据处理方式,开发成本较高。
发明内容
有鉴于此,本公开至少提供一种数据处理方案,以提高数据处理效率。
第一方面,本公开实施例提供了一种数据处理方法,应用于服务器,所述服务器中包含预先构建的软件开发工具包SDK,所述SDK设置有多种数据处理类型分别对应的应用程序调用接口,所述数据处理方法包括:
接收到客户端发送的数据处理请求时,解析所述数据处理请求中包含的至少一个索引信息和客户端属性信息;
基于所述数据处理请求对应的数据处理类型,确定所述SDK中与所述数据处理类型对应的待调用的应用程序调用接口;
确定预先建立的与所述客户端属性信息对应的数据存储库,并通过调用与所述数据处理类型对应的应用程序调用接口,对所述数据存储库中所述至少一个索引信息分别对应的数据内容进行处理,并将处理结果发送至所述客户端。
在一种可能的实施方式中,所述数据处理类型包括:
数据获取类型、数据删除类型和数据更新类型。
在一种可能的实施方式中,所述数据存储库包含与所述客户端属性信息对应的缓存数据库和内存数据库,当所述数据处理请求对应的数据处理类型为数据获取类型时,根据以下步骤查找所述数据存储库中所述至少一个索引信息分别对应的数据内容:
通过调用与所述数据处理类型对应的应用程序调用接口,在所述缓存数据库中依次查找与每个索引信息对应的数据内容;
针对任一索引信息,若在所述缓存数据库中查找到对应的数据内容,则将查找到的数据内容作为与所述任一索引信息对应的数据内容;
若未在所述缓存数据库中查找到对应的数据内容,则在所述内存数据库中查找与该任一索引信息对应的数据内容,并将从所述内存数据库中查找到的数据内容作为与所述任一索引信息对应的数据内容。
在一种可能的实施方式中,所述数据处理方法还包括:
若未在所述缓存数据库中查找到所述任一索引信息对应的数据内容,在所述缓存数据库中复制所述任一索引信息以及所述任一索引信息对应的数据内容,以实现所述缓存数据库与所述内存数据库的同步。
在一种可能的实施方式中,按照以下方式预先构建所述SDK:
获取预先存储的多种数据处理类型分别对应的配置文件信息,以及与所述多种数据处理类型匹配的SDK模板;所述SDK模板包括多个待填充项,以及与每个待填充项对应的调用接口;
将每种出具处理类型对应的配置文件信息按照预设自然语言编辑后分别填充至所述SDK模板的待填充项中,以及按照所述预设自然语言对每种数据处理类型对应的调用接口进行编辑后生成该数据处理类型对应的应用程序调用接口。
第二方面,本公开实施例提供了一种数据处理装置,应用于服务器,所述服务器中包含预先构建的软件开发工具包SDK,所述SDK设置有多种数据处理类型分别对应的应用程序调用接口,所述数据处理装置包括:
解析模块,用于接收到客户端发送的数据处理请求时,解析所述数据处理请求中包含的至少一个索引信息和客户端属性信息;
确定模块,用于基于所述数据处理请求对应的数据处理类型,确定所述SDK中与所述数据处理类型对应的待调用的应用程序调用接口;
处理模块,用于确定预先建立的与所述客户端属性信息对应的数据存储库,并通过调用与所述数据处理类型对应的应用程序调用接口,对所述数据存储库中所述至少一个索引信息分别对应的数据内容进行处理,并将处理结果发送至所述客户端。
在一种可能的实施方式中,所述数据处理类型包括:
数据获取类型、数据删除类型和数据更新类型。
在一种可能的实施方式中,所述数据存储库包含与所述客户端属性信息对应的缓存数据库和内存数据库,当所述数据处理请求对应的数据处理类型为数据获取类型时,所述处理模块用于采用以下方式查找所述数据存储库中所述至少一个索引信息分别对应的数据内容:
通过调用与所述数据处理类型对应的应用程序调用接口,在所述缓存数据库中依次查找与每个索引信息对应的数据内容;
针对任一索引信息,若在所述缓存数据库中查找到对应的数据内容,则将查找到的数据内容作为与所述任一索引信息对应的数据内容;
若未在所述缓存数据库中查找到对应的数据内容,则在所述内存数据库中查找与该任一索引信息对应的数据内容,并将从所述内存数据库中查找到的数据内容作为与所述任一索引信息对应的数据内容。
在一种可能的实施方式中,所述处理模块还用于:
若未在所述缓存数据库中查找到所述任一索引信息对应的数据内容,在所述缓存数据库中复制所述任一索引信息以及所述任一索引信息对应的数据内容,以实现所述缓存数据库与所述内存数据库的同步。
在一种可能的实施方式中,所述数据处理装置还包括构建模块,所述构建模块按照以下方式预先构建所述SDK:
获取预先存储的多种数据处理类型分别对应的配置文件信息,以及与所述多种数据处理类型匹配的SDK模板;所述SDK模板包括多个待填充项,以及与每个待填充项对应的调用接口;
将每种出具处理类型对应的配置文件信息按照预设自然语言编辑后分别填充至所述SDK模板的待填充项中,以及按照所述预设自然语言对每种数据处理类型对应的调用接口进行便捷后生成该数据处理类型对应的应用程序调用接口。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如第一方面所述数据处理方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面所述数据处理方法的步骤。
本公开实施例提供的数据处理方法,通过预先构建一套通用的软件开发工具包SDK,可以实现针对多种数据处理类型分别对应的应用程序调用接口的调用,在这种情况下,针对多个具有同样的数据处理类型的App,可以基于该通用的SDK,调用与该数据处理类型对应的统一的应用程序调用接口来实现信息的处理,无需再针对每个App分别进行应用程序调用接口的开发,降低了开发成本。基于此,针对客户端发起的数据处理请求,不论该数据处理请求是针对哪个App,都可以基于请求中携带的索引信息和客户端属性信息,通过调用通用的SDK获取对应的调用接口来读取对应App下的数据内容,提高了针对不同APP进行数据处理时采用的数据处理方式的通用性。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种数据处理方法的流程图;
图2示出了本公开实施例所提供的一种查找索引信息对应的数据内容的方法流程图;
图3示出了本公开实施例所提供的一种构建SDK的方法流程图;
图4示出了本公开实施例所提供的一种数据处理装置的结构示意图;
图5示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,应当理解,本公开中附图仅起到说明和描述的目的,并不用于限定本公开的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本公开中使用的流程图示出了根据本公开的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本公开内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
很多业务场景下,均会涉及数据的处理场景,比如数据提取、数据删除等,针对不同的客户端,均需要研发人员开发出适用于不同客户端的数据处理方式,故目前针对数据处理方式的开发成本高,通用性较差,针对此,本公开实施例提供了一种数据处理方法,将结合以下具体实施例进行详细阐述。
本公开执行数据处理方法的执行主体可以为服务器,该服务器包括预先构建的软件开发工具包SDK,SDK设置有多种数据处理类型分别对应的应用程序调用接口,调用每种数据处理类型对应的应用程序调用接口即可以执行该应用程序调用接口对应的数据处理操作,这里SDK的构建过程将在后文进行介绍,在此不做赘述。
如图1所示,为本公开实施例一种数据处理方法的流程图,具体包括以下步骤S101~S103:
S101,接收到客户端发送的数据处理请求时,解析数据处理请求中包含的至少一个索引信息和客户端属性信息。
这里的客户端(Client)或称为用户端,是指与服务器相对应,为客户提供本地服务的程序,一般安装在普通的客户机上,需要与服务端互相配合运行,比如某些应用程序App。
这里的数据处理请求可以针对键值对key-value数据类型的数据进行处理的请求,数据处理请求对应的数据处理类型可以包括多种,比如数据获取类型、数据删除类型和数据更新类型等,当数据处理请求对应的数据处理类型为数据更新类型时,解析数据处理请求后还可以得到至少一个索引信息分别对应的待更新的数据内容。
这里的索引信息可以用于确定客户端要处理的目标数据内容,比如,针对键值对数据,在数据存储数据库中是按照key-value形式存储的,则这里的索引信息可以为key值,若确定key值则可以查找到对应的value值。
这里的客户端属性信息可以包含客户端的账户信息,用于唯一标识客户端,根据该客户端属性信息可以确定在哪个存储数据库中查找该至少一个索引信息对应的数据内容。服务器在存储索引信息以及索引信息对应的数据内容时,可以按照不同的客户端属性信息,分别存储与该客户端关联的数据内容,便于快速查找出与至少一个索引信息对应的数据内容,进而进行与数据处理类型对应的处理。
S102,基于数据处理请求对应的数据处理类型,确定SDK中与数据处理类型对应的待调用的应用程序调用接口。
这里的数据处理类型包括:数据获取类型、数据删除类型和数据更新类型,其中数据获取类型的数据处理请求即请求服务器返回与该至少一个索引信息分别对应的数据内容;数据删除类型的数据处理请求即请求服务器删除与该至少一个索引信息分别对应的数据内容;数据更新类型的数据处理请求即请求服务器通过至少一个索引信息中每个索引信息对应的待更新的数据内容替换与该索引信息对应的数据内容。
在接收到数据处理请求时,可以确定该数据处理请求对应的数据处理类型,进而根据确定SDK中与该数据处理类型对应的待调用的应用程序调用接口。
S103,确定预先建立的与客户端属性信息对应的数据存储库,并通过调用与数据处理类型对应的应用程序调用接口,对该数据存储库中至少一个索引信息分别对应的数据内容进行处理,并将处理结果发送至客户端。
这里根据客户端属性信息确定出待查找的数据存储库,然后在上述确定出与数据处理类型对应的待调用的应用程序调用接口后,即可调用该应用程序调用接口,对该数据存储库中该至少一个索引信息分别对应的数据内容进行处理,比如对3个索引信息分别对应的数据内容进行删除处理、更新处理或者获取这3个索引信息分别对应的数据内容。
针对数据获取类型的数据处理请求,这里的处理结果为在预先建立的数据存储库中获取到的该至少一个索引信息分别对应的数据内容;针对数据删除类型的数据处理请求,这里的处理结果即指示数据已经删除的信息,或者指示数据未删除的信息;针对数据更新类型的数据处理请求,这里的处理结果即指示数据已经更新的信息,或者指示数据未更新的信息。
具体地,上述与客户端属性信息对应的数据存储库包含与该客户端属性信息对应的缓存数据库Redis和内存数据库DB,当数据处理请求对应的数据处理类型为数据获取类型时,如图2所示,为一种查找预先建立的数据存储库中至少一个索引信息分别对应的数据内容的方法流程图,具体根据以下步骤查找预先建立的数据存储库中至少一个索引信息分别对应的数据内容,包括S201~S203:
S201,通过调用与数据处理类型对应的应用程序调用接口,在该缓存数据库中依次查找与每个索引信息对应的数据内容;
S202,针对任一索引信息,若在该缓存数据库中查找到对应的数据内容,则将查找到的数据内容作为与该任一索引信息对应的数据内容;
S203,若未在该缓存数据库中查找到对应的数据内容,则在该内存数据库中查找与该任一索引信息对应的数据内容,并将从该内存数据库中查找到的数据内容作为与该任一索引信息对应的数据内容。
在介绍如何查找预先建立的数据存储库中至少一个索引信息分别对应的数据内容之前,这里先介绍索引信息及对应的数据内容的写入过程,内存数据库DB用于存储大量数据,缓存数据库Redis用于缓存数据,方便客户端及时提取,一般情况下,客户端在写入索引信息以及对应的数据内容时,服务器可以将该索引信息以及对应的数据内容存储于内存数据库DB中,然后同时将写入内存数据库DB中的索引信息以及对应的数据内容缓存在缓存数据库Redis中,方便客户端读取。
当数据处理请求对应的数据处理类型为数据获取类型时,这里可以调用SDK中与数据获取类型对应的应用程序调用接口,在缓存数据库中依次查找每个索引信息对应的数据内容,比如针对3个索引信息的情况,查找第1个索引信息对应的数据内容时,可以先在缓存数据库中查找该第1个索引信息对应的数据内容,若查找到该第1个索引信息对应的数据内容,则将从内存数据库中查找到的数据内容作为与该第1个索引信息对应的数据内容,若未在缓存数据库中查找到对应的数据内容,说明写入内存数据库中的第1个索引信息和该第1个索引信息对应的数据内容未更新至缓存数据库,此时可以在内存数据库中查找第1个索引信息对应的数据内容,并将从内存数据库中查找到的数据内容作为该第1个索引信息对应的数据内容,这样即得到第1个索引信息对应的数据内容;接下来按照同样的方式查找第2个索引信息和第3索引信息分别对应的数据内容,即得到3个索引信息分别对应的数据内容。
进一步地,数据处理方法还包括:
若未在缓存数据库中查找到任一索引信息对应的数据内容,在缓存数据库中复制任一索引信息以及任一索引信息对应的数据内容,以实现缓存数据库与内存数据库的同步。
这里即提出基于内存数据库中存储的索引信息及对应的数据内容对缓存数据库进行更新,使得缓存数据库与内存数据库的同步,便于客户端在下次获取任一索引信息对应的数据内容时,能够从缓存数据库中直接得到该任一索引信息对应的数据内容,从而提高数据处理效率。
同样地,针对数据存储库包含缓存数据库Redis和内存数据库DB的情况,当数据处理请求对应的数据处理类型为数据删除类型时,可以按照以下方式删除预先建立的数据存储库中至少一个索引信息对应的数据内容:
(1)通过调用与数据删除类型对应的应用程序调用接口,在内存数据库中依次查找并删除与每个索引信息对应的数据内容;
(2)在缓存数据库中依次查找与每个索引信息对应的数据内容,使得缓存数据库与内存数据库同步。
具体地,这里的内存数据库和缓存数据库即上文提到的与客户端属性信息对应的内存数据库和缓存数据库,在删除每个索引信息对应的数据内容时,同时也可以删除该索引信息。
比如,数据存储库中存储的是一个班级每个同学的期末考试成绩,若请求删除同学“张三”和“李四”的成绩,则可以同时将内存数据库中存储的“张三”和“李四”的成绩和缓存数据库中存储的“张三”和“李四”的成绩进行删除,这里在删除“张三”和“李四”的成绩后,也可以将作为索引信息的“张三”和“李四”分别从内存数据库和缓存数据库中删除。
同样地,针对数据存储库包含缓存数据库Redis和内存数据库DB的情况,当数据处理请求对应的数据处理类型为数据更新类型时,解析数据处理请求中包含的至少一个索引信息、客户端属性信息以及该至少一个索引信息分别对应的待更新的数据内容,可以按照以下方式更新预先建立的数据存储库中至少一个索引信息对应的数据内容:
(1)通过调用与数据更新类型对应的应用程序调用接口,在内存数据库中依次查找与每个索引信息对应的数据内容,针对每个索引信息对应的数据内容,通过该索引信息对应的待更新的数据内容替换该索引信息对应的数据内容;
(2)在缓存数据库中依次查找与每个索引信息对应的数据内容,针对每个索引信息对应的数据内容,通过该索引信息对应的待更新的数据内容替换该索引信息对应的数据内容。
比如,数据存储库中存储的是一个班级每个同学的期末考试成绩,若请求更新同学“张三”和“李四”的成绩,则可以同时将内存数据库中存储的“张三”和“李四”的成绩和缓存数据库中存储的“张三”和“李四”的成绩进行更新。
这里的内存数据库和缓存数据库即上文提到的与客户端属性信息对应的内存数据库和缓存数据库。
本公开实施例提供了以上三种应用程序调用接口,当然在实际应用中,并不局限于以上三种应用程序调用接口,还可以包括其它应用程序调用接口,在此不做限定。
针对上文多次提到的SDK,下面以一种实施例来介绍如何构建上文提到的SDK,如图3所示,包括以下步骤S301~S302:
S301,获取预先存储的多种数据处理类型分别对应的配置文件信息,以及与多种数据处理类型匹配的SDK模板;SDK模板包括多个待填充项,以及与每个待填充项对应的调用接口;
S302,将每种出具处理类型对应的配置文件信息按照预设自然语言编辑后分别填充至SDK模板的待填充项中,以及按照该预设自然语言对每种数据处理类型对应的调用接口进行编辑后生成该数据处理类型对应的应用程序调用接口。
这里可以由软件开发人员按照针对不同数据处理类型,比如数据删除类型、数据获取类型和数据更新类型,预先编写与每种数据处理类型对应的配置文件信息,这里每种数据处理类型对应的配置文件信息是指针对该种数据处理类型应该如何处理,比如针对删除数据类型,对应的配置文件信息应该包括如何删除数据的操作。
这里的SDK模板是指按照SDK的用途预先设置的,该SDK模板中包含多个待填充项,每个待填充项目均用于放置用自然语言编辑的一种数据处理类型对应的配置文件;这里每个待填充项对应的调用接口可以按照自然语言编辑后,生成与该待填充项放置的数据处理类型对应的应用程序调用接口,当调用任一应用程序调用接口时,就会执行该任一应用程序调用接口对应类型的数据处理操作。
这里的预设自然语言可以包括C语言、C++语言、Java语言、go语言、python语言等。
本公开实施例提供的数据处理方法,通过预先构建一套通用的软件开发工具包SDK,可以实现针对多种数据处理类型分别对应的应用程序调用接口的调用,在这种情况下,针对多个具有同样的数据处理类型的App,可以基于该通用的SDK,调用与该数据处理类型对应的统一的应用程序调用接口来实现信息的处理,无需再针对每个App分别进行应用程序调用接口的开发,降低了开发成本。基于此,针对客户端发起的数据处理请求,不论该数据处理请求是针对哪个App,都可以基于请求中携带的索引信息和客户端属性信息,通过调用通用的SDK获取对应的调用接口来读取对应App下的数据内容,提高了针对不同APP进行数据处理时采用的数据处理方式的通用性。
比如,在客户端发起的请求对应的数据处理类型为数据获取类型的情况下,不论该发起数据获取的请求是针对哪个App,都可以基于请求中携带的索引信息和客户端属性信息,通过调用通用的SDK获取对应的调用接口来读取对应App下的数据内容,提高了针对不同APP进行数据处理时采用的数据处理方式的通用性;同理,在客户端发起的数据处理请求对应的数据处理类型为数据删除类型的情况下,不论该删除数据的请求是针对哪个App,都可以基于请求中携带的索引信息和客户端属性信息,通过调用通用的SDK获取对应的调用接口来删除对应App下的数据内容;同理,在客户端发起的数据处理请求对应的数据处理类型为数据更新类型的情况下,不论该更新数据的请求是针对哪个App,都可以基于请求中携带的索引信息、客户端属性信息以及索引信息对应的待更新的数据内容,通过调用通用的SDK获取对应的调用接口来更新对应App下的数据内容。
基于同一技术构思,本公开实施例中还提供了与数据处理方法对应的数据处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
如图4所示,为本公开实施例提供的一种数据处理装置400,应用于服务器,服务器中包含预先构建的软件开发工具包SDK,SDK设置有多种数据处理类型分别对应的应用程序调用接口,数据处理装置400包括:
解析模块401,用于接收到客户端发送的数据处理请求时,解析数据处理请求中包含的至少一个索引信息;
确定模块402,用于基于数据处理请求对应的数据处理类型,确定SDK中与数据处理类型对应的待调用的应用程序调用接口;
处理模块403,用于通过调用与数据处理类型对应的应用程序调用接口,对预先建立的数据存储库中至少一个索引信息分别对应的数据内容进行处理,并将处理结果发送至客户端。
在一种可能的实施方式中,数据处理类型包括:
数据获取类型、数据删除类型和数据更新类型。
在一种可能的实施方式中,数据存储库包含缓存数据库和内存数据库,当数据处理请求对应的数据处理类型为数据获取类型时,处理模块403用于采用以下方式查找预先建立的数据存储库中至少一个索引信息分别对应的数据内容:
通过调用与数据处理类型对应的应用程序调用接口,在缓存数据库中依次查找与每个索引信息对应的数据内容;
针对任一索引信息,若在缓存数据库中查找到对应的数据内容,则将查找到的数据内容作为与任一索引信息对应的数据内容;
若未在缓存数据库中查找到对应的数据内容,则在内存数据库中查找与该任一索引信息对应的数据内容,并将从内存数据库中查找到的数据内容作为与任一索引信息对应的数据内容。
在一种可能的实施方式中,处理模块403还用于:
若未在缓存数据库中查找到任一索引信息对应的数据内容,在缓存数据库中复制任一索引信息以及任一索引信息对应的数据内容,以实现缓存数据库与内存数据库的同步。
在一种可能的实施方式中,数据处理装置还包括构建模块404,构建模块404按照以下方式预先构建SDK:
获取预先存储的多种数据处理类型分别对应的配置文件信息,以及与多种数据处理类型匹配的SDK模板;SDK模板包括多个待填充项,以及与每个待填充项对应的调用接口;
将每种出具处理类型对应的配置文件信息按照预设自然语言编辑后分别填充至SDK模板的待填充项中,以及按照预设自然语言对每种数据处理类型对应的调用接口进行便捷后生成该数据处理类型对应的应用程序调用接口。
本公开实施例提供的数据处理装置,通过预先构建一套通用的软件开发工具包SDK,可以实现针对多种数据处理类型分别对应的应用程序调用接口的调用,在这种情况下,针对多个具有同样的数据处理类型的App,可以基于该通用的SDK,调用与该数据处理类型对应的统一的应用程序调用接口来实现信息的处理,无需再针对每个App分别进行应用程序调用接口的开发,降低了开发成本。基于此,针对客户端发起的数据处理请求,不论该数据处理请求是针对哪个App,都可以基于请求中携带的索引信息和客户端属性信息,通过调用通用的SDK获取对应的调用接口来读取对应App下的数据内容,提高了针对不同APP进行数据处理时采用的数据处理方式的通用性。
本公开实施例还提供了一种电子设备500,该电子设备可以为服务器,服务器中包含预先构建的软件开发工具包SDK,SDK设置有多种数据处理类型分别对应的应用程序调用接口,如图5所示,为本公开实施例提供的电子设备500的结构示意图,包括:处理器501、存储介质502和总线503,存储介质502存储有处理器501可执行的机器可读指令,当电子设备500运行时,处理器501与存储介质502之间通过总线503通信,机器可读指令被处理器501执行时执行如下处理:
接收到客户端发送的数据处理请求时,解析数据处理请求中包含的至少一个索引信息;
基于数据处理请求对应的数据处理类型,确定SDK中与数据处理类型对应的待调用的应用程序调用接口;
通过调用与数据处理类型对应的应用程序调用接口,对预先建立的数据存储库中至少一个索引信息分别对应的数据内容进行处理,并将处理结果发送至客户端。
一种可能的实施方式中,数据处理类型包括:
数据获取类型、数据删除类型和数据更新类型。
一种可能的实施方式中,数据存储库包含缓存数据库和内存数据库,当数据处理请求对应的数据处理类型为数据获取类型时,处理器501执行的指令中,根据以下步骤查找预先建立的数据存储库中至少一个索引信息分别对应的数据内容:
通过调用与数据处理类型对应的应用程序调用接口,在缓存数据库中依次查找与每个索引信息对应的数据内容;
针对任一索引信息,若在缓存数据库中查找到对应的数据内容,则将查找到的数据内容作为与任一索引信息对应的数据内容;
若未在缓存数据库中查找到对应的数据内容,则在内存数据库中查找与该任一索引信息对应的数据内容,并将从内存数据库中查找到的数据内容作为与任一索引信息对应的数据内容。
一种可能的实施方式中,处理器501执行的指令中,还包括:
若未在缓存数据库中查找到任一索引信息对应的数据内容,在缓存数据库中复制任一索引信息以及任一索引信息对应的数据内容,以实现缓存数据库与内存数据库的同步。
一种可能的实施方式中,处理器501执行的指令中,按照以下方式预先构建所SDK:
获取预先存储的多种数据处理类型分别对应的配置文件信息,以及与多种数据处理类型匹配的SDK模板;SDK模板包括多个待填充项,以及与每个待填充项对应的调用接口;
将每种出具处理类型对应的配置文件信息按照预设自然语言编辑后分别填充至SDK模板的待填充项中,以及按照预设自然语言对每种数据处理类型对应的调用接口进行编辑后生成该数据处理类型对应的应用程序调用接口。
本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述数据处理方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述的数据处理方法,从而提高提高数据处理效率。
本公开实施例所提供的进行数据处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
本公开实施例所提供的数据处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本公开实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本公开所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围。都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法,其特征在于,应用于服务器,所述服务器中包含预先构建的软件开发工具包SDK,所述SDK设置有多种数据处理类型分别对应的应用程序调用接口,所述数据处理方法包括:
接收到客户端发送的数据处理请求时,解析所述数据处理请求中包含的至少一个索引信息和客户端属性信息;所述索引信息用于确定所述客户端要处理的目标数据内容,所述客户端属性信息用于唯一标识客户端;
基于所述数据处理请求对应的数据处理类型,确定所述SDK中与所述数据处理类型对应的待调用的应用程序调用接口;
确定预先建立的与所述客户端属性信息对应的数据存储库,并通过调用与所述数据处理类型对应的应用程序调用接口,对所述数据存储库中所述至少一个索引信息分别对应的数据内容进行处理,并将处理结果发送至所述客户端。
2.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理类型包括:
数据获取类型、数据删除类型和数据更新类型。
3.根据权利要求1或2任一所述的数据处理方法,其特征在于,所述数据存储库包含与所述客户端属性信息对应的缓存数据库和内存数据库,当所述数据处理请求对应的数据处理类型为数据获取类型时,根据以下步骤查找所述数据存储库中所述至少一个索引信息分别对应的数据内容:
通过调用与所述数据处理类型对应的应用程序调用接口,在所述缓存数据库中依次查找与每个索引信息对应的数据内容;
针对任一索引信息,若在所述缓存数据库中查找到对应的数据内容,则将查找到的数据内容作为与所述任一索引信息对应的数据内容;
若未在所述缓存数据库中查找到对应的数据内容,则在所述内存数据库中查找与该任一索引信息对应的数据内容,并将从所述内存数据库中查找到的数据内容作为与所述任一索引信息对应的数据内容。
4.根据权利要求3所述的数据处理方法,其特征在于,所述数据处理方法还包括:
若未在所述缓存数据库中查找到所述任一索引信息对应的数据内容,在所述缓存数据库中复制所述任一索引信息以及所述任一索引信息对应的数据内容,以实现所述缓存数据库与所述内存数据库的同步。
5.根据权利要求1所述的数据处理方法,其特征在于,按照以下方式预先构建所述SDK:
获取预先存储的多种数据处理类型分别对应的配置文件信息,以及与所述多种数据处理类型匹配的SDK模板;所述SDK模板包括多个待填充项,以及与每个待填充项对应的调用接口;
将每种出具处理类型对应的配置文件信息按照预设自然语言编辑后分别填充至所述SDK模板的待填充项中,以及按照所述预设自然语言对每种数据处理类型对应的调用接口进行编辑后生成该数据处理类型对应的应用程序调用接口。
6.一种数据处理装置,其特征在于,应用于服务器,所述服务器中包含预先构建的软件开发工具包SDK,所述SDK设置有多种数据处理类型分别对应的应用程序调用接口,所述数据处理装置包括:
解析模块,用于接收到客户端发送的数据处理请求时,解析所述数据处理请求中包含的至少一个索引信息和客户端属性信息;所述索引信息用于确定所述客户端要处理的目标数据内容,所述客户端属性信息用于唯一标识客户端;
确定模块,用于基于所述数据处理请求对应的数据处理类型,确定所述SDK中与所述数据处理类型对应的待调用的应用程序调用接口;
处理模块,用于确定预先建立的与所述客户端属性信息对应的数据存储库,并通过调用与所述数据处理类型对应的应用程序调用接口,对所述数据存储库中所述至少一个索引信息分别对应的数据内容进行处理,并将处理结果发送至所述客户端。
7.根据权利要求6所述的数据处理装置,其特征在于,所述数据存储库包含与所述客户端属性信息对应的缓存数据库和内存数据库,当所述数据处理请求对应的数据处理类型为数据获取类型时,所述处理模块用于采用以下方式查找所述数据存储库中所述至少一个索引信息分别对应的数据内容:
通过调用与所述数据处理类型对应的应用程序调用接口,在所述缓存数据库中依次查找与每个索引信息对应的数据内容;
针对任一索引信息,若在所述缓存数据库中查找到对应的数据内容,则将查找到的数据内容作为与所述任一索引信息对应的数据内容;
若未在所述缓存数据库中查找到对应的数据内容,则在所述内存数据库中查找与该任一索引信息对应的数据内容,并将从所述内存数据库中查找到的数据内容作为与所述任一索引信息对应的数据内容。
8.根据权利要求7所述的数据处理装置,其特征在于,所述处理模块还用于:
若未在所述缓存数据库中查找到所述任一索引信息对应的数据内容,在所述缓存数据库中复制所述任一索引内容以及所述任一索引内容对应的数据内容,以实现所述缓存数据库与所述内存数据库的同步。
9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至5任一所述数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至5任一所述数据处理方法的步骤。
CN201911089082.0A 2019-11-08 2019-11-08 一种数据处理方法、装置、电子设备及存储介质 Active CN110851209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911089082.0A CN110851209B (zh) 2019-11-08 2019-11-08 一种数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911089082.0A CN110851209B (zh) 2019-11-08 2019-11-08 一种数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110851209A CN110851209A (zh) 2020-02-28
CN110851209B true CN110851209B (zh) 2023-07-21

Family

ID=69599857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911089082.0A Active CN110851209B (zh) 2019-11-08 2019-11-08 一种数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110851209B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708957A (zh) * 2020-05-29 2020-09-25 平安科技(深圳)有限公司 基于索引和值引更新前端页面的方法、装置、计算机设备
CN111880773A (zh) * 2020-07-21 2020-11-03 北京达佳互联信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN112149735A (zh) * 2020-09-23 2020-12-29 上海联影医疗科技股份有限公司 数据处理方法以及装置
CN113722236B (zh) * 2021-09-18 2023-08-08 网易(杭州)网络有限公司 游戏调试方法、装置、设备、存储介质
CN113835902B (zh) * 2021-09-22 2023-12-05 抖音视界有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN115934158B (zh) * 2023-02-23 2023-06-23 云筑信息科技(成都)有限公司 一种基于业务身份的个性化配置方法
CN117149073A (zh) * 2023-08-30 2023-12-01 中科驭数(北京)科技有限公司 存储方案的配置方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317604A (zh) * 2014-11-13 2015-01-28 中国建设银行股份有限公司 一种程序代码生成方法及装置
CN105872083A (zh) * 2016-05-19 2016-08-17 湖州微未信息科技有限公司 一种支持不同类型客户端访问服务器的方法、服务器及系统
WO2018077292A1 (zh) * 2016-10-28 2018-05-03 北京市商汤科技开发有限公司 数据处理方法和系统、电子设备
WO2018129509A1 (en) * 2017-01-09 2018-07-12 Alibaba Group Holding Limited Managing, using, and updating application resources
CN109032820A (zh) * 2018-08-08 2018-12-18 网易(杭州)网络有限公司 应用程序版本兼容的处理方法及装置
CN110096543A (zh) * 2019-05-06 2019-08-06 软通智慧科技有限公司 应用程序的数据操作方法、装置、服务器和介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716237B2 (en) * 2004-12-22 2010-05-11 Csc Holdings, Inc. System and associated methods for remotely enabling features
US10248733B2 (en) * 2015-12-08 2019-04-02 Sap Se Integration of a catalog application with a monitoring application
US10375211B2 (en) * 2016-06-03 2019-08-06 Ebay Inc. Optimization of user interface data transmission for a consistent multi-platform experience service delivery
CN106911782A (zh) * 2017-02-28 2017-06-30 北京微影时代科技有限公司 一种数据读取方法及装置
US10558653B2 (en) * 2017-06-07 2020-02-11 Sap Se Dynamic, variable-data attribute data service
CN107733922B (zh) * 2017-11-20 2020-12-08 百度在线网络技术(北京)有限公司 用于调用服务的方法和装置
CN108196879A (zh) * 2018-01-09 2018-06-22 平安科技(深圳)有限公司 业务处理方法、装置、设备及计算机可读存储介质
CN110245029A (zh) * 2019-05-21 2019-09-17 中国平安财产保险股份有限公司 一种数据处理方法、装置、存储介质和服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317604A (zh) * 2014-11-13 2015-01-28 中国建设银行股份有限公司 一种程序代码生成方法及装置
CN105872083A (zh) * 2016-05-19 2016-08-17 湖州微未信息科技有限公司 一种支持不同类型客户端访问服务器的方法、服务器及系统
WO2018077292A1 (zh) * 2016-10-28 2018-05-03 北京市商汤科技开发有限公司 数据处理方法和系统、电子设备
WO2018129509A1 (en) * 2017-01-09 2018-07-12 Alibaba Group Holding Limited Managing, using, and updating application resources
CN109032820A (zh) * 2018-08-08 2018-12-18 网易(杭州)网络有限公司 应用程序版本兼容的处理方法及装置
CN110096543A (zh) * 2019-05-06 2019-08-06 软通智慧科技有限公司 应用程序的数据操作方法、装置、服务器和介质

Also Published As

Publication number Publication date
CN110851209A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110851209B (zh) 一种数据处理方法、装置、电子设备及存储介质
US9135289B2 (en) Matching transactions in multi-level records
CN107203574B (zh) 数据管理和数据分析的聚合
KR20190060725A (ko) Sql 검토 방법, 장치, 서버 및 저장 매체
US20190065518A1 (en) Context aware delta algorithm for genomic files
CN112579695A (zh) 一种数据同步方法和装置
CN113138781B (zh) Csv配置更新方法、存储介质
CN111884843A (zh) 一种消息处理方法、装置、电子设备及存储介质
CN110895587B (zh) 用于确定目标用户的方法和装置
CN105843809B (zh) 数据处理方法和装置
CN108694172B (zh) 信息输出方法和装置
CN117271584A (zh) 数据处理方法及装置、计算机可读存储介质和电子设备
CN108959548B (zh) 业务请求的处理方法及装置
CN114237806B (zh) 一种页面信息的显示方法、装置、电子设备及存储介质
CN112100168A (zh) 一种确定数据关联关系的方法和装置
CN115543967A (zh) 一种数据迁移方法、装置、电子设备及计算机可读介质
US20150347402A1 (en) System and method for enabling a client system to generate file system operations on a file system data set using a virtual namespace
US11138075B2 (en) Method, apparatus, and computer program product for generating searchable index for a backup of a virtual machine
CN110851456B (zh) 一种信息处理方法、电子设备及存储介质
CN111104369A (zh) 一种检索数据库构建方法及装置
US20190384825A1 (en) Method and device for data protection and computer readable storage medium
CN108694219B (zh) 一种数据处理方法及装置
CN113590088B (zh) 一种自动分析组件使用情况的方法、装置和电子设备
CN113840020B (zh) 基于ip地址信息的定位方法、装置、电子设备和存储介质
CN108322380B (zh) 调用数据的方法和装置以及推送信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder