CN107633016A - 数据处理方法及装置和电子设备 - Google Patents

数据处理方法及装置和电子设备 Download PDF

Info

Publication number
CN107633016A
CN107633016A CN201710729470.5A CN201710729470A CN107633016A CN 107633016 A CN107633016 A CN 107633016A CN 201710729470 A CN201710729470 A CN 201710729470A CN 107633016 A CN107633016 A CN 107633016A
Authority
CN
China
Prior art keywords
data processing
processing request
data
service server
modification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710729470.5A
Other languages
English (en)
Other versions
CN107633016B (zh
Inventor
张皓
王啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710729470.5A priority Critical patent/CN107633016B/zh
Publication of CN107633016A publication Critical patent/CN107633016A/zh
Application granted granted Critical
Publication of CN107633016B publication Critical patent/CN107633016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种数据处理方法及装置和电子设备,通过获取接收到的数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;进而根据所述路由标识,路由到对应的业务服务器;再根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;最后根据所述结构化查询语言,对对应的逻辑数据库进行操作。

Description

数据处理方法及装置和电子设备
技术领域
本说明书实施例涉及互联网技术领域,尤其涉及一种数据处理方法及装置和电子设备。
背景技术
分布式数据库通常采用分库分表的方式提高数据存储效率。在实际业务使用过程中,如果监控业务数据的运维人员发现线上数据出现异常,则需要对这样的数据进行处理。常用的运维方式可以借助分布式资源管理平台(如DRM)。该分布式资源管理平台可以向逻辑数据库推送数据处理请求,这个请求中携带有用于数据处理的SQL语句,从而自动完成数据处理。但是分布式资源管理平台每一次只能处理一个逻辑数据库中的数据;因此,如果涉及多个逻辑数据库,这个分布式资源管理需要分别推送多个请求。
需要提供更为高效的数据处理方案。
发明内容
本说明书实施例提供的一种数据处理方法及装置和电子设备,用于提供更为效率的方案来找寻使用寻废弃字段的服务使用方。
根据本说明书实施例提供的一种数据处理方法,所述方法包括:
接收数据处理请求;
获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
根据所述结构化查询语言,对对应的逻辑数据库进行操作。
根据本说明书实施例提供的一种数据处理装置,所述装置包括:
接收单元,接收数据处理请求;
获取单元,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
路由单元,根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
生成单元,根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
处理单元,根据所述结构化查询语言,对对应的逻辑数据库进行操作。
根据本说明书实施例提供的一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收数据处理请求;
获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
根据所述结构化查询语言,对对应的逻辑数据库进行操作。
本说明书实施例中,通过划分路由标识,使得每一个业务服务器可以分配一个唯一的路由标识。在接收到数据处理请求的情况下,通过识别该数据处理请求中携带的至少一个的路由标识,从而路由到这些路由标识对应的业务服务器;并自动生成针对这些业务服务器对应的逻辑数据库进行数据操作的SQL语句;如此,可以实现批量数据处理。
附图说明
图1是本说明书一实施例提供的系统架构图;
图2是本说明书一实施例提供的数据处理方法的流程图;
图3是本说明书一实施例提供的数据处理装置的模块示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
分布式数据库通常采用分库分表的方式提高数据存储效率。所述分库分表是一种涉及海量数据(如大数据)时常用的数据存储和处理方式;通过对分布式数据库进行逻辑划分,从而形成多个逻辑数据库。相同的数据可以分别存储在不同逻辑数据库中,每个逻辑数据库对应有唯一的路由标识。分库分表的方式还可以提高分布式数据库的容灾能力,由于相同数据可以存储在不同逻辑数据库中,假设一个逻辑数据库出现问题,无法执行数据处理,则还可以通过另一个同样具有这个数据的逻辑数据库进行处理。
对于业务系统来说,同样为了提高业务处理效率,可以采用分布式集群例如业务服务器集群,每一个业务服务器都可以具有业务处理能力,从而可以应对大量并行业务的处理。所述业务服务器可以是一种逻辑上的服务器,每一个业务服务器都可以对应有一个上述分布式数据库中的逻辑数据库。在实际业务使用过程中,如果监控业务数据的运维人员发现线上数据出现异常,则需要对这样的数据进行处理。常用的运维方式可以包括:
第一种方式:人工处理。
所述人工处理的方式,首先需要人工确定异常数据的范围,接着人工编写数据处理的SQL(结构化查询语言)语句的脚本;最后通过DBA(Data Base Administrator,数据库管理员)在线上执行该脚本。这种该方式中,即使是同一个数据异常,如果这个数据涉及到多个逻辑数据库,也需要编写对应多个逻辑数据库的多个SQL语句。
第二种方式:采用分布式资源管理平台(DRM)。
这种方式,通过借助分布式资源管理平台,该分布式资源管理平台可以向业务服务器推送数据处理请求,这个请求中携带有用于数据处理的SQL语句,然后业务服务器就可以根据这个SQL语句自动完成数据处理。相对于第一种方式,一定程度上提高了数据处理的效率。但是,分布式资源管理平台每一次推送请求,只能针对一个业务服务器,因此每一次请求只能处理一个逻辑数据库中的数据;因此,如果涉及多个逻辑数据库,这个分布式资源管理需要分别推送多个请求。这样,对于时效性要求较高的业务来说,效率还是不理想。
如图1所示为本说明书提供的一种实现数据处理的系统架构图,图1所示的系统架构图可以包括客户端11、服务端12、业务服务器集群13以及分布式数据库14。
其中,所述客户端11可以是数据处理的请求方,所述客户端11可以向所述服务端12发送数据处理请求,从而使得服务端12根据所述数据处理请求中携带的各种参数,执行响应的数据处理。
如前所示,所述客户端11可以是包括分布式资源管理平台DRM,或者其它可以执行数据库操作的设备,例如数据库管理员所在的电脑。
所述服务端12可以根据所述客户端11发送的数据处理请求,路由到需要进行数据处理的业务服务器131,并自动生成对业务服务器对应的逻辑数据库进行数据操作的结构化查询语言。
所述业务服务器集群13可以用于处理线上业务,所述业务服务器集群13可以包括多个业务服务器131,这些业务服务器131可以是逻辑意义上的服务器,也可以是物流意义上的服务器;每一个业务服务器131都对应有一个逻辑数据库141。
在一个具体地实施例中,所述服务端12也可以是所述业务服务器集群13中的一个业务服务器131(图1中未示出)。
所述分布式数据库14可以包括多个逻辑数据库141,每一个逻辑数据库141都对应有一个业务服务器131。
用户可以通过客户端11向服务端12发送数据处理请求,服务端12可以根据所述数据处理请求,路由到需要进行数据处理业务服务器131,并自动生成对业务所述服务器对应的逻辑数据库进行数据操作的结构化查询语言。
以下请结合图2所示的例子介绍本说明书一种数据处理方法的实施例,该方法可以应用于服务端,该方法可以包括以下步骤:
步骤110:接收数据处理请求。
本说明书中,服务端可以接收来自客户端发送的数据处理请求。
所述数据处理请求中至少携带有操作类型、对象条件、修改后值和至少一个路由标识。
所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识可以是以Json格式的字符串记录的。所述Json(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式。Json格式因为结构简洁、层次清晰,易于用户编写和阅读,也便于机器解析和生成,可以有效提供网络传输效率。
所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识可以是以XML文档记录的。所述XML(Extensible Markup Language,可扩展标记语言),是一种用于标记电子文件使该电子文件具有结构性的标记语言,可以用于标记数据、定义数据类型等,是一种可以允许用户自定义标记语言的源语言。所述XML提供了统一的方式描述和交换独立于应用程序的结构化数据,从而可以实现跨平台数据传输,不同平台可以识别XML中标记的内容。
如前所述的,所述数据处理请求可以是接收分布式资源管理平台(DRM)推送给服务端的,因此,所述步骤110可以包括:
接收分布式资源管理平台推送的数据处理请求。
所述分布式资源管理平台在检测到线上业务出现异常数据后,可以及时提示运维人员,由于运维人员输入操作类型、对象条件、修改后值和至少一个路由标识,从而向服务端发送数据处理请求;
或者,
所述分布式资源管理平台在检测到线上业务出现异常数据后,可以自动分析得出操作类型、对象条件、修改后值和至少一个路由标识,从而向服务端发送数据处理请求。
步骤120:获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件。
本说明书中,所述操作类型包括新增数据、删除数据、修改数据或者查询数据。
所述服务端可以封住不同操作类型的结构。例如,封装新增数据的接口Add(),删除数据的接口Remove(),修改数据的接口Update(),查询数据的接口Query();如此,运维人员只需调用所述操作类型的接口,而无需编写SQL语句的脚本。举例说明,假设需要修改数据,则运维人员调用Update();服务端在解析到Update()时,就可以确定本次数据处理是修改数据的数据处理。
所述对象条件可以用于确定具体需要处理的数据的范围。通过设置不同的对象条件,可以灵活确定需要处理数据。
所述对象条件可以包括业务字段,所述业务字段对应数据库表中的字段名称。以网购业务为例,假设需要修改某个商品的单价,则业务字段为“price”;因此,服务端可以对数据库表中字段名称为“price”的数据进行处理。
所述对象条件还可以包括时间范围。所述时间对应数据库表中数据的生成时间,也就是说,通过所述时间范围可以限定只对这个时间范围内的数据进行操作。
需要说明的是,对于任意用于确定具体需要处理的数据范围的对象条件都属于本说明书需要保护的范围。
对于新增数据、删除数据、查询数据这3类操作类型,所述修改后值可以默认值,或者空值;服务端在解析到修改后值为默认值或者空值的情况下,可以确定本次操作为非修改数据的操作,无需修改数据现有的值。
步骤130:根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库。
本说明书中,预先对每一个业务服务器分配了一个唯一的路由标识,因此所述路由标识与业务服务器可以是一一对应的。如图1中所示,每一个业务服务器可以对应有一个逻辑数据库。
假设获取到的多个路由标识:“0,2-4,6”;
本实施例可以识别连续路由标识,例如获取到的多个路由标识:“0,2-4,6”。这里的“2-4”可以认为是路由标识2至路由标识4,也就是说还包括了路由标识3。因此,路由标识为“0,2,3,4,6”。这样,在输入大量连续路由标识时,运维人员无需一一输入,只需按照联系路由标识填写规范输入首尾路由标识即可,提高了输入效率。服务端可以路由到路由标识“0,2,3,4,6”对应的业务服务器。
步骤140:根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言。
一个有效的结构化查询语言,一般需要具备数据库名、操作类型、操作对象,还有修改后值;
所述数据库名,在路由到逻辑数据库的情况下,就可以得到,即逻辑数据库名为SQL语句中使用到的数据库名。
所述操作类型,即为数据处理请求中携带的操作类型,根据获取到的操作类型,生成该操作类型的SQL语句。
所述操作对象即为根据对象条件确定的数据。
所述修改后值可以是修改数据的SQL语句中才需要使用。
沿用上一步骤中的例子,即路由标识“0,2,3,4,6”,服务端可以路由到路由标识“0,2,3,4,6”对应的业务服务器假设为业务服务器A,业务服务器B,业务服务器C,业务服务器D,业务服务器E;并且假设操作类型为修改数据、根据对象条件确定的数据为数据X,修改前数据X的值为100,修改后数据X的值为50。
进一步的,服务端可以生成分别针对这5个业务服务器对应逻辑数据库的SQL语句:
用于修改业务服务器A对应的逻辑数据库中数据X的值为50的第一SQL语句;
用于修改业务服务器B对应的逻辑数据库中数据X的值为50的第二SQL语句;
用于修改业务服务器C对应的逻辑数据库中数据X的值为50的第三SQL语句;
用于修改业务服务器D对应的逻辑数据库中数据X的值为50的第四SQL语句;
用于修改业务服务器E对应的逻辑数据库中数据X的值为50的第五SQL语句。
步骤150:根据所述结构化查询语言,对对应的逻辑数据库进行操作。
沿用上一步骤中的例子,根据上述5个SQL语句,对对应的逻辑数据进行操作。即执行第一SQL语句修改业务服务器A对应的逻辑数据库中数据X的值为50;
执行第二SQL语句修改业务服务器B对应的逻辑数据库中数据X的值为50;
执行第三SQL语句修改业务服务器C对应的逻辑数据库中数据X的值为50;
执行第四SQL语句修改业务服务器D对应的逻辑数据库中数据X的值为50;
执行第五SQL语句修改业务服务器E对应的逻辑数据库中数据X的值为50。
本说明书实施例中,通过划分路由标识,使得每一个业务服务器可以分配一个唯一的路由标识。在接收到数据处理请求的情况下,通过识别该数据处理请求中携带的至少一个的路由标识,从而路由到这些路由标识对应的业务服务器;并自动生成针对这些业务服务器对应的逻辑数据库进行数据操作的SQL语句;如此,可以实现批量数据处理。
本说明书的另一个实施例中,基于图2所示实施例,在所述步骤110之后,所述方法还可以包括:
校验所述数据处理请求是否合法;
所述步骤120,具体包括:
在所述数据处理请求合法的情况下,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识。
通过本实施例,对于一个数据处理请求,只有在该数据处理请求是合法的情况下,才可以执行,而对于不合法的数据处理请求不处理。
需要说明的是,所述校验所述数据处理请求是否合法,具体可以包括:
A1:判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
A2:在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,确定所述数据处理请求合法;
A3:在所述数据处理请求中携带操作类型、对象条件、修改后值和路由标识不全的情况下,确定所述数据处理请求不合法。
本实施例中,由于这些参数(即操作类型、对象条件、修改后值和路由标识)涉及到后续步骤执行,在缺少任一参数时后续步骤无法正常执行。例如,缺少操作类型的话,无法生成SQL语句;缺少对象条件的话,无法确定需要操作的数据;缺少修改后值的话,无法确定修改后值;缺少路由标识的话,无法路由到相应的业务服务器。因此,只有在数据处理请求中携带有操作类型、对象条件、修改后值和路由标识,可以认为这个数据处理请求是合法的,从而可以执行后续步骤。
在另一个实施例中,所述对象条件包括业务字段,所述业务字段对应了数据库表中字段名称;
所述校验所述数据处理请求是否合法,具体包括:
B1:判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
B2:在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,判断所述业务字段的类型是否位于合法字段类型中;
B3:在所述业务字段的类型位于合法字段类型中的情况下,确定所述数据处理请求合法;
B4:在所述业务字段的类型不位于合法字段类型中的情况下,确定所述数据处理请求不合法。
本实施例中,所述字段类型可以包括例如Long、Data、Char、Float、String、int等数据库表中可以使用的字段类型。
所述合法字段类型可以是人为预先配置的。
在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,通过进一步判断业务字段是否合法,在所述业务字段的类型位于合法字段类型中的情况下,确定所述数据处理请求合法。
本说明书的再一个实施例中,基于图2所示实施例,在所述步骤140之前,所述方法还包括:
接收所述业务服务器返回的确认信息;
在所述确认信息表示路由成功的情况下,执行所述步骤140;
在所述确认信息表示路由失败的情况下,重新执行所述步骤130。
本说明书由于可以对线上数据进行直接的修改,因此对每一次数据处理都需要很谨慎。通过接收被路由的业务服务器反馈的确认信息,如果该确认信息表示路由成功,则可以执行后续步骤140;反之,如果该确认信息表示路由失败,说明路由错了业务服务器,则需要重新路由。这样,可以保证路由到的业务服务器不会出现错误。
需要说明的是,所述确认信息可以是经由如下方式由业务服务器返回:
C1:业务服务器基于自身标识,遍历所有路由标识;
C2:判断是否存在与自身标识一致的路由标识;
C3:若存在,返回表示路由成功的确认信息;
C4:若不存在,返回标识路由失败的确认信息。
该实施例是由被路由的业务服务器执行的。服务端在路由到业务服务器的过程中,可以将所获取到的路由标识发送给该业务服务器。所述业务服务器可以基于自身标识(即分配的路由标识),遍历所有路由标识。
举例说明,服务端获取到的路由标识为“2,4,6,7,8”,假设业务服务器自身标识为6;则存在与自身标识6一致的路由标识;因此,可以返回表示路由成功的确认信息;
反之,假设业务服务器自身标识为3;则不存在与自身标识3一致的路由标识;因此,可以返回表示路由失败的确认信息。
本说明书的又一个实施例中,基于图2所示实施例,在所述步骤150之前,所述方法还包括:
验证所述对象条件、操作类型是否符合预设规则;
在符合预设规则的情况下,执行根据所述结构化查询语言,对对应的逻辑数据库进行操作的步骤。
本实施例中,所述预设规则可以是人为预先设置的。所述验证所述对象条件、操作类型是否符合预设规则,可以是人工进行的。
本说明书由于可以对线上数据进行直接的修改,因此对每一次数据处理都需要很谨慎。这里在真正对逻辑数据库操作之前,通过进行验证可以有效发现错误降低风险。
与前述图2所述数据处理方法实施例相对应,本说明书还提供了一种数据处理装置的实施例。所述装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,本说明书数据处理装置所在设备的一种硬件结构可以包括处理器、网络接口、内存以及非易失性存储器之外,实施例中装置所在的设备通常根据该数据处理实际功能,还可以包括其他硬件,对此不再赘述。
参见图3,为本说明书一实施例提供的数据处理装置的模块图,所述装置包括:
接收单元310,接收数据处理请求;
获取单元320,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
路由单元330,根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
生成单元340,根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
处理单350元,根据所述结构化查询语言,对对应的逻辑数据库进行操作。
在一个可选的实施例中:
所述接收单元310,具体包括:
接收分布式资源管理平台推送的数据处理请求。
在一个可选的实施例中:
所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识是以Json格式的字符串记录的;
或者,
是以XML文档记录的。
在一个可选的实施例中:
在所述接收单元310之后,所述装置还包括:
校验单元,校验所述数据处理请求是否合法;
所述获取单元320,具体包括:
在所述数据处理请求合法的情况下,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识。
在一个可选的实施例中:
所述校验单元,具体包括:
判断子单元,判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
确定子单元,在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,确定所述数据处理请求合法。
在一个可选的实施例中:
所述对象条件包括业务字段,所述业务字段对应了数据库表中字段名称;
所述校验单元,具体包括:
第一判断子单元,判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
第二判断子单元,在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,判断所述业务字段的类型是否位于合法字段类型中;
确定子单元,在所述业务字段的类型位于合法字段类型中的情况下,确定所述数据处理请求合法。
在一个可选的实施例中:
在所述生成单元340之前,所述装置还包括:
信息接收子单元,接收所述业务服务器返回的确认信息;
所述生成单元340,具体包括:
在所述确认信息表示路由成功的情况下,根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
循环子单元,在所述确认信息表示路由失败的情况下,重新执行所述路由单元。
在一个可选的实施例中:
所述确认信息经由如下方式由业务服务器返回:
遍历子单元,业务服务器基于自身标识,遍历所有路由标识;
判断子单元,判断是否存在与自身标识一致的路由标识;
第一返回子单元,在存在与自身标识一致的路由标识的情况下,返回表示路由成功的确认信息;
第二返回子单元,在不存在与自身标识一致的路由标识的情况下,返回标识路由失败的确认信息。
在一个可选的实施例中:
在所述处理单元350之前,所述装置还包括:
第二验证子单元,验证所述对象条件、操作类型是否符合预设规则;
所述处理单元350,具体包括:
在符合预设规则的情况下,根据所述结构化查询语言,对对应的逻辑数据库进行操作。
在一个可选的实施例中:
所述操作类型包括新增数据、删除数据、修改数据或者查询数据。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上图3描述了数据处理装置的内部功能模块和结构示意,其实质上的执行主体可以为一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收数据处理请求;
获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
根据所述结构化查询语言,对对应的逻辑数据库进行操作。
可选的,所述接收数据处理请求,具体包括:
接收分布式资源管理平台推送的数据处理请求。
可选的,所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识是以Json格式的字符串记录的;
或者,
是以XML文档记录的。
可选的,在所述接收数据处理请求之后,还包括:
校验所述数据处理请求是否合法;
所述获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识,具体包括:
在所述数据处理请求合法的情况下,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识。
可选的,所述校验所述数据处理请求是否合法,具体包括:
判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,确定所述数据处理请求合法。
可选的,所述对象条件包括业务字段,所述业务字段对应了数据库表中字段名称;
所述校验所述数据处理请求是否合法,具体包括:
判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,判断所述业务字段的类型是否位于合法字段类型中;
在所述业务字段的类型位于合法字段类型中的情况下,确定所述数据处理请求合法。
可选的,在所述根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言之前,还包括:
接收所述业务服务器返回的确认信息;
在所述确认信息表示路由成功的情况下,执行所述根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言的步骤;
在所述确认信息表示路由失败的情况下,重新执行所述根据所述路由标识,路由到对应的业务服务器的步骤。
可选的,所述确认信息经由如下方式由业务服务器返回:
业务服务器基于自身标识,遍历所有路由标识;
判断是否存在与自身标识一致的路由标识;
若存在,返回表示路由成功的确认信息;
若不存在,返回标识路由失败的确认信息。
可选的,在所述根据所述结构化查询语言,对对应的逻辑数据库进行操作之前,还包括:
验证所述对象条件、操作类型是否符合预设规则;
在符合预设规则的情况下,执行根据所述结构化查询语言,对对应的逻辑数据库进行操作的步骤。
可选的,所述操作类型包括新增数据、删除数据、修改数据或者查询数据。
在上述电子设备的实施例中,应理解,该处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,而前述的存储器可以是只读存储器(英文:read-only memory,缩写:ROM)、随机存取存储器(英文:random access memory,简称:RAM)、快闪存储器、硬盘或者固态硬盘。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

Claims (21)

1.一种数据处理方法,所述方法包括:
接收数据处理请求;
获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
根据所述结构化查询语言,对对应的逻辑数据库进行操作。
2.根据权利要求1所述的方法,所述接收数据处理请求,具体包括:
接收分布式资源管理平台推送的数据处理请求。
3.根据权利要求1所述的方法,所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识是以Json格式的字符串记录的;
或者,
是以XML文档记录的。
4.根据权利要求1所述的方法,在所述接收数据处理请求之后,所述方法还包括:
校验所述数据处理请求是否合法;
所述获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识,具体包括:
在所述数据处理请求合法的情况下,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识。
5.根据权利要求4所述的方法,所述校验所述数据处理请求是否合法,具体包括:
判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,确定所述数据处理请求合法。
6.根据权利要求5所述的方法,所述对象条件包括业务字段,所述业务字段对应了数据库表中字段名称;
所述校验所述数据处理请求是否合法,具体包括:
判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,判断所述业务字段的类型是否位于合法字段类型中;
在所述业务字段的类型位于合法字段类型中的情况下,确定所述数据处理请求合法。
7.根据权利要求1所述的方法,在所述根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言之前,所述方法还包括:
接收所述业务服务器返回的确认信息;
在所述确认信息表示路由成功的情况下,执行所述根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言的步骤;
在所述确认信息表示路由失败的情况下,重新执行所述根据所述路由标识,路由到对应的业务服务器的步骤。
8.根据权利要求7所述的方法,所述确认信息经由如下方式由业务服务器返回:
业务服务器基于自身标识,遍历所有路由标识;
判断是否存在与自身标识一致的路由标识;
若存在,返回表示路由成功的确认信息;
若不存在,返回标识路由失败的确认信息。
9.根据权利要求1所述的方法,在所述根据所述结构化查询语言,对对应的逻辑数据库进行操作之前,所述方法还包括:
验证所述对象条件、操作类型是否符合预设规则;
在符合预设规则的情况下,执行根据所述结构化查询语言,对对应的逻辑数据库进行操作的步骤。
10.根据权利要求1所述的方法,所述操作类型包括新增数据、删除数据、修改数据或者查询数据。
11.一种数据处理装置,所述装置包括:
接收单元,接收数据处理请求;
获取单元,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
路由单元,根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
生成单元,根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
处理单元,根据所述结构化查询语言,对对应的逻辑数据库进行操作。
12.根据权利要求11所述的装置,所述接收单元,具体包括:
接收分布式资源管理平台推送的数据处理请求。
13.根据权利要求11所述的装置,所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识是以Json格式的字符串记录的;
或者,
是以XML文档记录的。
14.根据权利要求11所述的装置,在所述接收单元之后,所述装置还包括:
校验单元,校验所述数据处理请求是否合法;
所述获取单元,具体包括:
在所述数据处理请求合法的情况下,获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个的路由标识。
15.根据权利要求14所述的装置,所述校验单元,具体包括:
判断子单元,判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
确定子单元,在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,确定所述数据处理请求合法。
16.根据权利要求15所述的装置,所述对象条件包括业务字段,所述业务字段对应了数据库表中字段名称;
所述校验单元,具体包括:
第一判断子单元,判断所述数据处理请求中是否携带有操作类型、对象条件、修改后值和路由标识;
第二判断子单元,在所述数据处理请求中携带有操作类型、对象条件、修改后值和路由标识的情况下,判断所述业务字段的类型是否位于合法字段类型中;
确定子单元,在所述业务字段的类型位于合法字段类型中的情况下,确定所述数据处理请求合法。
17.根据权利要求11所述的装置,在所述生成单元之前,所述装置还包括:
信息接收子单元,接收所述业务服务器返回的确认信息;
所述生成单元,具体包括:
在所述确认信息表示路由成功的情况下,根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
循环子单元,在所述确认信息表示路由失败的情况下,重新执行所述路由单元。
18.根据权利要求17所述的装置,所述确认信息经由如下方式由业务服务器返回:
遍历子单元,业务服务器基于自身标识,遍历所有路由标识;
判断子单元,判断是否存在与自身标识一致的路由标识;
第一返回子单元,在存在与自身标识一致的路由标识的情况下,返回表示路由成功的确认信息;
第二返回子单元,在不存在与自身标识一致的路由标识的情况下,返回标识路由失败的确认信息。
19.根据权利要求11所述的装置,在所述处理单元之前,所述装置还包括:
第二验证子单元,验证所述对象条件、操作类型是否符合预设规则;
所述处理单元,具体包括:
在符合预设规则的情况下,根据所述结构化查询语言,对对应的逻辑数据库进行操作。
20.根据权利要求11所述的装置,所述操作类型包括新增数据、删除数据、修改数据或者查询数据。
21.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收数据处理请求;
获取所述数据处理请求中至少携带的操作类型、对象条件、修改后值和至少一个路由标识;所述对象条件为确定数据范围的条件;
根据所述路由标识,路由到对应的业务服务器;所述路由标识与业务服务器一一对应,不同业务服务器具有对应的逻辑数据库;
根据所述业务服务器、操作类型、对象条件、修改后值,生成对该业务服务器对应的逻辑数据库进行数据操作的结构化查询语言;
根据所述结构化查询语言,对对应的逻辑数据库进行操作。
CN201710729470.5A 2017-08-23 2017-08-23 数据处理方法及装置和电子设备 Active CN107633016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710729470.5A CN107633016B (zh) 2017-08-23 2017-08-23 数据处理方法及装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710729470.5A CN107633016B (zh) 2017-08-23 2017-08-23 数据处理方法及装置和电子设备

Publications (2)

Publication Number Publication Date
CN107633016A true CN107633016A (zh) 2018-01-26
CN107633016B CN107633016B (zh) 2020-11-24

Family

ID=61100267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710729470.5A Active CN107633016B (zh) 2017-08-23 2017-08-23 数据处理方法及装置和电子设备

Country Status (1)

Country Link
CN (1) CN107633016B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446327A (zh) * 2018-02-12 2018-08-24 平安科技(深圳)有限公司 业务系统动态生成方法、装置、计算机设备及存储介质
CN108845995A (zh) * 2018-03-23 2018-11-20 腾讯科技(深圳)有限公司 数据处理方法、装置、存储介质和电子装置
CN109634984A (zh) * 2018-12-13 2019-04-16 中国银行股份有限公司 一种数据源配置转换成sql的方法及系统
CN110442636A (zh) * 2019-08-22 2019-11-12 迈普通信技术股份有限公司 一种数据的读写方法、装置及数据读写设备
CN110866002A (zh) * 2018-08-27 2020-03-06 北京京东尚科信息技术有限公司 分表数据处理的方法和装置
CN110913025A (zh) * 2019-12-31 2020-03-24 中国银联股份有限公司 服务调用方法、装置、设备及介质
CN110941639A (zh) * 2018-09-21 2020-03-31 阿里巴巴集团控股有限公司 数据处理、数据查询方法、装置以及设备
CN112286506A (zh) * 2020-10-30 2021-01-29 杭州海康威视数字技术股份有限公司 数据关联方法、装置、服务器及存储介质
CN113794583A (zh) * 2021-08-15 2021-12-14 新华三信息安全技术有限公司 配置方法及装置
CN116319514A (zh) * 2023-05-22 2023-06-23 腾讯科技(深圳)有限公司 一种数据处理方法和相关装置
CN116560665A (zh) * 2023-07-05 2023-08-08 京东科技信息技术有限公司 数据生成和处理的方法和装置、信用卡营销规则引擎系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678523A (zh) * 2013-11-28 2014-03-26 华为技术有限公司 分布式高速缓存cache数据访问方法和装置
CN103902565A (zh) * 2012-12-26 2014-07-02 阿里巴巴集团控股有限公司 一种数据访问关系的确定方法及装置
CN104008349A (zh) * 2014-04-28 2014-08-27 国家电网公司 数据库安全访问控制方法和系统
CN104408073A (zh) * 2014-10-31 2015-03-11 广州华多网络科技有限公司 数据操作方法和装置
CN105095518A (zh) * 2015-09-18 2015-11-25 中国农业银行股份有限公司 一种数据转换方法及装置
CN105554133A (zh) * 2015-12-21 2016-05-04 世纪龙信息网络有限责任公司 Http远程数据访问系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902565A (zh) * 2012-12-26 2014-07-02 阿里巴巴集团控股有限公司 一种数据访问关系的确定方法及装置
CN103678523A (zh) * 2013-11-28 2014-03-26 华为技术有限公司 分布式高速缓存cache数据访问方法和装置
CN104008349A (zh) * 2014-04-28 2014-08-27 国家电网公司 数据库安全访问控制方法和系统
CN104408073A (zh) * 2014-10-31 2015-03-11 广州华多网络科技有限公司 数据操作方法和装置
CN105095518A (zh) * 2015-09-18 2015-11-25 中国农业银行股份有限公司 一种数据转换方法及装置
CN105554133A (zh) * 2015-12-21 2016-05-04 世纪龙信息网络有限责任公司 Http远程数据访问系统和方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446327A (zh) * 2018-02-12 2018-08-24 平安科技(深圳)有限公司 业务系统动态生成方法、装置、计算机设备及存储介质
CN108845995A (zh) * 2018-03-23 2018-11-20 腾讯科技(深圳)有限公司 数据处理方法、装置、存储介质和电子装置
CN110866002A (zh) * 2018-08-27 2020-03-06 北京京东尚科信息技术有限公司 分表数据处理的方法和装置
CN110941639A (zh) * 2018-09-21 2020-03-31 阿里巴巴集团控股有限公司 数据处理、数据查询方法、装置以及设备
CN110941639B (zh) * 2018-09-21 2023-03-31 阿里巴巴集团控股有限公司 数据处理、数据查询方法、装置以及设备
CN109634984A (zh) * 2018-12-13 2019-04-16 中国银行股份有限公司 一种数据源配置转换成sql的方法及系统
CN110442636A (zh) * 2019-08-22 2019-11-12 迈普通信技术股份有限公司 一种数据的读写方法、装置及数据读写设备
CN110442636B (zh) * 2019-08-22 2022-04-05 迈普通信技术股份有限公司 一种数据的读写方法、装置及数据读写设备
CN110913025A (zh) * 2019-12-31 2020-03-24 中国银联股份有限公司 服务调用方法、装置、设备及介质
US11677815B2 (en) 2019-12-31 2023-06-13 China Unionpay Co., Ltd. Service invoking method, device, apparatus and medium
CN112286506B (zh) * 2020-10-30 2024-05-07 杭州海康威视数字技术股份有限公司 数据关联方法、装置、服务器及存储介质
CN112286506A (zh) * 2020-10-30 2021-01-29 杭州海康威视数字技术股份有限公司 数据关联方法、装置、服务器及存储介质
CN113794583A (zh) * 2021-08-15 2021-12-14 新华三信息安全技术有限公司 配置方法及装置
CN113794583B (zh) * 2021-08-15 2023-12-29 新华三信息安全技术有限公司 配置方法及装置
CN116319514B (zh) * 2023-05-22 2023-08-08 腾讯科技(深圳)有限公司 一种数据处理方法和相关装置
CN116319514A (zh) * 2023-05-22 2023-06-23 腾讯科技(深圳)有限公司 一种数据处理方法和相关装置
CN116560665A (zh) * 2023-07-05 2023-08-08 京东科技信息技术有限公司 数据生成和处理的方法和装置、信用卡营销规则引擎系统
CN116560665B (zh) * 2023-07-05 2023-11-03 京东科技信息技术有限公司 数据生成和处理的方法和装置、信用卡营销规则引擎系统

Also Published As

Publication number Publication date
CN107633016B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN107633016A (zh) 数据处理方法及装置和电子设备
US9454558B2 (en) Managing an index of a table of a database
JP2021521567A (ja) ファイル共有のための技術
CN110399383A (zh) 应用于服务器的数据处理方法、装置、计算设备、介质
US20190102237A1 (en) Recommending applications based on call requests between applications
US20150310052A1 (en) Managing a table of a database
WO2022008996A1 (en) Privacy preserving architecture for permissioned blockchains
CN107122368A (zh) 一种数据校验方法、装置及电子设备
US10043138B2 (en) Metadata representation and storage
CN107707477A (zh) 报文的处理方法及装置、计算机可读存储介质
CN102834806A (zh) 系统结构管理设备、系统结构管理方法和程序
CN105869057A (zh) 评论存储设备、评论读取、评论写入方法及装置
US11100087B2 (en) Data tokenization system maintaining data integrity
CN110019754A (zh) 一种知识库的建立方法、装置及设备
CN105743988A (zh) 网络用户追踪实现方法、装置及系统
CN106802891A (zh) 分布式数据库非分片字段的查询方法、系统和设备
CA3088147A1 (en) Data isolation in distributed hash chains
Sun et al. Expert system for automatic microservices identification using API similarity graph
US10311033B2 (en) Alleviation of index hot spots in data sharing environment with remote update and provisional keys
US9201960B2 (en) Virtual agent response to customer inquiries
CN111783141B (zh) 基于区块链的数据存储方法、装置、设备及存储介质
CN110209780A (zh) 一种问题模板生成方法、装置、服务器及存储介质
CN107103034A (zh) 基于ldap的tfas数据信息目录服务方法
US20090100000A1 (en) Acquisition and expansion of storage area network interoperation relationships
CN101211366B (zh) 用于从多个异类数据源提供信息的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant