CN114547055A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN114547055A
CN114547055A CN202210140611.0A CN202210140611A CN114547055A CN 114547055 A CN114547055 A CN 114547055A CN 202210140611 A CN202210140611 A CN 202210140611A CN 114547055 A CN114547055 A CN 114547055A
Authority
CN
China
Prior art keywords
data
database
data processing
storage address
processing request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210140611.0A
Other languages
English (en)
Inventor
薛楚
周明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210140611.0A priority Critical patent/CN114547055A/zh
Publication of CN114547055A publication Critical patent/CN114547055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法及装置,用以解决多用户共用数据库的场景中无法保证数据库表一致性的问题。该方法包括:接收来自用户设备的数据处理请求;数据处理请求用于指示对数据库中的数据进行处理;根据数据处理请求在用户设备包括的第一存储地址中对数据处理请求进行处理,得到处理结果;根据数据库的设定规则对数据处理请求进行校验;在校验通过时,将处理结果映射至数据库的第二存储地址中。

Description

一种数据处理方法及装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据处理方法及装置。
背景技术
Flink作为新一代的大数据流式计算引擎,对外提供了强大的实时计算能力。但作为计算引擎,数据的存储不是Flink的主要功能,所以Flink一般依靠第三方服务实现大数据的存储与管理。Flink提供了大量的连接器以对接不同的外部存储器,例如采用Flink-hive-connector与hive进行连接。hive是基于Hadoop的数据仓库服务,可以将结构化的数据文件映射为数据库表进行存储,并将存储的数据的类型、名称、命名空间和索引等信息记录在hive的元数据中,在实际应用中,用户设备可以通过Flink获取hive的元数据,根据待处理的数据的类型确定待处理的数据在hive中的存储位置,然后进行数据处理,比如写入数据、删除数据或者查询数据等处理。但是,由于在实际生产的过程中,多个用户使用同一个hive,所以多个用户在hive中写入数据时可能会出现命名冲突的问题,即可能会出现同一个命名的两个文件的内容结构不相同的问题,无法保证一个数据库表中存储的数据的一致性。
发明内容
本申请示例性的实施方式中提供一种数据处理方法及装置,用于解决多用户共用数据库的场景中无法保证数据库表一致性的问题。
第一方面,本申请实施例提供了一种数据处理方法,包括:
接收来自用户设备的数据处理请求;所述数据处理请求用于指示对数据库中的数据进行处理;
根据所述数据处理请求在所述用户设备包括的第一存储地址中对所述数据处理请求进行处理,得到处理结果;
根据所述数据库的设定规则对所述数据处理请求进行校验;
在校验通过时,将所述处理结果映射至所述数据库的第二存储地址中。
基于上述方案,本申请提出了在进行数据处理时,首先在用户设备的内存中处理数据得到处理结果,然后在待处理的数据通过校验之后再根据预先配置的映射关系将用户设备内存中的处理结果映射至数据库中。校验的步骤保证了同名的数据的结构一致,解决了由于不同的用户通过各自的用户设备直接操作数据库中的数据导致命名混乱的问题,即避免出现同一命名的两个文件的结构完全不同的情况。保证了同一个数据库同一个库表中存储的数据的一致性。
在一些实施例中,所述数据处理请求包括待处理数据与所述待处理数据的名称;所述根据数据库的设定规则对所述数据处理请求进行校验,包括:
确定所述待处理数据的名称是否符合所述设定规则所规定的名称;
若符合,则校验通过。
在一些实施例中,在确定所述待处理数据的名称符合所述设定规则之后,所述方法还包括:
确定所述待处理数据的类型是否符合设定规则所规定的类型;
若符合,则校验通过。
基于上述方案,通过验证待处理的数据的名称和格式是否符合数据库的设定规则,符合才会进行存储,保证了数据库中存储的数据的一致性。
在一些实施例中,所述数据处理请求包括写入请求;根据所述数据处理请求在所述第一存储地址中对所述数据进行处理,包括:
根据第一数据在所述第一存储地址中写入所述待写入数据;
将处理结果映射至所述数据库的第二存储地址之后,所述方法还包括:
将所述第一存储地址中的所述第一数据删除。
由于在相关技术中,用户设备是直接访问数据库,在数据库中写入待写入数据的,所以会导致写入数据过程中产生的中间数据也会被存储在数据库中,造成数据库中的存储资源浪费的问题。基于上述方案,本申请提出在用户设备中写入数据,那么写入数据中产生的中间数据也会被存储在用户设备中,避免了浪费数据库的存储资源。并且在待写入数据映射到数据库之后,用户设备中的中间数据会被删除,所以本申请提出的方案也不会增加用户设备的负担。
在一些实施例中,在根据数据库的设定规则对所述数据处理请求进行校验之前,所述方法还包括:
确定所述用户设备具有访问和读写所述第二存储地址中存储的数据的权限。
针对不同的存储地址,对不同的用户设置不同的权限,避免了用户误删数据或者误修改数据。
第二方面,本申请实施例提供了一种数据处理装置,包括:
收发单元,用于接收来自用户设备的数据处理请求;所述数据处理请求用于指示对数据库中的数据进行处理;
处理单元,被配置为执行:
根据所述数据处理请求在所述用户设备包括的第一存储地址中对所述数据处理请求进行处理,得到处理结果;
根据所述数据库的设定规则对所述数据处理请求进行校验;
在校验通过时,将所述处理结果映射至所述数据库的第二存储地址中。
在一些实施例中,所述数据处理请求包括待处理数据与所述待处理数据的名称;所述处理单元,具体用于:
确定所述待处理数据的名称是否符合所述设定规则所规定的名称;
若符合,则校验通过。
在一些实施例中,所述处理单元,在确定所述待处理数据的名称符合所述设定规则之后,还用于:
确定所述待处理数据的类型是否符合设定规则所规定的类型;
若符合,则校验通过。
在一些实施例中,所述数据处理请求包括写入请求;所述处理单元,具体用于:
根据第一数据在所述第一存储地址中写入所述待写入数据;
将处理结果映射至所述数据库的第二存储地址之后,所述方法还包括:
将所述第一存储地址中的所述第一数据删除。
在一些实施例中,所述处理单元,还用于:
确定所述用户设备具有访问和读写所述第二存储地址中存储的数据的权限。
第三方面,本申请实施例提供了一种电子设备,所述电子设备包括控制器和存储器。存储器用于存储计算机执行指令,控制器执行存储器中的计算机执行指令以利用控制器中的硬件资源执行第一方面任一种可能实现的方法的操作步骤。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
另外,第二方面至第四方面的有益效果可以参见如第一方面所述的有益效果,此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例。
图1为本申请实施例提供的一种网络架构的结构示意图;
图2为本申请实施例提供的一种数据处理方法的流程图;
图3为本申请实施例提供的另一种数据处理方法的流程图;
图4为本申请实施例提供的一种数据处理装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个,例如可以是两个、三个或者更多个,本申请实施例不做限制。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,在不做特别说明的情况下,一般表示前后关联对象是一种“或”的关系。
为了便于理解本申请提出的数据处理方法,首先对本申请涉及的技术用语进行简单介绍。
(1)Flink:面向分布式数据流处理和批量数据处理的开源计算平台,主要由Java代码实现,具有吞吐量高和低延迟的特性。通过实现Flink框架的InputFormat接口和OutputFormat接口,使得Flink平台可以从不同的数据源读写数据。由于Flink主要用于数据计算,数据的存储并不是它的主要功能,所说义Flink平台一般依靠第三方服务实现数据的管理与存储,基于此,Flink提供了大量的连接器(connector)。例如,当Flink通过hive来实现数据的存储和管理时,可以采用Flink-hive-connector来访问hive,还可以通过HiveCatalog来实现直接管理hive的元数据。
(2)Hadoop:是由Java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源架构。其核心的部件是HDFS和MapReduce。
(3)HDFS:一种分布式存储系统,可以理解为一个用于存储大规模数据的硬盘,可以实现海量数据的存储功能。
(4)MapReduce:一种分布式计算架构,核心思想是“分而治之”。具体包括Mapper和Reducer两部分,Mapper用于将复杂的任务拆分为多个子任务,多个子任务之间可以并行计算。Reducer用于对各个子任务的结果进行汇总。
(5)hive:hive是一种基于Hadoop的数据库引擎,可以将结构化的数据文件映射为一张数据库表进行存储。并且,还可以将结构化查询语言(Structured Query Language,SQL)语句转化为MapReduce代码,提供简单的SQL查询功能。由于直接使用Hadoop是,需要运维人员手动撰写MapReduce代码以实现数据计算的功能,所以提出了hive,可以直接将SQL语句转化为MapReduce代码,节约了人工成本。
(6)hive的元数据:用于记录hive数据库中存储的所有的表名和库名。简单来说,hive的元数据是用来记录hive数据库(即采用hive架构的数据库,后续为了便于描述,简称为hive数据库)中存储有哪些数据库、哪些表、表的格式、目录、分区、索引以及命名空间的。
下面,为了便于理解本申请提出的方案,对本申请采用的网络架构进行介绍。例如,可以参见图1,本申请所采用的网络架构中包括用户设备101、Flink平台102和数据库103。用户设备101可以通过Flink平台102对数据库103中的数据进行处理,例如向数据库103中写入数据或者删除、更改数据库103中的数据。
图1示出的用户设备101也可以称为终端(User Equipment,UE),或者终端设备、移动台(Mobile Station,MS)、移动终端(Mobile Terminal,MT)等,是一种向用户提供语音和/或数据连通性的设备,例如,具有无线连接功能的手持式设备、车载设备等。目前,一些用户设备的举例为:手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile Internet Device,MID)、可穿戴设备,虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备、工业控制(Industrial Control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。一些实施例中,本申请涉及的用户设备可以包括显示屏,用于显示各种显示界面。
图1示出的Flink平台102的功能可以由一个服务器来实现,也可以由服务器集群来实现。或者Flink平台102的功能也可以由芯片或者处理器来实现,例如可以是部署在用户设备101或者部署在数据库103中的芯片或者处理器。也就是说,Flink平台102的功能可以由独立的设备来实现,也可以是部署在用户设备102和数据库103中来实现,本申请对此不作具体限定。具体的关于Flink平台102的功能可以参见上述技术用语中关于Flink的介绍,在此不再进行赘述。
图1示出的数据库103可以是一个包括数据计算功能和数据存储功能的服务器或者也可以是一个单纯的存储器。或者,数据库103也可以是一个分布式的数据库集群。本申请对于数据库所采用的架构不作具体限定,例如,数据库103可以为hive数据库。可选地,数据库103的元数据可以存储在关系型数据库,例如mysql或者postgresql数据库中(在图1中并未示出)。
在一些实施例中,为了保证Flink平台102能够正常访问和管理数据库103,本申请涉及的网络架构中还可以包括Flink平台102和数据库103之间的连接器(在图1中并未示出)。例如,当数据库103为hive数据库时,Flink平台102可以通过Flink-hive-connector来实现访问和管理hive数据库中的数据。
需要说明的是,本申请对于用户设备101、Flink平台102和数据库103的实现形式和数量均不作具体限定,图1仅作为一种示例。后续为了便于描述,将用户设备101简称为用户设备,将Flink平台102简称为Flink平台,将数据库103简称为数据库。
下面,对本申请提出的数据处理方法进行介绍。为了便于理解,可以参见图2,为本申请实施例提供的一种数据处理方法的流程示意图。可选地,执行该方法流程的可以是上述图1中介绍的Flink平台。作为一种可能实现的方式,执行该方法流程的Flink平台的功能可以由服务器或者服务器集群来实现。又或者,Flink平台可以部署在用户设备或者数据库中。该方法流程具体包括:
201,接收来自用户设备的数据处理请求。
其中,数据处理请求用于指示对数据库中的数据进行处理。可选地,对数据库中的数据进行处理可以包括删除、更改数据库中已经存在的数据,或者也可以包括向数据库中写入数据。
202,根据数据处理请求在用户设备包括的第一存储地址中对数据处理请求进行处理,得到处理结果。
可选地,用户设备中可以包括一定大小的存储空间(例如用户设备的内存),第一存储地址为用户设备的存储空间中的任一地址。Flink平台在接收到来自用户设备的用于指示对数据库中的数据进行处理的数据处理请求之后,可以首先在用户设备的某一个存储地址中对该请求进行处理得到处理结果。
作为一种举例,例如数据处理请求指示在数据库中写入数据A,则Flink平台可以在用户设备的内存中写入该数据A。即,处理结果为写入的数据A。
203,根据数据库的设定规则对数据处理请求进行校验。
可选地,数据处理请求可以包括待处理数据和待处理数据的名称。
作为一种可能实现的方式,数据库的设定规则可以用于检验待处理数据的名称和类型是否符合标准。例如,待处理数据为某一类商品的金额,格式为表格,待处理数据的名称为“商品金额”。而数据库的设定规则指示了存储的数据的名称应为“商品金额”,数据类型应为键值对格式。那么上述的待处理数据则会因为格式不符,所以不满足数据库的设定规则,校验不通过。若是数据库有的设定规则指示存储的数据的名称为“商品金额”,数据类型为表格。那么上述待处理数据则通过校验。
需要说明的是,本申请对于步骤202和步骤203的执行顺序不作具体限定。例如,可以先执行步骤202,也可以先执行步骤203。
204,在校验通过时,将处理结果映射至数据库的第二存储地址中。
可选地,Flink平台在处理待处理数据之前,可以首先建立用户设备内存中的第一存储地址与数据库中的第二存储地址之间的映射关系,通过该映射关系,第一存储地址的数据可以映射到第二存储地址中。作为一种举例,第一存储地址和第二存储地址之间的映射关系可以看作是通过本地的设备向云端存储器写入数据的过程,与之不同的是,本申请并不是在写入用户设备(即本地设备)的内存后就会自动上传至数据库,而是需要Flink平台先进行校验,校验通过后再映射至数据库。
基于上述方案,本申请提出了在进行数据处理时,首先在用户设备的内存中处理数据得到处理结果,然后在待处理的数据通过校验之后再根据预先配置的映射关系将用户设备内存中的处理结果映射至数据库中。校验的步骤保证了同名的数据的结构一致,解决了由于不同的用户通过各自的用户设备直接操作数据库中的数据导致命名混乱的问题,即避免出现同一命名的两个文件的结构完全不同的情况。保证了同一个数据库同一个库表中存储的数据的一致性。
在一些实施例中,还可以在Flink平台中预先设置一些规则,例如,可以通过Flink平台配置不同用户设备对于不同的数据库表的权限,避免用户误删、误写入或者误修改。可选地,可以屏蔽来自用户设备的数据控制语句(Data Control Language,DCl),比如包括greate(分配权限给用户)和revoke(废除数据库中某用户的权限)在内的类似于管理员的权限。可选地,可以设置正常接收来自用户设备的数据定义语言(Data DefinitionLanguage,DDL)或者数据操控语言(Data Manipulation Language,DML)。换句话说,Flink平台可以设置为正常接收DDL或者DML等语句的数据处理请求,并可以设置为屏蔽DCL语句的数据处理请求。可选地,Flink在接收到来自用户设备的用于指示对数据库中某一存储地址中的数据进行处理的请求时,还可以先确定该用户设备是否有访问和读写所述某一存储地址的权限,若有权限,才会根据请求的内容进行数据处理,否则不会对进行数据处理。基于该方案,可以避免由于命名和格式相同导致用户误删数据或者其他对数据的误操作。
在一些场景中,若数据处理请求用于请求向数据库中写入某一项数据时,FLink平台可以在用户设备内存中的第一存储地址中写入该数据,并可以创建第一存储地址和数据库中的第二存储地址之间的映射关系(作为另一种可选的方式,该映射关系也可以是在接收到写入数据的请求之前创建的)。完成在第一存储地址写入待写入数据之后,进一步地,Flink平台可以校验待写入数据的格式和名称是否符合第二存储地址的存储要求。例如,第二存储地址中只存储命名为“待办事项”,格式为字符串格式的数据,那么Flink会校验待写入数据的名称是否为“待办事项”,格式是否为字符串,若是,则通过校验。可选地,Flink在确定待写入数据通过校验之后,可以将已经写入第一存储地址中的待写入数据根据预先配置的映射关系映射至数据库的第二存储地址中。
在一些实施例中,Flink在第一存储地址中写入该数据的过程中可能会产生一些中间数据。例如,待写入的数据为一个三行三列的表格A,表格A的第一列与已经存在的表格B的第二列相同,表格A的第二列与表格C的第一列相同,表格A的第三列与表格B的第一列相同,所以Flink平台在写入表格A时,可以根据表格B和表格C生成表格A,那么表格B和表格C就会作为写入表格A过程中产生的中间数据。Flink平台在向第一存储地址写入待写入数据时,写入过程中产生的中间数据也会存储在第一存储地址中。Flink平台在将待写入数据映射至第二存储地址之后,可以将第一存储地址中存储的中间数据删除。由于在相关技术中,用户设备是直接访问数据库,在数据库中写入待写入数据的,所以会导致写入数据过程中产生的中间数据也会被存储在数据库中,造成数据库中的存储资源浪费的问题。而基于上述本申请提出的方案,生成待写入数据的过程是在用户设备中进行的,所以生成待写入数据的过程中产生的中间数据也只会被存储在用户设备中。避免了浪费数据库的存储资源。并且在待写入数据映射到数据库之后,用户设备中的中间数据会被删除,所以本申请提出的方案也不会造成用户设备的负担。
在一种可能的场景中,Flink平台还可以预先从用于存储数据库的元数据的第三方数据库(例如某一关系型数据库)中获取数据库的元数据,Flink平台在用户设备中的第一存储地址写入待写入数据并映射至数据库的第二存储地址之后,还可以在数据库的元数据中添加待写入数据的相关信息,例如,待写入数据的存储地址、名称和类别等。
下面,为了更进一步理解本申请实施例提出的方案,结合具体的实施例进行介绍。参见图3,为本申请实施例提供的一种数据传输方法。具体包括:
301,用户设备向Flink平台发送用于指示向数据库中写入数据A的请求。
可选地,请求中还可以包括用户设备指示的数据库中写入数据A的地址,为了便于描述,后续将该地址称为地址A。
302,Flink平台接收请求,在用户设备内存中写入数据A。
为了便于描述,后续将用户设备内存中写入数据A的地址简称为地址B,地址B和数据库中的地址A存在预先设定的映射关系。
可选地,在向地址B写入数据A的过程中可能会生成一些中间数据,这些中间数据也会被存储在地址B中。
303,Flink平台判断数据A是否通过验证。
具体地,Flink平台根据数据库的地址A的设定规则对数据A进行验证,并判断数据A是否能通过验证。可选地,具体的验证过程可以参见上述实施例中的介绍,在此不再进行赘述。
若验证通过,则继续步骤304。
若验证未通过,则向用户设备发送用于指示数据错误的指示信息。
304,Flink平台根据映射关系,将数据A映射至地址A。
具体的映射过程可以参见上述实施例中的介绍,在此不再进行赘述。
305,Flink平台将地址B中存储的中间数据删除。
基于与上述方法的同一构思,参见图4,为本申请实施例提供的一种数据处理装置400。装置400能够执行上述方法中的各个步骤,为了避免重复,此处不再进行赘述。装置400包括:收发单元401和处理单元402。
收发单元401,用于接收来自用户设备的数据处理请求;所述数据处理请求用于指示对数据库中的数据进行处理;
处理单元402,被配置为执行:
根据所述数据处理请求在所述用户设备包括的第一存储地址中对所述数据处理请求进行处理,得到处理结果;
根据所述数据库的设定规则对所述数据处理请求进行校验;
在校验通过时,将所述处理结果映射至所述数据库的第二存储地址中。
在一些实施例中,所述数据处理请求包括待处理数据与所述待处理数据的名称;所述处理单元402,具体用于:
确定所述待处理数据的名称是否符合所述设定规则所规定的名称;
若符合,则校验通过。
在一些实施例中,所述处理单元402,在确定所述待处理数据的名称符合所述设定规则之后,还用于:
确定所述待处理数据的类型是否符合设定规则所规定的类型;
若符合,则校验通过。
在一些实施例中,所述数据处理请求包括写入请求;所述处理单元402,具体用于:
根据第一数据在所述第一存储地址中写入所述待写入数据;
将处理结果映射至所述数据库的第二存储地址之后,所述方法还包括:
将所述第一存储地址中的所述第一数据删除。
在一些实施例中,所述处理单元402,还用于:
确定所述用户设备具有访问和读写所述第二存储地址中存储的数据的权限。
图5示出了本申请实施例提供的电子设备500结构示意图。本申请实施例中的电子设备500还可以包括通信接口503,该通信接口503例如是网口,电子设备可以通过该通信接口503传输数据,例如通信接口503可以实现上述图4中的收发单元401的功能。
在本申请实施例中,存储器502存储有可被至少一个控制器501执行的指令,至少一个控制器501通过执行存储器502存储的指令,可以用于执行上述方法中的各个步骤,例如,控制器501可以实现上述图4中的处理单元402的功能。
其中,控制器501是电子设备的控制中心,可以利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据。可选的,控制器501可包括一个或多个处理单元,控制器501可集成应用控制器和调制解调控制器,其中,应用控制器主要处理操作系统和应用程序等,调制解调控制器主要处理无线通信。可以理解的是,上述调制解调控制器也可以不集成到控制器501中。在一些实施例中,控制器501和存储器502可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
控制器501可以是通用控制器,例如中央控制器(CPU)、数字信号控制器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用控制器可以是微控制器或者任何常规的控制器等。结合本申请实施例所公开的数据统计平台所执行的步骤可以直接由硬件控制器执行完成,或者用控制器中的硬件及软件模块组合执行完成。
存储器502作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通过对控制器501进行设计编程,例如,可以将前述实施例中介绍的神经网络模型的训练方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行前述的神经网络模型训练方法的步骤,如何对控制器501进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的控制器以产生一个机器,使得通过计算机或其它可编程数据处理设备的控制器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种数据处理方法,其特征在于,包括:
接收来自用户设备的数据处理请求;所述数据处理请求用于指示对数据库中的数据进行处理;
根据所述数据处理请求在所述用户设备包括的第一存储地址中对所述数据处理请求进行处理,得到处理结果;
根据所述数据库的设定规则对所述数据处理请求进行校验;
在校验通过时,将所述处理结果映射至所述数据库的第二存储地址中。
2.根据权利要求1所述的方法,其特征在于,所述数据处理请求包括待处理数据与所述待处理数据的名称;所述根据数据库的设定规则对所述数据处理请求进行校验,包括:
确定所述待处理数据的名称是否符合所述设定规则所规定的名称;
若符合,则校验通过。
3.根据权利要求2所述的方法,其特征在于,在确定所述待处理数据的名称符合所述设定规则之后,所述方法还包括:
确定所述待处理数据的类型是否符合设定规则所规定的类型;
若符合,则校验通过。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述数据处理请求包括写入请求;根据所述数据处理请求在所述第一存储地址中对所述数据进行处理,包括:
根据第一数据在所述第一存储地址中写入所述待写入数据;
将处理结果映射至所述数据库的第二存储地址之后,所述方法还包括:
将所述第一存储地址中的所述第一数据删除。
5.根据权利要求1-3任一项所述的方法,其特征在于,在根据数据库的设定规则对所述数据处理请求进行校验之前,所述方法还包括:
确定所述用户设备具有访问和读写所述第二存储地址中存储的数据的权限。
6.一种数据处理装置,其特征在于,包括:
收发单元,用于接收来自用户设备的数据处理请求;所述数据处理请求用于指示对数据库中的数据进行处理;
处理单元,被配置为执行:
根据所述数据处理请求在所述用户设备包括的第一存储地址中对所述数据处理请求进行处理,得到处理结果;
根据所述数据库的设定规则对所述数据处理请求进行校验;
在校验通过时,将所述处理结果映射至所述数据库的第二存储地址中。
7.如权利要求6所述的装置,其特征在于,所述数据处理请求包括待处理数据与所述待处理数据的名称;所述处理单元,具体用于:
确定所述待处理数据的名称是否符合所述设定规则所规定的名称;
若符合,则校验通过。
8.如权利要求7所述的装置,其特征在于,所述处理单元,在确定所述待处理数据的名称符合所述设定规则之后,还用于:
确定所述待处理数据的类型是否符合设定规则所规定的类型;
若符合,则校验通过。
9.如权利要求6-8任一项所述的装置,其特征在于,所述数据处理请求包括写入请求;所述处理单元,具体用于:
根据第一数据在所述第一存储地址中写入所述待写入数据;
将处理结果映射至所述数据库的第二存储地址之后,所述方法还包括:
将所述第一存储地址中的所述第一数据删除。
10.如权利要求6-8任一项所述的装置,其特征在于,所述处理单元,还用于:
确定所述用户设备具有访问和读写所述第二存储地址中存储的数据的权限。
11.一种电子设备,其特征在于,所述电子设备包括控制器和存储器,
所述存储器,用于存储计算机程序或指令;
所述控制器,用于执行存储器中的计算机程序或指令,使得权利要求1-5中任一项所述的方法被执行。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被计算机调用时,使所述计算机执行如权利要求1-5任一项所述的方法。
CN202210140611.0A 2022-02-16 2022-02-16 一种数据处理方法及装置 Pending CN114547055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210140611.0A CN114547055A (zh) 2022-02-16 2022-02-16 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210140611.0A CN114547055A (zh) 2022-02-16 2022-02-16 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN114547055A true CN114547055A (zh) 2022-05-27

Family

ID=81674904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210140611.0A Pending CN114547055A (zh) 2022-02-16 2022-02-16 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114547055A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991692A (zh) * 2023-09-27 2023-11-03 广东广宇科技发展有限公司 一种基于数据库读写的验证方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991692A (zh) * 2023-09-27 2023-11-03 广东广宇科技发展有限公司 一种基于数据库读写的验证方法
CN116991692B (zh) * 2023-09-27 2024-02-09 广东广宇科技发展有限公司 一种基于数据库读写的验证方法

Similar Documents

Publication Publication Date Title
TWI698108B (zh) 基於區塊鏈的資料處理方法和裝置
CN106980669B (zh) 一种数据的存储、获取方法及装置
US9996565B2 (en) Managing an index of a table of a database
US20170364697A1 (en) Data interworking method and data interworking device
US8555018B1 (en) Techniques for storing data
US10671606B2 (en) Materialized query tables with shared data
US9996596B2 (en) Managing a table of a database
CN111901294A (zh) 一种构建在线机器学习项目的方法及机器学习系统
CN111414407A (zh) 数据库的数据查询方法、装置、计算机设备及存储介质
CN105302920A (zh) 一种云存储数据的优化管理方法和系统
CN110245128B (zh) 元模型的建立方法及装置、存储介质、电子装置
US9679013B2 (en) Generating and accessing a data table
CN114547055A (zh) 一种数据处理方法及装置
CN108459842B (zh) 一种模型配置方法、装置及电子设备
CN113296891A (zh) 基于平台的多场景知识图谱处理方法及装置
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
CN116151631A (zh) 一种业务决策处理系统、一种业务决策处理方法和装置
CN115185946A (zh) 多租户系统、多租户管理方法、计算机设备和存储介质
CN113704120A (zh) 数据传输方法、装置、设备及存储介质
CN109582718B (zh) 数据处理方法、装置及存储介质
US10756948B1 (en) Horizontal scaling of time series data
CN116861013B (zh) 一种cim数据可信性提升方法
KR102256361B1 (ko) 데이터의 접근 제어를 위한 네트워크 장치 및 방법, 그리고 이를 이용한 데이터 접근 제어 시스템
CN114840868B (zh) 数据访问方法、装置、电子设备及计算机可读存储介质
CN114021108A (zh) 一种跨应用数据权限管理、配置、控制方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination