CN116049290A - 一种数据存储方法及装置 - Google Patents

一种数据存储方法及装置 Download PDF

Info

Publication number
CN116049290A
CN116049290A CN202310130583.9A CN202310130583A CN116049290A CN 116049290 A CN116049290 A CN 116049290A CN 202310130583 A CN202310130583 A CN 202310130583A CN 116049290 A CN116049290 A CN 116049290A
Authority
CN
China
Prior art keywords
database
data
configuration information
configuration
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310130583.9A
Other languages
English (en)
Inventor
陈国杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Financial Technology Co Ltd
Original Assignee
Bank of China Financial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Financial Technology Co Ltd filed Critical Bank of China Financial Technology Co Ltd
Priority to CN202310130583.9A priority Critical patent/CN116049290A/zh
Publication of CN116049290A publication Critical patent/CN116049290A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据存储方法及装置,该方法包括:基于数据库配置信息,确定待存储数据适用的数据库,数据库配置信息包括多个数据库分别对应的存储条件;将待存储数据存储至待存储数据适用的数据库。通过本申请实施例,可以根据数据库对应的存储条件,将待存储数据存储至待存储数据适用的数据库,既能降低数据存储的成本,又能满足客户查询数据的时效性。

Description

一种数据存储方法及装置
技术领域
本申请涉及计算机数据存储技术领域,尤其涉及一种数据存储方法及装置。
背景技术
数据以某种格式记录在计算机内部或外部存储介质上,即为数据存储。
随着互联网技术的发展,客户在线上的操作越来越多,线上业务场景越来越多,业务逻辑也越来越复杂,系统内产生的数据也越来越多。有些数据(比如:1年间的交易,或者高频客户)的时效性、并发性等要求越来越高;有些数据(比如:1年后到10年之间的数据,或中频客户)查询的频率要求不是特别高;有些数据(比如:10年前的交易数据,或者低频客户)查询的频率基本为零。在满足应用服务的前提下,如果使用同一种方式进行数据存储,成本比较高。如果都使用低成本的数据存储方式,不能满足客户查询时的时效性要求。因此,如何灵活地对数据进行存储是急需解决的问题。
发明内容
有鉴于此,本申请的目的在于提供了一种数据存储方法及装置,可以灵活地对数据进行存储,既能降低数据存储的成本,又能满足客户查询数据的时效性,其具体技术方案如下:
第一方面,本申请提供了一种数据存储方法,所述方法包括:
基于数据库配置信息,确定待存储数据适用的数据库,所述数据库配置信息包括多个数据库分别对应的存储条件;
将所述待存储数据存储至所述待存储数据适用的数据库。
在一种可能的实现方式中,在所述基于数据库配置信息,确定待存储数据适用的数据库之前,所述方法还包括:
在接收到配置请求的情况下,解析所述配置请求,得到配置信息;
对所述配置信息进行内容校验;
若所述配置信息校验通过,将所述配置信息确定为所述数据库配置信息。
在一种可能的实现方式中,所述对所述配置信息进行内容校验,包括:
校验所述配置信息中的各配置项内容是否满足预设条件;
基于所述配置信息中的连接地址、用户名和密码,进行数据库连接,校验是否连接成功。
在一种可能的实现方式中,所述配置请求包括配置文件或数据库码表,所述解析所述配置请求,得到配置信息包括:
解析所述配置文件的文件格式或所述数据库码表的结构是否正确;
若所述配置文件的文件格式或所述数据库码表的结构正确,读取所述配置文件或数据库码表中的配置信息。
在一种可能的实现方式中,在所述将所述待存储数据存储至所述待存储数据适用的数据库之后,所述方法还包括:
监测数据库中的已存储数据是否满足所述数据库对应的存储条件;
若所述数据库中存在不满足数据,基于所述数据库配置信息,确定所述不满足数据适用的数据库,所述不满足数据为所述已存储数据中不满足所述存储条件的数据;
将所述不满足数据存储至所述不满足数据适用的数据库。
第二方面,本申请还提供了一种数据存储装置,所述装置包括:
确定模块,用于基于数据库配置信息,确定待存储数据适用的数据库,所述数据库配置信息包括多个数据库分别对应的存储条件;
存储模块,用于将所述待存储数据存储至所述待存储数据适用的数据库。
在一种可能的实现方式中,所述装置还包括解析模块和校验模块,
所述解析模块,用于在接收到配置请求的情况下,解析所述配置请求,得到配置信息;
所述校验模块,用于对所述配置信息进行内容校验;
所述确定模块,还用于若所述配置信息校验通过,将所述配置信息确定为所述数据库配置信息。
在一种可能的实现方式中,所述校验模块,具体用于:
校验所述配置信息中的各配置项内容是否满足预设条件;
基于所述配置信息中的连接地址、用户名和密码,进行数据库连接,校验是否连接成功。
在一种可能的实现方式中,所述配置请求包括配置文件或数据库码表,所述解析模块,具体用于:
解析所述配置文件的文件格式或所述数据库码表的结构是否正确;
若所述配置文件的文件格式或所述数据库码表的结构正确,读取所述配置文件或数据库码表中的配置信息。
在一种可能的实现方式中,所述装置还包括监测模块,
所述监测模块,用于监测数据库中的已存储数据是否满足所述数据库对应的存储条件;
所述确定模块,还用于若所述数据库中存在不满足数据,基于所述数据库配置信息,确定所述不满足数据适用的数据库,所述不满足数据为所述已存储数据中不满足所述存储条件的数据;
所述存储模块,还用于将所述不满足数据存储至所述不满足数据适用的数据库。
本申请实施例提供的方法,包括:基于数据库配置信息,确定待存储数据适用的数据库,数据库配置信息包括多个数据库分别对应的存储条件;将待存储数据存储至待存储数据适用的数据库。通过本申请实施例,可以根据数据库对应的存储条件,将待存储数据存储至待存储数据适用的数据库,既能降低数据存储的成本,又能满足客户查询数据的时效性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种数据存储方法实施例的流程图;
图2示出了本申请提供的一种数据存储装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着互联网技术(Internet Technology,IT)的发展,客户在线上的操作越来越多,线上业务场景越来越多,业务逻辑也越来越复杂,系统内产生的数据也越来越多。这些数据都需要存储下来,并且这些数据还需要能够对外提供服务。有些数据服务(比如:1年间的交易,或者高频客户)的时效性、并发性等要求越来越高;但是有些数据(比如:1年后到10年之间的数据,或中频客户)查询的频率要求不是特别高;而有些数据(比如:10年前的交易数据,或者低频客户)查询的频率基本为零。但是每次业务场景的变更或客户的增加都会产生新的数据并进行使用,使得需要存储的数据是非常多的。尤其在电信,银行,交通等领域产生的数据有的都是PB(petabyte)级别,如此大量数据,这些数据的存储策略也显得十分重要。在满足应用服务的前提下,如果使用同一种方式存储,成本比较高,是一笔高昂的费用,如果都使用低成本的数据存储方式,又不能满足客户查询时效性要求。
目前银行业系统内针对数据存储,主要是归档数据库和应用数据库存储的策略,但基本都是使用同一种数据库存储方式和同一种硬件。这样既不能根据系统的需求、存储要求和机器硬件配置的性能来结合使用数据存储策略,也不能根据客户,时长,地区,查询次数,响应时间等参数进行分类灵活存储。如果一旦数据量过大都会造成数据库响应过长问题,系统很难有效地分析出对客户的影响范围。同时数据量过大,但是对近时间段内服务性能要求比较高,就会选择高性能的硬件配置,这就会造成存储成本比较高,费用比较昂贵。目前的方案无法灵活做到根据不同数据库类型和硬件的配合使用,达到数据存储的最优效果。所以目前的数据存储方案通用性和灵活性极差,缺少系统工具的支持,尤其对重要业务的影响比较大,耗时比较长。
程序开发中目前银行业系统内针对大数据应用系统存储策略,主要是采用统一数据库集群和配套统一硬件选型实施的策略。这样既不能灵活根据实际硬件配置和数据库选型信息结合起来很好的调整数据存储策略使用,也不能根据客户、时长等参数信息配置来选择低成本存储达到灵活存储策略的效果,如果一旦数据量过大达到数据库存储极限,又或是客户使用并发量过大,服务就不能及时响应,这样就会对客户服务产生影响,也不能降低成本。由于现在很多业务系统对数据存储场景也越来越多和越来越重要。随着业务系统的增加,以及业务的数据量也越来越多,则对应重要的数据分类或客户查询率高的需要存储到配置比较好的机器上,达到快速响应效果。但是目前银行系统内基本没有这种灵活动态存储方式。从而随着时间和数据量的大幅增加,同时也给系统运行工作而引入了风险,而且也增加了大并发量潜在系统的风险。
而本申请实施例可以根据业务相关需求编写统一的数据接收、数据存入判断、数据存储目标、数据动态移动的工具,工具通过对接收的数据进行规则判断、存储地址和数据内部的动态移动,然后进行对外提供服务。运维人员只需要配置服务器中相关的数据库的配置信息和引入相应工具Jar包,安装有Jar包的服务器即可自动灵活实现对接收的数据进行规则判断,存储目标地址和数据存储的动态移动等操作,不需要额外任何工作量,本申请实施例可以减少了很多不必要的工作量,并且一目了然,便于在非常重要的业务场景使用。
首先,对本申请实施例中可能出现的一些名词进行解释。
内存(Memory),就是计算机的重要部件,也称内存储器和主存储器,它用于暂时存放中央处理器(Central Processing Unit/Processor,CPU)中的运算数据,以及与硬盘等外部存储器交换的数据。
内存数据库,就是将数据放在内存中直接操作的数据库。相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。
硬盘,是电脑主要的存储媒介之一,由一个或者多个铝制或者玻璃制的碟片组成。碟片外覆盖有铁磁性材料。硬盘有固态硬盘、机械硬盘、混合硬盘。
机械硬盘(Hard Disk Drive,HDD),即传统普通硬盘,主要由:盘片,磁头,盘片转轴及控制电机,磁头控制器,数据转换器,接口,缓存等几个部分组成。
固态硬盘(Solid State Drives,SSD),是使用固态电子芯片阵列制成的硬盘,一般来说是由控制单元和存储单元(FLASH芯片)组成,固态硬盘的接口规范和定义、功能及使用方法上与普通硬盘的相同,在产品外形和尺寸上也与普通硬盘一致。固态硬盘特性:读写速度快,但是固态硬盘成本高,存储容量没有机械硬盘高。
数据库(Database),是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成客户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。
JAR(JavaARchive,Java归档)文件,是一种与平台无关的文件格式,可将多个文件合成一个文件。JAR文件非常类似ZIP文件,准确的说,它就是ZIP文件,所以叫它文件包。JAR文件与ZIP文件唯一的区别就是在JAR文件的内容中,包含了一个META-INF/MANIFEST.MF文件,这个文件是在生成JAR文件的时候自动创建的。
请参见图1,示出了本申请实施例提供的一种数据存储方法实施例的流程图,本申请实施例至少包括以下步骤:
S1,在接收到配置请求的情况下,解析配置请求,得到配置信息。
运维人员可以通过客户端发送配置请求,服务器在接收到配置请求的情况下,解析配置请求,得到配置信息。运维人员需具有配置数据库权限。
需要说明的是,客户端是指为运维人员提供本地服务的程序,如应用程序APP、浏览器等,客户端可以搭载在终端中,而终端是指能够安装、运行客户端的设备,如智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等;服务器是指能够与客户端进行通信,并为客户端提供数据支持的服务设备。
在本申请实施例中,配置请求包括配置文件或数据库码表,那么,S1解析配置请求,得到配置信息,包括:
S11,解析配置文件的文件格式或数据库码表的结构是否正确;
S12,若配置文件的文件格式或数据库码表的结构正确,读取配置文件或数据库码表中的配置信息。
需要说明的是,配置信息至少包括:序号serNo、数据库类型编号dataBaseTypeNo、数据库类型dataBaseType、数据库名称dataBaseName、IP地址IPAdress、连接地址URL、用户名userName、密码passWord、存储类型编号saveTypeNo、存储类型saveType、客户范围custom和时长dateLong。
配置信息还可以包括地区,调用次数,响应时长等参数。配置信息主要是为了适配计算机硬件参数配置和具体数据库选型进行匹配,也是为了数据分类,并加载相关的配置数据。需要说明的是,配置信息可以由技术人员根据实际场景需要进行设定,本申请实施例不做限定。
数据库类型编号有4个选项,编号0表示未生效的数据库,编号1表示内存数据库,编号2表示SSD固态硬盘数据库,编号3表示机械硬盘数据库。
数据库类型包括内存数据库、SDD固态硬盘数据库和机械硬盘数据库。
存储类型编号有3个选项,编号0表示客户分类,编号1表示时间分类,编号2表示两种同时生效。
存储类型包括客户分类、时间分类和两种同时生效。存储类型中选择“客户分类”时,只有客户号字段生效,存储时长字段不生效;存储类型中选择“时长分类”时,只有存储时长字段生效,客户号字段不生效;存储类型中选择“两种同时生效”时,则选择客户号和时间双重条件的生效,会使得数据存储更加灵活。
时长的格式为x-y年,x,y为数值。例如0-1年表示该数据库可以存储数据产生的时长小于等于1年的数据;1-2年表示该数据库可以存储数据产生的时长在1-2年的数据。
在本申请实施例中,可以用JAVA程序读取配置文件或数据库码表中的配置信息。
S2,对配置信息进行内容校验。
在得到配置信息之后,对配置信息进行内容校验。内容校验为校验配置信息的完整性、准确性和合法性。
在本申请实施例中,S2对配置信息进行内容校验,包括:
S21,校验配置信息中的各配置项内容是否满足预设条件;
S22,基于配置信息中的连接地址、用户名和密码,进行数据库连接,校验是否连接成功。
配置信息中的配置项至少包括序号serNo;数据库类型编号dataBaseTypeNo;数据库类型dataBaseType;数据库名称dataBaseName;IP地址IPAdress;连接地址URL;用户名userName;密码passWord;存储类型编号saveTypeNo;存储类型saveType,客户范围custom,时长dateLong。预设条件为针对各配置项内容的不同条件,例如,针对序号的条件:内容为数字且不能出现重复;针对数据库类型编号的条件:内容为0-3范围的整数;数据库类型的条件:内容为内存数据库、SDD固态硬盘数据库和机械硬盘数据库中的其中一种;针对数据库名称的条件:合法,即数据库名称应为目前已有的数据库名称,不可为人工创造;针对IP地址的条件:合法,即IP地址应符合IP的规范。数据库名称如redis,mysql,gbase,mongo,oracle,postgrepSql等。
需要说明的是,预设条件可以由技术人员根据实际场景需要进行设定,本申请实施例不做限定。
本申请实施例还需要基于配置信息中的连接地址、用户名和密码进行数据库连接,校验是否能够与数据库连接成功。能够连接成功的数据库为有效数据库。
S3,若配置信息校验通过,将配置信息确定为数据库配置信息。
若配置信息通过上述的内容校验,则将该配置信息确定为数据库配置信息,以便后续基于数据库配置信息对数据进行存储。
若配置信息未通过内容校验,则输出配置请求响应,该配置请求响应包括该配置信息未通过内容校验的原因。
S4,基于数据库配置信息,确定待存储数据适用的数据库。
得到数据库配置信息后,可以基于数据库配置信息,确定待存储数据适用的数据库。该数据库配置信息包括多个数据库分别对应的存储条件。本申请实施例判断待存储数据是否满足数据库配置信息中包括的多个存储条件,若待存储数据满足其中一个存储条件,则将该满足的存储条件对应的数据库确定为待存储数据适用的数据库。
S5,将待存储数据存储至待存储数据适用的数据库。
在确定待存储数据适用的数据库后,即可将待存储数据存储至待存储数据适用的数据库。
S6,监测数据库中的已存储数据是否满足数据库对应的存储条件。
随着时间的推移,数据存储时间越来越长,使得有些数据不满足当前所在数据库的存储条件,因此将数据存储至数据库之后,定时监测数据库中的已存储数据是否满足数据库对应的存储条件,以便对已存储数据进行数据移动。
S7,若数据库中存在不满足数据,基于数据库配置信息,确定不满足数据适用的数据库,所述不满足数据为所述已存储数据中不满足所述存储条件的数据。
S8,将不满足数据存储至不满足数据适用的数据库。
步骤S7-S8与步骤S4-S5相似,可参见步骤S4-S5的描述。
当已存储数据不满足当前所在数据库的存储条件时,或当数据库配置信息发生变化时,就需要对已存储数据进行转移,如将已存储数据从内存数据库移动到SSD固态硬盘数据库,或者从SSD固态硬盘数据库移动到机械硬盘数据库,又或者机械硬盘数据库移动到SSD固态硬盘数据库等。
在接收到配置请求之前,本申请实施例还可以包括以下步骤:
S9,在接收到配置申请的情况下,发送配置信息模板。
本申请实施例预先生成配置信息模板,以规范配置信息的内容。在运维人员需要配置数据库时,运维人员通过客户端发送配置申请,以便服务器返回配置信息模板。运维人员在接收配置信息模板后,可以根据实际需求填写配置信息。
需要说明的是,配置申请包括运维人员的用户信息,服务器在发送配置信息模板之前,基于用户信息确定运维人员是否具有配置数据库的权限。若运维人员具有配置数据库的权限,则发送配置信息模板。
在本申请实施例中,得到配置信息的另外一种实现方式可以是,运维人员直接对服务器中的配置信息模板进行填写,得到配置信息。
在本申请实施例中,基于数据库配置信息,确定待存储数据适用的数据库,数据库配置信息包括多个数据库分别对应的存储条件;将待存储数据存储至待存储数据适用的数据库。通过本申请实施例,可以根据数据库对应的存储条件,将待存储数据存储至待存储数据适用的数据库,既能降低数据存储的成本,又能满足客户查询数据的时效性。
下面结合具体应用场景进行介绍,本申请实施例通过JAVA语言实现,共分为:共分为解析配置文件或读取数据库码表中的配置信息、配置信息处理;服务配置检查和准备设置;数据存储策略服务和动态移动。
解析配置文件或读取数据库码表中的配置信息:1、针对配置文件:首先要对配置文件进行解析,验证配置文件配置信息的完整性和正确性,尤其是配置信息的正确性,验证完整性主要是校验各配置项是否均进行填写(参数内的序号和存储类型是否为空等),验证正确性主要是校验各配置项是否满足预设条件;2、针对数据库码表:首先要对数据库码表进行解析,验证数据库码表配置信息的完整性和正确性,尤其是配置信息的正确性,验证完整性主要是校验各配置项是否均进行填写(参数内的序号和存储类型是否为空等),验证正确性主要是校验各配置项是否满足预设条件。
执行配置信息校验和处理服务规则:1、自动解析配置文件格式或数据库码表结构是否正确;2、检查配置信息中的数据是否正确,比如:序号为数字且不能重复,数据库类型编号为数字,IP地址的合法性(IP的规范),存储类型在0-2内取值,其他参数设置等。
具体执行过程说明:
数据灵活存储准备阶段:1、在数据灵活存储上,数据库类型编号设置为0-3之间的整数值(0-未生效的数据库,1-内存数据库,2-SSD固态硬盘数据库,3-机械硬盘数据库);2、对存储类型的设置分为(0-客户分类,1-时间分类,2-两者同时生效);3、其他相关参数设置,比如:时长等,会使得数据存储策略更加灵活,更加上适配存储硬件的性能,更能有效的满足请求响应的同时,还能降低成本,尤其在大数据量下,是有效的降本增效的好办法。
系统启动和检验阶段:1、启动相关应用服务系统;2、验证设置该服务有效数据库连接是否正确,以及其他设置有效条件(比如:时长、客户设置等)是否有效。3、根据配置信息,将待存储数据存储在不同数据库对应的机器上。
数据监测和动态移动阶段:根据数据库相关的配置信息,按照数据库配置信息对数据进行监测,如果不满足的存储条件的数据,根据配置信息进行动态移动,满足业务需求的同时到达降低成本的效果。
接下来对本申请提供的一种数据存储装置进行介绍,下文介绍的一种数据存储装置与上文介绍的一种数据存储方法可相互对应参照。
请参见图2,示出了本申请提供的一种数据存储装置的结构示意图,所述装置包括:
确定模块201,用于基于数据库配置信息,确定待存储数据适用的数据库,所述数据库配置信息包括多个数据库分别对应的存储条件;
存储模块202,用于将所述待存储数据存储至所述待存储数据适用的数据库。
在本申请实施例中,所述装置还包括解析模块和校验模块,
所述解析模块,用于在接收到配置请求的情况下,解析所述配置请求,得到配置信息;
所述校验模块,用于对所述配置信息进行内容校验;
所述确定模块201,还用于若所述配置信息校验通过,将所述配置信息确定为所述数据库配置信息。
在本申请实施例中,所述校验模块,具体用于:
校验所述配置信息中的各配置项内容是否满足预设条件;
基于所述配置信息中的连接地址、用户名和密码,进行数据库连接,校验是否连接成功。
在本申请实施例中,所述配置请求包括配置文件或数据库码表,所述解析模块,具体用于:
解析所述配置文件的文件格式或所述数据库码表的结构是否正确;
若所述配置文件的文件格式或所述数据库码表的结构正确,读取所述配置文件或数据库码表中的配置信息。
在本申请实施例中,所述装置还包括监测模块,
所述监测模块,用于监测数据库中的已存储数据是否满足所述数据库对应的存储条件;
所述确定模块201,还用于若所述数据库中存在不满足数据,基于所述数据库配置信息,确定所述不满足数据适用的数据库,所述不满足数据为所述已存储数据中不满足所述存储条件的数据;
所述存储模块202,还用于将所述不满足数据存储至所述不满足数据适用的数据库。
在本申请实施例中,基于数据库配置信息,确定待存储数据适用的数据库,数据库配置信息包括多个数据库分别对应的存储条件;将待存储数据存储至待存储数据适用的数据库。通过本申请实施例,可以根据数据库对应的存储条件,将待存储数据存储至待存储数据适用的数据库,既能降低数据存储的成本,又能满足客户查询数据的时效性。
需要说明的是,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
对于前述的各实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据存储方法,其特征在于,所述方法包括:
基于数据库配置信息,确定待存储数据适用的数据库,所述数据库配置信息包括多个数据库分别对应的存储条件;
将所述待存储数据存储至所述待存储数据适用的数据库。
2.根据权利要求1所述的方法,其特征在于,在所述基于数据库配置信息,确定待存储数据适用的数据库之前,所述方法还包括:
在接收到配置请求的情况下,解析所述配置请求,得到配置信息;
对所述配置信息进行内容校验;
若所述配置信息校验通过,将所述配置信息确定为所述数据库配置信息。
3.根据权利要求2所述的方法,其特征在于,所述对所述配置信息进行内容校验,包括:
校验所述配置信息中的各配置项内容是否满足预设条件;
基于所述配置信息中的连接地址、用户名和密码,进行数据库连接,校验是否连接成功。
4.根据权利要求2所述的方法,其特征在于,所述配置请求包括配置文件或数据库码表,所述解析所述配置请求,得到配置信息包括:
解析所述配置文件的文件格式或所述数据库码表的结构是否正确;
若所述配置文件的文件格式或所述数据库码表的结构正确,读取所述配置文件或数据库码表中的配置信息。
5.根据权利要求1至4任一项所述的方法,其特征在于,在所述将所述待存储数据存储至所述待存储数据适用的数据库之后,所述方法还包括:
监测数据库中的已存储数据是否满足所述数据库对应的存储条件;
若所述数据库中存在不满足数据,基于所述数据库配置信息,确定所述不满足数据适用的数据库,所述不满足数据为所述已存储数据中不满足所述存储条件的数据;
将所述不满足数据存储至所述不满足数据适用的数据库。
6.一种数据存储装置,其特征在于,所述装置包括:
确定模块,用于基于数据库配置信息,确定待存储数据适用的数据库,所述数据库配置信息包括多个数据库分别对应的存储条件;
存储模块,用于将所述待存储数据存储至所述待存储数据适用的数据库。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括解析模块和校验模块,
所述解析模块,用于在接收到配置请求的情况下,解析所述配置请求,得到配置信息;
所述校验模块,用于对所述配置信息进行内容校验;
所述确定模块,还用于若所述配置信息校验通过,将所述配置信息确定为所述数据库配置信息。
8.根据权利要求7所述的装置,其特征在于,所述校验模块,具体用于:
校验所述配置信息中的各配置项内容是否满足预设条件;
基于所述配置信息中的连接地址、用户名和密码,进行数据库连接,校验是否连接成功。
9.根据权利要求7所述的装置,其特征在于,所述配置请求包括配置文件或数据库码表,所述解析模块,具体用于:
解析所述配置文件的文件格式或所述数据库码表的结构是否正确;
若所述配置文件的文件格式或所述数据库码表的结构正确,读取所述配置文件或数据库码表中的配置信息。
10.根据权利要求6至9任一项所述的装置,其特征在于,所述装置还包括监测模块,
所述监测模块,用于监测数据库中的已存储数据是否满足所述数据库对应的存储条件;
所述确定模块,还用于若所述数据库中存在不满足数据,基于所述数据库配置信息,确定所述不满足数据适用的数据库,所述不满足数据为所述已存储数据中不满足所述存储条件的数据;
所述存储模块,还用于将所述不满足数据存储至所述不满足数据适用的数据库。
CN202310130583.9A 2023-02-17 2023-02-17 一种数据存储方法及装置 Pending CN116049290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310130583.9A CN116049290A (zh) 2023-02-17 2023-02-17 一种数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310130583.9A CN116049290A (zh) 2023-02-17 2023-02-17 一种数据存储方法及装置

Publications (1)

Publication Number Publication Date
CN116049290A true CN116049290A (zh) 2023-05-02

Family

ID=86121929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310130583.9A Pending CN116049290A (zh) 2023-02-17 2023-02-17 一种数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN116049290A (zh)

Similar Documents

Publication Publication Date Title
US11941017B2 (en) Event driven extract, transform, load (ETL) processing
US8555018B1 (en) Techniques for storing data
CN1959717B (zh) 订单驱动的海量遥感数据集群化预处理系统及其方法
US8069147B2 (en) System and method for delivering results of a search query in an information management system
US20040010521A1 (en) System and method for managing native application data
US8005860B1 (en) Object-level database performance management
US20090076872A1 (en) Convergence Of Customer And Internal Assets
US9804863B2 (en) Efficient sharing of artifacts between collaboration applications
US9910881B1 (en) Maintaining versions of control plane data for a network-based service control plane
US10438282B2 (en) Computerized invoice record and receipt record matching utilizing best match criteria
CN108897729B (zh) 一种交易模板共享方法、装置、电子设备及存储介质
US10951540B1 (en) Capture and execution of provider network tasks
CN110019440B (zh) 数据的处理方法及装置
CN116467975B (zh) 数据处理方法、装置、电子设备及存储介质
CN116049290A (zh) 一种数据存储方法及装置
US20200153690A1 (en) System and method of improving computer network system
US11023479B2 (en) Managing asynchronous analytics operation based on communication exchange
US11868349B2 (en) Row secure table plan generation
US20210200751A1 (en) Monitoring and data validation of process log information imported from multiple diverse data sources
US7822721B2 (en) Correction server for large database systems
US20230244686A1 (en) Automatic determination of alternative paths for a process flow using machine learning
US20230409524A1 (en) Size-based record partitioning
US20230111859A1 (en) Information handling system storage application volume placement tool
US20220121846A1 (en) Line based matching of documents
US20220365781A1 (en) Automated orchestration of large-scale flow log transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination