CN112925783A - 业务数据处理方法和装置、电子设备和存储介质 - Google Patents
业务数据处理方法和装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112925783A CN112925783A CN202110327832.4A CN202110327832A CN112925783A CN 112925783 A CN112925783 A CN 112925783A CN 202110327832 A CN202110327832 A CN 202110327832A CN 112925783 A CN112925783 A CN 112925783A
- Authority
- CN
- China
- Prior art keywords
- target
- index
- service data
- alias
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 7
- 235000019580 granularity Nutrition 0.000 description 28
- 238000007726 management method Methods 0.000 description 22
- 238000005096 rolling process Methods 0.000 description 21
- 238000012217 deletion Methods 0.000 description 15
- 230000037430 deletion Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种业务数据处理方法和装置、电子设备和存储介质,其中,该方法包括:获取第一业务数据,其中,所述第一业务数据为待写入到目标数据库中的业务数据;确定与目标业务属性匹配的第一目标索引,其中,所述目标业务属性为所述第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据;将所述第一业务数据写入到所述第一目标索引中。通过本申请,解决了相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种业务数据处理方法和装置、电子设备和存储介质。
背景技术
目前,一些数据库(例如,ES)中采用基于时间粒度(单个索引)的索引管理。以ES为例,ES是常被使用的开源NoSQL数据库。此款NoSQL数据库可以采用基于时间粒度的索引管理,以索引(类似于传统数据库中的表)为最小的管理单位来进行数据管理,其中,索引是ES中管理数据的最小单位,管理是指类似删除数据等数据处理动作。
在大数据使用场景下,业务数据往往不会单独存放在单个索引中,原因大致有以下两个:
(1)不利于索引的管理,比如,物理存储空间是有限的,历史数据的清理是经常会面临的问题,如果都存放在单个索引中,需要清理所有的历史数据;
(2)查询效率会大大降低,在进行数据查询时,需要整个索引才能够得到查询结果,查询效率低。
相关技术中,通常会采用时间粒度的索引管理。基于时间粒度的索引管理是指:首先在索引名中加入月、天、或者小时等时间粒度,比如,“log.20201020”,“log.2020102001”等,然后会针对一定时间的历史数据进行清理。
然而,采用基于时间粒度的索引管理方式,使用同一数据库的各个用户的业务数据进行混合存储。由于数据库的存储空间有限,当部分业务数据的数据量突增时,会触发进行数据清理。而历史数据清理时是以索引为单位进行删除的,那么,数据清除操作会同时清理掉其他并不希被删除的业务数据。
因此,相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题。
发明内容
本申请提供了一种业务数据处理方法和装置、电子设备和存储介质,以至少解决相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题。
根据本申请实施例的一个方面,提供了一种业务数据处理方法,包括:获取第一业务数据,其中,所述第一业务数据为待写入到目标数据库中的业务数据;确定与目标业务属性匹配的第一目标索引,其中,所述目标业务属性为所述第一业务数据的业务属性,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据;将所述第一业务数据写入到所述第一目标索引中。
可选地,确定与所述目标业务属性匹配的所述第一目标索引包括:确定与所述目标业务属性匹配的写入别名,得到目标写入别名,其中,与所述写入别名关联的至少一个索引用于存储具有与所述写入别名匹配的业务属性的业务数据;将与所述目标写入别名关联的至少一个第一索引中处于可写入状态的索引,确定为所述第一目标索引。
可选地,在将所述第一业务数据写入到所述第一目标索引中之后,所述方法还包括:将所述目标写入别名与第二目标索引关联,其中,所述第二目标索引为在将所述第一业务数据写入到所述第一目标索引中之后创建的索引;将所述第一目标索引的写入状态配置为不可写入状态,并将所述第二目标索引的写入状态配置为可写入状态,其中,与所述目标写入别名关联的索引中在同一时间仅允许一个索引处于可写入状态。
可选地,在将所述目标写入别名与所述第二目标索引关联之前,所述方法还包括:通过调用目标应用程序接口,获取所述第一目标索引所存储的业务数据的数据量,其中,所述目标应用程序接口用于按照触发条件触发创建索引,所述触发条件包括索引中存储的业务数据的数据量大于或者等于数据量阈值;在所述第一目标索引所存储的业务数据的数据量大于或者等于所述数据量阈值的情况下,创建所述第二目标索引。
可选地,在确定与所述目标业务属性匹配的所述第一目标索引之后,所述方法还包括:确定与所述第一业务数据匹配的读取别名,得到第一读取别名,其中,所述读取别名用于关联存储的业务数据的时间属性与所述读取别名匹配的索引;在所述第一目标索引与所述第一读取别名未关联的情况下,将所述第一目标索引与所述第一读取别名进行关联。
可选地,在将所述第一业务数据写入到所述第一目标索引中之后,所述方法还包括:接收目标客户端发送的目标查询指令,其中,所述目标查询指令用于查询位于目标时间范围内的业务数据;根据每个读取别名包含的时间属性字段,确定与所述目标时间范围匹配的第二读取别名,其中,所述读取别名用于关联存储的业务数据的时间属性与所述读取别名匹配的索引,所述时间属性字段用于描述与所述读取别名关联的索引中存储的业务数据的时间属性;从与所述第二读取别名关联的至少一个第二索引中,获取位于所述目标时间范围内的第二业务数据;响应所述目标查询指令,将所述第二业务数据发送给所述目标客户端。
可选地,在将所述第一业务数据写入到所述第一目标索引中之后,所述方法还包括:接收到目标删除指令,其中,所述目标删除指令用于删除至少一个与所述目标业务属性匹配的索引;响应所述目标删除指令,按照存储业务数据的先后顺序,从至少一个第三索引中删除至少一个索引,其中,所述至少一个第三索引用于依次存储具有所述目标业务属性的业务数据。
根据本申请实施例的另一个方面,提供了一种业务数据处理方法,包括:接收目标客户端发送的目标查询指令,其中,所述目标查询指令用于查询位于目标时间范围内的业务数据;根据每个读取别名包含的时间属性字段,确定与所述目标时间范围匹配的目标读取别名,其中,所述读取别名用于关联目标数据库中存储的业务数据的时间属性与所述读取别名匹配的索引,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据,所述时间属性字段用于描述与所述读取别名关联的索引中存储的业务数据的时间属性;从与所述目标读取别名关联的至少一个目标索引中,获取位于所述目标时间范围内的目标业务数据;响应所述目标查询指令,将所述目标业务数据发送给所述目标客户端。
根据本申请实施例的又一个方面,提供了一种业务数据处理装置,包括:第一获取单元,用于获取第一业务数据,其中,所述第一业务数据为待写入到目标数据库中的业务数据;第一确定单元,用于确定与目标业务属性匹配的第一目标索引,其中,所述目标业务属性为所述第一业务数据的业务属性,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据;第一写入单元,用于将所述第一业务数据写入到所述第一目标索引中。
可选地,所述第一确定单元包括:第一确定模块,用于确定与所述目标业务属性匹配的写入别名,得到目标写入别名,其中,与所述写入别名关联的至少一个索引用于存储具有与所述写入别名匹配的业务属性的业务数据;第二确定模块,用于将与所述目标写入别名关联的至少一个第一索引中处于可写入状态的索引,确定为所述第一目标索引。
可选地,所述装置还包括:第一关联单元,用于在将所述第一业务数据写入到所述第一目标索引中之后,将所述目标写入别名与第二目标索引关联,其中,所述第二目标索引为在将所述第一业务数据写入到所述第一目标索引中之后创建的索引;配置单元,用于将所述第一目标索引的写入状态配置为不可写入状态,并将所述第二目标索引的写入状态配置为可写入状态,其中,与所述目标写入别名关联的索引中在同一时间仅允许一个索引处于可写入状态。
可选地,所述装置还包括:第二获取单元,用于在将所述目标写入别名与所述第二目标索引关联之前,通过调用目标应用程序接口,获取所述第一目标索引所存储的业务数据的数据量,其中,所述目标应用程序接口用于按照触发条件触发创建索引,所述触发条件包括索引中存储的业务数据的数据量大于或者等于数据量阈值;创建单元,用于在所述第一目标索引所存储的业务数据的数据量大于或者等于所述数据量阈值的情况下,创建所述第二目标索引。
可选地,所述装置还包括:第二确定单元,用于在确定与所述目标业务属性匹配的所述第一目标索引之后,确定与所述第一业务数据匹配的读取别名,得到第一读取别名,其中,所述读取别名用于关联存储的业务数据的时间属性与所述读取别名匹配的索引;第二关联单元,用于在所述第一目标索引与所述第一读取别名未关联的情况下,将所述第一目标索引与所述第一读取别名进行关联。
可选地,所述装置还包括:第一接收单元,用于在将所述第一业务数据写入到所述第一目标索引中之后,接收目标客户端发送的目标查询指令,其中,所述目标查询指令用于查询位于目标时间范围内的业务数据;第三确定单元,用于根据每个读取别名包含的时间属性字段,确定与所述目标时间范围匹配的第二读取别名,其中,所述读取别名用于关联存储的业务数据的时间属性与所述读取别名匹配的索引,所述时间属性字段用于描述与所述读取别名关联的索引中存储的业务数据的时间属性;第三获取单元,用于从与所述第二读取别名关联的至少一个第二索引中,获取位于所述目标时间范围内的第二业务数据;目标发送单元,用于响应所述目标查询指令,将所述第二业务数据发送给所述目标客户端。
可选地,所述装置还包括:第二接收单元,用于在将所述第一业务数据写入到所述第一目标索引中之后,接收到目标删除指令,其中,所述目标删除指令用于删除至少一个与所述目标业务属性匹配的索引;删除单元,用于响应所述目标删除指令,按照存储业务数据的先后顺序,从至少一个第三索引中删除至少一个索引,其中,所述至少一个第三索引用于依次存储具有所述目标业务属性的业务数据。
根据本申请实施例的又一个方面,提供了一种业务数据处理装置,包括:接收单元,用于接收目标客户端发送的目标查询指令,其中,所述目标查询指令用于查询位于目标时间范围内的业务数据;确定单元,用于根据每个读取别名包含的时间属性字段,确定与所述目标时间范围匹配的目标读取别名,其中,所述读取别名用于关联目标数据库中存储的业务数据的时间属性与所述读取别名匹配的索引,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据,所述时间属性字段用于描述与所述读取别名关联的索引中存储的业务数据的时间属性;获取单元,用于从与所述目标读取别名关联的至少一个目标索引中,获取位于所述目标时间范围内的目标业务数据;发送单元,用于响应所述目标查询指令,将所述目标业务数据发送给所述目标客户端。
根据本申请实施例的又一个方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;其中,存储器,用于存储计算机程序;处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请实施例中,采用按照业务数据的业务属性进行数据写入的方式,通过获取第一业务数据,其中,第一业务数据为待写入到目标数据库中的业务数据;确定与目标业务属性匹配的第一目标索引,其中,目标业务属性为第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据;将第一业务数据写入到第一目标索引中,由于按照业务数据的业务属性进行数据写入,每个索引中仅写入一种业务属性的业务数据,在以索引为单位进行业务数据清理时,可以按照业务类型进行删除,达到了提高业务数据控制的合理性的技术效果,进而解决了相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的业务数据处理方法的硬件环境的示意图;
图2是根据本申请实施例的一种可选的业务数据处理方法的流程示意图;
图3是根据本申请实施例的一种可选的业务数据处理方法的示意图;
图4是根据本申请实施例的另一种可选的业务数据处理方法的流程示意图;
图5是根据本申请实施例的又一种可选的业务数据处理方法的流程示意图;
图6是根据本申请实施例的一种可选的业务数据处理装置的结构框图;
图7是根据本申请实施例的另一种可选的业务数据处理装置的结构框图;
图8是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释:
索引:类似于传统数据库中的表,是ES(Elasticsearch,弹性搜索)中管理数据的最小单位,所谓管理,是指类似删除数据这种动作。
NoSQL:Not Only SQL(Structured Query Language,结构化查询语言),泛指非关系型的数据库;
别名:同样是ES中的概念,可以理解为给索引的虚拟名称,可以关联多个索引,同样地,一个索引也可以关联多个别名,两者是多对多的关系。
根据本申请实施例的一个方面,提供了一种业务数据处理方法。可选地,在本实施例中,上述业务数据处理方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务、数据存储服务等),在服务器104上(或独立于服务器)可以设置有一个或多个数据库,用于为服务器104提供数据存储服务,或者,服务器104即为数据库服务器。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端102可以并不限定于为PC、手机、平板电脑等。
本申请实施例的业务数据处理方法可以由服务器104来执行,也可以由终端102来执行,还可以是由服务器104和终端102共同执行。其中,终端102执行本申请实施例的业务数据处理方法也可以是由安装在其上的客户端来执行。
以由服务器104(比如,数据库服务器)来执行本实施例中的业务数据处理方法为例,图2是根据本申请实施例的一种可选的业务数据处理方法的流程示意图,如图2所示,该方法的流程可以包括以下步骤:
步骤S202,获取第一业务数据,其中,所述第一业务数据为待写入到目标数据库中的业务数据。
本实施例中的业务数据处理方法可以应用于向数据库中写入业务数据的场景,上述数据库可以是以索引为管理数据的最小单位的数据库,比如,ES数据库,或者其他类似的数据库,本实施例中对于数据库的类型不作限定。
对于目标数据库,目标数据库可以是以索引为管理数据的最小单位的数据库。该目标数据库可以被同一使用方的多个帐号同时使用,不同帐号可以允许处理一种或多个业务(比如,项目)。
目标数据库的一个使用方(对应于一个对象)可以向目标数据库发送写入请求(指令),该写入请求可以用于请求向目标数据库中写入第一业务数据,第一业务数据可以是目标业务的业务数据。数据库服务器可以获取第一业务数据,获取的第一业务数据可以是待写入到目标数据库的业务数据。
步骤S204,确定与目标业务属性匹配的第一目标索引,其中,目标业务属性为第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据。
目标数据库中可以以索引为管理数据的最小单位,并按照业务数据的业务属性进行业务数据存储,每个索引可以用于且仅用于存储一个业务属性的业务数据。业务数据可以具有多种属性,可以包括但不限于:时间属性,业务属性。
时间属性可以用于表征与业务数据关联的时间,可以包括但不限于以下至少之一:业务的处理时间,业务数据的生成时间,业务数据写入数据库的时间等。时间属性可以携带在业务数据中,也可以是数据库为业务数据所配置的时间,或者是通过其他方式为业务数据配置的时间。时间属性的粒度可以根据需要进行配置,比如,可以是月、天、或者小时等时间粒度,还可以是其他时间粒度,本实施例中对业务数据的时间属性不作限定。
业务属性可以用于表征业务数据所属的业务类型(即,业务数据所对应的业务的类型),业务类型可以是按照所对应的业务(项目)划分的类型,还可以是按照其他方式划分的类型,本实施例中对业务数据的业务属性不作限定。
对于第一业务数据,数据库服务器可以首先确定第一业务数据的业务属性,得到目标业务属性,并确定与目标业务属性匹配的第一目标索引,该第一目标索引可以是仅用于存储具有目标业务属性的业务数据的一个或多个索引中的一个。
每个索引用于存储哪种业务属性的业务数据可以是通过索引指示信息进行指示,该索引指示信息用于指示各个索引允许存储的业务数据的业务属性,或者,用于指示一种业务属性的业务数据允许存储到的索引,索引指示信息的实现方式可以根据需要进行配置,本实施例中对此不作限定。
步骤S206,将第一业务数据写入到第一目标索引中。
在确定出第一目标索引之后,数据库服务器可以将第一业务数据写入到第一目标索引中。
无论是时间粒度的索引管理方式,还是业务类型维度的索引管理方式,当数据量突增时,会导致单个索引过大,那么,在进行历史数据清理时,会造成较大的存储空间浪费,存储空间的使用效率会大大降低。如果能细粒度的分拆单个索引,就可以有效降低查询涉及的数据量,提高查询速度。
为了提高存储空间的使用效率,可以通过至少一个索引存储同一个业务属性的不同业务数据,与一个业务属性对应的不同索引可以是滚动生成的,即,在创建新索引的时机达到时,判断当前索引是否满足滚动条件,如果是,创建一个新的索引,滚动条件是创建一个新索引的条件。滚动创建新索引的时机可以有多种,本实施例中对于滚动创建新索引的时机不作限定。
作为一种可选方式,在接收到新的业务数据之后、将业务数据添加到当前索引之前,判断当前索引是否满足滚动条件,在当前索引满足滚动条件的情况下,创建一个新的索引,将接收到的业务数据写入到新创建的索引中;否则,将接收到的业务数据写入到当前索引中。
例如,在第一目标索引中不满足滚动条件的情况下,将第一业务数据写入到第一目标索引中,滚动条件是创建一个新索引的条件;否则,创建第三目标索引,将第一业务数据写入到第三目标索引中。
作为另一种可选方式,在将业务数据添加到当前索引之后,判断当前索引是否满足滚动条件,在当前索引满足滚动条件的情况下,创建一个新的索引,将之后接收到的业务数据写入到新创建的索引中(例如,第二目标索引);否则,将之后接收到的业务数据继续写入到当前索引中。
作为又一种可选方式,可以周期性地判断当前索引是否满足滚动条件,在当前索引满足滚动条件的情况下,创建一个新的索引,将之后接收到的业务数据写入到新创建的索引中(例如,第二目标索引);否则,将之后接收到的业务数据继续写入到当前索引中。
需要说明的是,上述滚动条件是创建一个新索引的条件,可以包括但不限于以下至少之一:存储空间超过目标大小,索引存在时间超过目标存在时间,索引中记载的数据条数超过目标条数,本实施例中对此不作限定。
通过上述步骤S202至步骤S206,获取第一业务数据,其中,第一业务数据为待写入到目标数据库中的业务数据;确定与目标业务属性匹配的第一目标索引,其中,目标业务属性为第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据;将第一业务数据写入到第一目标索引中,解决了相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题,提高了业务数据控制的合理性。
作为一种可选的实施例,确定与目标业务属性匹配的第一目标索引包括:
S11,确定与目标业务属性匹配的写入别名,得到目标写入别名,其中,与写入别名关联的至少一个索引用于存储具有与写入别名匹配的业务属性的业务数据;
S12,将与目标写入别名关联的至少一个第一索引中处于可写入状态的索引,确定为第一目标索引。
目标数据库(比如,ES)中的索引别名可以与多个真实索引关联,可以使用不同的索引别名关联用于存储与不同的业务属性匹配的索引,从而可以基于索引确定与业务数据的业务类型匹配的索引。
上述索引别名是向索引中写入业务数据时所使用的别名,因此,其可以称为写入别名,也就是说,写入别名是向目标数据库的索引中写入业务数据所使用的索引别名。为了保证数据写入的便捷性,避免数据存储的错误,每个写入别名可以仅与一个业务属性匹配,即,写入别名与业务属性之间是一对一的关系,与一个写入别名关联的所有索引均用于存储具有与该写入别名匹配的一个业务属性的业务数据。
目标数据库中可以有多个写入别名,多个写入别名中的每一个写入别名可以与至少一个索引关联。与一个写入别名关联的至少一个索引均用于存储具有与本写入别名匹配的业务属性的业务数据。
对于目标业务属性,数据库服务器可以确定与目标业务属性匹配的写入别名,得到目标写入别名。比如,可以通过元数据信息或者其他方式记录业务属性与写入别名的对应关系。通过查询元数据信息可以确定与目标业务属性匹配的写入别名。
为了确定业务数据应该写入到与其匹配的写入别名关联的哪个索引中,可以配置与一个写入别名关联的至少一个索引中,允许写入业务数据的索引处于可写入状态,不允许写入业务数据的索引处于不可写入状态。
例如,ES可以对一个或者多个索引指定别名,通过别名可以查到一个或者多个索引的内容。在内部,ES会把别名映射(挂载)到相应的索引上。
在得到目标写入别名之后,数据库服务器可以将与目标写入别名关联的、且当前处于可写入状态的一个索引,确定为第一目标索引,也就是,第一业务数据要写入到的索引。如果仅有一个索引处于可写入状态,第一目标索引可以是该索引。如果有多个索引处于可写入状态,第一目标索引可以是其中的一个。
通过本实施例,通过索引别名控制业务数据所写入到的索引中,可以提高业务数据写入的准确性和效率。
作为一种可选的实施例,在将第一业务数据写入到第一目标索引中之后,上述方法还包括:
S21,将目标写入别名与第二目标索引关联,其中,第二目标索引为在将第一业务数据写入到第一目标索引中之后创建的索引;
S22,将第一目标索引的写入状态配置为不可写入状态,并将第二目标索引的写入状态配置为可写入状态,其中,与目标写入别名关联的索引中在同一时间仅允许一个索引处于可写入状态。
为了快速确定业务数据应该写入到与其匹配的写入别名关联的哪个索引中,可以配置与一个写入别名关联的至少一个索引在同一时间仅允许一个索引处于可写入状态,其他的索引均处于不可写入状态。
至少一个索引可以是依次创建的,每个索引从被创建到被删除可以依次处于以下状态:可写入状态,不可写入状态。在一个索引被创建时,其处于可写入状态;在其不满足滚动条件时,保持其可写入状态;在其满足滚动条件时,将其配置为不可写入状态,并创建新的索引,将新创建的索引配置为可写入状态。对应地,一个写入别名可以挂载在与其关联的、当前处于写入状态的索引上。
在将第一业务数据写入到第一目标索引中之后,如果到达滚动创建新索引的时机,数据库服务器可以判断该第一目标索引是否满足滚动条件,如果不满足,则保持第一目标索引的可写入状态;如果满足,则创建一个新的索引,即,第二目标索引,并将目标写入别名与第二目标索引关联。
在将目标写入别名与第二目标索引关联时,数据库服务器可以将第二目标索引配置为可写入状态,将第一目标索引配置为不可写入状态,从而保证在同一时间仅允许一个索引处于可写入状态。
需要说明的是,一个索引的写入状态和不可写入状态可以是通过别名所挂载的索引表示的,例如,将与目标写入别名关联的至少一个第一索引中,目标写入别名所挂载在的索引,确定为第一目标索引;在第一目标索引满足滚动条件时,创建第二目标索引,并将目标索引挂载到第二目标索引上。目标写入别名所挂载在的索引为处于可写入状态的索引,其他索引为处于不可写入状态的索引。
可选地,与一个索引别名关联的索引可以通过存储空间滚动生成,索引的索引名中包含索引名序号。新创建索引的索引名可以取当前可写入的索引名序号递增,也就是,之后创建的索引的索引名可以按照索引名序号递增的方式生成。对于第二目标索引,第二目标索引的索引名是按照索引名序号递增的方式根据第一目标索引的索引名生成的,从而可以根据索引的索引名序号来确定索引中保存的业务数据的时间顺序。
比如,如图3所示,可以通过不同的写入别名关联用于存储不同业务属性的业务数据的索引。对于存储名为“log”的写入别名,第一个创建的索引(也可以说是初始索引)的索引名为log.000001,名称后缀为6位数字(索引名序号),而当前可写入索引的索引名为log.000002,则新生成索引的索引名会为log.000003。在滚动发生时,可以在当前新生成的索引上设置可写入,之前的历史索引都会设置成不可写入。
通过本实施例,通过将新创建的索引配置为可写入状态,并将之前的索引配置为不可写入状态,可以保证与一个索引别名关联的索引中在同一时间仅允许一个索引处于可写入状态,提高数据写入的效率,还可以保证写入数据的时序性。
作为一种可选的实施例,在将目标写入别名与第二目标索引关联之前,上述方法还包括:
S31,通过调用目标应用程序接口,获取第一目标索引所存储的业务数据的数据量,其中,目标应用程序接口用于按照触发条件触发创建索引,触发条件包括索引中存储的业务数据的数据量大于或者等于数据量阈值;
S32,在第一目标索引所存储的业务数据的数据量大于或者等于数据量阈值的情况下,创建第二目标索引。
索引可以基于存储大小进行滚动生成,也就是,上述滚动条件可以是:存储空间超过目标大小,即,索引中存储的业务数据的数据量大于或者等于数据量阈值。对于一个写入别名,数据库服务器可以定时判断该别名当前所挂载在的索引是否满足滚动条件,如果满足,则触发创建新的索引。
可选地,在本实施例中,数据库服务器中滚动创建索引的操作可以是通过调用目标API(Application Programming Interface,应用程序接口)来执行的,该目标API可以用于按照触发条件触发创建索引,触发条件可以包括索引中存储的业务数据的数据量大于或者等于数据量阈值。
例如,对于ES,可通过rollover index API(即,目标API的一个示例)来实现上述根据某些条件(比如,存储空间大小,索引存在时间,或者,索引数据条数)滚动生成新索引,该API形式如下:
其中,rollover-target为ES中的索引别名(alias),conditions为ES判断是否需要进行索引滚动的触发条件(作用同前述滚动条件),max_age为最大索引存在时间,max_docs为最大索引数据条数,max_size为最大存储空间大小。
rollover index API可以是基于ES的索引别名机制来实现的。这套机制可以确保别名关联的真实索引中只有一个索引是可写入的状态。调用此API时,ES判断别名关联的索引中可写入的索引(例如,第一目标索引)是否满足滚动条件,如满足,ES会自动创建新索引(例如,第二目标索引)。
这里,基于ES索引别名机制实现指定数据写入到哪个索引中,在写入时指定与上述API相同的rollover-target索引别名即可,无需再指定具体索引,此机制确保了只有最新索引可写。另外,索引的索引名无需再加上时间维度。
对于目标写入别名,数据库服务器可以调用目标API,获取第一目标索引所存储的业务数据的数据量。对于定时触发的场景,可以基于目标定时器定时调用目标API,获取第一目标索引所存储的业务数据的数据量。如果第一目标索引所存储的业务数据的数据量大于或者等于数据量阈值,则可以创建一个新的索引,即,第二目标索引。
对于ES,可以创建一个定时器,定时调用rollover-api,实现根据存储大小滚动创建新索引功能,比如,索引滚动的触发条件为最大存储空间大小(数据量阈值)为5gb,如果目标写入别名当前所挂载的索引所占用的存储空间大于或者等于5gb,则自动创建一个新索引,并在当前新生成的索引上设置可写入,之前的历史索引都会设置成不可写入。
举例来说,第一个生成的索引假设是“log.000001”,数据开始往此索引写入。我们定义以5gb存储大小为单位创建索引,当“log.000001”的数据量达到5gb时,会产生第二个索引“log.000002”,此时新数据会停止向“log.000001”写入,转而向“log.000002”写入。以此精准控制索引大小。
通过本实施例,按照索引的存储空间大小来控制创建新的索引,可以避免存储空间的浪费,提高存储空间的使用效率。
作为一种可选的实施例,在确定与目标业务属性匹配的第一目标索引之后,上述方法还包括:
S41,确定与第一业务数据匹配的读取别名,得到第一读取别名,其中,读取别名用于关联存储的业务数据的时间属性与读取别名匹配的索引;
S42,在第一目标索引与第一读取别名未关联的情况下,将第一目标索引与第一读取别名进行关联。
为了保证可以基于查询时间来精准定位索引(即,可以指定具体时间粒度进行索引查询),可以为索引关联至少一个读取别名(时间序列别名),读取别名用于关联目标时间与读取别名匹配的索引。例如,如图4所示,一个索引可以关联至少一个读取别名,而一个读取别名可以关联不同写入别名所关联的索引。目标时间可以是索引的创建时间,或者索引中存储的业务数据的时间属性(例如,生成时间,存储时间)。
读取别名中可以包含时间属性字段,用于表示描述与本读取别名关联的索引中存储的业务数据的时间属性,从而可以根据索引别名进行基于查询时间的索引定位。时间属性字段的长度可以按照时间粒度的不同来配置。比如,时间属性字段采用的可以是“YYYYMMDD”的格式,其中,“YYYY”表示年,“MM”表示月,“DD”表示天。
可选地,目标时间可以是索引中存储的业务数据的时间属性。对应地,读取别名可以用于关联存储的业务数据的时间属性与读取别名匹配的索引。关联索引和读取别名的时机可以是与写入业务数据相关的,也可以是与写入业务数据无关的。作为一种可选的实时方式,可以周期性地确定与当前时间周期对应的当前读取别名,一个时间周期的长度与索引别名的时间粒度相对应;将多个写入别名中的每个写入别名所关联的当前可写入的索引与当前读取别名关联。
作为另一种可选的实时方式,关联索引和读取别名可以是在将业务数据写入到索引中时触发的。在确定出第一目标索引之后,数据库服务器可以确定与第一业务数据匹配的读取别名,得到第一读取别名。如果第一目标索引与第一读取别名未关联,数据库服务器可以将第一目标索引与第一读取别名进行关联。基于读取别名的时间粒度,一个索引中存储的业务数据的时间属性不一定均与同一读取别名匹配,那么,每个索引可以与至少与一个读取别名关联。
比如,读取别名为“log.YYYYMMDD”,时间属性字段为“YYYYMMDD”,如果一个索引中存储的业务数据的时间是多天的业务数据,那么,该索引与多个读取别名关联。
可选地,为了减少确定索引与读取别名是否关联的次数,可以通过关联标识来标识一个索引在当前时间周期是否与一个读取别名关联,如果已经关联,则不再执行确定与业务数据匹配的读取别名,而仅在未关联时才会执行确定与业务数据匹配的读取别名、以及关联索引和读取别名的操作。
在确定出第一目标索引之后,可以读取与第一目标索引对应的目标关联标识,其中,目标关联标识用于标识第一目标索引在当前时间周期是否与一个读取别名关联;在根据目标关联标识在当前时间周期未与一个读取别名关联的情况下,确定与第一目标索引匹配的读取别名,得到第一读取别名,并将第一目标索引与第一读取别名进行关联。
对于上述ES,在写入数据时,ES可以支持使用索引别名代替真实索引。ES查询也可以基于ES别名机制来实现。在上述基于定时器来定时调用rollover-api实现根据存储大小滚动创建新索引的场景,在向索引中写入数据时,可以判断该索引与要写入的业务数据匹配的读取别名是否关联,如果未关联,则进行关联。
可选地,读取别名也可以用于存储创建时间与读取别名匹配的索引,在创建第二目标索引之后,数据库服务器可以确定与第二目标索引的创建时间匹配的读取别名,得到第三读取别名;将第二目标索引与第三读取别名进行关联。
例如,在关联读取别名时,可以创建当前时间下的读取别名,读取别名的格式是“log.YYYYMMDD”,并关联当前写入别名对应的可写入索引。在上述基于定时器来定时调用rollover-api实现根据存储大小滚动创建新索引的场景,可以同时为rollover-api指定的写入别名关联的最新索引,关联一个读取别名。
可选地,读取别名也可以区分不同业务属性的索引。读取别名可以包含业务属性字段,业务属性字段可以用于指示关联的索引中所存储的业务数据的业务属性。对应地,数据库服务器可以确定与第一业务数据匹配的读取别名,得到第一读取别名,读取别名用于关联存储的业务数据的业务属性和时间属性与读取别名匹配的索引,比如,第一读取别名用于关联存储的业务属性为目标业务属性、时间属性为目标时间属性的业务数据的索引。在第一目标索引与第一读取别名未关联的情况下,可以将第一目标索引与第一读取别名进行关联。
通过本实施例,通过为索引关联读取别名(时间序列别名),可以实现基于查询时间来精准定位索引,提高索引查询的效率和灵活性。
作为一种可选的实施例,在将第一业务数据写入到第一目标索引中之后,上述方法还包括:
S51,接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;
S52,根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的第二读取别名,其中,读取别名用于关联存储的业务数据的时间属性与读取别名匹配的索引,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;
S53,从与第二读取别名关联的至少一个第二索引中,获取位于目标时间范围内的第二业务数据;
S54,响应目标查询指令,将第二业务数据发送给目标客户端。
在进行业务数据读取时,可以使用读取别名进行操作。读取别名的含义、以及读取别名的命名方式与前述类似,在此不做赘述。数据库服务器可以接收目标客户端发送的目标查询指令,该目标查询指令可以用于查询位于目标时间范围内的业务数据。上述目标时间范围的时间粒度与读取别名中的时间属性字段的时间粒度可以是相同的,也可以是不同的,本实施例中对此不做限定。
由于读取别名中的时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性,可以基于读取别名中包含的时间属性字段,定位出要查询的业务数据所存储在的索引。例如,根据每个读取别名中包含的时间属性字段,数据库服务器可以确定与目标时间范围匹配的第二读取别名,并确定与第二读取别名关联的至少一个第二索引。
比如,目标时间范围可以是位于某年某月1号至5号的业务数据,而读取别名的命名方式为“log.YYYYMMDD”(“YYYYMMDD”为时间属性字段),那么,可以根据读取别名中包含的时间属性字段,确定出时间属性字段所表示的时间位于目标时间范围的读取别名。
由于读取别名中的时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性,一个索引可以关联多个读取别名,那么,该索引中存储的业务数据的时间属性不一定是全部位于目标时间范围内。在确定出至少一个第二索引之后,数据库服务器可以从至少一个第二索引中,获取位于目标时间范围内的第二业务数据,并将查询到的业务数据返回给目标客户端。
可选地,如果目标查询指令用于查询业务属性为第一业务属性、且时间属性位于第一时间范围内的业务数据,那么,对于读取别名中包含上述业务属性字段的场景,数据库服务器可以根据每个读取别名包含的时间属性字段和业务属性字段,确定出与第一业务属性和第一时间范围均匹配的第四读取别名(第四读取别名的数量可以为一个或多个);从与第四读取别名关联的至少一个第四索引中,获取位于第一时间范围内的、具有第一业务属性的第三业务数据,并响应目标查询指令,将第三业务数据发送给目标客户端。
可选地,如果目标查询指令用于查询业务属性为第一业务属性、且时间属性位于第一时间范围内的业务数据,那么,对于读取别名中不包含上述业务属性字段的场景,数据库服务器可以根据每个读取别名包含的时间属性字段,确定出与第一时间范围匹配的至少一个读取别名,确定与至少一个读取别名中的每个读取别名关联的索引,得到第一索引集合;根据每个写入别名所匹配的业务属性,确定出与第一业务属性匹配的至少一个写入别名,确定与至少一个写入取别名中的每个写入别名关联的索引,得到第二索引集合;确定第一索引集合和第二索引集合的交集,得到至少一个第五索引;从至少一个第五索引中获取位于目标时间范围内的第四业务数据,并响应目标查询指令,将第四业务数据发送给目标客户端。
通过本实施例,通过先定位要查询的业务数据所存储在的索引,再从定位到的索引中准确确定出要查询的业务数据,可以提高业务数据的查询效率。
作为一种可选的实施例,在将第一业务数据写入到第一目标索引中之后,上述方法还包括:
S61,接收到目标删除指令,其中,目标删除指令用于删除至少一个与目标业务属性匹配的索引;
S62,响应目标删除指令,按照存储业务数据的先后顺序,从至少一个第三索引中删除至少一个索引,其中,至少一个第三索引用于依次存储具有目标业务属性的业务数据。
在进行业务数据删除时,数据库服务器可以接收目标删除指令,该目标删除指令用于删除至少一个与目标业务属性匹配的索引,该目标删除指令还可以用于指示要删除的索引的数量、或者要删除的索引包含的数据总量。
响应目标删除指令,数据库服务器确定用于存储具有目标业务属性的业务数据的至少一个第三索引。比如,可以首先确定与目标业务属性匹配的目标写入别名,然后将与目标写入别名关联的至少一个索引,确定为至少一个第三索引,至少一个第三索引用于依次存储具有目标业务属性的业务数据。
按照目标删除指令所指示删除的索引的数量或者索引包含的数据总量、或者删除的索引的默认数量或者默认的数据总量,可以按照存储业务数据的先后顺序,从至少一个第三索引中确定出满足删除条件的至少一个索引,并将确定出的至少一个索引删除,这里,确定出的至少一个索引可以是存储的业务数据的时间属性较早的索引。
对于使用一个写入别名关联存储同一业务属性的业务数据的索引的场景,与一个写入别名关联的至少一个索引的索引名可以是按照索引名序号递增的方式生成的,可以根据索引的索引名序号来确定索引中保存的业务数据的时间顺序。对应地,响应目标删除指令,可以按照索引名序号由小到大的顺序,从至少一个第三索引中删除至少一个索引,比如,按照索引名序号由小到大的顺序,从至少一个第三索引中确定出满足删除条件的至少一个索引,并将确定出的至少一个索引删除。
可选地,对于读取别名用于关联存储的业务数据的时间属性和业务属性与读取别名匹配的索引的场景,删除索引的过程可以是:接收到目标删除指令,其中,目标删除指令用于删除第二时间范围的、与第二业务属性匹配的索引;根据每个读取别名的时间属性字段和业务属性字段,确定与第二时间范围和第二业务属性均匹配的第五读取别名,其中,读取别名用于关联存储的业务数据的时间属性和业务属性与读取别名匹配的索引,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性,业务属性字段用于描述与读取别名关联的索引中所存储的业务数据的业务属性;将与第五读取别名关联的至少一个索引删除。
通过本实施例,按照删除指令所指示的业务属性以及删除条件进行业务数据的删除,可以提高业务数据删除的合理性,
下面结合可选示例对本申请实施例中的业务数据处理方法进行解释说明。在本示例中,目标数据库为ES(不低于6.3版本),目标API为rollover index api,业务属性为业务类型(项目类型)。
考虑到根据查询时间精准定位索引可以缩小查询数据的范围,本示例提供的业务数据处理方法可以在不丢失时间粒度索引的优势下,加入存储空间维度上的考虑生成索引,与一个索引关联的别名可以包括写入别名和读取别名,从而可以实现基于写入别名写入业务数据,基于读取别名读取业务数据。
在本示例中,写入别名的命名方式为“业务属性”,比如,“log”,与时间粒度无关;读取别名的命名方式为“业务属性.时间属性”比如,“log.20201020”,与时间粒度相关。
图4是根据本申请实施例的另一种可选的业务数据处理方法的流程示意图,如图4所示,本可选示例中的业务数据处理方法的流程可以包括以下步骤:
步骤S402,创建一个定时器,根据定时器来定时调用rollover-api,以根据存储大小滚动创建新索引。
比如,对于名为“log”的写入别名,可以通过定时器来定时调用rollover-api,基于索引别名机制,如果“log”当前可写入的索引是否满足滚动条件(是否大于或者等于5gb),如果满足滚动条件,生成新的索引,并将新生成的索引设置可写入,之前的历史索引都会设置成不可写入。
新生成索引的索引名可以按照索引名序号递增的方式生成,当前可写入索引名为“log.000002”,则新生成的索引名为“log.000003”。
步骤S404,为rollover-api指定的写入别名关联的最新索引,关联一个读取别名。
可以创建当前时间下的读取别名,类似“log.YYYYMMDD”,与时间粒度相关,关联当前写入别名对应的可写入索引。
步骤S406,使用写入别名向索引中写入业务数据,以及使用读取别名进行业务数据的读取。
在进行业务数据写入时,可以按照业务数据的业务类型,确定匹配的写入别名,并将业务数据写入到与匹配的写入别名关联的可写入索引中。
在进行业务数据读取时,可以按照读取的业务数据的业务类型、以及读取的时间范围,确定匹配的读取别名,再从匹配的读取别名关联的索引中,进行精准的业务数据读取。
通过本示例,利用ES rollover api和索引别名机制,可以增强ES存储空间的可控性,提高存储空间的使用效率,同时也可以保留基于时间粒度的索引所具备的查询速度。
根据本申请实施例的另一个方面,还提供了一种业务数据处理方法。可选地,在本实施例中,上述业务数据处理方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中,已经进行过描述的,在此不做赘述。
本申请实施例的业务数据处理方法可以由服务器104来执行,也可以由终端102来执行,还可以是由服务器104和终端102共同执行。其中,终端102执行本申请实施例的业务数据处理方法也可以是由安装在其上的客户端来执行。
以由服务器104(比如,数据库服务器)来执行本实施例中的业务数据处理方法为例,图5是根据本申请实施例的又一种可选的业务数据处理方法的流程示意图,如图5所示,该方法的流程可以包括以下步骤:
步骤S502,接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;
步骤S504,根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的目标读取别名,其中,读取别名用于关联目标数据库中存储的业务数据的时间属性与读取别名匹配的索引,目标数据库中的每个索引仅用于存储一个业务属性的业务数据,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;
步骤S506,从与目标读取别名关联的至少一个目标索引中,获取位于目标时间范围内的目标业务数据;
步骤S508,响应目标查询指令,将目标业务数据发送给目标客户端。
本实施例中的业务数据处理方法可以应用于从数据库中查询业务数据的场景,上述数据库可以是以索引为管理数据的最小单位的数据库,比如,ES数据库,或者其他类似的数据库,本实施例中对于数据库的类型不作限定。
可选地,本实施例中的业务数据处理方法可以是由数据库服务器执行的,已经进行过描述的,在此不做赘述。并且,在不矛盾的情况下,本实施例中的业务数据处理方法可以与前述实施例中的方法步骤进行任意结合。
可选地,前述实施例中关于目标客户端、目标查询指令、目标时间范围、读取别名、目标数据库、业务数据、业务数据的时间属性、时间属性字段、索引等的描述同样适用于本实施例,在此不做赘述。可选地,本实施例中的目标读取别名与前述实施例中的第二读取别名类似,实施例中的目标索引与前述实施例中的第二索引类似,实施例中的目标业务数据与前述实施例中的第二业务数据类似,在此不做赘述。
通过上述步骤S502至步骤S508,接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的目标读取别名,其中,读取别名用于关联目标数据库中存储的业务数据的时间属性与读取别名匹配的索引,目标数据库中的每个索引仅用于存储一个业务属性的业务数据,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;从与目标读取别名关联的至少一个目标索引中,获取位于目标时间范围内的目标业务数据;响应目标查询指令,将目标业务数据发送给目标客户端,由于每个索引中仅写入一种业务属性的业务数据,在以索引为单位进行业务数据清理时,可以按照业务类型进行删除,达到了提高业务数据控制的合理性的技术效果,进而解决了相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的又一个方面,还提供了一种用于实施上述业务数据处理方法的业务数据处理装置。图6是根据本申请实施例的一种可选的业务数据处理装置的结构框图,如图6所示,该装置可以包括:
第一获取单元602,用于获取第一业务数据,其中,第一业务数据为待写入到目标数据库中的业务数据;
第一确定单元604,与第一获取单元602相连,用于确定与目标业务属性匹配的第一目标索引,其中,目标业务属性为第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据;
第一写入单元606,与第一确定单元604相连,用于将第一业务数据写入到第一目标索引中。
需要说明的是,该实施例中的第一获取单元602可以用于执行上述步骤S202,该实施例中的第一确定单元604可以用于执行上述步骤S204,该实施例中的第一写入单元606可以用于执行上述步骤S206。
通过上述模块,获取第一业务数据,其中,第一业务数据为待写入到目标数据库中的业务数据;确定与目标业务属性匹配的第一目标索引,其中,目标业务属性为第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据;将第一业务数据写入到第一目标索引中,解决了相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题,提高了业务数据控制的合理性。
作为一种可选的实施例,第一确定单元604包括:
第一确定模块,用于确定与目标业务属性匹配的写入别名,得到目标写入别名,其中,与写入别名关联的至少一个索引用于存储具有与写入别名匹配的业务属性的业务数据;
第二确定模块,用于将与目标写入别名关联的至少一个第一索引中处于可写入状态的索引,确定为第一目标索引。
作为一种可选的实施例,上述装置还包括:
第一关联单元,用于在将第一业务数据写入到第一目标索引中之后,将目标写入别名与第二目标索引关联,其中,第二目标索引为在将第一业务数据写入到第一目标索引中之后创建的索引;
配置单元,用于将第一目标索引的写入状态配置为不可写入状态,并将第二目标索引的写入状态配置为可写入状态,其中,与目标写入别名关联的索引中在同一时间仅允许一个索引处于可写入状态。
作为一种可选的实施例,上述装置还包括:
第二获取单元,用于在将目标写入别名与第二目标索引关联之前,通过调用目标应用程序接口,获取第一目标索引所存储的业务数据的数据量,其中,目标应用程序接口用于按照触发条件触发创建索引,触发条件包括索引中存储的业务数据的数据量大于或者等于数据量阈值;
创建单元,用于在第一目标索引所存储的业务数据的数据量大于或者等于数据量阈值的情况下,创建第二目标索引。
作为一种可选的实施例,上述装置还包括:
第二确定单元,用于确定与目标业务属性匹配的第一目标索引之后,确定与第一业务数据匹配的读取别名,得到第一读取别名,其中,读取别名用于关联存储的业务数据的时间属性与读取别名匹配的索引;
第二关联单元,用于在第一目标索引与第一读取别名未关联的情况下,将第一目标索引与第一读取别名进行关联。
作为一种可选的实施例,上述装置还包括:
第一接收单元,用于在将第一业务数据写入到第一目标索引中之后,接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;
第三确定单元,用于根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的第二读取别名,其中,读取别名用于关联存储的业务数据的时间属性与读取别名匹配的索引,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;
第三获取单元,用于从与第二读取别名关联的至少一个第二索引中,获取位于目标时间范围内的第二业务数据;
目标发送单元,用于响应目标查询指令,将第二业务数据发送给目标客户端。
作为一种可选的实施例,上述装置还包括:
第二接收单元,用于在将第一业务数据写入到第一目标索引中之后,接收到目标删除指令,其中,目标删除指令用于删除至少一个与目标业务属性匹配的索引;
删除单元,用于响应目标删除指令,按照存储业务数据的先后顺序,从至少一个第三索引中删除至少一个索引,其中,至少一个第三索引用于依次存储具有目标业务属性的业务数据。
根据本申请实施例的又一个方面,还提供了一种用于实施上述业务数据处理方法的业务数据处理装置。图7是根据本申请实施例的另一种可选的业务数据处理装置的结构框图,如图7所示,该装置可以包括:
接收单元702,用于接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;
确定单元704,与接收单元702相连,用于根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的目标读取别名,其中,读取别名用于关联目标数据库中存储的业务数据的时间属性与读取别名匹配的索引,目标数据库中的每个索引仅用于存储一个业务属性的业务数据,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;
获取单元706,与确定单元704相连,用于从与目标读取别名关联的至少一个目标索引中,获取位于目标时间范围内的目标业务数据;
发送单元708,与获取单元706相连,用于响应目标查询指令,将目标业务数据发送给目标客户端。
需要说明的是,该实施例中的接收单元702可以用于执行上述步骤S502,该实施例中的确定单元704可以用于执行上述步骤S504,该实施例中的获取单元706可以用于执行上述步骤S506,该实施例中的发送单元708可以用于执行上述步骤S508。
通过上述模块,接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的目标读取别名,其中,读取别名用于关联目标数据库中存储的业务数据的时间属性与读取别名匹配的索引,目标数据库中的每个索引仅用于存储一个业务属性的业务数据,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;从与目标读取别名关联的至少一个目标索引中,获取位于目标时间范围内的目标业务数据;响应目标查询指令,将目标业务数据发送给目标客户端,解决了相关技术中基于时间粒度的索引管理方式存在以索引为单位清理业务数据易造成数据清理不合理的问题,提高了业务数据控制的合理性。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的又一个方面,还提供了一种用于实施上述业务数据处理方法的电子设备,该电子设备可以是服务器、终端、或者其组合。
图8是根据本申请实施例的一种可选的电子设备的结构框图,如图8所示,包括处理器802、通信接口804、存储器806和通信总线808,其中,处理器802、通信接口804和存储器806通过通信总线808完成相互间的通信,其中,
存储器806,用于存储计算机程序;
处理器802,用于执行存储器806上所存放的计算机程序时,实现如下步骤:
获取第一业务数据,其中,第一业务数据为待写入到目标数据库中的业务数据;
确定与目标业务属性匹配的第一目标索引,其中,目标业务属性为第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据;
将第一业务数据写入到第一目标索引中。
可选地,处理器802,用于执行存储器806上所存放的计算机程序时,实现如下步骤:
接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;
根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的目标读取别名,其中,读取别名用于关联目标数据库中存储的业务数据的时间属性与读取别名匹配的索引,目标数据库中的每个索引仅用于存储一个业务属性的业务数据,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;
从与目标读取别名关联的至少一个目标索引中,获取位于目标时间范围内的目标业务数据;
响应目标查询指令,将目标业务数据发送给目标客户端。
可选地,在本实施例中,上述的通信总线可以是PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM,也可以包括非易失性存储器(non-volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例,存储器806中可以但不限于包括上述业务数据处理装置中的第一获取单元602、第一确定单元604和第一写入单元606。此外,还可以包括但不限于上述业务数据处理装置中的其他模块单元,本示例中不再赘述。
作为另一种示例,存储器806中可以但不限于包括上述业务数据处理装置中的接收单元702、确定单元704、获取单元706和发送单元708。此外,还可以包括但不限于上述业务数据处理装置中的其他模块单元,本示例中不再赘述。
上述处理器可以是通用处理器,可以包含但不限于:CPU(Central ProcessingUnit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(DigitalSignal Processing,数字信号处理器)、ASIC(Application Specific IntegratedCircuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图8所示的结构仅为示意,实施上述业务数据处理方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图8其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图8所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行本申请实施例中上述任一项业务数据处理方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
获取第一业务数据,其中,第一业务数据为待写入到目标数据库中的业务数据;
确定与目标业务属性匹配的第一目标索引,其中,目标业务属性为第一业务数据的业务属性,目标数据库中的每个索引仅用于存储一个业务属性的业务数据;
将第一业务数据写入到第一目标索引中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
接收目标客户端发送的目标查询指令,其中,目标查询指令用于查询位于目标时间范围内的业务数据;
根据每个读取别名包含的时间属性字段,确定与目标时间范围匹配的目标读取别名,其中,读取别名用于关联目标数据库中存储的业务数据的时间属性与读取别名匹配的索引,目标数据库中的每个索引仅用于存储一个业务属性的业务数据,时间属性字段用于描述与读取别名关联的索引中存储的业务数据的时间属性;
从与目标读取别名关联的至少一个目标索引中,获取位于目标时间范围内的目标业务数据;
响应目标查询指令,将目标业务数据发送给目标客户端。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (12)
1.一种业务数据处理方法,其特征在于,包括:
获取第一业务数据,其中,所述第一业务数据为待写入到目标数据库中的业务数据;
确定与目标业务属性匹配的第一目标索引,其中,所述目标业务属性为所述第一业务数据的业务属性,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据;
将所述第一业务数据写入到所述第一目标索引中。
2.根据权利要求1所述的方法,其特征在于,确定与所述目标业务属性匹配的所述第一目标索引包括:
确定与所述目标业务属性匹配的写入别名,得到目标写入别名,其中,与所述写入别名关联的至少一个索引用于存储具有与所述写入别名匹配的业务属性的业务数据;
将与所述目标写入别名关联的至少一个第一索引中处于可写入状态的索引,确定为所述第一目标索引。
3.根据权利要求2所述的方法,其特征在于,在将所述第一业务数据写入到所述第一目标索引中之后,所述方法还包括:
将所述目标写入别名与第二目标索引关联,其中,所述第二目标索引为在将所述第一业务数据写入到所述第一目标索引中之后创建的索引;
将所述第一目标索引的写入状态配置为不可写入状态,并将所述第二目标索引的写入状态配置为可写入状态,其中,与所述目标写入别名关联的索引中在同一时间仅允许一个索引处于可写入状态。
4.根据权利要求3所述的方法,其特征在于,在将所述目标写入别名与所述第二目标索引关联之前,所述方法还包括:
通过调用目标应用程序接口,获取所述第一目标索引所存储的业务数据的数据量,其中,所述目标应用程序接口用于按照触发条件触发创建索引,所述触发条件包括索引中存储的业务数据的数据量大于或者等于数据量阈值;
在所述第一目标索引所存储的业务数据的数据量大于或者等于所述数据量阈值的情况下,创建所述第二目标索引。
5.根据权利要求1所述的方法,其特征在于,在确定与所述目标业务属性匹配的所述第一目标索引之后,所述方法还包括:
确定与所述第一业务数据匹配的读取别名,得到第一读取别名,其中,所述读取别名用于关联存储的业务数据的时间属性与所述读取别名匹配的索引;
在所述第一目标索引与所述第一读取别名未关联的情况下,将所述第一目标索引与所述第一读取别名进行关联。
6.根据权利要求1所述的方法,其特征在于,在将所述第一业务数据写入到所述第一目标索引中之后,所述方法还包括:
接收目标客户端发送的目标查询指令,其中,所述目标查询指令用于查询位于目标时间范围内的业务数据;
根据每个读取别名包含的时间属性字段,确定与所述目标时间范围匹配的第二读取别名,其中,所述读取别名用于关联存储的业务数据的时间属性与所述读取别名匹配的索引,所述时间属性字段用于描述与所述读取别名关联的索引中存储的业务数据的时间属性;
从与所述第二读取别名关联的至少一个第二索引中,获取位于所述目标时间范围内的第二业务数据;
响应所述目标查询指令,将所述第二业务数据发送给所述目标客户端。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在将所述第一业务数据写入到所述第一目标索引中之后,所述方法还包括:
接收到目标删除指令,其中,所述目标删除指令用于删除至少一个与所述目标业务属性匹配的索引;
响应所述目标删除指令,按照存储业务数据的先后顺序,从至少一个第三索引中删除至少一个索引,其中,所述至少一个第三索引用于依次存储具有所述目标业务属性的业务数据。
8.一种业务数据处理方法,其特征在于,包括:
接收目标客户端发送的目标查询指令,其中,所述目标查询指令用于查询位于目标时间范围内的业务数据;
根据每个读取别名包含的时间属性字段,确定与所述目标时间范围匹配的目标读取别名,其中,所述读取别名用于关联目标数据库中存储的业务数据的时间属性与所述读取别名匹配的索引,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据,所述时间属性字段用于描述与所述读取别名关联的索引中存储的业务数据的时间属性;
从与所述目标读取别名关联的至少一个目标索引中,获取位于所述目标时间范围内的目标业务数据;
响应所述目标查询指令,将所述目标业务数据发送给所述目标客户端。
9.一种业务数据处理装置,其特征在于,包括:
第一获取单元,用于获取第一业务数据,其中,所述第一业务数据为待写入到目标数据库中的业务数据;
第一确定单元,用于确定与目标业务属性匹配的第一目标索引,其中,所述目标业务属性为所述第一业务数据的业务属性,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据;
第一写入单元,用于将所述第一业务数据写入到所述第一目标索引中。
10.一种业务数据处理装置,其特征在于,包括:
接收单元,用于接收目标客户端发送的目标查询指令,其中,所述目标查询指令用于查询位于目标时间范围内的业务数据;
确定单元,用于根据每个读取别名包含的时间属性字段,确定与所述目标时间范围匹配的目标读取别名,其中,所述读取别名用于关联目标数据库中存储的业务数据的时间属性与所述读取别名匹配的索引,所述目标数据库中的每个索引仅用于存储一个业务属性的业务数据,所述时间属性字段用于描述与所述读取别名关联的索引中存储的业务数据的时间属性;
获取单元,用于从与所述目标读取别名关联的至少一个目标索引中,获取位于所述目标时间范围内的目标业务数据;
发送单元,用于响应所述目标查询指令,将所述目标业务数据发送给所述目标客户端。
11.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,其特征在于,
所述存储器,用于存储计算机程序;
所述处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至8中任一项所述的方法步骤。
12.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8中任一项中所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327832.4A CN112925783A (zh) | 2021-03-26 | 2021-03-26 | 业务数据处理方法和装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327832.4A CN112925783A (zh) | 2021-03-26 | 2021-03-26 | 业务数据处理方法和装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112925783A true CN112925783A (zh) | 2021-06-08 |
Family
ID=76176204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110327832.4A Pending CN112925783A (zh) | 2021-03-26 | 2021-03-26 | 业务数据处理方法和装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112925783A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656094A (zh) * | 2021-08-03 | 2021-11-16 | 北京数码大方科技股份有限公司 | 属性信息的处理方法和装置 |
CN113688142A (zh) * | 2021-10-25 | 2021-11-23 | 北京金山云网络技术有限公司 | 索引管理方法、装置、存储介质和电子设备 |
CN114036158A (zh) * | 2021-11-18 | 2022-02-11 | 广州宸祺出行科技有限公司 | 一种Elasticsearch与MySQL的联合查询方法和装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190188278A1 (en) * | 2017-12-15 | 2019-06-20 | Slack Technologies, Inc. | Method, apparatus and computer program product for improving data indexing in a group-based communication platform |
CN110019200A (zh) * | 2017-09-30 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种索引的建立、使用方法及装置 |
CN110515953A (zh) * | 2019-08-29 | 2019-11-29 | 百度在线网络技术(北京)有限公司 | 数据的查询方法、装置、设备以及存储介质 |
CN110888872A (zh) * | 2019-10-16 | 2020-03-17 | 浙江大搜车软件技术有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
CN111460023A (zh) * | 2020-04-29 | 2020-07-28 | 上海东普信息科技有限公司 | 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 |
US10776366B1 (en) * | 2016-05-25 | 2020-09-15 | Alation Inc. | Computer-implemented method and system for writing and performing a data query |
CN111767284A (zh) * | 2020-06-23 | 2020-10-13 | Oppo(重庆)智能科技有限公司 | 数据处理方法、装置、存储介质和服务器 |
CN111858607A (zh) * | 2020-07-24 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置、电子设备和计算机可读介质 |
CN112434039A (zh) * | 2020-11-30 | 2021-03-02 | 浙江大华技术股份有限公司 | 数据的存储方法、装置、存储介质以及电子装置 |
CN112463886A (zh) * | 2020-11-30 | 2021-03-09 | 浙江大华技术股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-26 CN CN202110327832.4A patent/CN112925783A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10776366B1 (en) * | 2016-05-25 | 2020-09-15 | Alation Inc. | Computer-implemented method and system for writing and performing a data query |
CN110019200A (zh) * | 2017-09-30 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种索引的建立、使用方法及装置 |
US20190188278A1 (en) * | 2017-12-15 | 2019-06-20 | Slack Technologies, Inc. | Method, apparatus and computer program product for improving data indexing in a group-based communication platform |
CN110515953A (zh) * | 2019-08-29 | 2019-11-29 | 百度在线网络技术(北京)有限公司 | 数据的查询方法、装置、设备以及存储介质 |
CN110888872A (zh) * | 2019-10-16 | 2020-03-17 | 浙江大搜车软件技术有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
CN111460023A (zh) * | 2020-04-29 | 2020-07-28 | 上海东普信息科技有限公司 | 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 |
CN111767284A (zh) * | 2020-06-23 | 2020-10-13 | Oppo(重庆)智能科技有限公司 | 数据处理方法、装置、存储介质和服务器 |
CN111858607A (zh) * | 2020-07-24 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置、电子设备和计算机可读介质 |
CN112434039A (zh) * | 2020-11-30 | 2021-03-02 | 浙江大华技术股份有限公司 | 数据的存储方法、装置、存储介质以及电子装置 |
CN112463886A (zh) * | 2020-11-30 | 2021-03-09 | 浙江大华技术股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
张玉忠;: "个性化中文全文索引技术在VBlog项目的应用", 电信科学, no. 01, 15 January 2010 (2010-01-15), pages 97 - 100 * |
王战英;王占宏;: "基于元数据的分布式通用查询系统研究与实现", 微型电脑应用, no. 08, 20 August 2017 (2017-08-20), pages 48 - 52 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656094A (zh) * | 2021-08-03 | 2021-11-16 | 北京数码大方科技股份有限公司 | 属性信息的处理方法和装置 |
CN113656094B (zh) * | 2021-08-03 | 2023-12-12 | 北京数码大方科技股份有限公司 | 属性信息的处理方法和装置 |
CN113688142A (zh) * | 2021-10-25 | 2021-11-23 | 北京金山云网络技术有限公司 | 索引管理方法、装置、存储介质和电子设备 |
CN113688142B (zh) * | 2021-10-25 | 2022-05-06 | 北京金山云网络技术有限公司 | 索引管理方法、装置、存储介质和电子设备 |
CN114036158A (zh) * | 2021-11-18 | 2022-02-11 | 广州宸祺出行科技有限公司 | 一种Elasticsearch与MySQL的联合查询方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112925783A (zh) | 业务数据处理方法和装置、电子设备和存储介质 | |
CN108415952B (zh) | 用户数据存储方法、标签计算方法及计算设备 | |
US20180107725A1 (en) | Data Storage Method and Apparatus, and Data Read Method and Apparatus | |
CN108932286B (zh) | 一种数据查询方法及装置 | |
CN106031127B (zh) | 用于应用的管理的方法和装置 | |
CN107103011B (zh) | 终端数据搜索的实现方法和装置 | |
CN105354315A (zh) | 分布式数据库中子表分裂的方法、子表节点和系统 | |
CN111400334B (zh) | 数据处理方法、装置、存储介质及电子装置 | |
EP4174677A1 (en) | Data reading and writing method and device | |
CN109684270B (zh) | 数据库归档方法、装置、系统、设备及可读存储介质 | |
CN110989937A (zh) | 一种数据存储方法、装置、设备及计算机可读存储介质 | |
CN115617799A (zh) | 一种数据存储的方法、装置、设备及存储介质 | |
CN111784468A (zh) | 一种账户关联方法、装置及电子设备 | |
US8700676B2 (en) | System and method for appending metadata to objects | |
CN104394518A (zh) | 一种短信发送方法及短信平台 | |
CN110427394B (zh) | 数据操作方法及装置 | |
CN113326288A (zh) | 数据处理方法、装置、电子设备 | |
CN113076086B (zh) | 元数据管理系统和使用其对模型对象进行建模的方法 | |
CN112632266B (zh) | 数据写入方法、装置、计算机设备及可读存储介质 | |
CN111221817B (zh) | 业务信息数据存储方法、装置、计算机设备及存储介质 | |
CN113742378A (zh) | 数据查询及存储方法、相关设备及存储介质 | |
CN112685557A (zh) | 可视化信息资源管理方法及装置 | |
CN111880741B (zh) | 一种对象状态设置方法、装置及电子设备和存储介质 | |
CN112685329A (zh) | 用于处理数据的方法及相关装置 | |
CN111782661B (zh) | 一种数据存储方法、数据查询方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |