CN112328842A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents
一种数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112328842A CN112328842A CN202110004910.7A CN202110004910A CN112328842A CN 112328842 A CN112328842 A CN 112328842A CN 202110004910 A CN202110004910 A CN 202110004910A CN 112328842 A CN112328842 A CN 112328842A
- Authority
- CN
- China
- Prior art keywords
- data
- storage block
- time
- stored
- partition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据处理方法、装置、电子设备及存储介质,所述方法包括:确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。本发明提供的数据处理方法、装置、电子设备及存储介质,其能够在数据查询过程中基于时序特点自动识别进行分块的查询,并根据查询到的数据在图结构表中进行实体关系的标注显示,以实现缩小查询数据量,提供较快的图数据查询效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
图结构表是一种数据模型,它包括节点、边以及点与边的一系列属性的集合。点是数据中的实体,边表征任何两个节点之间存在的关系,属性表征点与边具有的一系列特征。
在本发明中,图结构表是以数据中的实体关系构建。实体是文本数据中提取的人名、组织名、地名,日期等信息。图结构表是使用图的结构来表现和存储具有图语义的数据,并快速的进行查询。图结构表直接将节点与节点之间的关系保存,这样使得在查询的时候,两个节点的数据可以进行直接的关联。使用图结构表查询关系数据要快。
但是面对海量的带有时序特点的数据的存储和分析,很多分析操作难以在图结构表中实现。为此,本发明提供的方法用于对具有时序特点的数据进行存储及查询。
发明内容
针对现有技术存在的问题,本发明提供一种数据处理方法、装置、电子设备及存储介质。
本发明提供一种数据处理方法,包括:
确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;
根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
根据本发明提供的一种数据处理方法,所述数据库包括多个数据分区,所述方法还包括:在所述数据库中筛选数据分区,包括:
确定待查询条件中包括的哈希值,根据所述哈希值在第一缓存中查找到与所述哈希值对应的数据分区;其中,所述第一缓存中存储有分区列表,所述分区列表存储有各哈希值与各分区编号的对应关系;
相应地,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块,包括:
根据所述查询时间在查找到的数据分区中查找到与所述查询时间对应的存储块。
根据本发明提供的一种数据处理方法,所述根据所述查询时间在查找到的数据分区中查找到与所述查询时间对应的存储块,包括:
根据所述查询时间和预设的存储时间起点和时间间隔确定所述查询时间所在的时间段标识;
根据所述查询时间所在的时间段标识在第二缓存中查找到与所述时间段标识对应的存储块编号,基于所述存储块编号在所述数据分区中确定所述查询时间对应的存储块;其中,所述第二缓存中存储有存储块列表,所述存储块列表存储有各时间段标识与各存储块编号的对应关系。
根据本发明提供的一种数据处理方法,所述图结构表以数据中的实体关系构建。
根据本发明提供的一种数据处理方法,所述方法还包括:
获取待存储数据的时间戳,根据所述时间戳确定时间段标识,根据所述时间段标识确定待存储的存储块,将待存储数据存储在所述存储块中。
根据本发明提供的一种数据处理方法,所述方法还包括:获取待存储数据的哈希值,确定第一缓存中不存在与所述待存储数据的哈希值对应的数据分区,则建立新的数据分区,并配置新的数据分区对应的分区编号,将新的数据分区对应的分区编号与所述待存储数据的哈希值的对应关系存储在第一缓存中;
在新的数据分区中建立存储块,并获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,将待存储数据存储在存储块中;
确定第一缓存中存在与所述待存储数据的哈希值对应的数据分区后,获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,若匹配成功,则将待存储数据存储到匹配成功的时间段标识对应的存储块上;若匹配不成功,则在所述数据分区建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
根据本发明提供的一种数据处理方法,在建立新的数据分区之后,使数据分区根据预设的存储时间起点和时间间隔,自动建立预设数目的存储块,并配置每个存储块对应的时间段标识。
本发明还提供一种数据处理装置,包括:
筛选模块,用于确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;
处理模块,用于根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述数据处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述数据处理方法的步骤。
本发明提供的数据处理方法、装置、电子设备及存储介质,其能够在数据查询过程中基于时序特点自动识别进行分块的查询,并根据查询到的数据在图结构表中进行实体关系的标注显示,以实现缩小查询数据量,提供较快的图数据查询效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的数据处理方法的流程示意图;
图2是本发明提供的模式判断模型的具体结构示意图;
图3是本发明提供的数据处理装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-4图描述本发明提供的数据处理方法、装置、电子设备及存储介质。
图1示出了本发明提供的数据处理方法的流程示意图,参见图1,该方法包括以下步骤:
S11、确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;
S12、根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
针对步骤S11-步骤S12,需要说明的是,在本发明中,图结构表是一种数据模型,它包括节点、边以及点与边的一系列属性的集合。点是数据中的实体,边表征任何两个节点之间存在的关系,属性表征点与边具有的一系列特征。
在本发明中,图结构表是以数据中的实体关系构建。实体是文本数据中提取的人名、组织名、地名,日期等信息。图结构表是使用图的结构来表现和存储具有图语义的数据,并快速的进行查询。图结构表直接将节点与节点之间的关系保存,这样使得在查询的时候,两个节点的数据可以进行直接的关联。使用图结构表查询关系数据要快。
但是面对海量的带有时序特点的数据的存储和分析,很多分析操作难以在图结构表中实现。为此,本发明提供的方法用于对具有时序特点的数据进行存储及查询。
由于该数据库中设置有不同时间段的存储块,故确定待查询条件中包括的查询时间,根据查询时间在数据库中查找到与查询时间对应的存储块。该存储块中存储有一段时间内的数据。
在本发明中,图结构表以底层数据块中的数据为基础,提取实体关系,根据实体关系建立图节点与边,配置相应属性所建立。为此,在查询到存储块后,根据存储块中的数据在图结构表中标注显示与存储块对应的节点关系图。该节点关系图是整个图结构表中对应存储块内数据的部分图结构。
本发明提供的数据处理方法,其能够在数据查询过程中基于时序特点自动识别进行分块的查询,并根据查询到的数据在图结构表中进行实体关系的标注显示,以实现缩小查询数据量,提供较快的图数据查询效率。
在上述方法的进一步说明中,主要是对数据库具有多个数据分区的情况下,基于查询时间在数据分区中查找与查询时间对应的存储块的处理过程的解释说明,具体如下:
确定待查询条件中包括的哈希值,根据哈希值在第一缓存中查找到与哈希值对应的数据分区;其中,第一缓存中存储有分区列表,分区列表存储有各哈希值与各分区编号的对应关系;
根据查询时间在查找到的数据分区中查找到与查询时间对应的存储块。
对此,需要说明的是,在本发明中,查询条件包括哈希值和查询时间。哈希值表征所查询数据的数据特点。查询时间为时间点或时间段。该查询条件旨在查询一个时间段内的数据,即特定时间内的特定数据。
具有时序特点的数据在存储过程中,会按哈希值进行分区存储,便于对不同数据的划分,在整体数据库中体现横向扩展存储。在每个数据分区中,会按时序特点进行分块存储,便于对同类数据的划分,在整体数据库中体现纵向扩展存储。针对分区过程,在缓存中设置分区列表,在该列表中存储有各哈希值与各分区编号的对应关系。针对分块过程,在缓存中设置存储块列表,在该列表中存储有各时间段标识与各存储块编号的对应关系。如图2所示为数据库的存储结构示意图。
在本发明中,获取待查询条件后,先确定待查询条件中包括的哈希值,根据哈希值在缓存中查找到与哈希值对应的分区编号,根据查找到的分区编号确定一个数据分区。
另外,还需要说明的是,当根据哈希值在缓存中未查找到与哈希值对应的分区编号。则表明数据库中未存储有该哈希值的数据。为此返回反馈信号。
本发明进一步提供的数据处理方法,能够在数据查询过程中自动识别进行分区分块的查询,并根据查询到的数据在图结构表中进行实体关系的标注显示,以实现缩小查询数据量,提供较快的图数据查询效率。
在上述方法的进一步说明中,主要是对根据查询时间在查找到的数据分区中查找到与查询时间对应的存储块处理过程的解释说明,具体如下:
根据查询时间和预设的存储时间起点和时间间隔确定查询时间所在的时间段标识;
根据查询时间所在的时间段标识在第二缓存中查找到与时间段标识对应的存储块编号,基于存储块编号在数据分区中确定查询时间对应的存储块;其中,第二缓存中存储有存储块列表,存储块列表存储有各时间段标识与各存储块编号的对应关系。
对此,需要说明的是,在本发明中,该查询时间可以是用户输入的一个时间点,如小时,天或月。例如该查询时间是2月13日。这是一个具体日期时间。而存储块的时间段标识是一个时间段。为此,需要判断该查询时间具体在哪个时间段内。
在本发明中,对存储块的划分,需要配置一个时间间隔。一个存储块的时间段的长度代表一个时间间隔。为此,建立存储块,配置对应的时间段标识,需要依据一个时间起点,以固定的时间间隔依次配置。
故需根据查询时间和预设的存储时间起点和时间间隔确定查询时间所在的时间段标识。即从时间起点出发,以固定的时间间隔依次配置,直到配置的时间段标识包含该查询时间,则将包含查询时间的时间段标识作为所需的时间段标识。
例如时间起点是2020年1月1日,以7天为时间间隔,查询时间为2月13日对应的时间段标识为20200212-20200218。
在缓存中有存储块列表,存储块列表存储有各时间段标识与各存储块编号的对应关系。
根据查询时间所在的时间段标识在缓存中查找到与时间段标识对应的存储块编号,然后基于存储块编号在数据分区中确定查询时间对应的存储块。
本发明进一步提供的数据处理方法,能够在数据查询过程中自动根据存储时间起点和时间间隔确定时间段标识,依据时间段标识查找得到存储块,便于提供较快的图数据查询效率。
在上述方法的进一步说明中,主要是对数据的存储过程进行解释说明,具体如下:
获取待存储数据的时间戳,根据时间戳确定时间段标识,根据时间段标识确定待存储的存储块,将待存储数据存储在存储块中。
对此,需要说明的是,在本发明中,获取到待存储数据之后,要解析出该待存储数据的时间戳。根据时间戳基于预设的算法进行计算,得到对应的时间段标识,然后根据时间段标识确定数据库中具有该时间段标识的存储块,该存储块可存储待存储数据,随后将待存储数据存储在该存储块中。
另外,若根据时间段标识不能寻找到数据库中具有该时间段标识的存储块,则在数据库建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
在上述方法的进一步说明中,继续对数据的存储过程进行解释说明,具体如下:
获取待存储数据的哈希值,确定第一缓存中不存在与待存储数据的哈希值对应的数据分区,则建立新的数据分区,并配置新的数据分区对应的分区编号,将新的数据分区对应的分区编号与待存储数据的哈希值的对应关系存储在第一缓存中;
在新的数据分区中建立存储块,并获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,将待存储数据存储在存储块中;
确定第一缓存中存在与待存储数据的哈希值对应的数据分区后,获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,若匹配成功,则将待存储数据存储到匹配成功的时间段标识对应的存储块上;若匹配不成功,则在数据分区建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
对此,需要说明的是,在本发明中,获取到待存储数据之后,对待存储数据进行分析,确定待存储数据的哈希值。
由于数据库中已建立有数据分区,相应地,在缓存中会存在分区列表。为此,将待存储数据的哈希值在缓存中的分区列表进行匹配,若分区列表中不包含该待存储数据的哈希值的分区,表明数据库未针对该哈希值的数据进行存储。此时,需要在数据库中针对该哈希值的数据建立新的数据分区,并给该新的数据分区配置分区编号,将新的数据分区对应的分区编号与哈希值的对应关系存储在缓存中。
然后在新的数据分区中建立存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。在给新的存储块配置时间段标识的过程中,也要基于存储时间起点和时间间隔,确定合适的时间段标识。该时间段标识包括待存储数据的时间戳。
在确定第一缓存中存在与所述待存储数据的哈希值对应的数据分区后,获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,若匹配成功,则将待存储数据存储到匹配成功的时间段标识对应的存储块上;若匹配不成功,则在所述数据分区建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
对此,需要说明的是,在本发明中,在缓存中会存在分区列表。将待存储数据的哈希值在缓存中的分区列表进行匹配,若分区列表中包含该待存储数据的哈希值的分区,表明数据库针对该哈希值的数据进行存储。此时,获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,即根据时间戳、存储时间起点和时间间隔确定时间段标识,然后看确定的时间段标识是否存储,若存在将待存储数据存储到匹配成功的时间段标识对应的存储块上。若匹配不成功,则在所述数据分区建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
本发明进一步提供的数据处理方法,能够基于哈希值和时间戳完成在数据块中的分区分块存储,便于后续较快的图数据查询效率。
在上述方法的进一步说明中,主要是对在建立新的数据分区之后,使数据分区根据预设的存储时间起点和时间间隔,自动建立预设数目的存储块,并配置每个存储块对应的时间段标识。
对此,需要说明的是,在本发明中,当在数据库中建立新的数据分区之后,可使数据分区根据预设的存储时间起点和时间间隔,自动建立一定数目的存储块,同时,还为这些存储块配置对应的时间段标识。
本发明进一步提供的数据处理方法,能够事先在新的数据分区建立多个存储块,免除后续在分区内的存储块的建立过程。
下面对本发明提供的数据处理装置进行描述,下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。
图3示出了本发明提供的数据处理装置的结构示意图,参见图3该装置包括第一筛选模块31和处理模块32,其中:
筛选模块31,用于确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;
处理模块32,用于根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
在上述装置的进一步说明中,该筛选模块还用于:
确定待查询条件中包括的哈希值,根据所述哈希值在第一缓存中查找到与所述哈希值对应的数据分区;其中,所述第一缓存中存储有分区列表,所述分区列表存储有各哈希值与各分区编号的对应关系;
相应地,该处理模块在根据所述查询时间在数据库中查找到与所述查询时间对应的存储块的处理过程中,具体用于:
根据所述查询时间在查找到的数据分区中查找到与所述查询时间对应的存储块。
在上述装置的进一步说明中,该处理模块在根据所述查询时间在查找到的数据分区中查找到与所述查询时间对应的存储块的处理过程中,具体用于:
根据所述查询时间和预设的存储时间起点和时间间隔确定所述查询时间所在的时间段标识;
根据所述查询时间所在的时间段标识在第二缓存中查找到与所述时间段标识对应的存储块编号,基于所述存储块编号在所述数据分区中确定所述查询时间对应的存储块;其中,所述第二缓存中存储有存储块列表,所述存储块列表存储有各时间段标识与各存储块编号的对应关系。
在上述装置的进一步说明中,所述图结构表以数据中的实体关系构建。
在上述装置的进一步说明中,该装置还包括存储模块,用于:
获取待存储数据的时间戳,根据所述时间戳确定时间段标识,根据所述时间段标识确定待存储的存储块,将待存储数据存储在所述存储块中。
在上述装置的进一步说明中,该存储模块还用于:
获取待存储数据的哈希值,确定第一缓存中不存在与所述待存储数据的哈希值对应的数据分区,则建立新的数据分区,并配置新的数据分区对应的分区编号,将新的数据分区对应的分区编号与所述待存储数据的哈希值的对应关系存储在第一缓存中;
在新的数据分区中建立存储块,并获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,将待存储数据存储在存储块中;
确定第一缓存中存在与所述待存储数据的哈希值对应的数据分区后,获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,若匹配成功,则将待存储数据存储到匹配成功的时间段标识对应的存储块上;若匹配不成功,则在所述数据分区建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
在上述装置的进一步说明中,所述存储模块还用于:
确定第一缓存中存在与所述待存储数据的哈希值对应的数据分区后,获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,若匹配成功,则将待存储数据存储到匹配成功的时间段标识对应的存储块上;若匹配不成功,则在所述数据分区建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
由于本发明实施例所述装置与上述实施例所述方法的原理相同,对于更加详细的解释内容在此不再赘述。
需要说明的是,本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明提供的数据处理方法,其能够在数据查询过程中自动识别进行分区分块的查询,并根据查询到的数据在图结构表中进行实体关系的标注显示,以实现缩小查询数据量,提供较快的图数据查询效率。
图4示出了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)41、通信接口(Communications Interface)42、存储器(memory)43和通信总线44,其中,处理器41,通信接口42,存储器43通过通信总线44完成相互间的通信。处理器41可以调用存储器43中的逻辑指令,以执行数据处理方法,该方法包括:确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
此外,上述的存储器43中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的数据处理方法,该方法包括:确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的数据处理方法,该方法包括:确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;
根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
2.根据权利要求1所述的数据处理方法,其特征在于,所述数据库包括多个数据分区,所述方法还包括:在所述数据库中筛选数据分区,包括:
确定待查询条件中包括的哈希值,根据所述哈希值在第一缓存中查找到与所述哈希值对应的数据分区;其中,所述第一缓存中存储有分区列表,所述分区列表存储有各哈希值与各分区编号的对应关系;
相应地,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块,包括:
根据所述查询时间在查找到的数据分区中查找到与所述查询时间对应的存储块。
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述查询时间在查找到的数据分区中查找到与所述查询时间对应的存储块,包括:
根据所述查询时间和预设的存储时间起点和时间间隔确定所述查询时间所在的时间段标识;
根据所述查询时间所在的时间段标识在第二缓存中查找到与所述时间段标识对应的存储块编号,基于所述存储块编号在所述数据分区中确定所述查询时间对应的存储块;其中,所述第二缓存中存储有存储块列表,所述存储块列表存储有各时间段标识与各存储块编号的对应关系。
4.根据权利要求1所述的数据处理方法,其特征在于,所述图结构表以数据中的实体关系构建。
5.根据权利要求1-4中任一权项所述的数据处理方法,其特征在于,所述方法还包括:
获取待存储数据的时间戳,根据所述时间戳确定时间段标识,根据所述时间段标识确定待存储的存储块,将待存储数据存储在所述存储块中。
6.根据权利要求5所述的数据处理方法,其特征在于,所述方法还包括:获取待存储数据的哈希值,确定第一缓存中不存在与所述待存储数据的哈希值对应的数据分区,则建立新的数据分区,并配置新的数据分区对应的分区编号,将新的数据分区对应的分区编号与所述待存储数据的哈希值的对应关系存储在第一缓存中;
在新的数据分区中建立存储块,并获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,将待存储数据存储在存储块中;
确定第一缓存中存在与所述待存储数据的哈希值对应的数据分区后,获取待存储数据的时间戳,根据时间戳匹配存储块的时间段标识,若匹配成功,则将待存储数据存储到匹配成功的时间段标识对应的存储块上;若匹配不成功,则在所述数据分区建立新的存储块,并配置存储块对应的时间段标识,将待存储数据存储在存储块中。
7.根据权利要求6所述的数据处理方法,其特征在于,在建立新的数据分区之后,使数据分区根据预设的存储时间起点和时间间隔,自动建立预设数目的存储块,并配置每个存储块对应的时间段标识。
8.一种数据处理装置,其特征在于,包括:
筛选模块,用于确定待查询条件中包括的查询时间,根据所述查询时间在数据库中查找到与所述查询时间对应的存储块;
处理模块,用于根据查找到的存储块中的数据在图结构表中标注显示与所述存储块对应的节点关系图。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的数据处理方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110004910.7A CN112328842B (zh) | 2021-01-05 | 2021-01-05 | 一种数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110004910.7A CN112328842B (zh) | 2021-01-05 | 2021-01-05 | 一种数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112328842A true CN112328842A (zh) | 2021-02-05 |
CN112328842B CN112328842B (zh) | 2022-03-25 |
Family
ID=74302107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110004910.7A Active CN112328842B (zh) | 2021-01-05 | 2021-01-05 | 一种数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112328842B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113032465A (zh) * | 2021-05-31 | 2021-06-25 | 北京谷数科技股份有限公司 | 数据查询方法、装置、电子设备及存储介质 |
CN113434518A (zh) * | 2021-08-26 | 2021-09-24 | 西安热工研究院有限公司 | 时序数据库查询方法、系统、设备及存储介质 |
CN113961573A (zh) * | 2021-12-23 | 2022-01-21 | 北京力控元通科技有限公司 | 一种时序数据库查询方法和查询系统 |
CN117555968A (zh) * | 2024-01-12 | 2024-02-13 | 浙江智臾科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080281801A1 (en) * | 2007-05-07 | 2008-11-13 | Applied Technical Systems, Inc. | Database system and related method |
CN103279530A (zh) * | 2013-05-31 | 2013-09-04 | 携程计算机技术(上海)有限公司 | 时间序列数据的组合查询缓存的建立方法、方法及系统 |
CN105260446A (zh) * | 2015-10-09 | 2016-01-20 | 上海瀚之友信息技术服务有限公司 | 一种数据查询系统及方法 |
CN110019911A (zh) * | 2017-12-29 | 2019-07-16 | 苏州工业职业技术学院 | 支持知识演化的知识图谱的查询方法和装置 |
CN110765126A (zh) * | 2019-09-10 | 2020-02-07 | 浙江大华技术股份有限公司 | 分布式数据库的数据存储及查询方法、装置及存储介质 |
-
2021
- 2021-01-05 CN CN202110004910.7A patent/CN112328842B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080281801A1 (en) * | 2007-05-07 | 2008-11-13 | Applied Technical Systems, Inc. | Database system and related method |
CN103279530A (zh) * | 2013-05-31 | 2013-09-04 | 携程计算机技术(上海)有限公司 | 时间序列数据的组合查询缓存的建立方法、方法及系统 |
CN105260446A (zh) * | 2015-10-09 | 2016-01-20 | 上海瀚之友信息技术服务有限公司 | 一种数据查询系统及方法 |
CN110019911A (zh) * | 2017-12-29 | 2019-07-16 | 苏州工业职业技术学院 | 支持知识演化的知识图谱的查询方法和装置 |
CN110765126A (zh) * | 2019-09-10 | 2020-02-07 | 浙江大华技术股份有限公司 | 分布式数据库的数据存储及查询方法、装置及存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113032465A (zh) * | 2021-05-31 | 2021-06-25 | 北京谷数科技股份有限公司 | 数据查询方法、装置、电子设备及存储介质 |
CN113032465B (zh) * | 2021-05-31 | 2021-09-10 | 北京谷数科技股份有限公司 | 数据查询方法、装置、电子设备及存储介质 |
CN113434518A (zh) * | 2021-08-26 | 2021-09-24 | 西安热工研究院有限公司 | 时序数据库查询方法、系统、设备及存储介质 |
CN113434518B (zh) * | 2021-08-26 | 2021-12-03 | 西安热工研究院有限公司 | 时序数据库查询方法、系统、设备及存储介质 |
CN113961573A (zh) * | 2021-12-23 | 2022-01-21 | 北京力控元通科技有限公司 | 一种时序数据库查询方法和查询系统 |
CN117555968A (zh) * | 2024-01-12 | 2024-02-13 | 浙江智臾科技有限公司 | 数据处理方法、装置、设备及存储介质 |
CN117555968B (zh) * | 2024-01-12 | 2024-04-19 | 浙江智臾科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112328842B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112328842B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
KR102230661B1 (ko) | Sql 검토 방법, 장치, 서버 및 저장 매체 | |
CN111046034B (zh) | 管理内存数据及在内存中维护数据的方法和系统 | |
CN105653537B (zh) | 一种数据库应用系统的分页查询方法和装置 | |
US20160328445A1 (en) | Data Query Method and Apparatus | |
CN112364014B (zh) | 数据查询方法、装置、服务器及存储介质 | |
CN114911830B (zh) | 基于时序数据库的索引缓存方法、装置、设备及存储介质 | |
CN108228799B (zh) | 对象索引信息的存储方法及装置 | |
CN109062936B (zh) | 一种数据查询方法、计算机可读存储介质及终端设备 | |
CN113297135A (zh) | 数据处理方法以及装置 | |
EP3608798A1 (en) | Group search method based on social network, device, server and storage medium | |
CN114116762A (zh) | 一种离线数据模糊搜索方法、装置、设备和介质 | |
CN111160699A (zh) | 一种专家推荐方法及系统 | |
CN111026765A (zh) | 严格平衡二叉树的动态处理方法、设备、存储介质及装置 | |
CN114328632A (zh) | 基于位图的用户数据分析方法、装置及计算机设备 | |
CN111984688B (zh) | 业务知识关联关系的确定方法及装置 | |
CN113626449A (zh) | 数据存储、数据查询方法及相关设备 | |
CN109063215B (zh) | 数据检索方法及装置 | |
CN110008243B (zh) | 一种数据表处理方法及装置 | |
CN108376054B (zh) | 一种对标识数据进行索引的处理方法及装置 | |
CN109165259B (zh) | 基于网络附属存储的索引表更新方法、处理器及存储装置 | |
CN109739883B (zh) | 提升数据查询性能的方法、装置和电子设备 | |
CN109725982B (zh) | 数据对象构建方法及装置 | |
CN114547184A (zh) | 人员信息同步方法、终端设备及存储介质 | |
CN110609926A (zh) | 数据标签存储管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |