CN106227769A - 数据存储方法及装置 - Google Patents

数据存储方法及装置 Download PDF

Info

Publication number
CN106227769A
CN106227769A CN201610561331.1A CN201610561331A CN106227769A CN 106227769 A CN106227769 A CN 106227769A CN 201610561331 A CN201610561331 A CN 201610561331A CN 106227769 A CN106227769 A CN 106227769A
Authority
CN
China
Prior art keywords
data
stored
metadata
tree construction
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610561331.1A
Other languages
English (en)
Other versions
CN106227769B (zh
Inventor
陈宗志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201610561331.1A priority Critical patent/CN106227769B/zh
Publication of CN106227769A publication Critical patent/CN106227769A/zh
Application granted granted Critical
Publication of CN106227769B publication Critical patent/CN106227769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2246Trees, e.g. B+trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof

Abstract

本发明提供了一种数据存储方法及装置。所述方法包括:获取目标数据,其中,所述目标数据包括元数据meta和资源数据data,所述元数据承载所述目标数据的属性信息,所述资源数据承载所述目标数据的实体数据,且在所述目标数据中以映射关系连接所述元数据和所述资源数据;对所述目标数据中的当前待存储数据进行数据类型的解析,以确定所述待存储数据的数据类型,其中,所述数据类型指所述待存储数据为元数据或者资源数据;选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作。上述技术方案能够依据数据类型的不同将待存储数据分别存储在各自对应的存储结构中,从而提高数据读/写效率。

Description

数据存储方法及装置
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据存储方法及装置。
背景技术
随着计算机技术的不断发展,出现了大数据。大数据首先是指数据体量大,指代大型数据集,如何对大数据进行处理,成为了一个亟待解决的问题。在大数据中包括元数据meta和资源数据data,其中,元数据meta用来管理具体的资源数据data,因此每次访问数据时,都需要先调用元数据meta,使得对元数据meta的访问会非常频繁。现有的存储引擎中,通常将元数据meta和资源数据data统一存储在LSM树结构中,由于LSM树结构在写入新数据时,旧数据会被一层层压向树结构的低层,这样,在访问数据时,如果需要调用低层的元数据meta,就会产生大量的IO请求,导致数据访问压力很大。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据存储方法及装置。
依据本发明的一个方面,提供了一种数据存储方法,包括:
获取目标数据,其中,所述目标数据包括元数据meta和资源数据data,所述元数据承载所述目标数据的属性信息,所述资源数据承载所述目标数据的实体数据,且在所述目标数据中以映射关系连接所述元数据和所述资源数据;
对所述目标数据中的当前待存储数据进行数据类型的解析,以确定所述待存储数据的数据类型,其中,所述数据类型指所述待存储数据为元数据或者资源数据;
选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作。
可选地,所述存储结构为树结构。
可选地,所述选择与所述解析结果中包含的数据类型对应的存储结构的步骤包括:
当所述待存储数据为所述元数据时,选择第一树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第一树结构可通过直接替换的方式更新存储于其中的数据;
当所述待存储数据为所述资源数据时,选择第二树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第二树结构可通过直接添加的方式写入存储于其中的数据。
可选地,所述第一树结构包括存储于其中的数据和树节点之间的映射关系,所述第二树结构具备以写入的新数据覆盖旧数据的特性。
可选地,所述第一树结构为B+树结构,所述第二树结构为LSM树结构。
可选地,所述方法还包括:
当接收到对所述元数据的预设操作时,根据所述B+树的查询规则,查询所述元数据在所述B+树中的位置,所述预设操作包括更新操作、读取操作中的至少一种;
在所述位置处对所述元数据执行所述预设操作。
可选地,所述选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作的步骤包括:
当所述待存储数据为所述元数据时,在所述待存储数据的存储结构中重新写入所述待存储数据。
依据本发明的另一个方面,提供了一种数据存储装置,包括:
获取模块,适于获取目标数据,其中,所述目标数据包括元数据meta和资源数据data,所述元数据承载所述目标数据的属性信息,所述资源数据承载所述目标数据的实体数据,且在所述目标数据中以映射关系连接所述元数据和所述资源数据;
确定模块,适于对当前待存储数据进行数据类型的解析,以确定所述待存储数据的数据类型,其中,所述数据类型指所述待存储数据为元数据或者资源数据;
存储模块,适于选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作。
可选地,所述存储模块所选择的存储结构为树结构。
可选地,所述存储模块包括:
第一选择单元,适于当所述待存储数据为所述元数据时,选择第一树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第一树结构可通过直接替换的方式更新存储于其中的数据;
第二选择单元,适于当所述待存储数据为所述资源数据时,选择第二树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第二树结构可通过直接添加的方式写入存储于其中的数据。
可选地,所述第一树结构包括存储于其中的数据和树节点之间的映射关系,所述第二树结构具备以写入的新数据覆盖旧数据的特性。
可选地,所述第一树结构为B+树结构,所述第二树结构为LSM树结构。
可选地,所述装置还包括:
查询模块,适于当接收到对所述元数据的预设操作时,根据所述B+树的查询规则,查询所述元数据在所述B+树中的位置,所述预设操作包括更新操作、读取操作中的至少一种;
执行模块,适于在所述位置处对所述元数据执行所述预设操作。
可选地,所述存储模块,还适于当所述待存储数据为所述元数据时,在所述待存储数据的存储结构中重新写入所述待存储数据。
采用本发明实施例的技术方案,通过对目标数据中的当前待存储数据进行数据类型的解析,以确定待存储数据的数据类型(包括元数据和资源数据),进而选择数据类型对应的存储结构存储所述待存储数据,使得待存储数据能够依据数据类型的不同分别存储在各自对应的存储结构中,满足了不同数据类型的待存储数据的读/写要求,从而提高数据读/写效率。
进一步地,本发明实施例中,将元数据存储在B+树结构中,由于元数据需要被频繁访问,而B+树结构中数据和树节点之间的映射关系使得B+树结构具有很高的读取性能,因此将元数据存储在B+树结构中的方案有利于对元数据的读取操作,即使是读取层级很低的节点上的元数据,也不会导致数据库访问压力过大的情况;同时,将资源数据存储在LSM树结构中,由于LSM树结构能够以直接添加的方式写入数据,因此具有很高的写入性能,而资源数据的数据量大、更新频率较高,这使得将资源数据存储在LSM树结构中的方案有利于对资源数据进行写入操作,从而提高写入资源数据的效率,降低内存的负载。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明一个实施例的一种数据存储方法的示意性流程图;
图2是根据本发明一个实施例的一种数据存储方法中读取元数据的示意性流程图;
图3是根据本发明另一个实施例的一种数据存储方法的示意性流程图;
图4是根据本发明一个实施例的一种数据存储装置的示意性框图;
图5是根据本发明另一个实施例的一种数据存储装置的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是根据本发明一个实施例的一种数据存储方法的示意性流程图。如图1所示,该方法一般性地可包括步骤S101-S103:
步骤S101,获取目标数据,其中,目标数据包括元数据meta和资源数据data,元数据承载目标数据的属性信息,资源数据承载目标数据的实体数据,且在目标数据中以映射关系连接元数据和资源数据。即,元数据用来管理具体的资源数据,元数据可包括资源数据的数据大小、数据类型等属性信息。
步骤S102,对目标数据中的当前待存储数据进行数据类型的解析,以确定待存储数据的数据类型,其中,数据类型指待存储数据为元数据或者资源数据。
步骤S103,选择与解析结果中包含的数据类型对应的存储结构,对待存储数据进行存储操作。将待存储数据存储至对应的存储结构中之后,可返回步骤S102继续对下一个待存储数据进行数据类型的解析,进而根据解析结果存储下一个待存储数据。
其中,与解析结果中包含的数据类型对应的存储结构为树结构。
采用本发明实施例的技术方案,通过对目标数据中的当前待存储数据进行数据类型的解析,以确定待存储数据的数据类型(包括元数据和资源数据),进而选择数据类型对应的存储结构存储所述待存储数据,使得待存储数据能够依据数据类型的不同分别存储在各自对应的存储结构中,满足了不同数据类型的待存储数据的读/写要求,从而提高数据读/写效率。
在一个实施例中,步骤S103具体可实施为以下方式:
当待存储数据为元数据时,选择第一树结构为与解析结果中包含的数据类型对应的存储结构,第一树结构可通过直接替换的方式更新存储于其中的数据。优选地,第一树结构包括存储于其中的数据和树节点之间的映射关系,即第一树结构中的每个树节点对应有各自的数据。根据上述这些特性,可选择第一树结构为B+树结构,即将元数据存储在B+树结构中。B+树结构中的每个树节点上存储有各自对应的数据,在读取元数据时,根据树节点和存储的数据之间的映射关系即可快速准确地读取到所需数据。
当待存储数据为资源数据时,选择第二树结构为与解析结果中包含的数据类型对应的存储结构,第二树结构可通过直接添加的方式写入存储于其中的数据。优选地,第二树结构具备以写入的新数据覆盖旧数据的特性。根据上述这些特性,可选择第二树结构为LSM树结构,即将资源数据存储在LSM树结构中。
由于将数据写入B+树结构以及将数据写入LSM树结构中的方法均为现有技术,因此不再赘述。
本发明实施例中,将元数据存储在B+树结构中,由于元数据需要被频繁访问,而B+树结构中数据和树节点之间的映射关系使得B+树结构具有很高的读取性能,因此将元数据存储在B+树结构中的方案有利于对元数据的读取操作,即使是读取层级很低的节点上的元数据,也不会导致数据库访问压力过大的情况;同时,将资源数据存储在LSM树结构中,由于LSM树结构能够以直接添加的方式写入数据,因此具有很高的写入性能,而资源数据的数据量大、更新频率较高,这使得将资源数据存储在LSM树结构中的方案有利于对资源数据进行写入操作,从而提高写入资源数据的效率,降低内存的负载。
在一个实施例中,元数据存储在B+树结构中,由于元数据管理着资源数据,因此在访问数据时首先要访问元数据,或者当写入新的资源数据时,需要更新元数据,因此,根据B+树结构的特性,可按照如图2所示的步骤S201-S202来执行对元数据的读取操作。
步骤S201,当接收到对元数据的预设操作时,根据B+树的查询规则,查询元数据在B+树中的位置,其中,预设操作包括更新操作、读取操作中的至少一种。
其中,查询规则即为:起始于根节点,自顶向下遍历树,直至查找到数据所在的叶子节点上。具体的,首先根据B+树中写入的元数据和树节点之间的映射关系确定出所要查找的元数据所在的叶子节点,然后从根节点开始查询直至该叶子节点处,即可查询到所需的元数据。
步骤S202,在该位置处对元数据执行预设操作。
图3是根据本发明另一个实施例的一种数据存储方法的示意性流程图。如图3所示,该方法一般性地可包括步骤S301-S305:
步骤S301,获取目标数据。
其中,目标数据包括元数据和资源数据,元数据承载目标数据的属性信息,资源数据承载目标数据的实体数据,且在目标数据中以映射关系连接元数据和资源数据,该映射关系用于在读取数据时,首先读取元数据,再根据该映射关系读取元数据对应的资源关系。
步骤S302,对目标数据中的当前待存储数据进行数据类型的解析。
步骤S303,根据解析结果,判断待存储数据的数据类型为元数据或者资源数据。当待存储数据的数据类型为元数据时,执行步骤S304;当待存储数据的数据类型为资源数据时,执行步骤S305。
步骤S304,将待存储数据存储在B+树结构中。
步骤S305,将待存储数据存储在LSM树结构中。
采用上述实施例的技术方案,通过对目标数据中的当前待存储数据进行数据类型的解析,以确定待存储数据的数据类型,进而将元数据存储在B+树结构中,并将资源数据存储在LSM树结构中,使得待存储数据能够依据数据类型的不同分别存储在各自对应的存储结构中,满足了不同数据类型的待存储数据的读/写要求,从而提高数据读/写效率。
在一个实施例中,步骤S103还可以实施为以下步骤:当待存储数据为元数据时,在待存储数据的存储结构中重新写入待存储数据。其中,存储结构为树结构。该实施例中,无需将元数据和资源数据分开存储,而是在将要写入的待存储数据为元数据时,将该待存储数据重新写入当前的树结构中,这种方式能够使经常被访问的元数据存储在树结构中的较高层级的位置,从而在读取元数据时,避免频繁读取较低层级的元数据而产生过多的IO请求。优选地,还可按照预定频率遍历树结构,只要遍历到树结构中的元数据,就将该元数据重新写入树结构中,使得重新写入的元数据总能保持在树结构中较高层级的位置,以便后续的读取操作。
对应于上述实施例中的数据存储方法,本发明还提供一种数据存储装置,用以执行上述方法。
图4是根据本发明一个实施例的一种数据存储装置的示意性框图。如图4所示,该装置包括:
获取模块410,适于获取目标数据,其中,目标数据包括元数据meta和资源数据data,元数据承载目标数据的属性信息,资源数据承载目标数据的实体数据,且在目标数据中以映射关系连接元数据和资源数据;
确定模块420,适于对当前待存储数据进行数据类型的解析,以确定待存储数据的数据类型,其中,数据类型指待存储数据为元数据或者资源数据;
存储模块430,适于选择与解析结果中包含的数据类型对应的存储结构,对待存储数据进行存储操作。
在一个实施例中,存储模块430所选择的存储结构为树结构。
在一个实施例中,存储模块430包括:
第一选择单元,适于当待存储数据为元数据时,选择第一树结构为与解析结果中包含的数据类型对应的存储结构,第一树结构可通过直接替换的方式更新存储于其中的数据;
第二选择单元,适于当待存储数据为资源数据时,选择第二树结构为与解析结果中包含的数据类型对应的存储结构,第二树结构可通过直接添加的方式写入存储于其中的数据。
在一个实施例中,第一树结构包括存储于其中的数据和树节点之间的映射关系,第二树结构具备以写入的新数据覆盖旧数据的特性。
在一个实施例中,第一树结构为B+树结构,第二树结构为LSM树结构。
图5所示为根据本发明另一个实施例的一种数据存储装置的示意性框图,与图4中装置相比,图5中的数据存储装置还包括:
查询模块440,适于当接收到对元数据的预设操作时,根据B+树的查询规则,查询元数据在B+树中的位置,预设操作包括更新操作、读取操作中的至少一种;
执行模块450,适于在位置处对元数据执行预设操作。
在一个实施例中,存储模块430,还适于当待存储数据为元数据时,在待存储数据的存储结构中重新写入待存储数据。
本领域的技术人员应可理解,图4和图5中的数据存储装置能够用来实现前文所述的数据存储方案,其中的细节描述应与前文方法部分描述类似,为避免繁琐,此处不另赘述。
采用本发明实施例的装置,通过对目标数据中的当前待存储数据进行数据类型的解析,以确定待存储数据的数据类型(包括元数据和资源数据),进而选择数据类型对应的存储结构存储所述待存储数据,使得待存储数据能够依据数据类型的不同分别存储在各自对应的存储结构中,满足了不同数据类型的待存储数据的读/写要求,从而提高数据读/写效率。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据存储装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
本发明实施例提供了A1、一种数据存储方法,包括:
获取目标数据,其中,所述目标数据包括元数据meta和资源数据data,所述元数据承载所述目标数据的属性信息,所述资源数据承载所述目标数据的实体数据,且在所述目标数据中以映射关系连接所述元数据和所述资源数据;
对所述目标数据中的当前待存储数据进行数据类型的解析,以确定所述待存储数据的数据类型,其中,所述数据类型指所述待存储数据为元数据或者资源数据;
选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作。
A2.根据A 1所述的方法,其中,所述存储结构为树结构。
A3.根据A2所述的方法,其中,所述选择与所述解析结果中包含的数据类型对应的存储结构的步骤包括:
当所述待存储数据为所述元数据时,选择第一树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第一树结构可通过直接替换的方式更新存储于其中的数据;
当所述待存储数据为所述资源数据时,选择第二树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第二树结构可通过直接添加的方式写入存储于其中的数据。
A4、根据A3所述的方法,其中,所述第一树结构包括存储于其中的数据和树节点之间的映射关系,所述第二树结构具备以写入的新数据覆盖旧数据的特性。
A5.根据A3或A4所述的方法,其中,所述第一树结构为B+树结构,所述第二树结构为LSM树结构。
A6、根据A5所述的方法,其中,所述方法还包括:
当接收到对所述元数据的预设操作时,根据所述B+树的查询规则,查询所述元数据在所述B+树中的位置,所述预设操作包括更新操作、读取操作中的至少一种;
在所述位置处对所述元数据执行所述预设操作。
A7.根据A1-A6任一项所述的方法,其中,所述选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作的步骤包括:
当所述待存储数据为所述元数据时,在所述待存储数据的存储结构中重新写入所述待存储数据。
本发明实施例还提供了B8、一种数据存储装置,包括:
获取模块,适于获取目标数据,其中,所述目标数据包括元数据meta和资源数据data,所述元数据承载所述目标数据的属性信息,所述资源数据承载所述目标数据的实体数据,且在所述目标数据中以映射关系连接所述元数据和所述资源数据;
确定模块,适于对当前待存储数据进行数据类型的解析,以确定所述待存储数据的数据类型,其中,所述数据类型指所述待存储数据为元数据或者资源数据;
存储模块,适于选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作。
B9、根据B8所述的装置,其中,所述存储模块所选择的存储结构为树结构。
B10、根据B9所述的装置,其中,所述存储模块包括:
第一选择单元,适于当所述待存储数据为所述元数据时,选择第一树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第一树结构可通过直接替换的方式更新存储于其中的数据;
第二选择单元,适于当所述待存储数据为所述资源数据时,选择第二树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第二树结构可通过直接添加的方式写入存储于其中的数据。
B11、根据B10所述的装置,其中,所述第一树结构包括存储于其中的数据和树节点之间的映射关系,所述第二树结构具备以写入的新数据覆盖旧数据的特性。
B12、根据B10或B11所述的装置,其中,所述第一树结构为B+树结构,所述第二树结构为LSM树结构。
B13、根据B12所述的装置,其中,所述装置还包括:
查询模块,适于当接收到对所述元数据的预设操作时,根据所述B+树的查询规则,查询所述元数据在所述B+树中的位置,所述预设操作包括更新操作、读取操作中的至少一种;
执行模块,适于在所述位置处对所述元数据执行所述预设操作。
B14、根据B8-B13任一项所述的装置,其中,所述存储模块,还适于当所述待存储数据为所述元数据时,在所述待存储数据的存储结构中重新写入所述待存储数据。

Claims (10)

1.一种数据存储方法,包括:
获取目标数据,其中,所述目标数据包括元数据meta和资源数据data,所述元数据承载所述目标数据的属性信息,所述资源数据承载所述目标数据的实体数据,且在所述目标数据中以映射关系连接所述元数据和所述资源数据;
对所述目标数据中的当前待存储数据进行数据类型的解析,以确定所述待存储数据的数据类型,其中,所述数据类型指所述待存储数据为元数据或者资源数据;
选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作。
2.根据权利要求1所述的方法,其中,所述存储结构为树结构。
3.根据权利要求2所述的方法,其中,所述选择与所述解析结果中包含的数据类型对应的存储结构的步骤包括:
当所述待存储数据为所述元数据时,选择第一树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第一树结构可通过直接替换的方式更新存储于其中的数据;
当所述待存储数据为所述资源数据时,选择第二树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第二树结构可通过直接添加的方式写入存储于其中的数据。
4.根据权利要求3所述的方法,其中,所述第一树结构包括存储于其中的数据和树节点之间的映射关系,所述第二树结构具备以写入的新数据覆盖旧数据的特性。
5.根据权利要求3或4所述的方法,其中,所述第一树结构为B+树结构,所述第二树结构为LSM树结构。
6.根据权利要求5所述的方法,其中,所述方法还包括:
当接收到对所述元数据的预设操作时,根据所述B+树的查询规则,查询所述元数据在所述B+树中的位置,所述预设操作包括更新操作、读取操作中的至少一种;
在所述位置处对所述元数据执行所述预设操作。
7.根据权利要求1-6任一项所述的方法,其中,所述选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作的步骤包括:
当所述待存储数据为所述元数据时,在所述待存储数据的存储结构中重新写入所述待存储数据。
8.一种数据存储装置,包括:
获取模块,适于获取目标数据,其中,所述目标数据包括元数据meta和资源数据data,所述元数据承载所述目标数据的属性信息,所述资源数据承载所述目标数据的实体数据,且在所述目标数据中以映射关系连接所述元数据和所述资源数据;
确定模块,适于对当前待存储数据进行数据类型的解析,以确定所述待存储数据的数据类型,其中,所述数据类型指所述待存储数据为元数据或者资源数据;
存储模块,适于选择与所述解析结果中包含的数据类型对应的存储结构,对所述待存储数据进行存储操作。
9.根据权利要求8所述的装置,其中,所述存储模块所选择的存储结构为树结构。
10.根据权利要求9所述的装置,其中,所述存储模块包括:
第一选择单元,适于当所述待存储数据为所述元数据时,选择第一树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第一树结构可通过直接替换的方式更新存储于其中的数据;
第二选择单元,适于当所述待存储数据为所述资源数据时,选择第二树结构为与所述解析结果中包含的数据类型对应的存储结构,所述第二树结构可通过直接添加的方式写入存储于其中的数据。
CN201610561331.1A 2016-07-15 2016-07-15 数据存储方法及装置 Active CN106227769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610561331.1A CN106227769B (zh) 2016-07-15 2016-07-15 数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610561331.1A CN106227769B (zh) 2016-07-15 2016-07-15 数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN106227769A true CN106227769A (zh) 2016-12-14
CN106227769B CN106227769B (zh) 2019-11-26

Family

ID=57520200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610561331.1A Active CN106227769B (zh) 2016-07-15 2016-07-15 数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN106227769B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213445A (zh) * 2018-08-23 2019-01-15 郑州云海信息技术有限公司 一种存储系统元数据的管理方法、管理系统及相关装置
CN109669644A (zh) * 2019-01-02 2019-04-23 浪潮商用机器有限公司 一种数据存储的方法和装置
CN109886541A (zh) * 2019-01-14 2019-06-14 北京百度网讯科技有限公司 自动驾驶车辆数据质量评估方法、装置及存储介质
CN110442571A (zh) * 2019-06-28 2019-11-12 卓尔智联(武汉)研究院有限公司 一种数据处理方法、装置及计算机存储介质
CN116414804A (zh) * 2023-04-10 2023-07-11 华能澜沧江水电股份有限公司 一种基于树形结构的数据库构建方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122285A (zh) * 2010-01-11 2011-07-13 卓望数码技术(深圳)有限公司 一种数据缓存系统和数据查询方法
CN102938784A (zh) * 2012-11-06 2013-02-20 无锡江南计算技术研究所 应用于分布式存储系统中的数据存储方法和系统
CN103294786A (zh) * 2013-05-17 2013-09-11 华中科技大学 一种分布式文件系统的元数据组织管理方法和系统
CN103795811A (zh) * 2014-03-06 2014-05-14 焦点科技股份有限公司 一种基于元数据保存存储信息及统计管理数据的方法
CN104142958A (zh) * 2013-05-10 2014-11-12 华为技术有限公司 一种键值对系统中数据的存储方法和相关装置
CN104363122A (zh) * 2014-11-14 2015-02-18 瑞斯康达科技发展股份有限公司 一种网元的预配置方法和系统
CN104598321A (zh) * 2015-02-11 2015-05-06 浪潮集团有限公司 一种智能大数据处理方法和装置
CN105677512A (zh) * 2015-12-31 2016-06-15 北京金山安全软件有限公司 一种数据处理方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122285A (zh) * 2010-01-11 2011-07-13 卓望数码技术(深圳)有限公司 一种数据缓存系统和数据查询方法
CN102938784A (zh) * 2012-11-06 2013-02-20 无锡江南计算技术研究所 应用于分布式存储系统中的数据存储方法和系统
CN104142958A (zh) * 2013-05-10 2014-11-12 华为技术有限公司 一种键值对系统中数据的存储方法和相关装置
CN103294786A (zh) * 2013-05-17 2013-09-11 华中科技大学 一种分布式文件系统的元数据组织管理方法和系统
CN103795811A (zh) * 2014-03-06 2014-05-14 焦点科技股份有限公司 一种基于元数据保存存储信息及统计管理数据的方法
CN104363122A (zh) * 2014-11-14 2015-02-18 瑞斯康达科技发展股份有限公司 一种网元的预配置方法和系统
CN104598321A (zh) * 2015-02-11 2015-05-06 浪潮集团有限公司 一种智能大数据处理方法和装置
CN105677512A (zh) * 2015-12-31 2016-06-15 北京金山安全软件有限公司 一种数据处理方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李绍荣等: "海洋地质调查数据库系统的数据组织", 《海洋地质前沿》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213445A (zh) * 2018-08-23 2019-01-15 郑州云海信息技术有限公司 一种存储系统元数据的管理方法、管理系统及相关装置
CN109669644A (zh) * 2019-01-02 2019-04-23 浪潮商用机器有限公司 一种数据存储的方法和装置
CN109886541A (zh) * 2019-01-14 2019-06-14 北京百度网讯科技有限公司 自动驾驶车辆数据质量评估方法、装置及存储介质
CN110442571A (zh) * 2019-06-28 2019-11-12 卓尔智联(武汉)研究院有限公司 一种数据处理方法、装置及计算机存储介质
CN116414804A (zh) * 2023-04-10 2023-07-11 华能澜沧江水电股份有限公司 一种基于树形结构的数据库构建方法、装置及电子设备

Also Published As

Publication number Publication date
CN106227769B (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
Benelallam et al. Neo4EMF, a scalable persistence layer for EMF models
CN105183735B (zh) 数据的查询方法及查询装置
CN106227769A (zh) 数据存储方法及装置
JP5719487B2 (ja) アプリケーションをランタイム・インスタンスにインストールするための方法、システム、およびコンピュータ・プログラム製品、ならびにコンピュータ・プログラム(アプリケーション・インストール)
US11366809B2 (en) Dynamic creation and configuration of partitioned index through analytics based on existing data population
CN105868421A (zh) 一种数据管理方法及装置
CN104391725A (zh) 页面展示方法和页面展示装置
Gómez et al. Map-based transparent persistence for very large models
US11093461B2 (en) Method for computing distinct values in analytical databases
US10838963B2 (en) Optimized access for hierarchical low cardinality value synopsis in analytical databases
US10678784B2 (en) Dynamic column synopsis for analytical databases
CN109669709A (zh) 一种区块链升级的数据迁移方法及数据迁移系统
US20190087460A1 (en) Subquery predicate generation to reduce processing in a multi-table join
CN106844676B (zh) 数据存储方法及装置
CN110362549A (zh) 日志存储检索方法、电子装置及计算机设备
CN111221840B (zh) 数据处理方法及装置、数据缓存方法、存储介质、系统
CN109076021A (zh) 数据处理的方法和装置
US11308066B1 (en) Optimized database partitioning
CN103778239A (zh) 一种多数据库数据管理方法及系统
US9798674B2 (en) N-ary tree for mapping a virtual memory space
CN106354536A (zh) 在Windows系统中加载Linux系统ELF文件的方法及装置
CN106227666A (zh) 一种基于大数据的自动化测试方法及系统
CN105373536B (zh) 一种实现dao接口的方法及装置
CN108319608A (zh) 访问日志存储查询的方法、装置及系统
CN108170824A (zh) 一种基于sql的数据存储方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220720

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.