CN112328688A - 数据存储方法、装置、计算机设备及存储介质 - Google Patents

数据存储方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112328688A
CN112328688A CN202011240738.7A CN202011240738A CN112328688A CN 112328688 A CN112328688 A CN 112328688A CN 202011240738 A CN202011240738 A CN 202011240738A CN 112328688 A CN112328688 A CN 112328688A
Authority
CN
China
Prior art keywords
type
data
group
storage
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011240738.7A
Other languages
English (en)
Other versions
CN112328688B (zh
Inventor
李文涛
李旦
王华夏
毛茂德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202011240738.7A priority Critical patent/CN112328688B/zh
Publication of CN112328688A publication Critical patent/CN112328688A/zh
Application granted granted Critical
Publication of CN112328688B publication Critical patent/CN112328688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals

Abstract

本发明实施例公开了一种数据存储方法、装置、计算机设备及存储介质。所述方法包括：也即，该程序被处理器执行时实现：根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组；建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点；接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。本发明实施例可以使存储性能负载均衡，提高存储资源的利用率，以及提高查询性能。

Description

数据存储方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种数据存储方法、装置、计算机设备及存储介质。
背景技术
数据分片指的是根据一定的规则把某一指标的数据写入到指定的存储节点。分片的规则对于存储节点的负载均衡以及查询的性能有很大的关系。
现有的数据分片方法是：根据指标和标签(tag)进行数据分片，例如监控系统Nightingale和长期存储方案VictoriaMetrics，都是根据指标和标签的组合算出哈希值，再结合存储节点数量做一致性哈希分片，实现数据均衡存储在不同存储节点中。
但在使用上述方式时，往往出现将同一指标的数据写入至不同存储节点的请求，进而查询指标维度数据的时候需要到多个节点请求数据，这导致针对一个指标的查询需要发起多个网络请求，查询性能较低。
发明内容
本发明实施例提供一种数据存储方法、装置、计算机设备及存储介质，可以使存储性能负载均衡，提高存储资源的利用率，以及提高查询性能。
第一方面，本发明实施例提供了一种数据存储方法，包括：
根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组；
建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点；
接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
第二方面，本发明实施例还提供了一种数据存储装置，包括：
写入次数统计模块，用于根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组；
类型与节点对应模块，用于建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点；
均衡写入模块，用于接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的数据存储方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据存储方法。
本发明实施例通过统计均衡写入次数，并根据各类型的数据在存储节点上的历史写入统计次数对各类型进行分组，并配置同一个类型组的各类型对应同一存储节点，在接收到同一类型的数据时，将该数据存入同一存储节点，解决了现有技术中同一指标的数据写入不同的存储节点，导致查询性能较差的问题，可以合理配置存储资源，并兼顾提高查询性能，同时实现存储节点集群负载均衡，提高存储资源的利用率。
附图说明
图1是本发明实施例一中的一种数据存储方法的流程图；
图2a是本发明实施例二中的一种数据存储方法的流程图；
图2b是本发明实施例二中的一种类型分组方法的流程图；
图3是本发明实施例三中的一种数据存储装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种数据存储方法的流程图的示意图，本实施例可适用于接收数据，并均衡存储在节点中的情况，该方法可以由本发明实施例提供的数据存储装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。如图1所示，本实施例的方法具体包括：
S110，根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组。
类型用于区分数据，示例性的，类型可以是指采集数据的指标，指标可以包括：例如，用户、行为和业务，更具体的，用户可以细分为日新增用户、活跃用户和留存用户；行为可以细分为访问次数(Page View，PV)、访问人数(Unique Visitor，UV)、转发率(转发率为转发某功能的用户数/看到该功能的用户数)、转化率或K因子＝(平均每个用户向多少人发出邀请)*(接收到邀请的人转化为新用户的转化率)等；业务可以分为：总量、人均、付费或商品评价等。
一类型的数据可以是指按照该类型在设定时间段内采集的数据。示例性的，数据可以是指基于时间序列的数据。存储节点用于存储各类型的数据。存储节点可以是指数据库集群中的节点。
历史写入统计次数可以是指在设定历史时间段内写入至少一个存储节点的一类型的全部数据的写入次数，其中，一类型的一条数据写入，可以视作该类型的一次写入次数。为了对各类型进行比较，可以配置在相同时间段内，统计各类型的数据的历史写入统计次数。均衡写入次数用于结合历史写入统计次数，确定一类型的数据与存储节点的对应关系。均衡写入次数可以表示在满足负载均衡条件时，在设定历史时间段内，每个存储节点写入至少一个类型的数据的写入次数。可以计算历史写入统计次数的平均值，确定为均衡写入次数。
类型组可以是指包括至少一个类型的组，用于对类型进行分组。通过将类型进行分组，可以避免对类型进行拆分。根据均衡写入次数将各类型进行分组，以使形成的类型组之间的历史写入统计次数累计值差距不会太大，从而实现负载均衡的效果。
其中，分组方式可以是：根据各所述类型的数据的历史写入统计次数与所述均衡写入次数之间的数值关系，对各所述类型进行分组，形成至少一个类型组。数值关系，主要是指数值大小的比较关系。例如，将大于等于均衡写入次数的类型分别单独形成类型组，小于均衡写入次数的类型进行组合，形成类型组，同时形成的类型组之间的历史写入统计次数累计值之间的差值小于设定差值阈值。可选的，根据各所述类型的数据的历史写入统计次数与所述均衡写入次数之间的数值关系，对各所述类型进行分组，形成至少一个类型组，包括：根据各所述类型的数据的历史写入统计次数从大到小的顺序，对各所述类型进行排序，并从排序结果的首部依次获取一个当前处理类型；判断所述当前处理类型的数据的历史写入统计次数是否大于等于所述均衡写入次数；如果是，则将当前处理类型单独归集于一个类型组中；否则，则从所述排序结果的尾部获取至少一个归并类型与所述当前处理类型共同归集于一个类型组中；返回执行从排序结果的首部依次获取一个当前处理类型的操作，直至所述备选组对应的历史写入统计次数大于等于所述均衡写入次数；返回执行从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组的操作，直至完成对所述排序结果中全部类型的处理。
可选的，所述根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，包括：将与每个类型的数据分别对应的历史写入统计次数进行累加求和，获取历史写入统计次数总值；将所述历史写入统计次数总值除以设定的节点总数量的商值，确定为所述均衡写入次数。
设定的节点总数量可以是指承载各类型的数据的存储节点的数量。通常，节点总数量小于等于数据库集群包括的存储节点的数量。其中，节点总数量可以根据历史写入统计次数总值，以及历史配置的存储节点的数量确定。历史写入统计次数总值与节点总数量的商值，确定为均衡写入次数，表明均衡写入次数为任一存储节点的平均写入次数。
在一个具体的例子中，类型A的数据的历史写入统计次数为20，类型B的数据的历史写入统计次数为1，类型C的数据的历史写入统计次数为15。历史写入统计次数总值为类型A、B、C的数据的历史写入统计次数的累加求和值，级20+1+15＝36。节点总数量为9，均衡写入次数为36/9＝4。
通过将均衡写入次数配置为历史写入统计次数总值除以设定的节点总数量的商值，以根据各存储节点的平均写入次数，对类型进行分组，可以按照写入次数，均衡的将类型分为不同组，并对应配置存储节点，以使存储节点存储的数据量都接近平均值，从而实现存储节点的存储负载均衡的效果，合理分配存储资源。
其中，获取各类型的数据在存储节点上的历史写入统计次数，包括：获取各所述类型的数据写入周期，并确定数据写入周期最大值；根据所述数据写入周期最大值，确定统计时长；获取所述统计时长内各所述类型在存储节点上的历史写入统计次数。
数据写入周期可以是指一类型的数据写入存储节点的周期，又可以称为写入步长。不同类型的数据写入周期不同。将各类型中数据写入周期最大值确定为统计时长，可以避免在统计时长内，存在某一类型无数据写入，从而导致统计的历史写入统计次数不准确的问题。通过统计时长内统计所有类型的写入次数，可以覆盖所有类型的步长，以使统计出来的历史写入统计次数更准确。
S120，建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点。
对应关系用于根据类型确定存储节点，以便将一类型的数据存储于对应的存储节点中。隶属与同一类型组的各类型对应于同一存储节点，表明一个类型组对应一个存储节点。将一类型组对应一个存储节点，避免对一类型的所有数据进行拆分，可以在查询某一类型的数据时，可以从同一个存储节点中获取，避免一个类型的数据分散至多个存储节点存储，导致需要向多个存储节点查询数据，引起降低查询性能。
S130，接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
按照类型，和类型与存储节点之间的对应关系，确定类型对应的目标存储节点。目标存储节点用于存储目标数据，与目标数据的类型对应。
可选的，数据存储方法，还包括：获取新增类型；获取最小历史写入统计次数对应的目标类型组；获取所述目标类型组中的类型对应的存储节点，并建立所述新增类型与所述对应的存储节点之间的对应关系；接收所述新增类型对应的数据，并存储于所述对应的存储节点中。
新增类型可以是指在建立对应关系之后，新增的类型。例如，存在在存储节点中存储新增类型的数据的需求时，获取新增类型。最小历史写入统计次数对应的目标类型组可以是指，在各类型组包括的各类型的数据对应的历史写入统计次数的累加之和中，最小值对应的类型组。通常新增类型的数据量较小，对类型组的写入次数的影响较小，由此，可以直接添加到现有的类型组。而对于各类型组来说，加入到目标类型组，对类型组对应的历史写入统计次数的累加之和之间的差距影响较小，从而，可以直接添加到目标类型组中。目标类型组中的类型对应同一个存储节点，可以建立新增类型与该对应的同一存储节点之间的对应关系，并将新增类型的数据存储该存储节点中，快速建立对应关系以及在满足负载均衡的条件下快速实现数据存储。
通过将新增类型添加到最小历史写入统计次数对应的目标类型组，并建立新增类型与目标类型组中类型对应的存储节点之间的对应关系，可以省略重新建立对应关系，提高新增类型的对应关系的建立效率，以及新增类型的数据存储效率。
可选的，所述建立各所述类型组中的每个类型与存储节点之间的对应关系，包括：获取各所述类型组的目标数量；获取所述目标数量个存储节点；将各所述类型组与各所述存储节点一一对应，并将各所述类型组包括的每个类型与对应的存储节点之间建立对应关系，所述对应关系包括类型与存储节点的网际协议地址的键值对。
存储节点的配置数量与目标数量相同。将存储节点与类型组一一对应，一个存储节点与一个类型组对应，即一个存储节点用于存储一个类型组包括的各类型的数据。将类型组包括的每个类型与该类型组对应的存储节点建立对应关系。对应关系用于描述类型与节点之间的映射关系。其中，一个节点对应至少一个类型，一个类型对应一个节点。将类型确定为键(key)，并将存储节点的网际协议地址(Internet Protocol，IP)确定为值(value)，建立类型与存储节点IP地址之间的键值对(key-value)，存储在键值对数据库中，例如Redis数据库。
通过建立类型与节点之间的对应关系，并将对应关系以键值对进行存储，在对应关系查询时，可以根据数据的类型，查到对应的IP地址，并将数据发送至该IP地址进行存储，提高数据存储效率，同时，在查询数据时，可以根据数据的类型，查到对应的IP地址，并向该IP地址发送数据查询请求，提高数据查询效率。
可选的，数据存储方法，还包括：接收数据查询请求，并确定查询类型；根据所述对应关系，确定所述查询类型对应的存储节点；从所述对应的存储节点中获取与所述数据查询请求匹配的数据。
数据查询请求用于查询某一类型的数据。数据查询请求中包括查询类型，可以从数据查询请求中提取查询类型。查询类型用于在存储节点中查询数据。在预先建立的对应关系中，获取查询类型对应的存储节点。可以生成新的查询请求发送至该对应的存储节点，以使存储节点获取该查询类型匹配的数据，并反馈。此外，数据查询请求中还包括其他查询信息，例如时间、事件标识信息和用户标识信息等中的至少一项。并将该查询信息与查询类型一并发送给该存储节点，以使存储节点获取与查询信息和查询类型均对应的数据，并反馈。
接收存储节点反馈的数据，并作为数据查询请求的响应数据，反馈给该数据查询请求的请求方。
通过在接收数据查询请求时，获取查询类型，并根据预先建立的对应关系，确定存储节点，并从该存储节点中获取查询类型匹配的数据，作为数据查询请求的响应数据，可以仅通过一次查找定位存储节点，实现快速确定数据位置，并获取查询结果，可以避免将查询请求分片到多个存储节点然后再进行数据聚合和去重，提高查询效率。
本发明实施例通过统计均衡写入次数，并根据各类型的数据在存储节点上的历史写入统计次数对各类型进行分组，并配置同一个类型组的各类型对应同一存储节点，在接收到同一类型的数据时，将该数据存入同一存储节点，解决了现有技术中同一指标的数据写入不同的存储节点，导致查询性能较差的问题，可以合理配置存储资源，并兼顾提高查询性能，同时实现存储节点集群负载均衡，提高存储资源的利用率。
实施例二
图2a为本发明实施例二中的一种数据存储方法的流程图，本实施例以上述实施例为基础进行具体化。本实施例的方法具体包括：
S210，根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数。
本发明实施例未详尽的描述可以参考前述实施例。
S220，根据各所述类型的数据的历史写入统计次数从大到小的顺序，对各所述类型进行排序，并从排序结果的首部依次获取一个当前处理类型。
按照历史写入统计次数对各类型进行从大到小的顺序进行排序。从排序结果的首部依次获取一个当前处理类型，即每次获取排序结果中最大历史写入统计次数的类型，确定为当前处理类型。获取的当前处理类型从排序结果中删除。
S230，判断所述当前处理类型的数据的历史写入统计次数是否大于等于所述均衡写入次数。
S240，如果是，则将当前处理类型单独归集于一个类型组中，执行S260。
当前处理类型单独归集于一个类型组，可以是指，根据当前处理类型形成一个类型组，且该类型组仅包括当前处理类型。
S250，否则，则从所述排序结果的尾部获取至少一个归并类型与所述当前处理类型共同归集于一个类型组中。
可选的，所述从所述排序结果的尾部获取至少一个归并类型与所述当前处理类型共同归集于一个类型组中，包括：从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组；将所述备选组中每个类型的数据分别对应的历史写入统计次数进行累加求和，计算所述备选组对应的历史写入统计次数；判断所述备选组对应的历史写入统计次数是否大于等于所述均衡写入次数；如果是，则将所述备选组确定为类型组；否则，则返回执行从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组的操作，直至所述备选组对应的历史写入统计次数大于等于所述均衡写入次数；返回执行从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组的操作，直至完成对所述排序结果中全部类型的处理。
归并类型是指当前排序结果中对应的历史写入统计次数最小的类型。获取归并类型之后，在当前排序结果中删除该归并类型。将归并类型与当前类型共同归集于一个备选组，以将当前排序结果中最大历史写入统计次数的类型和最小历史写入统计次数的类型放在一个类型组中。在备选组对应的历史写入统计次数大于等于均衡写入次数时，将备选组确定为类型组。如果备选组对应的历史写入统计次数仍然小于均衡写入次数，从更新的排序结果中获取最小历史写入统计次数的类型。从而在备选组中不断叠加最小历史写入统计次数的类型，直至备选组对应的历史写入统计次数大于等于均衡写入次数，备选组确定为类型组。在备选组确定为类型组之后，在更新的排序结果剩余的类型中获取归并类型，直至全部类型处理完成。
实际上，在备选组中，将排序结果中最大历史写入统计次数和最小历史写入统计次数相加，再把相加后的结果和均衡写入次数相比，如果还是小于均衡写入次数，则继续和倒数第二小的类型的历史写入统计次数相加。其中，类型每做一次相加就从排序结果中删除。以此类推，直到备选组内的累计结果大于等于均衡写入次数，将备选组确定为一类型组。然后重复上述，直到排序结果里面的元素清空。
通过选择最大历史写入统计次数的类型和最小历史写入统计次数的类型放在一个备选组，累计历史写入统计次数，可以快速组合类型，以使累计历史写入统计次数接近均衡写入次数，快速形成满足负载均衡条件的类型组，提高分组效率，同时从排序结果中逐一选择类型进行组合，确保每个类型均进行处理，提高分组准确率。
在一个具体的例子中，如图2b所示，类型组方法可以包括：
S201，配置x、y、c、i和k。
其中，x为类型的数据对应的历史写入统计次数，y为均衡写入次数，c为类型的数量，i＝-1，k＝c。
S202，i加1。
S203，判断x[i]>＝y；如果是，则执行S204；否则执行S205。
S204，输出x[i]，返回执行S202。
如果当前处理类型的数据的历史写入统计次数大于等于均衡写入次数，将当前处理类型单独归集于一个类型组中，即输出x[i]。
S205，判断i是否等于k；如果是，则结束；否则执行S206。
判断全部类型的处理是否完成。
S206，结束。
S207，k减1。
S208，判断x[i]+x[k]>＝y；如果是，则执行S209；否则执行S207。
S209，输出x[i],x[k]……
备选组对应的历史写入统计次数大于等于均衡写入次数，将备选组确定为类型组中，即输出x[i],x[k]……
S260，判断是否完成对全部类型的处理，如果是，则执行S270，否则执行S220。
逐一将排序结果中的类型确定为当前处理类型，避免存在未处理类型，以使分组结果更加准确。
S270，建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点。
S280，接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
本发明实施例通过各类型的数据的历史写入统计次数与均衡写入次数之间的数值关系，将各类型进行分组，以使形成的类型组之间的历史写入统计次数累计值之间的差距较小，并将类型组与存储节点进行对应，以使存储节点存储的数据量接近，实现存储节点的负载均衡。
实施例三
图3为本发明实施例三中一种数据存储装置的示意图。实施例四是实现本发明上述实施例提供的数据存储方法的相应装置，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。
相应的，本实施例的装置可以包括：
写入次数统计模块310，用于根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组；
类型与节点对应模块320，用于建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点；
均衡写入模块330，用于接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
本发明实施例通过统计均衡写入次数，并根据各类型的数据在存储节点上的历史写入统计次数对各类型进行分组，并配置同一个类型组的各类型对应同一存储节点，在接收到同一类型的数据时，将该数据存入同一存储节点，解决了现有技术中同一指标的数据写入不同的存储节点，导致查询性能较差的问题，可以合理配置存储资源，并兼顾提高查询性能，同时实现存储节点集群负载均衡，提高存储资源的利用率。
进一步的，所述写入次数统计模块310，包括：均衡写入次数计算单元，用于将与每个类型的数据分别对应的历史写入统计次数进行累加求和，获取历史写入统计次数总值；将所述历史写入统计次数总值除以设定的节点总数量的商值，确定为所述均衡写入次数。
进一步的，所述写入次数统计模块310，包括：类型组生成单元，用于根据各所述类型的数据的历史写入统计次数从大到小的顺序，对各所述类型进行排序，并从排序结果的首部依次获取一个当前处理类型；判断所述当前处理类型的数据的历史写入统计次数是否大于等于所述均衡写入次数；如果是，则将当前处理类型单独归集于一个类型组中；否则，则从所述排序结果的尾部获取至少一个归并类型与所述当前处理类型共同归集于一个类型组中；返回执行从排序结果的首部依次获取一个当前处理类型的操作，直至完成对全部类型的处理。
进一步的，所述类型组生成单元，包括：类型组合子单元，用于从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组；将所述备选组中每个类型的数据分别对应的历史写入统计次数进行累加求和，计算所述备选组对应的历史写入统计次数；判断所述备选组对应的历史写入统计次数是否大于等于所述均衡写入次数；如果是，则将所述备选组确定为类型组；否则，则返回执行从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组的操作，直至所述备选组对应的历史写入统计次数大于等于所述均衡写入次数；返回执行从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组的操作，直至完成对所述排序结果中全部类型的处理。
进一步的，所述数据存储装置，还包括：新增类型对应模块，用于获取新增类型；获取最小历史写入统计次数对应的目标类型组；获取所述目标类型组中的类型对应的存储节点，并建立所述新增类型与所述对应的存储节点之间的对应关系；接收所述新增类型对应的数据，并存储于所述对应的存储节点中。
进一步的，所述类型与节点对应模块320，包括：键值对生成单元，用于获取各所述类型组的目标数量；获取所述目标数量个存储节点；将各所述类型组与各所述存储节点一一对应，并将各所述类型组包括的每个类型与对应的存储节点之间建立对应关系，所述对应关系包括类型与存储节点的网际协议地址的键值对。
进一步的，所述数据存储装置，还包括：数据查询模块，用于接收数据查询请求，并确定查询类型；根据所述对应关系，确定所述查询类型对应的存储节点；从所述对应的存储节点中获取与所述数据查询请求匹配的数据。
上述装置可执行本发明实施例所提供的数据存储方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是挂接在总线上的设备。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(PerIPheral Component Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的数据存储方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的方法：
也即，该程序被处理器执行时实现：根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组；建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点；接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组；
建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点；
接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
2.根据权利要求1所述的方法，其特征在于，所述根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，包括：
将与每个类型的数据分别对应的历史写入统计次数进行累加求和，获取历史写入统计次数总值；
将所述历史写入统计次数总值除以设定的节点总数量的商值，确定为所述均衡写入次数。
3.根据权利要求1所述的方法，其特征在于，所述根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组，包括：
根据各所述类型的数据的历史写入统计次数从大到小的顺序，对各所述类型进行排序，并从排序结果的首部依次获取一个当前处理类型；
判断所述当前处理类型的数据的历史写入统计次数是否大于等于所述均衡写入次数；
如果是，则将当前处理类型单独归集于一个类型组中；
否则，则从所述排序结果的尾部获取至少一个归并类型与所述当前处理类型共同归集于一个类型组中；
返回执行从排序结果的首部依次获取一个当前处理类型的操作，直至完成对全部类型的处理。
4.根据权利要求3所述的方法，其特征在于，所述从所述排序结果的尾部获取至少一个归并类型与所述当前处理类型共同归集于一个类型组中，包括：
从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组；
将所述备选组中每个类型的数据分别对应的历史写入统计次数进行累加求和，计算所述备选组对应的历史写入统计次数；
判断所述备选组对应的历史写入统计次数是否大于等于所述均衡写入次数；
如果是，则将所述备选组确定为类型组；
否则，则返回执行从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组的操作，直至所述备选组对应的历史写入统计次数大于等于所述均衡写入次数；
返回执行从所述排序结果的尾部获取一个归并类型，与所述当前处理类型共同归集于一个备选组的操作，直至完成对所述排序结果中全部类型的处理。
5.根据权利要求1所述的方法，其特征在于，还包括：
获取新增类型；
获取最小历史写入统计次数对应的目标类型组；
获取所述目标类型组中的类型对应的存储节点，并建立所述新增类型与所述对应的存储节点之间的对应关系；
接收所述新增类型对应的数据，并存储于所述对应的存储节点中。
6.根据权利要求1所述的方法，其特征在于，所述建立各所述类型组中的每个类型与存储节点之间的对应关系，包括：
获取各所述类型组的目标数量；
获取所述目标数量个存储节点；
将各所述类型组与各所述存储节点一一对应，并将各所述类型组包括的每个类型与对应的存储节点之间建立对应关系，所述对应关系包括类型与存储节点的网际协议地址的键值对。
7.根据权利要求1所述的方法，其特征在于，还包括：
接收数据查询请求，并确定查询类型；
根据所述对应关系，确定所述查询类型对应的存储节点；
从所述对应的存储节点中获取与所述数据查询请求匹配的数据。
8.一种数据存储装置，其特征在于，包括：
写入次数统计模块，用于根据各类型的数据在存储节点上的历史写入统计次数，计算均衡写入次数，并根据所述均衡写入次数将各所述类型进行分组，形成至少一个类型组；
类型与节点对应模块，用于建立各所述类型组中的每个类型与存储节点之间的对应关系，其中，隶属与同一类型组的各类型对应于同一存储节点；
均衡写入模块，用于接收目标数据，并根据所述目标数据的类型和所述对应关系，将所述目标数据存储于匹配的目标存储节点中。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的数据存储方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据存储方法。
CN202011240738.7A 2020-11-09 2020-11-09 数据存储方法、装置、计算机设备及存储介质 Active CN112328688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011240738.7A CN112328688B (zh) 2020-11-09 2020-11-09 数据存储方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240738.7A CN112328688B (zh) 2020-11-09 2020-11-09 数据存储方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112328688A true CN112328688A (zh) 2021-02-05
CN112328688B CN112328688B (zh) 2023-10-13

Family

ID=74317089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240738.7A Active CN112328688B (zh) 2020-11-09 2020-11-09 数据存储方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112328688B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110803A (zh) * 2021-04-19 2021-07-13 浙江中控技术股份有限公司 一种数据存储方法及装置
CN113836186A (zh) * 2021-09-28 2021-12-24 北京环境特性研究所 基于es搜索引擎的仿真数据查询方法及装置
CN114640632A (zh) * 2022-03-25 2022-06-17 北京奇艺世纪科技有限公司 数据聚合方法、系统、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021284A (zh) * 2016-04-29 2016-10-12 乐视控股（北京）有限公司 数据查询方法、数据监测方法及装置
CN106202280A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 一种信息处理方法及服务器
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN108664223A (zh) * 2018-05-18 2018-10-16 百度在线网络技术（北京）有限公司 一种分布式存储方法、装置、计算机设备及存储介质
CN109189785A (zh) * 2018-08-10 2019-01-11 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及存储介质
CN109584060A (zh) * 2018-10-15 2019-04-05 平安科技（深圳）有限公司 定时交易任务的处理方法、装置及计算机设备及存储介质
CN109783678A (zh) * 2018-12-29 2019-05-21 深圳云天励飞技术有限公司 一种图像搜索的方法及装置
CN109829097A (zh) * 2018-12-25 2019-05-31 深圳云天励飞技术有限公司 一种数据处理的方法及装置
CN110347497A (zh) * 2019-06-03 2019-10-18 阿里巴巴集团控股有限公司 一种将多个存储设备划分设备组的方法及装置
CN110536159A (zh) * 2019-08-29 2019-12-03 广州虎牙科技有限公司 用户分类方法、装置、计算机设备及存储介质
CN110795026A (zh) * 2018-08-03 2020-02-14 杭州海康威视系统技术有限公司 热点数据的识别方法、装置、设备及存储介质
CN110990403A (zh) * 2019-11-26 2020-04-10 深圳壹账通智能科技有限公司 业务数据的存储方法、系统、计算机设备及存储介质
CN111726357A (zh) * 2020-06-18 2020-09-29 北京优特捷信息技术有限公司 攻击行为检测方法、装置、计算机设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021284A (zh) * 2016-04-29 2016-10-12 乐视控股（北京）有限公司 数据查询方法、数据监测方法及装置
CN106202280A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 一种信息处理方法及服务器
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN108664223A (zh) * 2018-05-18 2018-10-16 百度在线网络技术（北京）有限公司 一种分布式存储方法、装置、计算机设备及存储介质
CN110795026A (zh) * 2018-08-03 2020-02-14 杭州海康威视系统技术有限公司 热点数据的识别方法、装置、设备及存储介质
CN109189785A (zh) * 2018-08-10 2019-01-11 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及存储介质
CN109584060A (zh) * 2018-10-15 2019-04-05 平安科技（深圳）有限公司 定时交易任务的处理方法、装置及计算机设备及存储介质
CN109829097A (zh) * 2018-12-25 2019-05-31 深圳云天励飞技术有限公司 一种数据处理的方法及装置
CN109783678A (zh) * 2018-12-29 2019-05-21 深圳云天励飞技术有限公司 一种图像搜索的方法及装置
CN110347497A (zh) * 2019-06-03 2019-10-18 阿里巴巴集团控股有限公司 一种将多个存储设备划分设备组的方法及装置
CN110536159A (zh) * 2019-08-29 2019-12-03 广州虎牙科技有限公司 用户分类方法、装置、计算机设备及存储介质
CN110990403A (zh) * 2019-11-26 2020-04-10 深圳壹账通智能科技有限公司 业务数据的存储方法、系统、计算机设备及存储介质
CN111726357A (zh) * 2020-06-18 2020-09-29 北京优特捷信息技术有限公司 攻击行为检测方法、装置、计算机设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110803A (zh) * 2021-04-19 2021-07-13 浙江中控技术股份有限公司 一种数据存储方法及装置
CN113110803B (zh) * 2021-04-19 2022-10-21 浙江中控技术股份有限公司 一种数据存储方法及装置
CN113836186A (zh) * 2021-09-28 2021-12-24 北京环境特性研究所 基于es搜索引擎的仿真数据查询方法及装置
CN113836186B (zh) * 2021-09-28 2023-10-10 北京环境特性研究所 基于es搜索引擎的仿真数据查询方法及装置
CN114640632A (zh) * 2022-03-25 2022-06-17 北京奇艺世纪科技有限公司 数据聚合方法、系统、装置、设备及存储介质
CN114640632B (zh) * 2022-03-25 2023-12-15 北京奇艺世纪科技有限公司 数据聚合方法、系统、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112328688B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN112328688B (zh) 数据存储方法、装置、计算机设备及存储介质
CN108427725B (zh) 数据处理方法、装置和系统
KR101894226B1 (ko) Ｉｐ 어드레스에 대응하는 위치를 결정하기 위한 방법, 장치, 및 시스템
CN109104336B (zh) 服务请求处理方法、装置、计算机设备及存储介质
CN110209348B (zh) 数据存储方法、装置、电子设备及存储介质
CN111339078A (zh) 数据实时存储方法、数据查询方法、装置、设备、介质
CN110147470B (zh) 一种跨机房数据比对系统及方法
JP2015530666A (ja) データインデックス化方法及び装置
CN112565342B (zh) 一种基于权重计算的消息推送方法、装置、设备及存储介质
CN112559271B (zh) 分布式应用的接口性能监测方法、装置、设备及存储介质
CN111797091A (zh) 数据库中数据查询的方法、装置、电子设备和存储介质
CN112615795A (zh) 流量控制方法、装置、电子设备、存储介质及产品
CN110737691B (zh) 用于处理访问行为数据的方法和装置
CN110781232A (zh) 数据处理方法、装置、计算机设备和存储介质
CN111858657B (zh) 一种基于高频数据处理进行数据并行查询加速的方法和设备
US20230342369A1 (en) Data processing method and apparatus, and electronic device and storage medium
CN110020166A (zh) 一种数据分析方法及相关设备
CN113778977A (zh) 数据处理方法和数据处理装置
CN113760484A (zh) 数据处理的方法和装置
CN110677463B (zh) 并行数据传输方法、装置、介质及电子设备
CN111222048A (zh) 用户数量的查询计算方法、装置、电子设备、及存储介质
CN105468603A (zh) 数据选择方法及装置
CN111459981A (zh) 查询任务的处理方法、装置、服务器及系统
CN112214290B (zh) 日志信息处理方法、边缘节点、中心节点和系统
WO2024067815A1 (zh) 快递配送方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant