CN104268262A - 一种数据查询、存储、及对存储数据的操作方法及装置 - Google Patents

一种数据查询、存储、及对存储数据的操作方法及装置 Download PDF

Info

Publication number
CN104268262A
CN104268262A CN201410531834.5A CN201410531834A CN104268262A CN 104268262 A CN104268262 A CN 104268262A CN 201410531834 A CN201410531834 A CN 201410531834A CN 104268262 A CN104268262 A CN 104268262A
Authority
CN
China
Prior art keywords
data
core
replica
shard
memory node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410531834.5A
Other languages
English (en)
Inventor
孙陶然
杨有鹏
符子文
全伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LAKALA PAYMENT Co Ltd
Original Assignee
LAKALA PAYMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LAKALA PAYMENT Co Ltd filed Critical LAKALA PAYMENT Co Ltd
Priority to CN201410531834.5A priority Critical patent/CN104268262A/zh
Publication of CN104268262A publication Critical patent/CN104268262A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis

Abstract

本发明提供了一种数据查询、存储、及对存储数据的操作方法及装置，其中数据查询方法包括接收数据查询请求；对数据存储节点配置随机加权值；根据该加权值对数据存储节点的数据进行查询；在接收到数据查询失败的消息后，重新对数据存储节点配置随机加权值进行查询，直至得到查询结果。采用本发明提供的技术方案，通过配置随机加权值合理优化了应用各个节点的硬件设备，减少了查询热点节点；修改、删除操作限定在同一个切片的范围内，避免了由于误操作对数据造成的安全隐患；自动创建副本，将人工干预操作转化为自动执行，保证了高可用性。

Description

一种数据查询、存储、及对存储数据的操作方法及装置
技术领域
本发明涉及数据处理领域，特别涉及一种数据查询、存储、及对存储数据的操作方法及装置。
背景技术
Apache Solr是基于Lucene的开源检索引擎。Apache Solr提供了丰富的接口实现了检索引擎的负载均衡、数据隔离以及高可用性等特性。
1、对于负载均衡：
Apache Solr使用轮询的方式来确保LoadBalance(负载均衡)以及failover(失效转移)的过程。
用户的查询请求首先会发送至数据存储节点Node1，Node1会首先查询自身，若查询成功，就会直接返回；
若Node1第一次查询失败，就会向Node2转发查询，Node2查询成功，会将数据返回Node1，由Node1将查询结果发送用户；
若Node2也查询失败，此时Node1会向Node3转发查询，若Node3能够查询成功，会将数据返回Node1，由Node1将查询结果发送用户。
2、对于数据隔离策略：
Apache Solr按照集合collection＞切片shard＞核心core从大到小来组织同一类型的索引，在写入数据的时候，Apache Solr只提供了两种写入数据隔离策略，例如在利用DIH(Data Import Handler，数据导入处理程序)将数据库向Apache Solr写入数据的时候：(1)Apache Solr能够向collection中所有的shard中的所有core插入、修改、删除数据；(2)或者只向某个单独shard的特定的core插入、修改、删除数据。
3、对于高可用性：
Apache Solr的高可用性的解决方案提供了高可用性的基本解决框架，即提供副本replica机制来实现可用性，但是并不关心replica自身的灵活性以及容灾问题。
现有技术的不足在于：
采用轮询的方式实现负载均衡会带来数据存储节点负载过高，出现查询热点节点；当Node1出现崩溃时，则不能接受用户的查询请求，降低用户体验；另外，轮询的方式无法实现将查询请求优先发送至某个数据查询节点。
还有，现有的Apache Solr的数据隔离策略，可能会存在数据安全隐患，即误操作(如误修改、误删除)会在整个collection范围内蔓延；以及数据冗余，如插入操作也会在整个collection都蔓延，所有shard中的core都保存新插入的数据，会造成数据((Ncore-1)+Nreplica)倍的冗余。
另外，可以通过提供副本replica机制来实现可用性，但是Apache Solr的replica需要使用者手动创建replica，不够灵活；当replica发生异常之后，不能自动重建replica，无容灾操作。
发明内容
本发明实施例中提供了一种数据查询方法，包括步骤：
接收数据查询请求；
对数据存储节点配置随机加权值；
根据该加权值对数据存储节点的数据进行查询；
在接收到数据查询失败的消息后，重新对数据存储节点配置随机加权值进行查询，直至得到查询结果。
本发明实施例中还提供了一种数据查询装置，包括：
第一接收模块，用于接收数据查询请求；
加权模块，用于对数据存储节点配置随机加权值；
查询模块，用于根据该加权值对数据存储节点的数据进行查询；
加权模块，进一步用于在接收到数据查询失败的消息后，重新对数据存储节点配置随机加权值；
查询模块，进一步用于根据重新配置的加权值对数据存储节点的数据进行查询，直至得到查询结果。
有益效果是：
本发明实施例提供的技术方案中，通过在接收到数据查询请求或收到数据查询失败的消息后对数据存储节点配置随机加权值，根据该加权值对数据存储节点的数据进行查询，避免了因轮询方式而产生的查询热点节点，在其中一个数据存储节点崩溃时并不影响用户的查询，并且可以通过设置加权值高低来实现将查询请求优先发送至某个数据查询节点。
本发明实施例中又提供了一种对存储数据的操作方法，包括步骤：
接收将要存储的数据；
将数据分别发送至集合collection下一切片shard下的核心core和副本replica中存储，所述shard是同时包含core和replica，所述collection是包含多个shard。
本发明实施例中还提供了一种对存储数据的操作装置，包括：
第二接收模块，用于接收将要存储的数据；
第一存储模块，用于将数据分别发送至集合collection下一切片shard下的核心core和副本replica中存储，所述shard是同时包含core和replica，所述collection是包含多个shard。
有益效果是：
将待存储的数据发送至一个同时包含core和replica的shard中存储，可以实现在同一个shard中的core和replica数据的同步，若发生误操作，仅在该shard中会出现问题，并不会蔓延至整个collection；由于只是将数据发送至某一个shard中的core和replica中存储，因此不会造成数据的冗余。
本发明实施例中再提供了一种数据存储方法，包括步骤：
接收将要存储的数据；
将数据分别发送至一个shard下的core和replica中存储，所述replica是创建core时创建的。
本发明实施例中还提供了一种数据存储装置，包括：
第三接收模块，用于接收将要存储的数据；
第二存储模块，用于将数据分别发送至一个shard下的core和replica中存储，所述replica是创建core时创建的。
有益效果是：
在创建core时自动创建replica，将人工干预操作转化为自动执行，使得replica的创建更加灵活。
附图说明
下面将参照附图描述本发明的具体实施例，其中：
图1为本发明实施例中采用现有轮询方式进行数据查询的实施示意图；
图2为本发明实施例中的数据查询方法的使用流程示意图；
图3为本发明实施例中采用加权随机方式进行数据查询的实施示意图；
图4为本发明实施例中的数据查询装置的结构示意图；
图5为本发明实施例中采用现有技术对存储数据进行操作的实施示意图；
图6为本发明实施例中的对存储数据的操作方法的使用流程示意图；
图7为本发明实施例中对存储数据进行操作的实施示意图；
图8为本发明实施例中的对存储数据的操作装置的结构示意图；
图9为本发明实施例中的数据存储方法的使用流程示意图；
图10为本发明实施例中的数据存储装置的结构示意图。
具体实施方式
为了使本发明实施例中的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。
针对现有技术的不足，本发明实施例中提供了一种数据查询、存储、及对存储数据的操作方法及装置，通过配置随机加权值合理优化了应用各个节点的硬件设备，减少了查询热点节点；修改、删除操作限定在同一个切片的范围内，避免了由于误操作对数据造成的安全隐患；自动创建副本，将人工干预操作转化为自动执行，保证了高可用性。下面以实施例进行描述。
Apache Solr的LoadBalance(负载均衡)以及failover(失效转移)特性保证了用户数据查询请求的能够正确及时响应。但是它的LoadBalance以及failover策略是轮询的方式，如图1所示。
图1为采用现有轮询方式进行数据查询的实施示意图，如图所示，可以包括如下情形：
首先将用户的查询请求发送给数据存储节点Node1，Node1查询自身，若查询成功，则直接返回查询结果；
若Node1第一次查询失败，此时向Node2转发查询，若Node2查询成功，则将查询结果返回Node1，由Node1将查询结果发送给用户；
若Node2也查询失败，此时Node1会向Node3转发查询，若Node3能够查询成功，则将查询结果返回Node1，由Node1将查询结果发送给用户。
采用轮询方式来实现负载均衡的缺点是：
(1)由于查询会优先发送给数据存储节点Node1，此时Node1节点的负载就会很高，此时出现查询热点节点。
(2)由于在实际生产环境中，由于硬件配置以及负载的不一致，需要将某些查询请求优先发送到某一台Solr上面去，Apache Solr的轮询策略就不能达到此要求了。
(3)若Node1出现崩溃，此时Node1就不能接受用户的查询请求，此时用户查询失败，降低用户体验，如图1所示。
图2为本发明实施例中的数据查询方法的使用流程示意图，如图所示，可以包括步骤：
步骤201、接收数据查询请求；
步骤202、对数据存储节点配置随机加权值；
步骤203、根据该加权值对数据存储节点的数据进行查询；
步骤204、在接收到数据查询失败的消息后，重新对数据存储节点配置随机加权值进行查询，直至得到查询结果。
实施中，根据该加权值对数据存储节点的数据进行查询时，还可以包括：
确定加权值最高的数据存储节点；
对该加权值最高的数据存储节点的数据进行查询。
具体实施中，图3为采用加权随机方式进行数据查询的实施示意图。如图3所示，可以包括如下情形：
接收到数据查询请求后，第一次配置随机加权值，若确定Node1的加权值最高，则先查询Node1中的数据，若查询成功，则直接返回查询结果；
若Node1第一次查询失败、或者检测到异常，此时进行第二次配置随机加权值，确定加权值最高的数据存储节点，例如获得Node2，则向Node2发出查询请求，若Node2查询成功，则将查询结果返回给用户；
若第二次查询失败、或者检测到异常，则进行第三次配置随机加权值，选择加权值最高的数据存储节点进行查询，直至得到查询结果并返回给用户。
实施中，在接收到数据查询请求后，对数据存储节点的数据进行查询之前，还可以包括：
对接收到的数据查询请求进行语法解析；
根据语法解析确定该查询请求将要查询的数据存储节点；
对该数据存储节点合成数据查询的查询接口。
具体实施中，接收到数据查询请求后，可以对该数据查询请求进行语法解析，通过语法解析确定数据源(即数据存储节点)，该数据源可以以服务形式发布，数据源和shard对应信息发布到Solr上面。确定了数据源之后，可以合成Solr可识别的查询接口，通过该接口，对数据进行查询。对查询到的结果，可以进一步进行处理，例如拼接、过滤、或进行复杂运算等。
实施中，在得到查询结果后，还可以包括：
对查询到的数据进行数据封装；
将该封装的数据返回至发出查询请求的终端。
具体实施中，可以将查询到的数据进行数据封装，以便进行传输，或者将查询到的数据转化为用户设备可以识别和使用的形式。这里并不限制数据封装的方法和程序，该步骤是本领域技术人员容易理解和实现的。
实施中，可以接收数据查询请求并发送至开源的搜索服务器Apache Solr，在Apache Solr中对数据存储节点的数据进行查询。
具体实施中，上述数据查询方法可以适用于开源的搜索服务器Apache Solr。
基于同一发明构思，本发明实施例中还提供了一种数据查询装置，由于该装置解决问题的原理与一种数据查询方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图4为本发明实施例中数据查询装置的结构示意图，可以包括：
第一接收模块401，用于接收数据查询请求；
加权模块402，用于对数据存储节点配置随机加权值；
查询模块403，用于根据该加权值对数据存储节点的数据进行查询；
加权模块402，进一步用于在接收到数据查询失败的消息后，重新对数据存储节点配置随机加权值；
查询模块403，进一步用于根据重新配置的加权值对数据存储节点的数据进行查询，直至得到查询结果。
实施中，查询模块403还可以用于在根据该加权值对数据存储节点的数据进行查询时，确定加权值最高的数据存储节点，并对该加权值最高的数据存储节点的数据进行查询。
实施中，可以进一步包括：
解析模块404，用于在接收到数据查询请求后对接收到的数据查询请求进行语法解析；
确定模块405，用于根据语法解析确定该查询请求将要查询的数据存储节点；
接口模块406，用于对数据存储节点的数据进行查询之前对该数据存储节点合成数据查询的查询接口。
实施中，可以进一步包括：
封装模块407，用于在将查询到的数据返回终端之前，对查询到的数据进行数据封装。
实施中，第一接收模块401还可以用于接收数据查询请求并发送至开源的搜索服务器Apache Solr，在Apache Solr中对数据存储节点的数据进行查询。
为了描述的方便，以上所述装置的各部分以功能分为各种部件或单元分别描述。当然，在实施本发明时可以把各部件或单元的功能在同一个或多个软件或硬件中实现。
下面结合一个具体的实施示例来进行说明。
首先，第一接收模块401接收到数据查询请求，将该数据查询请求发送至解析模块404，解析模块404可以对该数据查询请求进行语法解析，并将解析结果发送至确定模块405，确定模块405根据语法解析结果及加权模块402配置随机加权值的高低确定待查询的数据存储节点，确定了要查询的数据存储节点之后，接口模块406可以合成Solr可识别的查询接口，通过该接口，查询模块403对数据进行查询。对查询到的结果，封装模块407可以进行数据封装后返回给用户。
通过上述实施例，可以看出，本发明实施例提供的技术方案通过在接收到数据查询请求或收到数据查询失败的消息后对数据存储节点配置随机加权值，根据该加权值对数据存储节点的数据进行查询，避免了因轮询方式而产生的查询热点节点，在其中一个数据存储节点崩溃时并不影响用户的查询，并且可以通过设置加权值高低来实现将查询请求优先发送至某个数据查询节点。
此外，Apache Solr按照collection＞shard＞core从大到小来组织同一类型的索引，并为core提供了replica来保证索引数据的高可用性。
在写入数据的时候，Apache Solr只提供了两种写入数据隔离策略，例如在利用DIH将数据库向Apache Solr写入数据的时候：(1)Apache Solr能够向collection中所有的shard中的所有core插入、修改、删除数据(如图5上图)，或者(2)只向某个单独shard的特定的core插入、修改、删除数据(如图5下图)。
对于Apache Solr的数据隔离策略(1)，对数据的操作(插入、修改、删除)会在整个collection扩展开来，增加了数据的安全隐患。并且如插入操作也在整个collection蔓延，所有shard中的core都保存新插入的数据，会造成数据((Ncore-1)+Nreplica)倍的冗余。
对于Apache Solr的数据隔离策略(2)，将所有的操作限制于某个特定core，杜绝了数据安全隐患，但是其缺点是数据写入也只能仅限于特定的core，不能写入到replica中，如图5下图所示，在写入数据到shardN的core1的时候，replica1不能接收到数据，此时高可用性就等于形同虚设。
图6为本发明实施例中的对存储数据操作方法的使用流程示意图，如图所示，可以包括步骤：
步骤601、接收将要存储的数据；
步骤602、将数据分别发送至集合collection下一切片shard下的核心core和副本replica中存储，所述shard是同时包含core和replica，所述collection是包含多个shard。
实施中，通过数据导入处理程序DIH将将要存储的数据发送到一个shard下的core和replica中存储。
实施中，可以进一步包括：
对同一个shard下的core中存储的数据进行修改或删除时，根据core中修改或删除的数据对该shard下的replica中存储的数据进行修改或删除。
具体实施中，同一个shard下的core中存储的数据与其对应的replica中存储的数据可以是同步的，core中的数据进行修改或删除时，replica中的数据根据core中修改或删除的数据对该shard下的replica中存储的数据进行修改或删除。
实施中，可以接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在Apache Solr中对同一个shard下的core和replica中的数据进行操作。
具体实施中，本发明实施例中改进了Apache Solr，使得数据隔离策略更加灵活，具体表现为：在Apache Solr两种的数据隔离策略的基础上面，提供了第三种数据隔离侧路，即向同一个shard下面的所有core写入数据，如图7所示。
图7为本发明实施例中对存储数据操作方法的实施示意图，如图所示，通过DIH导入数据到Apache Solr的core1中，同时也会导入到replical中，但不会影响到其他shard的数据；对某个core上面的数据进行操作(删除或者修改)，只会影响同一shard下面的core和replica，影响不到其他shard的数据。
基于同一发明构思，本发明实施例中还提供了一种对存储数据的操作装置，由于该装置解决问题的原理与一种对存储数据的操作方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图8为本发明实施例中对存储数据的操作装置的结构示意图，可以包括：
第二接收模块801，用于接收将要存储的数据；
第一存储模块802，用于将数据分别发送至集合collection下一切片shard下的核心core和副本replica中存储，所述shard是同时包含core和replica，所述collection是包含多个shard。
实施中，第一存储模块802还可以用于通过数据导入处理程序DIH将将要存储的数据发送到一个shard下的core和replica中存储。
实施中，第一存储模块802还可以用于对同一个shard下的core中存储的数据进行修改或删除时，根据core中修改或删除的数据对该shard下的replica中存储的数据进行修改或删除。
实施中，第二接收模决801还可以用于接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在Apache Solr中对同一个shard下的core和replica中的数据进行操作。
为了描述的方便，以上所述装置的各部分以功能分为各种部件或单元分别描述。当然，在实施本发明时可以把各部件或单元的功能在同一个或多个软件或硬件中实现。
下面结合一个具体的实施示例来进行说明。
首先，第二接收模块801接收将要存储的数据，然后第一存储模块802通过数据导入处理程序DIH将将要存储的数据发送到一个shard下的core和replica中存储，该shard是同时包含core和replica。当同一个shard下的core中存储的数据进行了修改或删除后，该shard下的replica会进行数据同步，使其中的数据与core中的数据保持一致。
通过上述实施例，可以看出，本发明实施例提供的技术方案将待存储的数据发送至一个同时包含core和replica的shard中存储，可以实现在同一个shard中的core和replica数据的同步，若发生误操作，仅在该shard中会出现问题，并不会蔓延至整个collection；由于只是将数据发送至某一个shard中的core和replica中存储，因此不会造成数据的冗余。
另外，本发明实施例中还提供了一种数据存储方法，如9为本发明实施例中数据存储方法的使用流程示意图，如图所示，可以包括步骤：
步骤901、接收将要存储的数据；
步骤902、将数据分别发送至一个shard下的core和replica中存储，所述replica是创建core时创建的。
具体实施中，创建core时可以自动创建replica。利用这个特性，本发明实施例中提供的技术方案可以自动检测replica数目，并与core对应的创建replica；当某个replica出现问题的时候，可以自动重建replica，这保证了高可用性，并且简化了replica的创建过程，将人为干预转化为系统自动执行，保证了replica的数量，确保了数据安全。
实施中，可以定时从不同的数据源接收将要存储的数据并将其存储在同一个shard下的core和replica中。
具体实施中，定时从不同数据源接收数据的任务能够方便快捷的实时写入来自各种不同数据源的数据，数据写入延时可以为秒级，从而为用户提供近实时查询服务。
实施中，在core状态异常时，可以将数据发送至同一个shard下的replica中存储。
具体实施中，在core发生异常时，可以将任务直接切换到与其对应的replica中，这样做保证了系统的正常运行。
实施中，在创建replica失败、core状态异常、以及定时接收将要存储的数据的过程发生异常其中任意一个出现时，可以进行故障通知。
具体实施中，本发明实施例中可以监控各个部分的状态和操作，若出现问题，能够快速及时的进行故障通知，使运维人员准确进行故障修理。
实施中，可以接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在Apache Solr中对同一个shard下的core和replica中的数据进行存储。
实施中，创建core和replica可以是根据存储在Apache Solr上的core基本信息、定时数据导入信息、定时数据导入执行信息、以及索引数据分布信息来创建的。
基于同一发明构思，本发明实施例中还提供了一种数据存储装置，由于该装置解决问题的原理与一种数据存储方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图10为本发明实施例中数据存储装置的结构示意图，可以包括：
第三接收模块1001，用于接收将要存储的数据；
第二存储模块1002，用于将数据分别发送至一个shard下的core和replica中存储，该replica是创建core时创建的。
实施中，第三接收模块1001还可以用于定时从不同的数据源接收将要存储的数据；
第二存储模块1002还可以用于将从不同数据源接收的数据存储在同一个shard下的core和replica中。
实施中，第二存储模块1002还可以用于在core状态异常时，将数据发送至同一个shard下的replica中存储。
实施中，还可以进一步包括：
通知模块1003，用于在创建replica失败、core状态异常、以及定时接收将要存储的数据的过程发生异常其中任意一个出现时进行故障通知。
实施中，第三接收模块1001还可以进一步用于接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在Apache Solr中对同一个shard下的core和replica中的数据进行存储。
实施中，还可以进一步包括：
创建模块1004，用于根据存储在Apache Solr上的core基本信息、定时数据导入信息、定时数据导入执行信息、以及索引数据分布信息来创建core和replica。
为了描述的方便，以上所述装置的各部分以功能分为各种部件或单元分别描述。当然，在实施本发明时可以把各部件或单元的功能在同一个或多个软件或硬件中实现。
下面结合一个具体的实施示例来进行说明。
首先，第三接收模块1001接收将要存储的数据，然后第二存储模块1002将数据分别发送至一个shard下的core和replica中存储，该replica是创建core时创建的。同时，第三接收模块1001会定时地从不同的数据源接收要存储的数据，并发送至第二存储模块1002将其存储在同一个shard下的core和replica中。在存储过程中出现异常时，若core无法继续存储，则将数据发送至同一个shard下的replica中存储；若存储失败则通知通知模决1003进行故障通知。
通过上述实施例，可以看出，本发明实施例提供的技术方案在创建core时自动创建replica，将人工干预操作转化为自动执行，使得replica的创建更加灵活。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1.一种数据查询方法，其特征在于，所述方法包括步骤：
接收数据查询请求；
对数据存储节点配置随机加权值；
根据该加权值对数据存储节点的数据进行查询；
在接收到数据查询失败的消息后，重新对数据存储节点配置随机加权值进行查询，直至得到查询结果。
2.如权利要求1所述的方法，其特征在于，根据该加权值对数据存储节点的数据进行查询时，进一步包括：
确定加权值最高的数据存储节点；
对该加权值最高的数据存储节点的数据进行查询。
3.如权利要求1或2所述的方法，其特征在于，在接收到数据查询请求后，对数据存储节点的数据进行查询之前，进一步包括：
对接收到的数据查询请求进行语法解析；
根据语法解析确定该查询请求将要查询的数据存储节点；
对该数据存储节点合成数据查询的查询接口。
4.如权利要求1至3任一所述的方法，其特征在于，在得到查询结果后，进一步包括：
对查询到的数据进行数据封装；
将该封装的数据返回至发出查询请求的终端。
5.如权利要求1至4任一所述的方法，其特征在于，接收数据查询请求并发送至开源的搜索服务器Apache Solr，在Apache Solr中对数据存储节点的数据进行查询。
6.一种数据查询装置，其特征在于，所述装置包括：
第一接收模块，用于接收数据查询请求；
加权模块，用于对数据存储节点配置随机加权值；
查询模块，用于根据该加权值对数据存储节点的数据进行查询；
加权模块，进一步用于在接收到数据查询失败的消息后，重新对数据存储节点配置随机加权值；
查询模块，进一步用于根据重新配置的加权值对数据存储节点的数据进行查询，直至得到查询结果。
7.如权利要求6所述的装置，其特征在于，查询模块进一步用于在根据该加权值对数据存储节点的数据进行查询时，确定加权值最高的数据存储节点，并对该加权值最高的数据存储节点的数据进行查询。
8.如权利要求6或7所述的装置，其特征在于，进一步包括：
解析模块，用于在接收到数据查询请求后对接收到的数据查询请求进行语法解析；
确定模块，用于根据语法解析确定该查询请求将要查询的数据存储节点；
接口模块，用于对数据存储节点的数据进行查询之前对该数据存储节点合成数据查询的查询接口。
9.如权利要求6至8任一所述的装置，其特征在于，进一步包括：
封装模块，用于在将查询到的数据返回终端之前，对查询到的数据进行数据封装。
10.如权利要求6至9任一所述的装置，其特征在于，第一接收模块进一步用于接收数据查询请求并发送至开源的搜索服务器Apache Solr，在ApacheSolr中对数据存储节点的数据进行查询。
11.一种对存储数据的操作方法，其特征在于，所述方法包括步骤：
接收将要存储的数据；
将数据分别发送至集合collection下一切片shard下的核心core和副本replica中存储，所述shard是同时包含core和replica，所述collection是包含多个shard。
12.如权利要求11所述的方法，其特征在于，通过数据导入处理程序D1H将将要存储的数据发送到一个shard下的core和replica中存储。
13.如权利要求11或12所述的方法，其特征在于，进一步包括：
对同一个shard下的core中存储的数据进行修改或删除时，根据core中修改或删除的数据对该shard下的replica中存储的数据进行修改或删除。
14.如权利要求11至13任一所述的方法，其特征在于，接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在Apache Solr中对同一个shard下的core和replica中的数据进行操作。
15.一种对存储数据的操作装置，其特征在于，所述装置包括：
第二接收模块，用于接收将要存储的数据；
第一存储模块，用于将数据分别发送至集合collection下一切片shard下的核心core和副本replica中存储，所述shard是同时包含core和replica，所述collection是包含多个shard。
16.如权利要求15所述的装置，其特征在于，第一存储模块进一步用于通过数据导入处理程序DIH将将要存储的数据发送到一个shard下的core和replica中存储。
17.如权利要求15或16所述的装置，其特征在于，第一存储模块进一步用于对同一个shard下的core中存储的数据进行修改或删除时，根据core中修改或删除的数据对该shard下的replica中存储的数据进行修改或删除。
18.如权利要求16至17所述的装置，其特征在于，第二接收模块进一步用于接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在ApacheSolr中对同一个shard下的core和replica中的数据进行操作。
19.一种数据存储方法，其特征在于，所述方法包括步骤：
接收将要存储的数据；
将数据分别发送至一个shard下的core和replica中存储，所述replica是创建core时创建的。
20.如权利要求19所述的方法，其特征在于，定时从不同的数据源接收将要存储的数据并将其存储在同一个shard下的core和replica中。
21.如权利要求19或20所述的方法，其特征在于，在core状态异常时，将数据发送至同一个shard下的replica中存储。
22.如权利要求19至21任一所述的方法，其特征在于，在创建replica失败、core状态异常、以及定时接收将要存储的数据的过程发生异常其中任意一个出现时进行故障通知。
23.如权利要求19至22任一所述的方法，其特征在于，接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在Apache Solr中对同一个shard下的core和replica中的数据进行存储。
24.如权利要求23所述的方法，其特征在于，其特征在于，创建core和replica是根据存储在Apache Solr上的core基本信息、定时数据导入信息、定时数据导入执行信息、以及索引数据分布信息来创建的。
25.一种数据存储装置，其特征在于，所述装置包括：
第三接收模块，用于接收将要存储的数据；
第二存储模块，用于将数据分别发送至一个shard下的core和replica中存储，所述replica是创建core时创建的。
26.如权利要求25所述的装置，其特征在于，第三接收模块进一步用于定时从不同的数据源接收将要存储的数据；
第二存储模块进一步用于将从不同数据源接收的数据存储在同一个shard下的core和replica中。
27.如权利要求25或26所述的装置，其特征在于，第二存储模块进一步用于在core状态异常时，将数据发送至同一个shard下的replica中存储。
28.如权利要求25至27任一所述的装置，其特征在于，进一步包括：
通知模块，用于在创建replica失败、core状态异常、以及定时接收将要存储的数据的过程发生异常其中任意一个出现时进行故障通知。
29.如权利要求25至28任一所述的装置，其特征在于，第三接收模块进一步用于接收将要存储的数据并发送至开源的搜索服务器Apache Solr，在Apache Solr中对同一个shard下的core和replica中的数据进行存储。
30.如权利要求29所述的装置，其特征在于，其特征在于，进一步包括：
创建模块，用于根据存储在Apache Solr上的core基本信息、定时数据导入信息、定时数据导入执行信息、以及索引数据分布信息来创建core和replica。
CN201410531834.5A 2014-10-10 2014-10-10 一种数据查询、存储、及对存储数据的操作方法及装置 Pending CN104268262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410531834.5A CN104268262A (zh) 2014-10-10 2014-10-10 一种数据查询、存储、及对存储数据的操作方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410531834.5A CN104268262A (zh) 2014-10-10 2014-10-10 一种数据查询、存储、及对存储数据的操作方法及装置

Publications (1)

Publication Number Publication Date
CN104268262A true CN104268262A (zh) 2015-01-07

Family

ID=52159783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410531834.5A Pending CN104268262A (zh) 2014-10-10 2014-10-10 一种数据查询、存储、及对存储数据的操作方法及装置

Country Status (1)

Country Link
CN (1) CN104268262A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071434A (zh) * 2007-05-14 2007-11-14 腾讯科技（深圳）有限公司 一种分布式数据库系统中用户分布的方法、装置及系统
CN103618804A (zh) * 2013-12-16 2014-03-05 北京航空航天大学 一种基于性能差异的分布式键值存储系统负载均衡方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071434A (zh) * 2007-05-14 2007-11-14 腾讯科技（深圳）有限公司 一种分布式数据库系统中用户分布的方法、装置及系统
CN103618804A (zh) * 2013-12-16 2014-03-05 北京航空航天大学 一种基于性能差异的分布式键值存储系统负载均衡方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIMOTHY POTTER: "Introduction to SolrCloud", 《LUCIDWORKS》 *
杨步涛: "关于solrCloud的索引分片和查询的可增强点", 《CSDN》 *

Similar Documents

Publication Publication Date Title
US20190026193A1 (en) Method and apparatus for executing data recovery operation
US9330161B2 (en) Creating global aggregated namespaces for storage management
CN105653630B (zh) 分布式数据库的数据迁移方法与装置
CN108270726B (zh) 应用实例部署方法及装置
EP2948875B1 (en) Method and system for using a recursive event listener on a node in hierarchical data structure
US20180307569A1 (en) Data retracement method, apparatus, and system
CN110825420A (zh) 分布式集群的配置参数更新方法、装置、设备及存储介质
JP5548829B2 (ja) 計算機システム、データ管理方法及びデータ管理プログラム
US10726042B2 (en) Replication control using eventually consistent meta-data
EP3480686B1 (en) Data processing method, cluster manager, resource manager and data processing system
CN105550229A (zh) 分布式存储系统数据修复的方法和装置
CN106605217B (zh) 用于将应用从一个站点移动到另一站点的方法和系统
CN104376127A (zh) 一种数据操作方法及装置
KR101527634B1 (ko) 샤딩 서비스를 제공하는 방법 및 장치
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
US20210397599A1 (en) Techniques for generating a consistent view of an eventually consistent database
CN111176904B (zh) 一种私有云架构下的数据备份的方法、系统、设备及介质
US11079960B2 (en) Object storage system with priority meta object replication
CN111385613B (zh) 一种电视系统修复方法、存储介质及应用服务器
CN116302716A (zh) 一种集群部署方法、装置、电子设备及计算机可读介质
CN111752892A (zh) 分布式文件系统及其实现方法、管理系统、设备及介质
CN104268262A (zh) 一种数据查询、存储、及对存储数据的操作方法及装置
CN113032477A (zh) 基于gtid的长距离数据同步方法、装置及计算设备
CN114579665A (zh) 多云多活数据同步方法以及相关设备
US11093465B2 (en) Object storage system with versioned meta objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080 Beijing city Haidian District Danleng Street No. 6 Building 1 6 706

Applicant after: Kara payment Limited by Share Ltd

Address before: 100080 Beijing city Haidian District Danleng Street No. 6 Building 1 7 808

Applicant before: Lakala Payment Co., Ltd.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication

Application publication date: 20150107

RJ01 Rejection of invention patent application after publication