CN105868233A - 数据访问处理方法、装置及系统 - Google Patents
数据访问处理方法、装置及系统 Download PDFInfo
- Publication number
- CN105868233A CN105868233A CN201510882617.5A CN201510882617A CN105868233A CN 105868233 A CN105868233 A CN 105868233A CN 201510882617 A CN201510882617 A CN 201510882617A CN 105868233 A CN105868233 A CN 105868233A
- Authority
- CN
- China
- Prior art keywords
- data warehouse
- mark
- data
- warehouse
- survival
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 111
- 230000004083 survival effect Effects 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 239000010979 ruby Substances 0.000 description 2
- 229910001750 ruby Inorganic materials 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据访问处理方法、装置及系统。所述方法包括：接收应用客户端发送的数据访问请求；根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；向所述目标数据仓库的标识对应的所述目标数据仓库发送所述数据访问请求，以供所述数据仓库根据所述数据访问请求查询所请求的目标数据。本发明还公开了采用如上方法的装置及系统。本发明的技术方案可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本发明的数据访问处理方案可以提高数据访问的可靠性，从而提高数据访问的效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据访问处理方法、装置及系统。
背景技术
近年来，随着互联网科技的飞速发展，越来越多的网络数据需要处理，带动了越来越多的企业青睐于研究大数据的处理。
在大数据处理过程中，其中Hive是基于Hadoop的一个数据仓库工具。Hive提供了一种称为数据仓库(如HiverServer)方式的服务，以便于可以以语言(如java、python、php、c/c++或者ruby等等)无关的方式访问Hive的数据仓库。并且，Hive是一种可以将结构化的数据文件映射为一张数据库表，并提供简单的结构化查询语言(Structured Query Language；SQL)查询功能，可以将SQL语句转换为MapReduce任务进行运行。通常情况下，访问数据的时候，应用客户端可以以SQL语句直接向数据仓库发送数据访问请求，数据仓库将SQL语句转换为MapReduce任务进行运行，并在数据库表中查询数据访问请求所请求的目标数据，并向应用客户端反馈所请求的目标数据。
在实现本发明的过程中，发明人发现现有技术中应用客户端仅能够向一个数据仓库进行数据访问，当该数据仓库不存活，导致数据访问失败，因此，现有的数据访问可靠性较差，效率较低。
发明内容
鉴于上述问题，提出了本发明以便提供一种数据访问处理方法、装置及系统。
本发明提供一种数据访问处理方法，包括：
接收应用客户端发送的数据访问请求；
根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；
向所述目标数据仓库的标识对应的所述目标数据仓库发送所述数据访问请求，以供所述数据仓库根据所述数据访问请求查询所请求的目标数据。
本发明还提供一种数据访问处理装置，包括：
接收模块，用于接收应用客户端发送的数据访问请求；
确定模块，用于根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；
发送模块，用于向所述目标数据仓库的标识对应的所述目标数据仓库发送所述数据访问请求，以供所述数据仓库根据所述数据访问请求查询所请求的目标数据。
本发明还提供一种数据访问处理系统，所述系统包括如上所述的数据访问处理装置、监控模块、至少两个数据仓库以及各所述数据仓库对应的数据仓库代理模块；所述数据访问处理装置，与所述监控模块通信连接，用于获取所述监控模块对所有数据仓库的监控的信息；
各所述数据仓库代理模块，分别与对应的所述数据仓库以及所述监控模块通信连接，用于监控对应的所述数据仓库的存活状态；并向所述监控模块发送对应的所述数据仓库的存活状态。
本发明的数据访问处理方法、装置及系统。通过接收应用客户端发送的数据访问请求；根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；向目标数据仓库的标识对应的目标数据仓库发送数据访问请求，以供数据仓库根据数据访问请求查询所请求的目标数据，可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理方案可以提高数据访问的可靠性，从而提高数据访问的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明的数据访问处理方法实施例一的流程图。
图2为本发明的数据访问处理方法实施例二的流程图。
图3为本发明的数据访问处理方法实施例三的流程图。
图4为本发明的数据访问处理装置实施例一的结构示意图。
图5为本发明的数据访问处理装置实施例二的结构示意图。
图6为本发明的数据访问处理系统实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1为本发明的数据访问处理方法实施例一的流程图。如图1所示，本实施例的数据访问处理方法，具体可以包括如下步骤：
100、接收应用客户端发送的数据访问请求；
例如该数据访问请求可以为SQL语句的数据访问请求，另外，该数据访问请求可以为java、python、php、c/c++或者ruby等等其他计算机语言的描述方式。
101、根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；
监控模块对所有数据仓库进行监控，包括各个数据仓库的存活状态。当根据监控模块的监控确定存活的数据仓库仅包括一个数据仓库时，选定该存活的数据仓库的标识作为目标数据仓库的标识。当根据监控模块的监控，确定存活的有至少两个数据仓库的标识之后，可以从中选择一个数据仓库的标识作为目标数据仓库的标识，例如可以随机选择一个数据仓库的标识作为目标数据仓库的标识，也可以从中选择一个被选中次数最多的数据仓库的标识作为目标数据仓库标识，或者还可以根据其他方式从中选择一个数据仓库的标识作为目标数据仓库标识。
102、向目标数据仓库的标识对应的目标数据仓库发送数据访问请求，以供数据仓库根据数据访问请求查询所请求的目标数据。
根据步骤101确定的目标数据仓库的标识，可以直接向对应的目标数据仓库发送该数据访问请求，当目标数据仓库接收到该数据访问请求之后，根据该数据访问请求，在自身的数据仓库中查询该数据访问请求对应的数据。
需要说明的是，本实施例的数据仓库可以为HiverServer类型的数据仓库或者为MySQL类型的数据仓库。例如当数据仓库为HiverServer类型，数据仓库HiverServer接收到数据访问请求之后，将数据访问请求的SQL语句转换为MapReduce任务进行运行，并数据仓库所管理的数据库表中查询数据访问请求所请求的目标数据。当数据仓库为MySQL类型的数据仓库时，实现原理类似，在此不再一一举例赘述。
本实施例的数据访问处理方法的执行主体为数据访问处理装置，该数据访问处理装置可以为数据访问处理过程中的一个用于接收数据访问请求和选择目标数据仓库，并向目标数据仓库发送数据访问请求的代理模块。
本实施例的数据访问处理方法，通过接收应用客户端发送的数据访问请求；根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；向目标数据仓库的标识对应的目标数据仓库发送数据访问请求，以供数据仓库根据数据访问请求查询所请求的目标数据，可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理方法可以提高数据访问的可靠性，从而提高数据访问的效率。
进一步可选地，在上述图1所示实施例的技术方案的基础上，对于存活的数据仓库仅包括一个时，情况较为简单，不存在选择目标数据仓库标识的过程。而当存活的数据仓库包括有至少两个数据仓库时，情况较为复杂，详细如下。
例如当存活的数据仓库包括有至少两个数据仓库时，步骤101“根据监控模块对所有数据仓库的监控，从存活的至少两个数据仓库的标识中确定目标数据仓库的标识”可以分为两种情况，第一种在数据数量装置侧确定目标数据库的标识；第二种情况为在监控模块侧确定目标数据库的标识。具体如下：
第一种情况：步骤101“根据监控模块对所有数据仓库的监控，从存活的至少两个数据仓库的标识中确定目标数据仓库的标识”，具体包括如下步骤：
(1)从监控模块获取存活的至少两个数据仓库的标识以及存活的至少两个数据仓库中各数据仓库的参数信息；
(2)根据各数据仓库的参数信息，从存活的至少两个数据仓库的标识中选择目标数据仓库的标识。
例如，本实施例的数据仓库的参数信息可以包括数据仓库的负载信息、数据仓库的并发信息以及数据仓库的性能信息中至少一种。其中数据仓库的性能可以通过该数据仓库的中央处理器(Central Processing Unit；CPU)占用的百分比来表示，当CPU占用的百分比越小，对应的数据仓库的性能越好，当CPU占用的百分比越大，对应的数据仓库的性能越差。
进一步地上述步骤(2)具体包括如下任意一种：
(a)根据各数据仓库的负载信息，从存活的至少两个数据仓库的标识中选择负载最小的数据仓库的标识作为目标数据仓库的标识；
该实施例的方案中是以监控模块监控的数据仓库的参数信息中包括负载信息为例。
(b)根据各数据仓库的并发信息，从存活的至少两个数据仓库的标识中选择并发最少的数据仓库的标识作为目标数据仓库的标识；以及
该实施例的方案中是以监控模块监控的数据仓库的参数信息中包括并发信息为例。
(c)根据各数据仓库的性能信息，从存活的至少两个数据仓库的标识中选择性能最佳的数据仓库的标识作为目标数据仓库的标识。
该实施例的方案中是以监控模块监控的数据仓库的参数信息中包括性能信息为例。
上述(a)、(b)和(c)三种方案可以分别并列存在，作为选择目标数据仓库的选择标准，单独形成本发明的可选实施例。
实际应用中，这三种方案也可以结合使用，例如当监控模块监控的数据仓库的参数信息中同时包括负载信息、并发信息以及性能信息三种参数时，可以将三者结合，选择一个三者条件都满足，效果最优的数据仓库作为目标数据仓库。例如可以对于三个参数，均设定一个不能超过的阈值，如设置负载阈值、并发阈值以及性能阈值。然后在存活的数据仓库标识中选择在负载阈值范围内、并发阈值范围内以及性能阈值范围内的可选择的至少一个数据仓库标识；然后可以从可选择的至少一个数据仓库标识中随机选择一个目标数据仓库标识，或者还可以进一步从可选择的至少一个数据仓库标识中随机选择负载最小、并发最少或者性能最优的数据仓库标识作为目标数据仓库标识。或者还将进一步采用其他策略从可选择的至少一个数据仓库标识中选择一个数据仓库标识作为目标数据仓库的标识，在此不再一一举例赘述。
第二种情况：步骤101“根据监控模块对所有数据仓库的监控，从存活的至少两个数据仓库的标识中确定目标数据仓库的标识”，具体包括如下步骤：
(s1)向监控模块发送携带预选标准的目标数据仓库标识的获取请求，以供监控模块根据存活的至少两个数据仓库的参数信息以及预选标准，从存活的至少两个数据仓库的标识中选择目标数据仓库的标识；
本实施例的预选标准为选择负载最小的数据仓库的标识、选择并发最少的数据仓库的标识或者选择性能最佳的数据仓库的标识。本实施例的监控模块从存活的至少两个数据仓库的标识中选择目标数据仓库的标识的实现机制与上述实施例中的步骤(a)、(b)和(c)的实现机制相同，详细亦可以参考上述实施例的记载，在此不再赘述。
(s2)接收监控模块发送的目标数据仓库的标识。
进一步可选地，在上述实施例的技术方案的基础上，上述实施例的步骤102“向目标数据仓库的标识对应的目标数据仓库发送数据访问请求”之后，还可以包括：接收目标数据仓库发送的目标数据；向应用客户端发送目标数据，实现目标数据的反馈，从而完成了数据的访问。
上述实施例的数据访问处理方法中，所有可选方案可以采用可以结合的方式任意组合，形成本发明的可选实施例，详细如下述实施例。
图2为本发明的数据访问处理方法实施例二的流程图。如图2所示，本实施例的数据访问处理方法，在上述实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。如图2所示，本实施例的数据访问处理方法，具体可以包括如下步骤：
200、数据访问处理装置接收应用客户端发送的数据访问请求；
201、数据访问处理装置向监控模块发送监控信息请求；
202、监控模块根据接收的监控信息请求，获取存活的数据仓库标识以及各存活的数据仓库的负载信息；并向数据访问处理装置发送各存活的数据仓库标识以及各存活的数据仓库的负载信息；
本实施例是以监控模块监控数据仓库的参数信息中仅包括数据仓库的负载信息为例来说明本发明的技术方案。本实施例中的监控模块获取存活的数据仓库的负载信息，具体可以通过各个数据仓库对应的数据仓库代理模块来获取，各个数据仓库代理模块对对应的数据仓库进行监控，可以监控对应的数据仓库的存活状态，还可以获取到对应的数据仓库的负载信息、并发信息以及性能信息等等。数据仓库代理模块获取到这些信息之后，均发生给监控模块，统一管理。监控模块还可以在数据仓库不存活时，指示对应的数据仓库代理模块重启该数据仓库。
203、数据访问处理装置接收各存活的数据仓库标识以及各存活的数据仓库的负载信息，并判断存活的数据仓库的数量是否包括至少两个，当存活的数据仓库中包括至少两个时，执行步骤204；否则当存活的数据仓库为一个时，执行步骤205；
本实施例中以接收到存活的数据仓库的标识，也就是说存活的数据仓库的标识至少有一个为例。亦即本实施例中不考虑不存在存活的数据仓库的情况。实际应用中，当数据访问处理装置确定没有存活的数据仓库时，可以向应用客户端返回无法查询等类似的响应信息。
204、数据访问处理装置根据接收的存活的各数据仓库的负载信息，从存活的至少两个数据仓库的标识中选择负载最小的数据仓库的标识作为目标数据仓库的标识；执行步骤206；
205、数据访问处理装置将存活的数据仓库的标识设置为目标数据仓库的标识；执行步骤206；
206、数据访问处理装置向目标数据仓库的标识对应的目标数据仓库发送数据访问请求；执行步骤207；
207、目标数据仓库根据数据访问请求在数据表库中查询所请求的目标数据；执行步骤208；
208、目标数据仓库向数据访问处理装置反馈目标数据；执行步骤209；
209、数据访问处理装置向应用客户端反馈目标数据。
本实施例的数据访问处理方法，同样适用于从存活的至少两个数据仓库的标识中选择并发最少或者性能最好的数据仓库的标识作为目标数据仓库的标识的情况。
本实施例的数据访问处理方法，通过采用上述方案，可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理方法可以提高数据访问的可靠性，从而提高数据访问的效率。而且本实施例的数据访问处理方法中，还通过选择负载最小的数据仓库作为目标数据仓库，实现对数据的访问处理，可以进一步提高数据访问的效率。
图3为本发明的数据访问处理方法实施例三的流程图。如图3所示，本实施例的数据访问处理方法，在上述实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。如图3所示，本实施例的数据访问处理方法，具体可以包括如下步骤：
300、数据访问处理装置接收应用客户端发送的数据访问请求；
301、数据访问处理装置向监控模块发送携带预选标准的目标数据仓库标识的获取请求；该预选标准为选择并发最少的数据仓库的标识；
本实施例是以监控模块监控数据仓库的参数信息中仅包括数据仓库的并发信息为例来说明本发明的技术方案。
302、监控模块根据接收到的目标数据仓库标识的获取请求，获取存活的数据仓库标识以及各存活的数据仓库的并发信息；
详细实现原理可以参考步骤202的解释，在此不再赘述。
303、监控模块判断存活的数据仓库的数量是否包括至少两个，当存活的数据仓库中包括至少两个时，执行步骤304；否则当存活的数据仓库为一个时，执行步骤305；
本实施例中以监控到存活的数据仓库的标识，也就是说存活的数据仓库的标识至少有一个为例。亦即本实施例中不考虑不存在存活的数据仓库的情况。
304、监控模块根据存活的至少两个数据仓库的并发信息以及预选标准，从存活的至少两个数据仓库的标识中选择目标数据仓库的标识；执行步骤306；
305、监控模块将存活的数据仓库的标识设置为目标数据仓库的标识；执行步骤306；
306、监控模块向数据访问处理装置发送目标数据仓库的标识；执行步骤307；
307、数据访问处理装置向目标数据仓库的标识对应的目标数据仓库发送数据访问请求；执行步骤308；
308、目标数据仓库根据数据访问请求在数据表库中查询所请求的目标数据；执行步骤309；
309、目标数据仓库向数据访问处理装置反馈目标数据；执行步骤310；
310、数据访问处理装置向应用客户端反馈目标数据。
本实施例的数据访问处理方法，同样适用于预选标准为选择负载最小或者性能最好的数据仓库的标识的情况。
本实施例的数据访问处理方法，通过采用上述方案，可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理方法可以提高数据访问的可靠性，从而提高数据访问的效率。而且本实施例的数据访问处理方法中，还通过选择并发最少的数据仓库作为目标数据仓库，实现对数据的访问处理，可以进一步提高数据访问的效率。
图4为本发明的数据访问处理装置实施例一的结构示意图。如图4所示，本实施例的数据访问处理装置，具体可以包括：接收模块10、确定模块11和发送模块12。
其中接收模块10用于接收应用客户端发送的数据访问请求；并触发确定模块11开始工作。确定模块11用于根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；发送模块12用于向确定模块11确定的目标数据仓库的标识对应的目标数据仓库发送数据访问请求，以供数据仓库根据数据访问请求查询所请求的目标数据。
本实施例的数据访问处理装置，通过采用上述模块实现数据访问处理的实现机制与上述图1所示的数据访问处理方法实施例的实现机制相同，详细可以参考上述图1所示实施例的记载，在此不再赘述。
本实施例的数据访问处理装置，通过采用上述模块实现接收应用客户端发送的数据访问请求；根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；向目标数据仓库的标识对应的目标数据仓库发送数据访问请求，以供数据仓库根据数据访问请求查询所请求的目标数据，可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理方案可以提高数据访问的可靠性，从而提高数据访问的效率。
图5为本发明的数据访问处理装置实施例二的结构示意图。如图5所示，本实施例的数据访问处理装置，在上述图4所示实施例的技术方案的基础上，进一步包括如下技术方案。
如图5所示，本实施例的数据访问处理装置中的确定模块11具体包括：获取单元111和选择单元112。其中接收模块10触发获取单元111启动，发送模块12与选择单元112通信连接。获取单元111用于当存活的数据仓库包括有至少两个数据仓库时，从监控模块获取存活的至少两个数据仓库的标识以及存活的至少两个数据仓库中各数据仓库的参数信息；选择单元112用于根据获取单元111获取的各数据仓库的参数信息，从存活的至少两个数据仓库的标识中选择目标数据仓库的标识。
进一步可选地，选择单元112具体用于执行如下任意一种操作：
根据各数据仓库的负载信息，从存活的述至少两个数据仓库的标识中选择负载最小的数据仓库的标识作为目标数据仓库的标识；
根据各数据仓库的并发信息，从存活的至少两个数据仓库的标识中选择并发最少的数据仓库的标识作为目标数据仓库的标识；以及
根据各数据仓库的性能信息，从存活的至少两个数据仓库的标识中选择性能最佳的数据仓库的标识作为目标数据仓库的标识。
或者本实施例的数据访问处理装置中，确定模块11具体用于当存活的数据仓库包括有至少两个数据仓库时，向监控模块发送携带预选标准的目标数据仓库标识的获取请求，以供监控模块根据存活的至少两个数据仓库的参数信息以及预选标准，从存活的至少两个数据仓库的标识中选择目标数据仓库的标识；预选标准为选择负载最小的数据仓库的标识、选择并发最少的数据仓库的标识以及选择性能最佳的数据仓库的标识中的至少一种；接收监控模块发送的所述目标数据仓库的标识。
进一步可选地，本实施例的数据访问处理装置中，接收模块10还用于接收目标数据仓库发送的所述目标数据；发送模块12还用于向应用客户端发送接收模块10接收的目标数据。
本实施例的数据访问处理装置中，上述所有可选技术方案可以采用可以结合的方式任意组合形成本发明的可选实施例，在此不再再一一赘述。
本实施例的数据访问处理装置，通过采用上述模块实现数据访问处理的实现机制与上述图2或者图3所示的数据访问处理方法实施例的实现机制相同，详细可以参考上述图2或者图3所示实施例的记载，在此不再赘述。
本实施例的数据访问处理装置，通过采用上述模块可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理方案可以提高数据访问的可靠性，从而提高数据访问的效率。而且本实施例的数据访问处理装置中，还通过选择负载最小、或者并发最少或者性能最佳的数据仓库作为目标数据仓库，实现对数据的访问处理，可以进一步提高数据访问的效率。
图6为本发明的数据访问处理系统实施例的结构示意图。如图6所示，本实施例的数据访问处理系统，具体可以包括数据访问处理装置100、监控模块200、至少两个数据仓库300以及各数据仓库300对应的数据仓库代理模块400；数据访问处理装置100可以与每一个数据仓库300通信连接，可以向每一个数据仓库300发送数据访问请求，并接收该数据仓库300反馈的目标数据。
本实施例中的数据访问处理系统中的至少两个数据仓库300的数量可以为两个或者多个，这样采用的数据仓库300结构为集群结构，可以提高数据访问的成功率，进一步提高数据访问的可靠性和数据访问的效率。如图6所示，本实施例中以包括3个数据仓库300以及3个对应的数据仓库代理模块400为例来描述本发明的技术方案。实际应用中，还可以采用其他整数各数据仓库300和对应的数据仓库代理模块400。数据访问处理装置100具体可以采用如上图4或者图5所示实施例的结构，详细可以参考上述相关实施例的记载，在此不再赘述。
数据访问处理装置100具体可以与监控模块200通信连接，用于获取监控模块200对所有数据仓库300的监控的信息；各数据仓库代理模块400，分别与对应的数据仓库300以及监控模块200通信连接，数据仓库代理模块400用于监控对应的数据仓库300的存活状态；并向监控模块200发送对应的数据仓库300的存活状态。
本实施例的数据访问处理系统，实现数据访问处理的实现机制与上述相关实施例的实现机制相同，详细可以参考上述图1-图5所示实施例的记载，在此不再赘述。
本实施例的数据访问处理系统，通过采用上述方案，可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理系统可以提高数据访问的可靠性，从而提高数据访问的效率。
进一步可选地，上述图6所示的数据访问处理系统实施例中，各数据仓库代理模块400具体用于监控对应的数据仓库300的进程，当能够监控到数据仓库300的进程时，确定数据仓库300存活；否则当未监控到时，确定数据仓库300都不存活。
进一步可选地，上述图6所示的数据访问处理系统实施例中，各数据仓库代理模块400还用于监控对应的数据仓库300的参数信息，并向监控模块200发送参数信息，本实施例的参数信息包括负载信息、并发信息以及性能信息中的至少一种。
进一步可选地，上述图6所示的数据访问处理系统实施例中，监控模块200还用于当数据仓库300不存活时，向对应的数据仓库代理模块400发送重启指示，该重启指示中携带不存活的数据仓库300的IP地址和端口号；对应地，数据仓库代理模块400还用于接收监控模块200的重启指示，并根据重启指示中的IP地址和端口号，重启对应的数据仓库300。
且上述实施例中，各数据仓库300可以为HiverServer类型的数据仓库或者为MySQL类型的数据仓库。
本实施例的数据访问处理系统，通过采用上述结构可以确定进行数据访问的数据仓库是存活，从而可以保证数据访问的成功，因此，本实施例的数据访问处理方案可以提高数据访问的可靠性，从而提高数据访问的效率。且通过采用至少两个数据仓库的集群结构，进一步提高了数据访问的可靠性和数据访问的效率。而且本实施例的数据访问处理系统中，还通过选择负载最小、或者并发最少或者性能最佳的数据仓库作为目标数据仓库，实现对数据的访问处理，可以进一步提高数据访问的效率。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。
Claims (12)
1.一种数据访问处理方法，其特征在于，包括：
接收应用客户端发送的数据访问请求；
根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；
向所述目标数据仓库的标识对应的所述目标数据仓库发送所述数据访问请求，以供所述数据仓库根据所述数据访问请求查询所请求的目标数据。
2.根据权利要求1所述的方法，其特征在于，当存活的所述数据仓库包括有至少两个数据仓库时，根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识，具体包括：
从监控模块获取存活的所述至少两个数据仓库的标识以及存活的所述至少两个数据仓库中各所述数据仓库的参数信息；
根据各所述数据仓库的参数信息，从存活的所述至少两个数据仓库的标识中选择所述目标数据仓库的标识。
3.根据权利要求2所述的方法，其特征在于，所述从存活的所述至少两个数据仓库的标识中选择所述目标数据仓库的标识，具体包括如下任意一种：
根据各所述数据仓库的负载信息，从存活的所述至少两个数据仓库的标识中选择负载最小的数据仓库的标识作为所述目标数据仓库的标识；
根据各所述数据仓库的并发信息，从存活的所述至少两个数据仓库的标识中选择并发最少的数据仓库的标识作为所述目标数据仓库的标识；以及
根据各所述数据仓库的性能信息，从存活的所述至少两个数据仓库的标识中选择性能最佳的数据仓库的标识作为所述目标数据仓库的标识。
4.根据权利要求1所述的方法，其特征在于，当存活的所述数据仓库包括有至少两个数据仓库时，根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识，具体包括：
向监控模块发送携带预选标准的目标数据仓库标识的获取请求，以供所述监控模块根据存活的所述至少两个数据仓库的参数信息以及所述预选标准，从存活的所述至少两个数据仓库的标识中选择所述目标数据仓库的标识；所述预选标准为选择负载最小的数据仓库的标识、选择并发最少的数据仓库的标识或者选择性能最佳的数据仓库的标识；
接收所述监控模块发送的所述目标数据仓库的标识。
5.一种数据访问处理装置，其特征在于，包括：
接收模块，用于接收应用客户端发送的数据访问请求；
确定模块，用于根据监控模块对所有数据仓库的监控，从存活的数据仓库的标识中确定目标数据仓库的标识；
发送模块，用于向所述目标数据仓库的标识对应的所述目标数据仓库发送所述数据访问请求，以供所述数据仓库根据所述数据访问请求查询所请求的目标数据。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，具体包括：
获取单元，用于当存活的所述数据仓库包括有至少两个数据仓库时，从监控模块获取存活的所述至少两个数据仓库的标识以及存活的所述至少两个数据仓库中各所述数据仓库的参数信息；
选择单元，用于根据各所述数据仓库的参数信息，从存活的所述至少两个数据仓库的标识中选择所述目标数据仓库的标识。
7.根据权利要求6所述的装置，其特征在于，所述选择单元，具体用于执行如下任意一种操作：
根据各所述数据仓库的负载信息，从存活的所述至少两个数据仓库的标识中选择负载最小的数据仓库的标识作为所述目标数据仓库的标识；
根据各所述数据仓库的并发信息，从存活的所述至少两个数据仓库的标识中选择并发最少的数据仓库的标识作为所述目标数据仓库的标识；以及
根据各所述数据仓库的性能信息，从存活的所述至少两个数据仓库的标识中选择性能最佳的数据仓库的标识作为所述目标数据仓库的标识。
8.根据权利要求5所述的装置，其特征在于，所述确定模块，具体用于当存活的所述数据仓库包括有至少两个数据仓库时，向监控模块发送携带预选标准的目标数据仓库标识的获取请求，以供所述监控模块根据存活的所述至少两个数据仓库的参数信息以及所述预选标准，从存活的所述至少两个数据仓库的标识中选择所述目标数据仓库的标识；所述预选标准为选择负载最小的数据仓库的标识、选择并发最少的数据仓库的标识以及选择性能最佳的数据仓库的标识中的至少一种；接收所述监控模块发送的所述目标数据仓库的标识。
9.一种数据访问处理系统，其特征在于，所述系统包括如上权利要求5-8任一所述的数据访问处理装置、监控模块、至少两个数据仓库以及各所述数据仓库对应的数据仓库代理模块；所述数据访问处理装置，与所述监控模块通信连接，用于获取所述监控模块对所有数据仓库的监控的信息；
各所述数据仓库代理模块，分别与对应的所述数据仓库以及所述监控模块通信连接，用于监控对应的所述数据仓库的存活状态；并向所述监控模块发送对应的所述数据仓库的存活状态。
10.根据权利要求9所述的系统，其特征在于，各所述数据仓库代理模块，具体用于监控对应的所述数据仓库的进程，当能够监控到所述数据仓库的进程时，确定所述数据仓库存活；当未监控到所述数据仓库的进程时，确定所述数据仓库不存活。
11.根据权利要求9所述的系统，其特征在于，各所述数据仓库代理模块，还用于监控对应的所述数据仓库的参数信息，并向所述监控模块发送所述参数信息，所述参数信息包括负载信息、并发信息以及性能信息中的至少一种。
12.根据权利要求9-11任一所述的系统，其特征在于，所述监控模块，还用于当所述数据仓库不存活时，向对应的所述数据仓库代理模块发送重启指示，所述重启指示中携带不存活的所述数据仓库的IP地址和端口号；
所述数据仓库代理模块，还用于接收所述监控模块的所述重启指示，并根据所述重启指示中的所述IP地址和所述端口号，重启对应的所述数据仓库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510882617.5A CN105868233A (zh) | 2015-12-03 | 2015-12-03 | 数据访问处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510882617.5A CN105868233A (zh) | 2015-12-03 | 2015-12-03 | 数据访问处理方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105868233A true CN105868233A (zh) | 2016-08-17 |
Family
ID=56624378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510882617.5A Pending CN105868233A (zh) | 2015-12-03 | 2015-12-03 | 数据访问处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105868233A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107346278A (zh) * | 2017-07-07 | 2017-11-14 | 郑州云海信息技术有限公司 | 一种数据获取方法、装置及系统 |
| CN107632919A (zh) * | 2017-09-01 | 2018-01-26 | 北京小米移动软件有限公司 | 数据库监控方法及装置 |
| CN107766381A (zh) * | 2016-08-22 | 2018-03-06 | 北京京东尚科信息技术有限公司 | 数据查询方法、系统及电子设备 |
| CN108832213A (zh) * | 2018-08-27 | 2018-11-16 | 莱芜钢铁集团电子有限公司 | 一种蓄电池监控方法、装置及系统 |
| CN112187581A (zh) * | 2020-09-29 | 2021-01-05 | 北京百度网讯科技有限公司 | 服务信息处理方法、装置、设备及计算机存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008009312A1 (en) * | 2006-07-17 | 2008-01-24 | Telefonaktiebolaget L M Ericsson (Publ) | Methods, apparatuses and programs for using an sh interface for communications between a database client and a database server |
| CN103577407A (zh) * | 2012-07-19 | 2014-02-12 | 国际商业机器公司 | 用于分布式数据库的查询方法及查询装置 |
| CN104769919A (zh) * | 2012-10-05 | 2015-07-08 | 甲骨文国际公司 | 对复制型数据库的访问进行负载平衡 |
-
2015
- 2015-12-03 CN CN201510882617.5A patent/CN105868233A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008009312A1 (en) * | 2006-07-17 | 2008-01-24 | Telefonaktiebolaget L M Ericsson (Publ) | Methods, apparatuses and programs for using an sh interface for communications between a database client and a database server |
| CN103577407A (zh) * | 2012-07-19 | 2014-02-12 | 国际商业机器公司 | 用于分布式数据库的查询方法及查询装置 |
| CN104769919A (zh) * | 2012-10-05 | 2015-07-08 | 甲骨文国际公司 | 对复制型数据库的访问进行负载平衡 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766381A (zh) * | 2016-08-22 | 2018-03-06 | 北京京东尚科信息技术有限公司 | 数据查询方法、系统及电子设备 |
| CN107346278A (zh) * | 2017-07-07 | 2017-11-14 | 郑州云海信息技术有限公司 | 一种数据获取方法、装置及系统 |
| CN107632919A (zh) * | 2017-09-01 | 2018-01-26 | 北京小米移动软件有限公司 | 数据库监控方法及装置 |
| CN107632919B (zh) * | 2017-09-01 | 2020-10-09 | 北京小米移动软件有限公司 | 数据库监控方法及装置 |
| CN108832213A (zh) * | 2018-08-27 | 2018-11-16 | 莱芜钢铁集团电子有限公司 | 一种蓄电池监控方法、装置及系统 |
| CN112187581A (zh) * | 2020-09-29 | 2021-01-05 | 北京百度网讯科技有限公司 | 服务信息处理方法、装置、设备及计算机存储介质 |
| US11663037B2 (en) | 2020-09-29 | 2023-05-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Service information processing method, apparatus, device and computer storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105868233A (zh) | 数据访问处理方法、装置及系统 | |
| US7065526B2 (en) | Scalable database management system | |
| US9584449B2 (en) | Determining the status of a device through use of a publisher/subscriber interface | |
| US9137172B2 (en) | Managing multiple proxy servers in a multi-tenant application system environment | |
| US20090049173A1 (en) | Method and system for dynamic client/server network management using proxy servers | |
| US10244080B2 (en) | Accessing multiple converged IT infrastructures | |
| US7836185B2 (en) | Common resource management in a server cluster | |
| US11445344B2 (en) | Application initiated network trigger for switching a user device between mutually exclusive network slices | |
| CN112445700B (zh) | 测试方法和装置 | |
| EP3583766B1 (en) | Service discovery using attribute matching | |
| US10659289B2 (en) | System and method for event processing order guarantee | |
| KR101343310B1 (ko) | 피어 투 피어 트래픽의 국소화 | |
| US20110153826A1 (en) | Fault tolerant and scalable load distribution of resources | |
| KR20110063328A (ko) | 물리적 인터페이스 질의 및 선택을 갖는 원격 프로지져 로출(ｒｐｃ) 바인드 서비스 | |
| JP2006235831A (ja) | 状態管理装置および方法およびプログラム | |
| US20140222959A1 (en) | Maximizing data transfer through multiple network devices | |
| CN111107039A (zh) | 一种基于tcp连接的通信方法、装置及系统 | |
| US20120265801A1 (en) | Out of order assembling of data packets | |
| EP2750356A1 (en) | Entity creation for constrained devices | |
| US20220197666A1 (en) | Cross-container delegation | |
| US20090063623A1 (en) | Determining connection information to use to access an artifact from an application on a remote server | |
| CN111953539B (zh) | 基于Mesh网络的终端周边感知方法、系统以及终端 | |
| US20170318121A1 (en) | Server request handlers | |
| EP4002797A1 (en) | Method and discovery engine for discovering industrial data in heterogenous industrial data sources | |
| CN113242307B (zh) | 服务请求处理方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160817 |