CN102571715B - 多维数据查询方法及系统 - Google Patents
多维数据查询方法及系统 Download PDFInfo
- Publication number
- CN102571715B CN102571715B CN201010607876.4A CN201010607876A CN102571715B CN 102571715 B CN102571715 B CN 102571715B CN 201010607876 A CN201010607876 A CN 201010607876A CN 102571715 B CN102571715 B CN 102571715B
- Authority
- CN
- China
- Prior art keywords
- request
- response packet
- packet
- composite type
- transfer server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种多维数据查询方法,包括以下步骤:中转服务器接收请求端发送的请求数据包;所述中转服务器根据所述请求数据包将查询请求并行发送到多个对应的数据源接口服务器;所述数据源接口服务器收到查询请求后进行查询处理,将查询结果组成应答包,并将所述应答包发送至所述中转服务器;所述中转服务器将应答包返回至请求端。该方法能提高数据响应能力,同时能缓解网络压力。此外,还提供一种多维数据查询系统。
Description
【技术领域】
本发明涉及互联网技术,尤其涉及一种多维数据查询方法及系统。
【背景技术】
在众多互联网信息共享、传播和获取平台上,存在大量的查询业务,在业务模型及数据结构相似的情况下,请求端发送给相应数据源接口服务器的查询请求很多,并且这些大量的查询请求都比较相似。
传统的数据查询方法是请求端发送多个查询请求数据包,将这些多个查询请求数据包排队交给中转模块,由中转模块逐个根据查询请求数据包中的标志位信息将查询请求数据包串行转发给对应的数据源接口服务器,对应的数据源接口服务器收到数据包后进行处理,将查询结果组成应答包交给中转模块,中转模块收到多个数据源接口服务器发送的应答包后,逐个发送到请求端。
然而,在海量服务体系下,传统的这种数据查询方法并不能减少请求数据包的数量,容易造成网络压力过大而影响系统性能。此外,中转模块处理数据包时是串行执行的,在查询海量数据信息时的响应能力差。
【发明内容】
基于此,有必要提供一种能提高数据响应能力的多维数据查询方法。
一种多维数据查询方法,包括以下步骤:
中转服务器接收请求端发送的请求数据包;
所述中转服务器根据所述请求数据包将查询请求并行发送到多个对应的数据源接口服务器;
所述数据源接口服务器收到查询请求后进行查询处理,将查询结果组成应答包,并将所述应答包发送至所述中转服务器;
所述中转服务器将应答包返回至请求端。
优选的,所述中转服务器将应答包返回至请求端的步骤为:
所述中转服务器将接收到的应答包合并成组合式应答包,将所述组合式应答包返回至请求端。
优选的,所述中转服务器将接收到的应答包合并成组合式应答包的步骤为:
生成组合式应答包的包头,将所述应答包的包体合并成所述组合式应答包的包体,将所述组合式应答包的包头和包体组合成所述组合式应答包。
优选的,所述中转服务器接收请求端发送的请求数据包的步骤之前还包括:
所述请求端将多个查询请求及对应的标志位信息合并成请求数据包,并将所述请求数据包发送到所述中转服务器。
优选的,所述中转服务器将请求数据包并行发送到多个对应的数据源接口服务器的步骤为:
所述中转服务器解析所述请求数据包,获取多个查询请求及对应的标志位信息,根据所述标志位信息将多个查询请求并行发送到与标志位信息对应的数据源接口服务器。
此外,还有必要提供一种能提高数据响应能力的多维数据查询系统。
一种多维数据查询系统,包括:
中转服务器,用于接收请求端发送的请求数据包,并根据所述请求数据包将查询请求并行发送到多个对应的数据源接口服务器;
多个数据源接口服务器,用于根据查询请求进行查询处理,将查询结果组成应答包,并将所述应答包发送至所述中转服务器;
所述中转服务器还用于将所述应答包返回至请求端。
优选的,所述中转服务器还用于将接收到的应答包合并成组合式应答包,将所述组合式应答包返回至请求端。
优选的,所述中转服务器用于生成组合式应答包的包头,将所述应答包的包体合并成所述组合式应答包的包体,将组合式应答包的包头和包体组合成所述组合式应答包。
优选的,该系统还包括:
请求端,用于将多个查询请求及对应的标志位信息合并成请求数据包,并将所述请求数据包发送到所述中转服务器。
优选的,所述中转服务器包括:
控制模块,用于解析所述请求数据包,获取多个查询请求及对应的标志位信息,根据所述标志位信息将多个查询请求并行发送到与标志位信息对应的数据源接口服务器。
上述多维数据查询方法及系统,中转服务器根据请求端发送的请求数据包,将多个查询请求并行发送到多个对应的数据源接口服务器,因此,提高了数据响应能力,能处理海量的查询请求。
【附图说明】
图1为一个实施例中多维数据查询方法的流程图;
图2为另一个实施例中多维数据查询方法的流程图;
图3为一个实施例中多维数据查询系统的结构示意图。
【具体实施方式】
图1示出了一个实施例中的多维数据查询方法流程,该方法流程包括以下步骤:
步骤S102,中转服务器接收请求端发送的请求数据包。
步骤S104,中转服务器根据请求数据包将查询请求并行发送到多个对应的数据源接口服务器。
步骤S106,数据源接口服务器收到查询请求后进行查询处理,将查询结果组成应答包,并将应答包发送至中转服务器。
步骤S108,中转服务器将应答包返回至请求端。
中转服务器根据请求端发送的请求数据包,将多个查询请求并行发送到多个对应的数据源接口服务器,因此,提高了数据响应能力,能处理海量的查询请求。
图2示出了另一个实施例中的多维数据查询方法流程,该方法流程包括以下步骤:
步骤S202,请求端将多个查询请求及对应的标志位信息合并成请求数据包,并将请求数据包发送到中转服务器。
请求端根据需要生成多个查询请求,不同的查询请求带有不同的标志位信息,标志位信息标志了查询请求的目标数据,即标志了应将查询请求发送到哪个数据源接口服务器进行处理。
请求端可将标志位信息合并到一个请求数据包中,将该请求数据包发送到中转服务器,即可实现多数据源的查询。数据包包括两个部分,即数据包头和包体,包头记录了数据包的相关信息,包体包含了数据包的具体内容,每一个数据包都有一个数据包头和一个数据包体,由于将多个查询请求及对应的标志位信息合并到了一个请求数据包,一个请求数据包只有一个数据包头,相对传统的发送多个数据包的方式,由于只需要一个数据包头,因此能减少传输的数据量,对于海量的查询业务,能有效缓解网络压力。
步骤S204,中转服务器接收请求端发送的请求数据包。中转服务器可部署在多个数据源接口服务器的前端,中转服务器能识别不同的请求数据包。
步骤S206,中转服务器解析请求数据包,获取多个查询请求及对应的标志位信息。
步骤S208,中转服务器根据标志位信息将多个查询请求并行发送到与标志位信息对应的数据源接口服务器。
由于请求数据包中的标志位信息标志了查询请求对应的数据源接口服务器,中转服务器根据标志位信息可将对应的查询请求并行发送到对应的数据源接口服务器进行处理。采用并行发送的方式能提高数据响应能力,同时,针对海量的查询业务,能缓解网络压力,提高查询速度。
步骤S210,数据源接口服务器收到查询请求后进行查询处理,将查询结果组成应答包,将应答包发送至中转服务器。
步骤S212,中转服务器将接收到的应答包合并成组合式应答包,将组合式应答包返回至请求端。
由于中转服务器根据标志位信息将对应的查询请求并行发送到对应的数据源接口服务器进行处理,因此对于同一个请求数据包,中转服务器会接收到多个数据源接口服务器返回的针对不同查询请求的应答包。在一个实施例中,对于同一个请求数据包中的多个查询请求,中转服务器在收到相应的应答包后则进行标识,待收到所有查询请求对应的应答包都接收完后,中转服务器将这些应答包进行合并处理。这样,可以保证所有查询请求都能得到查询结果,提高了数据的完整性。在另一个实施例中,还可以设置时间阈值,中转服务器将查询请求发送到各数据源接口服务器后,将在该时间阈值内接收到的应答包进行合并,而超过该时间阈值未收到的应答包则放弃。若因为网络原因或其他异常情况而导致某一个查询请求的应答包未接收到,通过设置时间阈值,保证了在该时间阈值内请求端能够得到反馈。
中转服务器将应答包进行合并处理,得到一个组合式应答包,具体是:生成组合式应答包的包头,将应答包的包体合并成组合式应答包的包体,将组合式应答包的包头和包体组合成所述组合式应答包。该组合式应答包含有多个数据源接口服务器的查询结果,将组合式应答包返回给请求端则完成请求端的查询请求。每一个应答包都包括一个包头和一个包体,由于中转服务器对应答包进行了合并处理,将多个应答包合并成了一个组合式应答包,即将应答包的多个包体进行合并,合并成组合式应答包的包体,而组合式应答包的包头记录该组合式应答包的相关信息。这样,减少了包头的数量,传输的数据量减少,仅将一个组合式应答包发送到请求端,,在针对海量查询业务时,能有效缓解网络压力,并能提高数据传输速度,提高查询速度。
请求端收到组合式应答包后,进行解析后得到查询结果。
图3示出了一个实施例中的多维数据查询系统,该系统包括请求端10、中转服务器20、多个数据源接口服务器30,其中:
请求端10与中转服务器20进行数据交互,用于发送请求数据包至中转服务器20。
中转服务器20分别与请求端10及多个数据源接口服务器30进行数据交互,用于接收请求端发送的请求数据包,并根据请求数据包将查询请求并行发送到多个对应的数据源接口服务器。
多个数据源接口服务器30用于根据查询请求进行查询处理,将查询结果组成应答包,并将应答包发送至中转服务器20。
中转服务器20还用于将应答包返回给请求端10。
中转服务器20根据请求端10发送的请求数据包,将多个查询请求并行发送到多个对应的数据源接口服务器30,因此,提高了数据响应能力,能处理海量的查询请求。
在一个实施例中,请求端10用于将多个查询请求及对应的标志位信息合并成请求数据包,并将请求数据包发送到中转服务器20。将多个查询请求及对应的标志位信息合并到了一个请求数据包,仅需要一个包头来记录请求数据包的相关信息,因此能减少传输的数据量,对于海量的查询业务,能有效缓解网络压力。
该实施例中,中转服务器20包括控制模块210,用于解析请求数据包,获取多个查询请求及对应的标志位信息,根据标志位信息将多个查询请求并行发送到与标志位信息对应的数据源接口服务器30。采用并行发送的方式能提高数据响应能力,同时,针对海量的查询业务,能缓解网络压力,提高查询速度。
在一个实施例中,中转服务器20还用于将接收到的应答包合并成组合式应答包,将组合式应答包返回至请求端10。具体是,中转服务器20用于生成组合式应答包的包头,将应答包的包体合并成组合式应答包的包体,将组合式应答包的包头和包体组合成组合式应答包。
由于中转服务器20根据标志位信息将对应的查询请求并行发送到对应的数据源接口服务器进行处理,因此对于同一个请求数据包,中转服务器20会接收到多个数据源接口服务器30返回的针对不同查询请求的应答包。在一个实施例中,对于同一个请求数据包中的多个查询请求,中转服务器20在收到相应的应答包后则进行标识,待收到所有查询请求对应的应答包都接收完后,中转服务器20将这些应答包进行合并处理。这样,可以保证所有查询请求都能得到查询结果,提高了数据的完整性。在另一个实施例中,还可以设置时间阈值,中转服务器20将查询请求发送到各数据源接口服务器30后,将在该时间阈值内接收到的应答包进行合并,而超过该时间阈值未收到的应答包则放弃。若因为网络原因或其他异常情况而导致某一个查询请求的应答包未接收到,通过设置时间阈值,保证了在该时间阈值内请求端10仍能得到查询结果。
由于中转服务器20对应答包进行了合并处理,即将应答包的多个包体进行合并,合并成组合式应答包的包体,而组合式应答包的包头记录该组合式应答包的相关信息。这样,减少了包头的个数,传输的数据量减少,仅将一个组合式应答包发送到请求端10,在针对海量查询业务时,能有效缓解网络压力,并能提高数据传输速度,提高查询速度。
请求端10收到组合式应答包后,进行解析后得到查询结果。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (4)
1.一种多维数据查询方法,包括以下步骤:
中转服务器接收请求端发送的请求数据包;
所述中转服务器根据所述请求数据包将查询请求并行发送到多个对应的数据源接口服务器,具体为:所述中转服务器解析所述请求数据包,获取多个查询请求及对应的标志位信息,根据所述标志位信息将多个查询请求并行发送到与标志位信息对应的数据源接口服务器;
所述数据源接口服务器收到查询请求后进行查询处理,将查询结果组成应答包,并将所述应答包发送至所述中转服务器;
同一个请求数据包,中转服务器会接收到多个数据源接口服务器返回的针对不同查询请求的应答包,中转服务器将查询请求发送到各数据源接口服务器后,将在预设时间阈值内接收到的应答包进行合并,而超过预设时间阈值未收到的应答包则放弃,中转服务器将接收到的应答包进行合并处理,得到一个组合式应答包,具体是:生成组合式应答包的包头,将应答包的包体合并成组合式应答包的包体,将组合式应答包的包头和包体组合成所述组合式应答包,该组合式应答包含有多个数据源接口服务器的查询结果,组合式应答包的包头记录该组合式应答包的信息,将所述组合式应答包返回至请求端。
2.根据权利要求1所述的多维数据查询方法,其特征在于,所述中转服务器接收请求端发送的请求数据包的步骤之前还包括:
所述请求端将多个查询请求及对应的标志位信息合并成请求数据包,并将所述请求数据包发送到所述中转服务器。
3.一种多维数据查询系统,其特征在于,包括:中转服务器,用于接收请求端发送的请求数据包,并根据所述请求数据包将查询请求并行发送到多个对应的数据源接口服务器,所述中转服务器包括:控制模块,用于解析所述请求数据包,获取多个查询请求及对应的标志位信息,根据所述标志位信息将多个查询请求并行发送到与标志位信息对应的数据源接口服务器;
多个数据源接口服务器,用于根据查询请求进行查询处理,将查询结果组成应答包,并将所述应答包发送至所述中转服务器;
所述中转服务器还用于对同一个请求数据包,接收到多个数据源接口服务器返回的针对不同查询请求的应答包,中转服务器将查询请求发送到各数据源接口服务器后,将在预设时间阈值内接收到的应答包进行合并,而超过所述预设时间阈值未收到的应答包则放弃,
中转服务器用于将接收到的应答包进行合并处理,得到一个组合式应答包,具体是:生成组合式应答包的包头,将应答包的包体合并成组合式应答包的包体,将组合式应答包的包头和包体组合成所述组合式应答包,该组合式应答包含有多个数据源接口服务器的查询结果,组合式应答包的包头记录该组合式应答包的信息,将所述组合式应答包返回至请求端。
4.根据权利要求3所述的多维数据查询系统,其特征在于,该系统还包括:
请求端,用于将多个查询请求及对应的标志位信息合并成请求数据包,并将所述请求数据包发送到所述中转服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010607876.4A CN102571715B (zh) | 2010-12-27 | 2010-12-27 | 多维数据查询方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010607876.4A CN102571715B (zh) | 2010-12-27 | 2010-12-27 | 多维数据查询方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102571715A CN102571715A (zh) | 2012-07-11 |
CN102571715B true CN102571715B (zh) | 2015-07-29 |
Family
ID=46416203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010607876.4A Active CN102571715B (zh) | 2010-12-27 | 2010-12-27 | 多维数据查询方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102571715B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105471931B (zh) * | 2014-08-06 | 2020-06-26 | 腾讯科技(北京)有限公司 | 一种查询业务数据的方法、装置和系统 |
CN105426501B (zh) * | 2015-11-25 | 2018-12-21 | 广州华多网络科技有限公司 | 多维数据库自动路由实现方法和系统 |
CN107122358B (zh) * | 2016-02-24 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 混合查询方法及设备 |
CN106790444A (zh) * | 2016-12-06 | 2017-05-31 | 腾讯科技(深圳)有限公司 | 网络数据交互方法和装置 |
CN108173807B (zh) * | 2017-11-28 | 2021-12-03 | 贵阳语玩科技有限公司 | 统一消息发送、处理方法及装置 |
CN108062384A (zh) * | 2017-12-13 | 2018-05-22 | 阿里巴巴集团控股有限公司 | 数据检索的方法和装置 |
CN108170783A (zh) * | 2017-12-26 | 2018-06-15 | 北京比特大陆科技有限公司 | 数据获取方法、装置及电子设备 |
CN109120687B (zh) * | 2018-08-09 | 2020-07-24 | 深圳市腾讯网络信息技术有限公司 | 数据包发送方法、装置、系统、设备及存储介质 |
CN109783163A (zh) * | 2019-01-23 | 2019-05-21 | 集奥聚合(北京)人工智能科技有限公司 | 一种基于多维数据变量的数据交互方法及平台 |
CN110533450A (zh) * | 2019-07-17 | 2019-12-03 | 上海数据交易中心有限公司 | 数据流通方法及装置、存储介质、服务器 |
CN111625559B (zh) * | 2020-07-28 | 2020-10-30 | 湖南创星壹佰健康科技有限公司 | 一种数据信息多维度查询方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6134541A (en) * | 1997-10-31 | 2000-10-17 | International Business Machines Corporation | Searching multidimensional indexes using associated clustering and dimension reduction information |
CN1588358A (zh) * | 2004-08-26 | 2005-03-02 | 陈红 | 对mdx多维数据查询语句的处理方法和系统 |
CN101895668A (zh) * | 2009-11-09 | 2010-11-24 | 深圳市同洲电子股份有限公司 | 机顶盒及基于机顶盒的家庭云计算方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005011042A (ja) * | 2003-06-18 | 2005-01-13 | Shinfuoomu:Kk | データ検索方法、データ検索装置、データ検索プログラムおよびコンピュータで読み取り可能な記録媒体 |
CN100466548C (zh) * | 2006-07-12 | 2009-03-04 | 华为技术有限公司 | 设备业务数据的查询方法及其系统 |
CN101694665B (zh) * | 2009-10-27 | 2012-10-03 | 中兴通讯股份有限公司 | 一种异构数据源数据查询方法及装置 |
-
2010
- 2010-12-27 CN CN201010607876.4A patent/CN102571715B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6134541A (en) * | 1997-10-31 | 2000-10-17 | International Business Machines Corporation | Searching multidimensional indexes using associated clustering and dimension reduction information |
CN1588358A (zh) * | 2004-08-26 | 2005-03-02 | 陈红 | 对mdx多维数据查询语句的处理方法和系统 |
CN101895668A (zh) * | 2009-11-09 | 2010-11-24 | 深圳市同洲电子股份有限公司 | 机顶盒及基于机顶盒的家庭云计算方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102571715A (zh) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102571715B (zh) | 多维数据查询方法及系统 | |
KR102161681B1 (ko) | 패킷 기반 데이터 통신의 디바이스 식별자 의존적 오퍼레이션 프로세싱 | |
EP3223481B1 (en) | Packet processing system and method | |
CN103118013A (zh) | 内容中心网络中数据包捎带反向兴趣包的方法 | |
CN103067534A (zh) | 一种NAT实现系统、方法及Openflow交换机 | |
CN102609515B (zh) | 一种文件快速扫描方法和系统 | |
CN102737065B (zh) | 数据的获取方法和装置 | |
CN100426769C (zh) | 一种建立对等直连通道的方法 | |
RU2014100914A (ru) | Способ и устройство передачи/приема мультимедиа-содержимого в системе мультимедиа | |
CN102377640B (zh) | 一种报文处理装置和报文处理方法、及预处理器 | |
CN103971687B (zh) | 一种语音识别系统中的负载均衡实现方法和装置 | |
CN103581230A (zh) | 文件传输系统和方法、接收端、发送端 | |
CN104506493A (zh) | 一种实现hls内容回源和缓存的方法 | |
CN102143088B (zh) | 一种基于ssl vpn的数据转发方法和设备 | |
CN102710504A (zh) | 应用识别方法和装置 | |
CN108206788B (zh) | 一种流量的业务识别方法及相关设备 | |
CN102594809A (zh) | 一种文件快速扫描方法和系统 | |
CN104506450A (zh) | 媒体资源反馈方法及装置 | |
CN103581361A (zh) | 一种域名解析代理方法、设备及系统 | |
CN102035750B (zh) | 点对点流量识别方法及装置 | |
CN105142035A (zh) | 一种视频流切片转发系统及方法 | |
CN105338421A (zh) | 一种hls流媒体传输方法及装置 | |
CN106878171B (zh) | 一种用于多数据源的流式数据处理方法及装置 | |
CN102480503B (zh) | P2p流量识别方法和装置 | |
CN101984635B (zh) | P2p协议流量识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20151230 Address after: The South Road in Guangdong province Shenzhen city Fiyta building 518000 floor 5-10 Nanshan District high tech Zone Patentee after: Shenzhen Tencent Computer System Co., Ltd. Address before: Shenzhen Futian District City, Guangdong province 518044 Zhenxing Road, SEG Science Park 2 East Room 403 Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |