CN108737473B - 一种数据处理方法、装置及系统 - Google Patents
一种数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN108737473B CN108737473B CN201710263537.0A CN201710263537A CN108737473B CN 108737473 B CN108737473 B CN 108737473B CN 201710263537 A CN201710263537 A CN 201710263537A CN 108737473 B CN108737473 B CN 108737473B
- Authority
- CN
- China
- Prior art keywords
- data
- sub
- query request
- target data
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置及系统，此方法包括：中心服务器将接收到的上报数据存储至各存储服务器；所述中心服务器接收数据查询请求后，将所述数据查询请求划分为一个以上子查询请求，各子查询请求中目标数据的起止时间段的组合构成所述数据查询请求中目标数据的起止时间段；确定各子查询请求的目标数据的起止时间段对应的数据查询时段，将各子查询请求发送至相应的数据查询时段所对应的存储服务器；所述中心服务器将从各存储服务器接收到的查询结果合并后发送至所述数据查询请求的发送方。本发明可以有效减小中心服务器的处理压力，提高中心服务器的响应速度，提高服务器的容灾性，降低存储查询的失败率。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种数据处理方法、装置及系统。
背景技术
在移动互联网时代，云服务的广泛应用让企业可以专注于自身核心业务，越来越多企业将自己的业务迁移至云计算。在云服务中有许多有价值的数据，可供云服务商及企业进行分析，以更好地优化云服务及企业的线上业务，如流量数据就是这些关键数据之一。通过对流量数据的掌握与分析，云服务商可以更好地做好流量管理，做到更准确的流量预测，合理地分配带宽资源，降低运营成本，而且还可以通过对流量的实时监测做好防分布式拒绝服务(Distributed Denial of Service，简称DDos)流量攻击，确保线上服务不受影响，除此以外，还能更精确地对各个客户的流量带宽实行结算。因此，做好这些关键数据的存储和查询对于云服务商和企业来说尤为重要。
现有技术大都现有技术存在如下缺点：
(1)查询的源数据的数据量过大，对云服务的中心服务器本身造成压力，并影响系统整体性能；
(2)查询的源数据的数据量过大导致中心服务器的查询响应速度慢；
(3)由于网络丢包、传输失败、节点所在机房断网、节点设备故障等问题造成多台中心服务器数据不一致，影响数据查询的准确性。
发明内容
为了解决上述技术问题，本发明提供了一种数据处理方法、装置及系统。
本发明提供的数据处理方法，包括：中心服务器将接收到的上报数据存储至各存储服务器；所述中心服务器接收数据查询请求后，将所述数据查询请求划分为一个以上子查询请求，各子查询请求中目标数据的起止时间段的组合构成所述数据查询请求中目标数据的起止时间段；确定各子查询请求的目标数据的起止时间段对应的数据查询时段，将各子查询请求发送至相应的数据查询时段所对应的存储服务器；所述中心服务器将从各存储服务器接收到的查询结果合并后发送至所述数据查询请求的发送方。
上述数据处理方法还具有以下特点：
所述将所述数据查询请求划分为一个以上子查询请求包括：根据各存储服务器的数据查询时段和所述数据查询请求中目标数据的起止时间段将所述数据查询请求划分为一个以上的子查询请求，每个子查询请求的目标数据的起止时间段包含于相应的存储服务器的数据查询时段内。
上述数据处理方法还具有以下特点：
所述将所述数据查询请求划分为一个以上子查询请求包括以下方法中的一种：
一，按相同时间间隔将所述数据查询请求中目标数据的起止时间段平均划分为多个时段，使各子查询请求中的目标数据的起止时间段分别对应于一个时段；
二，将数据查询请求中目标数据的起止时间段分为第一时段和第二时段，所述第一时段距离当前时间的时间差大于所述第二时段距离当前时间的时间差，按第一时间间隔将所述第一时段划分为多个子时段，使第一部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段，按第二时间间隔将所述第二时段划分为多个子时段，使第二部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段；
三、将数据查询请求中目标数据的起止时间段分为两个以上时段，将所述多个时段中至少一个时段作为整体时段对应于一子查询请求，将所述多个时段中至少一个时段按预设时间间隔划分为多个子时段，使多个子查询请求中的目标数据的起止时间段分别对应于一个子时段，不同时段对应的时间间隔相同或不同。
上述数据处理方法还具有以下特点：
所述存储服务器收到子查询请求后，在缓存数据库中查询所述子查询请求的目标数据，查询到所述子查询请求的所有目标数据后，返回查询到的目标数据，未查询到所述目标数据时，在存储数据库中查询所述目标数据，返回查询到的目标数据，查询到所述目标数据的一部分数据时，在存储数据库中查询所述目标数据的其它部分数据，将两者合并后获得目标数据，返回此目标数据。
上述数据处理方法还具有以下特点：
所述中心服务器包括至少一个主服务器和至少一个从服务器，所述中心服务器作为从服务器时，监测至少一主服务器的数据，在检测到主服务器上的数据与所述从服务器的数据不一致时，从所述主服务器同步所述主服务器的数据。
上述数据处理方法还具有以下特点：
所述方法还包括：节点服务器配置预设格式，根据预设格式采集目标数据，根据所述目标数据计算得到指标参数后，将所述目标数据和所述指标参数作为上报数据发送至所述中心服务器。
上述数据处理方法还具有以下特点：
所述中心服务器将接收到的上报数据存储入各存储服务器包括：中心服务器将接收到的上报数据进行合并和/或过滤处理，将处理后的数据存入数据库，将存储于数据库的数据同步至各存储服务器。
本发明还提供了一种数据处理装置，包括：中心服务器和一个以上存储服务器；所述中心服务器包括上报数据接收模块、第一处理模块、查询请求接收模块、第二处理模块、存储交互模块、发送模块；所述上报数据接收模块用于接收上报数据；所述第一处理模块用于将所述上报数据接收模块接收到的上报数据存储于各存储服务器；所述查询请求接收模块用于接收数据查询请求；所述第二处理模块用于将所述数据查询请求划分为一个以上子查询请求，各子查询请求中目标数据的起止时间段的组合构成所述数据查询请求中目标数据的起止时间段；确定各子查询请求的目标数据的起止时间段对应的数据查询时段，将各子查询请求发送至相应的数据查询时段所对应的存储服务器；还用于从所述存储交互模块接收从各存储服务器接收到的查询结果，将从各存储服务器接收到的查询结果合并，将合并后的查询结果发送至所述发送模块；所述存储交互模块用于根据所述第二处理模块的控制将各子查询请求发送至相应的数据查询时段所对应的存储服务器，还从各存储服务器接收查询结果并转发至所述第二处理模块；所述发送模块用于将合并后的查询结果发送至所述数据查询请求的发送方。
上述数据处理装置还具有以下特点：
所述第二处理模块还包括划分单元，所述划分单元用于使用以下方法将所述数据查询请求划分为一个以上子查询请求：根据各存储服务器的数据查询时段和所述数据查询请求中目标数据的起止时间段将所述数据查询请求划分为一个以上的子查询请求，每个子查询请求的目标数据的起止时间段包含于相应的存储服务器的数据查询时段内。
上述数据处理装置还具有以下特点：
所述第二处理模块还包括划分单元，所述划分单元用于使用以下方法将所述数据查询请求划分为一个以上子查询请求：
一，按相同时间间隔将所述数据查询请求中目标数据的起止时间段平均划分为多个时段，使各子查询请求中的目标数据的起止时间段分别对应于一个时段；
二，将数据查询请求中目标数据的起止时间段分为第一时段和第二时段，所述第一时段距离当前时间的时间差大于所述第二时段距离当前时间的时间差，按第一时间间隔将所述第一时段划分为多个子时段，使第一部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段，按第二时间间隔将所述第二时段划分为多个子时段，使第二部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段；
三、将数据查询请求中目标数据的起止时间段分为两个以上时段，将所述多个时段中至少一个时段作为整体时段对应于一子查询请求，将所述多个时段中至少一个时段按预设时间间隔划分为多个子时段，使多个子查询请求中的目标数据的起止时间段分别对应于一个子时段，不同时段对应的时间间隔相同或不同。
上述数据处理装置还具有以下特点：
所述存储服务器包括缓存数据库、存储数据库和查询模块；所述查询模块用于在缓存数据库中查询所述子查询请求的目标数据，查询到所述子查询请求的所有目标数据后，返回查询到的目标数据，未查询到所述目标数据时，在存储数据库中查询所述目标数据，返回查询到的目标数据，查询到所述目标数据的一部分数据时，在存储数据库中查询所述目标数据的其它部分数据，将两者合并后获得目标数据，返回此目标数据。
上述数据处理装置还具有以下特点：
所述中心服务器包括至少一个主服务器和至少一个从服务器，在所述中心服务器作为从服务器时，还包括监测模块和同步模块；所述监测模块用于监测至少一主服务器的数据；所述同步模块，用于在监测模块监测到主服务器上的数据与所述从服务器的数据不一致时，从所述主服务器同步所述主服务器的数据。
上述数据处理装置还具有以下特点：
所述第一处理模块包括前置处理单元、数据库和同步单元；所述前置处理单元用于将接收到的上报数据进行合并和/或过滤处理；所述同步单元用于将处理后的数据存入数据库，将存储于数据库的数据同步至各存储服务器。
本发明还提供了一种数据处理系统，包括上述数据处理装置，还包括节点服务器，所述节点服务器包括配置模块、采集模块、计算模块、发送模块；所述配置模块用于配置预设格式；所述采集模块用于根据预设格式采集目标数据；所述计算模块用于根据所述目标数据计算得到指标参数；所述发送模块用于将所述目标数据和所述指标参数作为上报数据发送至所述中心服务器。
本发明可以有效减小中心服务器的处理压力，提高中心服务器的响应速度，提高服务器的容灾性，降低存储查询的失败率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是实施例中数据处理方法的流程图；
图2是实施例中数据处理装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1是实施例中数据处理方法的流程图，此方法包括：
步骤101，中心服务器将接收到的上报数据存储至各存储服务器；
步骤102，中心服务器接收数据查询请求后，将所述数据查询请求划分为一个以上子查询请求，各子查询请求中目标数据的起止时间段的组合构成所述数据查询请求中目标数据的起止时间段；确定各子查询请求的目标数据的起止时间段对应的数据查询时段，将各子查询请求发送至相应的数据查询时段所对应的存储服务器。
步骤103，中心服务器将从各存储服务器接收到的查询结果合并后发送至所述数据查询请求的发送方。
本方法中还包括中心服务器预先配置好各存储服务器的查询时段，使不同存储服务器只负责查询相应数据查询时段的数据，能够提高搜索速率和搜索有效性。
例如：中心服务器对应于两个存储服务器时，可以将一存储服务器设置为热数据存储服务器，将另一存储服务器设置为冷数据服务器。热数据存储服务器对应的查询时段为以当前时间所属自然天的零点之前的N天的零点开始至当前时间的时段，冷数据存储服务器为当前时间所属自然天的零点之前的N天的零点之前的数据。N可以为1或30或60等自然数。
再例如：中心服务器对应于多个存储服务器时，分别设置各存储服务器对应的查询时段，使不同的存储服务器用于查询不同历史时段的数据。
本方法还包括：节点服务器配置预设格式，根据预设格式采集目标数据，根据目标数据计算得到指标参数后，将目标数据和指标参数作为上报数据发送至中心服务器。其中，预设格式的数据至少包括以下字段：时间、访问域名、流量值、请求数、请求协议类型、主机名。节点服务器通过以下云服务软件中的至少一种采集目标数据：缓存代理服务软件、负载均衡软件、流媒体直播服务软件。指标参数是以下参数中的至少一种：预设对象的在预设时段内的数据访问流量值、单位时间间隔的流量数据的差值，不固定时间间隔的流量数据的平均差值。时间间隔可以为预设的间隔，例如1分钟、5分钟或1小时等。相比现有技术中获取全部用户日志数据的方式导致数据处理量大，获取速度慢的缺点，本发明中通过预设的规则只获取所需的数据，减少了获取的数据量，能够更加快速精确地获得所需的统计数据。在节点服务器通过多种算法进行运算，分担中心服务器的计算量，可以有效减小中心服务器的处理压力。
步骤101中，中心服务器收到上报数据后，将接收到的上报数据进行合并和/或过滤处理，将处理后的数据存入数据库，将存储于数据库的数据同步至各存储服务器。其中过滤处理包括滤除上报数据中的异常数据，或者根据预过滤规则确定非兴趣数据，并将非兴趣数据滤除。
步骤101中，将数据查询请求划分为一个以上子查询请求包括：
根据各存储服务器的数据查询时段将所述数据查询请求中目标数据的起止时间段将所述数据查询请求划分为一个以上的子查询请求，每个子查询请求的目标数据的起止时间段包含于相应的存储服务器的数据查询时段内。
或者，将数据查询请求划分为一个以上子查询请求包括以下方法中的一种：
一，按相同时间间隔将所述数据查询请求中目标数据的起止时间段平均划分为多个时段，使各子查询请求中的目标数据的起止时间段分别对应于一个时段。例如查询当月6号至12号的数据时，6号12号为数据查询请求中目标数据的起止时间段，可以以天为时间间隔划分此起止时间段。
二，将数据查询请求中目标数据的起止时间段分为第一时段和第二时段，所述第一时段距离当前时间的时间差大于所述第二时段距离当前时间的时间差，按第一时间间隔将所述第一时段划分为多个子时段，使第一部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段，按第二时间间隔将所述第二时段划分为多个子时段，使第二部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段。例如查询当月6号零时至12号9时的数据时，6号零时至12号9时为数据查询请求中目标数据的起止时间段，将此起止时间段划分为第一时段即6号零时至12号零时和第二时段即12号零时至12号9时。以天为单位划分第一时段，以小时为单位划分第二时段。
三、将数据查询请求中目标数据的起止时间段分为两个以上时段，将所述多个时段中至少一个时段作为整体时段对应于一子查询请求，将所述多个时段中至少一个时段按预设时间间隔划分为多个子时段，使多个子查询请求中的目标数据的起止时间段分别对应于一个子时段，不同时段对应的时间间隔相同或不同。例如查询当年3月至4月12号9时的数据时，3月至4月12号9时为数据查询请求中目标数据的起止时间段，将此起止时间段划分为第一时段即3月至4月、第二时段即4月1号零时至4月12号零时，第三时段即4月12号零时至4月12号9时。将第一时段作为一个整体时段对应于一个子查询请求，将第二时段以天为时间间隔进行平均划分后分别对应于不同子查询请求。将第三时段作为一个整体时段对应于一个子查询请求。
本发明的分片查询的功能，将查询请求拆分为若干并发子请求，通过判断数据查询时段，区分不同时段数据进行查询，同时利用缓存数据库将数据存储到内存，大大缩短数据查询的响应时间。
步骤101中，中心服务器接收到上报数据的方式为接受查询接口调用请求，此接口调用请求的发送方为以下第三方中的一种：计费系统、客户服务平台、安全平台、质量管理平台、资源调度平台、第三方平台。
步骤102和步骤103之间还包括存储服务器提取数据的步骤，具体包括：存储服务器收到子查询请求后，在缓存数据库中查询所述子查询请求的目标数据，查询到所述子查询请求的所有目标数据后，返回查询到的目标数据，未查询到所述目标数据时，在存储数据库中查询所述目标数据，返回查询到的目标数据，查询到所述目标数据的一部分数据时，在存储数据库中查询所述目标数据的其它部分数据，将两者合并后获得目标数据，返回此目标数据。其中，缓存数据库为内存数据库。
中心服务器包括至少一个主服务器和至少一个从服务器，中心服务器作为从服务器时，监测至少一主服务器的数据，在检测到主服务器上的数据与所述从服务器的数据不一致时，从所述主服务器同步所述主服务器的数据。相比于现有技术中只存一台服务器的方式导致容灾性较差的问题，本发明中设置多台具有主备关系的中心服务器，可以保证相互数据一致性，可以提高服务器的容灾性，降低存储查询的失败率。
图2是实施例中数据处理装置的结构图，此装置包括：中心服务器和一个以上存储服务器；中心服务器包括上报数据接收模块、第一处理模块、查询请求接收模块、第二处理模块、存储交互模块、发送模块。
上报数据接收模块用于接收上报数据；
第一处理模块用于将接收到的上报数据存储至各存储服务器；
查询请求接收模块用于接收数据查询请求；
第二处理模块用于将所述数据查询请求划分为一个以上子查询请求，各子查询请求中目标数据的起止时间段的组合构成所述数据查询请求中目标数据的起止时间段；确定各子查询请求的目标数据的起止时间段对应的数据查询时段，将各子查询请求发送至相应的数据查询时段所对应的存储服务器；还用于从所述存储交互模块接收从各存储服务器接收到的查询结果，将从各存储服务器接收到的查询结果合并，将合并后的查询结果发送至所述发送模块；
存储交互模块用于根据所述第二处理模块的控制将各子查询请求发送至相应的数据查询时段所对应的存储服务器，还从各存储服务器接收到的查询结果并转发至所述第二处理模块；
发送模块用于将合并后的查询结果发送至所述数据查询请求的发送方。
其中，
第一处理模块包括前置处理单元、数据库和同步单元。前置处理单元用于将接收到的上报数据进行合并和/或过滤处理。同步单元用于将处理后的数据存入数据库，将存储于数据库的数据同步至各存储服务器。第一处理单元还可以包括数据查询时段预设模块用于预先设置各存储服务器的数据查询时段。
第二处理模块还包括划分单元，此划分单元用于使用以下方法将所述数据查询请求划分为一个以上子查询请求：根据各存储服务器的数据查询时段和所述数据查询请求中目标数据的起止时间段将所述数据查询请求划分为一个以上的子查询请求，每个子查询请求的目标数据的起止时间段包含于相应的存储服务器的数据查询时段内。
或者，第二处理模块还包括划分单元，此划分单元用于使用以下方法将所述数据查询请求划分为一个以上子查询请求：
一，按相同时间间隔将所述数据查询请求中目标数据的起止时间段平均划分为多个时段，使各子查询请求中的目标数据的起止时间段分别对应于一个时段；
二，将数据查询请求中目标数据的起止时间段分为第一时段和第二时段，所述第一时段距离当前时间的时间差大于所述第二时段距离当前时间的时间差，按第一时间间隔将所述第一时段划分为多个子时段，使第一部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段，按第二时间间隔将所述第二时段划分为多个子时段，使第二部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段；
三、将数据查询请求中目标数据的起止时间段分为两个以上时段，将所述多个时段中至少一个时段作为整体时段对应于一子查询请求，将所述多个时段中至少一个时段按预设时间间隔划分为多个子时段，使多个子查询请求中的目标数据的起止时间段分别对应于一个子时段，不同时段对应的时间间隔相同或不同。
存储服务器包括缓存数据库、存储数据库和查询模块；查询模块用于在缓存数据库中查询所述子查询请求的目标数据，查询到所述子查询请求的所有目标数据后，返回查询到的目标数据，未查询到所述目标数据时，在存储数据库中查询所述目标数据，返回查询到的目标数据，查询到所述目标数据的一部分数据时，在存储数据库中查询所述目标数据的其它部分数据，将两者合并后获得目标数据，返回此目标数据。
中心服务器包括至少一个主服务器和至少一个从服务器，在中心服务器作为从服务器时，还包括监测模块和同步模块；监测模块用于监测至少一主服务器的数据；同步模块用于在监测模块监测到主服务器上的数据与所述从服务器的数据不一致时，从所述主服务器同步所述主服务器的数据。
本发明还提供了一种数据处理系统，此系统包括上述数据处理装置，还包括节点服务器，节点服务器包括配置模块、采集模块、计算模块、发送模块。配置模块用于配置预设格式；采集模块用于根据预设格式采集目标数据；计算模块用于根据所述目标数据计算得到指标参数；发送模块用于将所述目标数据和所述指标参数作为上报数据发送至所述中心服务器。
本发明可以有效减小中心服务器的处理压力，提高中心服务器的响应速度，提高服务器的容灾性，降低存储查询的失败率。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
Claims (12)
1.一种数据处理方法，其特征在于，包括：
中心服务器将接收到的上报数据进行合并和/或过滤处理，将处理后的数据存入数据库，将存储于数据库的数据同步至各存储服务器；
所述中心服务器接收数据查询请求后，将所述数据查询请求划分为一个以上子查询请求，各子查询请求中目标数据的起止时间段的组合构成所述数据查询请求中目标数据的起止时间段；确定各子查询请求的目标数据的起止时间段对应的数据查询时段，将各子查询请求发送至相应的数据查询时段所对应的存储服务器；
其中，所述将所述数据查询请求划分为一个以上子查询请求包括以下方法中的一种：
一，将数据查询请求中目标数据的起止时间段分为第一时段和第二时段，所述第一时段距离当前时间的时间差大于所述第二时段距离当前时间的时间差，按第一时间间隔将所述第一时段划分为多个子时段，使第一部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段，按第二时间间隔将所述第二时段划分为多个子时段，使第二部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段；
二、将数据查询请求中目标数据的起止时间段分为两个以上时段，将所述多个时段中至少一个时段作为整体时段对应于一子查询请求，将所述多个时段中至少一个时段按预设时间间隔划分为多个子时段，使多个子查询请求中的目标数据的起止时间段分别对应于一个子时段，不同时段对应的时间间隔相同或不同；
所述中心服务器将从各存储服务器接收到的查询结果合并后发送至所述数据查询请求的发送方。
2.如权利要求1所述的数据处理方法，其特征在于，
所述将所述数据查询请求划分为一个以上子查询请求包括：
根据各存储服务器的数据查询时段和所述数据查询请求中目标数据的起止时间段将所述数据查询请求划分为一个以上的子查询请求，每个子查询请求的目标数据的起止时间段包含于相应的存储服务器的数据查询时段内。
3.如权利要求1所述的数据处理方法，其特征在于，
所述将所述数据查询请求划分为一个以上子查询请求还包括以下方法：
按相同时间间隔将所述数据查询请求中目标数据的起止时间段平均划分为多个时段，使各子查询请求中的目标数据的起止时间段分别对应于一个时段。
4.如权利要求1所述的数据处理方法，其特征在于，
所述存储服务器收到子查询请求后，在缓存数据库中查询所述子查询请求的目标数据，查询到所述子查询请求的所有目标数据后，返回查询到的目标数据，未查询到所述目标数据时，在存储数据库中查询所述目标数据，返回查询到的目标数据，查询到所述目标数据的一部分数据时，在存储数据库中查询所述目标数据的其它部分数据，将两者合并后获得目标数据，返回此目标数据。
5.如权利要求1所述的数据处理方法，其特征在于，
所述中心服务器包括至少一个主服务器和至少一个从服务器，所述中心服务器作为从服务器时，监测至少一主服务器的数据，在检测到主服务器上的数据与所述从服务器的数据不一致时，从所述主服务器同步所述主服务器的数据。
6.如权利要求1所述的数据处理方法，其特征在于，
所述方法还包括：节点服务器配置预设格式，根据预设格式采集目标数据，根据所述目标数据计算得到指标参数后，将所述目标数据和所述指标参数作为上报数据发送至所述中心服务器。
7.一种数据处理装置，其特征在于，包括：中心服务器和一个以上存储服务器；
所述中心服务器包括上报数据接收模块、第一处理模块、查询请求接收模块、第二处理模块、存储交互模块、发送模块；
所述上报数据接收模块用于接收上报数据；
所述第一处理模块用于将所述上报数据接收模块接收到的上报数据存储于各存储服务器；
所述第一处理模块包括前置处理单元、数据库和同步单元；
所述前置处理单元用于将接收到的上报数据进行合并和/或过滤处理；
所述同步单元用于将处理后的数据存入数据库，将存储于数据库的数据同步至各存储服务器；
所述查询请求接收模块用于接收数据查询请求；
所述第二处理模块用于将所述数据查询请求划分为一个以上子查询请求，各子查询请求中目标数据的起止时间段的组合构成所述数据查询请求中目标数据的起止时间段；确定各子查询请求的目标数据的起止时间段对应的数据查询时段，将各子查询请求发送至相应的数据查询时段所对应的存储服务器；还用于从所述存储交互模块接收从各存储服务器接收到的查询结果，将从各存储服务器接收到的查询结果合并，将合并后的查询结果发送至所述发送模块；
其中，所述第二处理模块还包括划分单元，
所述划分单元用于使用以下方法将所述数据查询请求划分为一个以上子查询请求：
一，将数据查询请求中目标数据的起止时间段分为第一时段和第二时段，所述第一时段距离当前时间的时间差大于所述第二时段距离当前时间的时间差，按第一时间间隔将所述第一时段划分为多个子时段，使第一部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段，按第二时间间隔将所述第二时段划分为多个子时段，使第二部分的各子查询请求中的目标数据的起止时间段分别对应于一个子时段；
二、将数据查询请求中目标数据的起止时间段分为两个以上时段，将所述多个时段中至少一个时段作为整体时段对应于一子查询请求，将所述多个时段中至少一个时段按预设时间间隔划分为多个子时段，使多个子查询请求中的目标数据的起止时间段分别对应于一个子时段，不同时段对应的时间间隔相同或不同；
所述存储交互模块用于根据所述第二处理模块的控制将各子查询请求发送至相应的数据查询时段所对应的存储服务器，还从各存储服务器接收查询结果并转发至所述第二处理模块；
所述发送模块用于将合并后的查询结果发送至所述数据查询请求的发送方。
8.如权利要求7所述的数据处理装置，其特征在于，
所述第二处理模块还包括划分单元，
所述划分单元用于使用以下方法将所述数据查询请求划分为一个以上子查询请求：根据各存储服务器的数据查询时段和所述数据查询请求中目标数据的起止时间段将所述数据查询请求划分为一个以上的子查询请求，每个子查询请求的目标数据的起止时间段包含于相应的存储服务器的数据查询时段内。
9.如权利要求7所述的数据处理装置，其特征在于，
所述第二处理模块还包括划分单元，
所述划分单元用于使用以下方法将所述数据查询请求划分为一个以上子查询请求：
按相同时间间隔将所述数据查询请求中目标数据的起止时间段平均划分为多个时段，使各子查询请求中的目标数据的起止时间段分别对应于一个时段。
10.如权利要求7所述的数据处理装置，其特征在于，
所述存储服务器包括缓存数据库、存储数据库和查询模块；
所述查询模块用于在缓存数据库中查询所述子查询请求的目标数据，查询到所述子查询请求的所有目标数据后，返回查询到的目标数据，未查询到所述目标数据时，在存储数据库中查询所述目标数据，返回查询到的目标数据，查询到所述目标数据的一部分数据时，在存储数据库中查询所述目标数据的其它部分数据，将两者合并后获得目标数据，返回此目标数据。
11.如权利要求7所述的数据处理装置，其特征在于，
所述中心服务器包括至少一个主服务器和至少一个从服务器，在所述中心服务器作为从服务器时，还包括监测模块和同步模块；
所述监测模块用于监测至少一主服务器的数据；
所述同步模块，用于在监测模块监测到主服务器上的数据与所述从服务器的数据不一致时，从所述主服务器同步所述主服务器的数据。
12.一种数据处理系统，包括权利要求7～11中任一权利要求所述的数据处理装置，还包括节点服务器，其特征在于，
所述节点服务器包括配置模块、采集模块、计算模块、发送模块；
所述配置模块用于配置预设格式；
所述采集模块用于根据预设格式采集目标数据；
所述计算模块用于根据所述目标数据计算得到指标参数；
所述发送模块用于将所述目标数据和所述指标参数作为上报数据发送至所述中心服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710263537.0A CN108737473B (zh) | 2017-04-20 | 2017-04-20 | 一种数据处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710263537.0A CN108737473B (zh) | 2017-04-20 | 2017-04-20 | 一种数据处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108737473A CN108737473A (zh) | 2018-11-02 |
| CN108737473B true CN108737473B (zh) | 2019-12-20 |
Family
ID=63933399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710263537.0A Active CN108737473B (zh) | 2017-04-20 | 2017-04-20 | 一种数据处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108737473B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766394A (zh) * | 2018-12-19 | 2019-05-17 | 上海前隆信息科技有限公司 | 度量平台数据查询方法及装置、可读存储介质及终端 |
| CN112187842B (zh) * | 2019-07-04 | 2024-04-09 | 北京京东振世信息技术有限公司 | 局域网数据处理系统与局域网数据处理方法 |
| CN110602159A (zh) * | 2019-07-30 | 2019-12-20 | 广州力挚网络科技有限公司 | 一种数据处理方法与系统 |
| CN110727537B (zh) * | 2019-10-21 | 2023-12-26 | 深圳前海环融联易信息科技服务有限公司 | 统一处理响应报文的方法、装置、计算机设备及存储介质 |
| CN110990146A (zh) * | 2019-11-01 | 2020-04-10 | 北京信安世纪科技股份有限公司 | 负载均衡方法、设备、系统及存储介质 |
| CN110795600A (zh) * | 2019-11-05 | 2020-02-14 | 成都深思科技有限公司 | 一种分布式网络流量的聚合降维统计方法 |
| CN111159244B (zh) * | 2019-12-30 | 2024-02-09 | 中消云（北京）物联网科技研究院有限公司 | 数据查询方法及装置 |
| CN113259229B (zh) * | 2020-02-13 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及网关设备 |
| CN111711642A (zh) * | 2020-07-15 | 2020-09-25 | 网易（杭州）网络有限公司 | 协议请求处理方法、装置、电子设备和存储介质 |
| CN112364264B (zh) * | 2020-11-27 | 2023-10-27 | 支付宝(杭州)信息技术有限公司 | 一种风险防控方法、装置及设备 |
| CN113342856B (zh) * | 2021-06-28 | 2022-10-18 | 浙江中控技术股份有限公司 | 数据查询方法及装置 |
| CN114945018A (zh) * | 2022-04-29 | 2022-08-26 | 中国电信股份有限公司 | 一种流媒体数据分发方法、系统 |
| CN117349323B (zh) * | 2023-12-05 | 2024-02-27 | 苏州元脑智能科技有限公司 | 数据库的数据处理方法及装置、存储介质及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101420603A (zh) * | 2008-09-05 | 2009-04-29 | 中兴通讯股份有限公司 | 一种分片存储实现媒体分发、定位的方法及其流媒体系统 |
| CN101770504A (zh) * | 2009-12-29 | 2010-07-07 | 成都市华为赛门铁克科技有限公司 | 数据存储、读取方法及设备 |
| CN102722506A (zh) * | 2009-12-29 | 2012-10-10 | 华为数字技术（成都）有限公司 | 数据存储方法及设备 |
| CN104572860A (zh) * | 2014-12-17 | 2015-04-29 | 北京皮尔布莱尼软件有限公司 | 一种数据处理方法和系统 |
| CN104657387A (zh) * | 2013-11-22 | 2015-05-27 | 华为技术有限公司 | 一种数据查询方法及装置 |
| CN104683452A (zh) * | 2015-02-09 | 2015-06-03 | 深圳酷派技术有限公司 | 一种数据下载方法、服务器及多系统移动终端 |
| CN105069139A (zh) * | 2015-08-19 | 2015-11-18 | 北京金山安全软件有限公司 | 文件访问方法和文件访问装置以及服务器 |
| CN105468651A (zh) * | 2014-09-12 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 一种关系数据库数据查询方法及系统 |
| CN105808661A (zh) * | 2016-02-29 | 2016-07-27 | 浪潮通信信息系统有限公司 | 一种数据查询的方法及装置 |
| CN105933359A (zh) * | 2016-07-11 | 2016-09-07 | 深圳数字动能信息技术有限公司 | 海量金融数据传输方法及系统 |
| CN105989048A (zh) * | 2015-02-05 | 2016-10-05 | 浙江大华技术股份有限公司 | 一种数据记录处理方法、设备及系统 |
| CN106534242A (zh) * | 2015-09-14 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 一种分布式系统中请求的处理方法以及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8874697B2 (en) * | 2011-11-30 | 2014-10-28 | Red Hat, Inc. | Content download based on hashes |
-
2017
- 2017-04-20 CN CN201710263537.0A patent/CN108737473B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101420603A (zh) * | 2008-09-05 | 2009-04-29 | 中兴通讯股份有限公司 | 一种分片存储实现媒体分发、定位的方法及其流媒体系统 |
| CN101770504A (zh) * | 2009-12-29 | 2010-07-07 | 成都市华为赛门铁克科技有限公司 | 数据存储、读取方法及设备 |
| CN102722506A (zh) * | 2009-12-29 | 2012-10-10 | 华为数字技术（成都）有限公司 | 数据存储方法及设备 |
| CN104657387A (zh) * | 2013-11-22 | 2015-05-27 | 华为技术有限公司 | 一种数据查询方法及装置 |
| CN105468651A (zh) * | 2014-09-12 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 一种关系数据库数据查询方法及系统 |
| CN104572860A (zh) * | 2014-12-17 | 2015-04-29 | 北京皮尔布莱尼软件有限公司 | 一种数据处理方法和系统 |
| CN105989048A (zh) * | 2015-02-05 | 2016-10-05 | 浙江大华技术股份有限公司 | 一种数据记录处理方法、设备及系统 |
| CN104683452A (zh) * | 2015-02-09 | 2015-06-03 | 深圳酷派技术有限公司 | 一种数据下载方法、服务器及多系统移动终端 |
| CN105069139A (zh) * | 2015-08-19 | 2015-11-18 | 北京金山安全软件有限公司 | 文件访问方法和文件访问装置以及服务器 |
| CN106534242A (zh) * | 2015-09-14 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 一种分布式系统中请求的处理方法以及装置 |
| CN105808661A (zh) * | 2016-02-29 | 2016-07-27 | 浪潮通信信息系统有限公司 | 一种数据查询的方法及装置 |
| CN105933359A (zh) * | 2016-07-11 | 2016-09-07 | 深圳数字动能信息技术有限公司 | 海量金融数据传输方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108737473A (zh) | 2018-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108737473B (zh) | 一种数据处理方法、装置及系统 | |
| US7844707B2 (en) | Web service multi-key rate limiting method and system | |
| US20180359331A1 (en) | Data Cloud Storage System, Client Terminal, Storage Server and Application Method | |
| CN111459750A (zh) | 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质 | |
| WO2018188423A1 (zh) | Dns服务器及配置加载方法、网络系统、域名解析方法及系统 | |
| CN111861140A (zh) | 一种业务处理方法、装置、存储介质和电子装置 | |
| CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
| CN106411629B (zh) | 一种用于监控cdn节点的状态的方法和设备 | |
| CN111782692B (zh) | 一种频率控制方法及装置 | |
| CN109151025B (zh) | 基于url的负载均衡方法、装置、计算机存储介质及设备 | |
| CN111459986A (zh) | 数据计算系统及方法 | |
| CN112632129A (zh) | 一种码流数据管理方法、装置及存储介质 | |
| CN107306200B (zh) | 网络故障预警方法和用于网络故障预警的网关 | |
| CN108737586B (zh) | 一种域名查询服务的灾备切换方法和装置 | |
| CN105471626A (zh) | 一种分配内存存储数据的方法和系统 | |
| EP3579526B1 (en) | Resource file feedback method and apparatus | |
| CN117459536A (zh) | 资源分发方法、云服务器、装置、电子设备及存储介质 | |
| CN110543509B (zh) | 用户访问数据的监控系统、方法、装置及电子设备 | |
| IL268670A (en) | Automatic detection of server clusters | |
| CN113965538B (zh) | 设备状态消息处理方法、装置及存储介质 | |
| CN115396494A (zh) | 基于流式计算的实时监控方法及系统 | |
| CN112131198B (zh) | 一种日志分析方法、装置及电子设备 | |
| US10715484B1 (en) | Domain management and synchronization system | |
| CN114466069A (zh) | 数据采集系统 | |
| CN107103079B (zh) | 一种动态网站的直播方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 550003 Building No. 12 in the Southern Park of Gui'an High-end Equipment Industrial Park, Guizhou Province Applicant after: Guizhou Baishan cloud Polytron Technologies Inc Address before: 100015 5 floor, block E, 201 IT tower, electronic city, 10 Jiuxianqiao Road, Chaoyang District, Beijing. Applicant before: Guizhou white cloud Technology Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |