CN104811349A - 一种访问统计的方法和装置 - Google Patents

Abstract

本发明提供一种访问统计的方法和装置，该方法包括：获取当前URL的访问记录数据，判断统计列表中是否存在该当前URL，如果是，则增加该当前URL的访问数，否则，将该当前URL的访问记录数据写入所述统计列表，所述统计列表，用于临时存储URL的访问记录数据和URL的访问数，然后，根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器，该方法以通过实时访问量统计分析，实现云平台的弹性扩展。

Description

一种访问统计的方法和装置

技术领域

本发明涉及计算机软件应用领域，特别涉及一种访问统计的方法和装置。

背景技术

随着云平台的快速发展，越来越多的应用存放于云平台，用户通过终端设备如智能手机、平板电脑等访问应用的数量和频率越来越多，使得云平台应用的访问量迅速增加，这将一定程度的造成云平台上的应用访问拥堵，如：某一应用部署于云平台上的4台服务器，而该应用最大可接受的同时访问量为5万，那么，当同时访问量为10万时，将使得该应用访问拥堵。而应用弹性扩展是缓解应用访问拥堵的有效方法，其可通过增加或减少云应用的虚拟机个数，使云平台上的应用更加稳定、高效，而实时访问量将直接影响应用弹性扩展。

现有访问统计方法，是通过第三方访问统计分析访问日志文件来进行访问量统计，仍然不能通过实时访问量统计分析，实现云平台的弹性扩展。

发明内容

本发明提供一种访问统计的方法和装置，以通过实时访问量统计分析，实现云平台的弹性扩展。

一种访问统计的方法，包括：

获取当前URL的访问记录数据；

判断统计列表中是否存在该当前URL，如果是，则增加该当前URL的访问数，否则，将该当前URL的访问记录数据写入所述统计列表；所述统计列表，用于临时存储URL的访问记录数据和URL的访问数；

根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器。

优选地，该方法进一步包括：通过flume实时收集日志中的URL访问记录，并将收集的URL访问记录存入MQ消息队列中；

所述获取URL的访问记录数据，包括：从所述MQ消息队列中获取当前URL的访问记录数据。

优选地，该方法进一步包括：在所述统计列表中记录所述当前URL的处理时间；

判断所述当前URL的处理时间是否为所述统计列表中记录的第一个URL的处理时间，如果否，则判断当前URL的处理时间与所述统计列表中记录的第一个URL的处理时间的时间差是否小于预设更新周期时间，如果否，则将所述统计列表中的所有URL访问记录数据和所有URL的访问数推送至数据库，并清空所述统计列表；

所述根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器，包括：当所述统计列表中统计URL访问的时间达到预设更新周期时间时，根据所述统计列表中各个URL的访问数，增加或减少提供所述各个URL对应的服务器。

优选地，该方法进一步包括：所述方法应用于storm中。

一种访问统计装置，包括：

获取单元，用于获取当前URL的访问记录数据；

第一判断单元，用于判断统计列表中是否存在该当前URL，如果是，则增加该当前URL的访问数，否则，将该当前URL的访问记录数据写入所述统计列表；所述统计列表，用于临时存储URL的访问记录数据和URL的访问数；

弹性扩展单元，用于根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器。

优选地，该装置进一步包括：收集单元，其中，

所述收集单元，用于通过flume实时收集日志中的URL访问记录，并将收集的URL访问记录存入MQ消息队列中；

所述获取单元，进一步用于从所述MQ消息队列中获取当前URL的访问记录数据。

优选地，该装置进一步包括：记录单元和第二判断单元，其中，

所述记录单元，用于在所述统计列表中记录所述当前URL的处理时间；

所述第二判断单元，用于判断所述当前URL的处理时间是否为所述统计列表中记录的第一个URL的处理时间，如果否，则判断当前URL的处理时间与所述统计列表中记录的第一个URL的处理时间的时间差是否大于预设更新周期时间，如果是，则将所述统计列表中的所有URL访问记录数据和所有URL的访问数推送至数据库，并清空所述统计列表；

所述弹性扩展单元，进一步用于当所述统计列表中统计URL访问的时间达到预设更新周期时间时，根据所述统计列表中各个URL的访问数，增加或减少提供所述各个URL对应的服务器。

优选地，进一步包括：所述装置应用于storm中。

本发明实施例提供了一种访问统计的方法和装置。其通过获取目标URL的访问记录数据，并发送所述目标URL的访问记录数据至统计列表，判断所述统计列表是否存在目标URL，如果是，则增加所述目标URL的访问数，否则，将所述目标URL的访问记录数据写入所述统计列表，根据所述统计列表中所述目标URL的访问数，增加或减少提供所述目标URL的服务器，以通过实时访问量统计分析，实现云平台的弹性扩展。

另外，本发明实施例通过接收MQ消息队列发送的URL的访问记录数据可以保证URL访问的时间顺序性；通过判断所述URL是否为脏数据，可以保证本发明访问统计方法的有效性；而通过设置周期统计时间，有效地保证了数据的时效性。同时，本发明实施例是以Storm为基础进行访问统计，使得本发明访问统计的方法具有较高的实时性，从而保证了弹性扩展的可靠性。

附图说明

图1是本发明实施例提供的一种访问统计的方法流程图；

图2是本发明另一实施例提供的一种访问统计的方法流程图；

图3是本发明实施例提供的访问统计装置所在架构示意图；

图4是本发明实施例提供的访问统计装置结构示意图；

图5是本发明另一实施例提供的访问统计装置结构示意图；

图6是本发明又一实施例提供的访问统计装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种数据访问的方法，该方法可以包括以下步骤：

步骤101：获取当前URL的访问记录数据；

步骤102：判断统计列表中是否存在该当前URL，如果是，则执行步骤103，否则，执行步骤104；所述统计列表，用于临时存储URL的访问记录数据和URL的访问数；

步骤103：增加该当前URL的访问数；

步骤104：将该当前URL的访问记录数据写入所述统计列表；

步骤105：根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器。

通过本发明实施例提供的上述访问统计的方案，可以实现实时访问量统计分析，而通过该实时统计分析有效的保障了云平台的弹性扩展。

在本发明一个实施例中，在获取当前URL的访问记录数据之前，可通过flume实时收集日志中的URL访问记录，并将收集的URL访问记录存入MQ消息队列中，以保证URL访问记录尽可能完整，同时，使写入统计列表中的URL访问数据具有时间顺序性，步骤101的实现方式可以为：从所述MQ消息队列中获取当前URL的访问记录数据。

在本发明一个实施例中，在增加该当前URL的访问数或将该当前URL的访问记录数据写入所述统计列表过程中，可在所述统计列表中记录所述当前URL的处理时间，以保证URL访问记录的时效性；在步骤102之后，可通过判断所述当前URL的处理时间是否为所述统计列表中记录的第一个URL的处理时间，如果否，则判断当前URL的处理时间与所述统计列表中记录的第一个URL的处理时间的时间差是否小于预设更新周期时间，如果否，则将所述统计列表中的所有URL访问记录数据和所有URL的访问数推送至数据库，并清空所述统计列表，通过这一过程保证了统计列表中的数据均为实时的，同时储存入数据库中的访问记录也可为云平台各个应用对应的服务器的分配提供参考依据。在此基础之上，步骤103的实施过程可以为：当所述统计列表中统计URL访问的时间达到预设更新周期时间时，根据所述统计列表中各个URL的访问数，增加或减少提供所述各个URL对应的服务器。

如图2所示，本发明实施例提供了一种数据访问的方法，该方法可以包括以下步骤：

步骤201：通过flume实时收集日志中的URL访问记录，并将收集的URL访问记录存入MQ消息队列中；

flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，其不仅支持在日志系统中定制各类数据发送方如haproxy代理等，用于收集数据，而且提供对数据进行简单处理，并将各种数据存入接收方，该接收方可根据用户需要进行定制。在本发明实施例中，为了保证URL访问记录的时间顺序性，采用MQ消息队列接收flume收集的日志中的URL访问记录。

步骤202：从MQ消息队列中获取当前URL的访问记录数据；

MQ消息队列可以使URL访问记录按照时间顺序，先进先出，例如：在云平台中，各个应用对应的URL被访问，其按照访问时间先后顺序，依次为URL1、URL2、URL3、URL1、URL1、URL2等等，本发明实施例，通过从MQ消息队列可按照上述访问顺序依次存储这些访问记录，那么当获取URL的访问记录数据时，也将先获取URL1的访问记录、然后依次获取URL2、URL3、URL1、URL1、URL2等等的访问记录。

步骤203：判断统计列表中是否存在该当前URL，如果是，则执行步骤204，否则，执行步骤205；所述统计列表，用于临时存储URL的访问记录数据和URL的访问数；

例如：前面所述本发明实施例将获取到URL1的访问记录、然后依次获取URL2、URL3、URL1、URL1、URL2等等的访问记录，那么，其在获取URL1时，将首先判断统计列表中是否存在URL1的访问记录，在获取URL2时，将首先判断统计列表中是否存在URL2的访问记录等等，以保证统计访问次数的准确性，在本发明实施例中，统计列表可以为程序中的一个变量，临时存储访问记录信息。

另外，值的说明的是，在本发明实施例中，在获取到URL时，本发明装置可自行判断获取到的URL是否为脏数据如装置本身产生的URL访问记录等，可进一步保证访问统计的准确性。

步骤204：增加该当前URL的访问数；

步骤205：将该当前URL的访问记录数据写入统计列表；

在步骤204和步骤中，仍以前面所述的依次获取URL1、URL2、URL3、URL1、URL1、URL2等等的访问记录为例进行说明，例如：当统计列表中已经存在URL1和URL2的记录数据以及访问数，而URL1和URL2的访问数均为1次，依照MQ消息队列中的顺序，将获取URL3的访问记录，而在统计列表中仍无关于URL3的访问记录，则将URL3的访问记录写入到统计列表，此时，统计列表包含有URL1、URL2和URL3的记录数据以及访问数；继续从消息列队中获取到的访问记录为URL1的访问记录，而此时在统计列表中已经存在URL1的记录数据，只需要将URL1的访问次数更新为2次即可，而继续从消息列队中获取仍然为URL1访问记录，则只需要将URL1的访问次数更新为3次。

步骤206：在统计列表中记录当前URL的处理时间；

在将URL的访问记录写入统计列表的过程中，也将其写入时间进行记录。即写入时间可记为×年×月×日×时×分×秒×毫秒。

步骤207：判断当前URL的处理时间是否为统计列表中记录的第一个URL的处理时间，如果是，执行步骤202，否则，则执行步骤208；

步骤208：判断当前URL的处理时间与统计列表中记录的第一个URL的处理时间的时间差是否小于预设更新周期时间，如果是，则执行步骤202，否则执行步骤209；

由于本发明实施例通过设置统计周期时间，如统计周期时间可设为30s、15s甚至更短或更长的时间，以保证访问的统计过程具有实时性。那么，在URL写入统计列表之后，需判断该统计周期是否完成，而统计周期则以顺序写入统计列表中的URL的写入时间差作为标记，例如：统计周期时间设为30s，则当当前URL的写入时间与该周期第一个写入的URL的写入时间的时间差大于或等于30s时，则说明该周期统计完成，需进入下一周期的统计。

在本部分仍以前面所述的依次获取URL1、URL2、URL3、URL1、URL1、URL2等等的访问记录为例进行说明，统计周期时间设为30s，当获取第一个URL1时，其作为统计列表中的第一个URL，当获取第一个URL2时，首先须确认该URL2并非该统计周期中第一个写入统计列表中的URL，然后，计算其与第一个URL的写入时间差，如果时间差大于等于30s，则将该URL2的访问记录写入统计列表，然后进入新一轮的统计，那么，按照顺序，URL3将成为新一轮统计的第一个访问记录；如果时间差小于30s，则继续将URL3访问记录数据写入统计列表。

步骤209：根据统计列表中各个URL的访问数，增加或减少提供各个URL对应的服务器；

例如：对于云服务平台来说，现有4台服务器为用户提供某一应用，而通过上述步骤统计出某一应用的实时访问次数达到10万次，其需要8台服务器支持才能保证该应用满足用户需求，通过该过程可弹性扩展，为该应用配置8台服务器，以满足10万次的访问，从而避免了该应用崩溃等问题产生。

步骤210：将统计列表中的所有URL访问记录数据和所有URL的访问数推送至数据库，并清空所述统计列表。

在前面已提到本发明实施例中的统计列表为临时的统计变量，那么本发明实施例通过将统计列表中的访问记录存储于数据库，以供以后分析和参考。

值的说明的是，本发明实施例可通过云服务平台常用的storm来实现。这是因为，Storm可以使用任意编程语言来做开发，而且通过Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，其之于实时处理，可保证每个消息都会得到处理，而且它处理速度很快，如在一个小集群中，每秒可以处理数以百万计的消息。

如图3、图4所示，本发明实施例提供了一种访问统计装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例访问统计装置所在设备的一种硬件结构图，除了图3所示的CPU、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责转存访问记录的芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的访问统计装置40包括：

获取单元401，用于获取当前URL的访问记录数据；

第一判断单元402，用于判断统计列表中是否存在该当前URL，如果是，则增加该当前URL的访问数，否则，将该当前URL的访问记录数据写入所述统计列表；所述统计列表，用于临时存储URL的访问记录数据和URL的访问数；

弹性扩展单元403，用于根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器。

在本发明又一实施例中，如图5所示，访问统计装置，进一步包括：收集单元501，其中，

收集单元501，用于通过flume实时收集日志中的URL访问记录，并将收集的URL访问记录存入MQ消息队列中；

获取单元401，进一步用于从所述MQ消息队列中获取当前URL的访问记录数据。

在本发明实施例中，如图6所示，访问统计装置，进一步包括：记录单元601，第二判断单元602，其中，

所述记录单元601，用于在所述统计列表中记录所述当前URL的处理时间；

所述第二判断单元602，用于判断所述当前URL的处理时间是否为所述统计列表中记录的第一个URL的处理时间，如果否，则判断当前URL的处理时间与所述统计列表中记录的第一个URL的处理时间的时间差是否大于预设更新周期时间，如果是，则将所述统计列表中的所有URL访问记录数据和所有URL的访问数推送至数据库，并清空所述统计列表；

所述弹性扩展单元403，进一步用于当所述统计列表中统计URL访问的时间达到预设更新周期时间时，根据所述统计列表中各个URL的访问数，增加或减少提供所述各个URL对应的服务器。

在本发明一个实施例中，访问统计装置可应用于storm中。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种访问统计的方法，其特征在于，包括：

获取当前URL的访问记录数据；

判断统计列表中是否存在该当前URL，如果是，则增加该当前URL的访问数，否则，将该当前URL的访问记录数据写入所述统计列表；所述统计列表，用于临时存储URL的访问记录数据和URL的访问数；

根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器。

2.根据权利要求1所述方法，其特征在于，

该方法进一步包括：通过flume实时收集日志中的URL访问记录，并将收集的URL访问记录存入MQ消息队列中；

所述获取URL的访问记录数据，包括：从所述MQ消息队列中获取当前URL的访问记录数据。

3.根据权利要求1所述方法，其特征在于，

该方法进一步包括：在所述统计列表中记录所述当前URL的处理时间；

判断所述当前URL的处理时间是否为所述统计列表中记录的第一个URL的处理时间，如果否，则判断当前URL的处理时间与所述统计列表中记录的第一个URL的处理时间的时间差是否小于预设更新周期时间，如果否，则将所述统计列表中的所有URL访问记录数据和所有URL的访问数推送至数据库，并清空所述统计列表；

所述根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器，包括：当所述统计列表中统计URL访问的时间达到预设更新周期时间时，根据所述统计列表中各个URL的访问数，增加或减少提供所述各个URL对应的服务器。

4.根据权利要求1至3所述的任意一种方法，其特征在于，进一步包括：所述方法应用于storm中。

5.一种访问统计装置，包括：

获取单元，用于获取当前URL的访问记录数据；

第一判断单元，用于判断统计列表中是否存在该当前URL，如果是，则增加该当前URL的访问数，否则，将该当前URL的访问记录数据写入所述统计列表；所述统计列表，用于临时存储URL的访问记录数据和URL的访问数；

弹性扩展单元，用于根据所述统计列表中所述当前URL的访问数，增加或减少提供所述当前URL的服务器。

6.根据权利要求5所述装置，其特征在于，进一步包括：收集单元，其中，

所述收集单元，用于通过flume实时收集日志中的URL访问记录，并将收集的URL访问记录存入MQ消息队列中；

所述获取单元，进一步用于从所述MQ消息队列中获取当前URL的访问记录数据。

7.根据权利要求5所述装置，其特征在于，进一步包括：记录单元和第二判断单元，其中，

所述记录单元，用于在所述统计列表中记录所述当前URL的处理时间；

所述第二判断单元，用于判断所述当前URL的处理时间是否为所述统计列表中记录的第一个URL的处理时间，如果否，则判断当前URL的处理时间与所述统计列表中记录的第一个URL的处理时间的时间差是否大于预设更新周期时间，如果是，则将所述统计列表中的所有URL访问记录数据和所有URL的访问数推送至数据库，并清空所述统计列表；

所述弹性扩展单元，进一步用于当所述统计列表中统计URL访问的时间达到预设更新周期时间时，根据所述统计列表中各个URL的访问数，增加或减少提供所述各个URL对应的服务器。

8.根据权利要求5至7所述任一装置，其特征在于，进一步包括：所述装置应用于storm中。