CN115794539B - 时空数据api服务的日志增量式监控方法、装置及设备 - Google Patents

Abstract

本发明属于互联网技术领域，公开了一种时空数据API服务的日志增量式监控方法、装置及设备。该方法包括：在前端具有时空数据API服务的访问权限时，根据区划索引信息，确定前端是否具有目标区域的访问权限；在前端具有目标区域的访问权限时，允许前端访问目标区域时空数据API服务并生成访问日志；根据预设消费策略对访问日志进行日志消费，得到落盘访问日志；根据预设数据统计模型监听访问日志，确定增量数据；根据增量数据，更新统计表中的日值数据，得到当前统计数据；在到达封存时间时，封存当前统计数据，得到当日访问统计结果。通过上述方式，实现了时空数据API访问权限的动态校验、日志数据的稳定落盘以及统计的及时更新。

Description

时空数据API服务的日志增量式监控方法、装置及设备

技术领域

本发明涉及互联网技术领域，尤其涉及一种时空数据API服务的日志增量式监控方法、装置及设备。

背景技术

在现今互联网架构设计中，尤其在涉及时空数据的高并发运行场景中，API服务的访问监控在整个系统的稳定性和安全性上，俨然已经成为不可或缺的重要组成部分。如何使不断产生的访问日志平稳落盘，并进行低延迟、高效、准确的统计，尤其是针对时空数据的访问区域监控以及分区、分类、分时统计，是需要关注的重点。

对于部分现有架构采用异步队列形式进行访问日志入库，可以解决一部分写入和落盘问题，但是当流量峰值时，大量数据等待写入数据库磁盘，可能会引发数据库性能降低，继而产生较大的数据延迟，针对海量API访问数据的统计，通常采用传统的定时统计，然而定时统计往往存在统计时延，且在超过千万级别的日调用数据统计上，会造成大量硬件资源的浪费，对数据库性能和配置也有更高的要求，这些都会影响系统稳定性和安全性。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种时空数据API服务的日志增量式监控方法、装置及设备，旨在解决现有技术中传统的同步入库存在写入瓶颈、异步入库存在延迟以及数据统计存在更新延迟，影响系统稳定性和安全性的技术问题。

为实现上述目的，本发明提供了一种时空数据API服务的日志增量式监控方法，所述方法包括以下步骤：

在接收到前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限；

在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限；

在所述前端具有所述目标区域时空数据API服务的访问权限时，允许所述前端访问所述目标区域时空数据API服务，并生成访问日志；

根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，根据所述落盘访问日志进行日志查询，确定目标访问日志，所述预设消费策略包括批量落盘间隔时间与批量落盘数量；

根据预设数据统计模型对所述访问日志进行监听，确定增量数据；

根据所述增量数据，更新统计表中的日值数据，得到当前统计数据；

在所述当前时间达到封存时间时，对所述当前统计数据进行封存，得到当日访问统计结果。

可选地，所述在接收到所述前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限之前，还包括：

发布时空数据API服务，以使前端根据所述时空数据API服务发送服务请求，其中，所述时空数据API服务使用预设坐标系。

可选地，所述在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限，包括：

在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息，确定所述目标区域时空数据API服务的目标地图瓦片；

根据所述目标地图瓦片，确定目标坐标数据；

根据所述目标坐标数据，确定目标经纬数据；

在所述目标经纬数据与区划索引信息满足预设相交条件时，确定所述前端具有所述目标区域时空数据API服务的访问权限。

可选地，所述在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限之前，还包括：

根据预设访问区域权限，确定空间区划数据；

对所述空间区划数据进行索引编码，建立区划索引信息。

可选地，所述根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，包括：

对所述访问日志进行日志消费；

获取当前消费日志，并记录当前消费时间；

将所述当前消费日志存入本地缓存数据库，并确定缓存数量；

根据所述缓存数量、当前消费时间与预设消费策略，将所述本地缓存数据库中的日志存入磁盘数据库，得到落盘访问日志。

可选地，所述根据所述缓存数量、当前消费时间与预设消费策略，将所述本地缓存数据库中的日志存入磁盘数据库，得到落盘访问日志，包括：

在所述当前消费时间满足批量落盘间隔时间或所述缓存数量大于等于批量落盘数量阈值时，根据预设消费者实例，确定各日志的落盘时间；

根据所述落盘时间，将所述本地缓存数据库中的日志批量存入磁盘数据库，得到落盘访问日志，并初始化所述本地缓存数据库，返回执行对所述访问日志进行日志消费的步骤。

可选地，所述在所述当前消费时间满足批量落盘间隔时间或所述缓存数量大于等于批量落盘数量阈值时，根据预设消费者实例，确定各日志的落盘时间之前，还包括：

在所述当前消费时间不满足批量落盘间隔时间且所述缓存数量小于批量落盘数量阈值时，返回执行对所述访问日志进行日志消费的步骤。

可选地，所述根据预设数据统计模型对所述访问日志进行监听，确定增量数据，包括：

根据预设数据统计模型，确定消费者；

根据所述消费者对所述访问日志进行监听，得到监听数据；

根据所述监听数据，确定增量数据。

此外，为实现上述目的，本发明还提出一种时空数据API服务的日志增量式监控装置，所述时空数据API服务的日志增量式监控装置包括：

校验模块，用于在接收到前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限；

所述校验模块，还用于在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限；

所述校验模块，还用于在所述前端具有所述目标区域时空数据API服务的访问权限时，允许所述前端访问所述目标区域时空数据API服务，并生成访问日志；

落盘模块，用于根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，根据所述落盘访问日志进行日志查询，确定目标访问日志，所述预设消费策略包括批量落盘间隔时间与批量落盘数量；

统计模块，用于根据预设数据统计模型对所述访问日志进行监听，确定增量数据；

所述统计模块，还用于根据所述增量数据，更新统计表中的日值数据，得到当前统计数据；

所述统计模块，还用于在所述当前时间达到封存时间时，对所述当前统计数据进行封存，得到当日访问统计结果。

此外，为实现上述目的，本发明还提出一种时空数据API服务的日志增量式监控设备，所述时空数据API服务的日志增量式监控设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时空数据API服务的日志增量式监控程序，所述时空数据API服务的日志增量式监控程序配置为实现如上文所述的时空数据API服务的日志增量式监控方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有时空数据API服务的日志增量式监控程序，所述时空数据API服务的日志增量式监控程序被处理器执行时实现如上文所述的时空数据API服务的日志增量式监控方法的步骤。

在本发明中，在接收到前端发送的目标区域时空数据API服务请求时，先确定前端是否具有时空数据API服务的访问权限，在所述前端具有时空数据API服务的访问权限时，接着根据前端的目标区域信息与区划索引信息，确定前端是否具有目标区域时空数据API服务的访问权限，在前端具有目标区域时空数据API服务的访问权限时，允许前端访问目标区域时空数据API服务，并生成访问日志，根据预设消费策略对访问日志进行日志消费，得到落盘访问日志，根据预设数据统计模型对访问日志进行监听，确定增量数据，并更新统计表中的日值数据，得到当前统计数据，在当前时间达到封存时间时，封存当前统计数据，得到当日访问统计结果。本发明立足于时空数据的区域属性权限，经过大量的实际生产数据实践，形成了一套完善的时空数据API服务访问日志异步、批量入库方式，并通过异步、增量的方式对API服务访问日志进行多个维度的统计，克服了传统的同步入库存在的写入瓶颈、异步入库存在的延迟以及数据统计存在的更新延迟，对访问日志进行监控，实现了日志数据的稳定落盘，有效缓解数据库的压力，保障写入效率，提高写入性能，并且实现了时空数据API访问日志统计的及时更新，避免资源浪费，提高了统计分析效率，对时空数据API服务的安全性、高可靠性、可观测性上具有重要的意义，保证了系统的稳定性和安全性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的时空数据API服务的日志增量式监控设备的结构示意图；

图2为本发明时空数据API服务的日志增量式监控方法第一实施例的流程示意图；

图3为本发明时空数据API服务的日志增量式监控方法一实施例的坐标转换流程示意图；

图4为本发明时空数据API服务的日志增量式监控方法一实施例的权限校验示意图；

图5为本发明时空数据API服务的日志增量式监控方法一实施例的空间区划数据R树索引示意图；

图6为本发明时空数据API服务的日志增量式监控方法一实施例的API访问日志消费示意图；

图7为本发明时空数据API服务的日志增量式监控方法一实施例的整体流程示意图；

图8为本发明时空数据API服务的日志增量式监控装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的时空数据API服务的日志增量式监控设备结构示意图。

如图1所示，该时空数据API服务的日志增量式监控设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-VolatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对时空数据API服务的日志增量式监控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及时空数据API服务的日志增量式监控程序。

在图1所示的时空数据API服务的日志增量式监控设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明时空数据API服务的日志增量式监控设备中的处理器1001、存储器1005可以设置在时空数据API服务的日志增量式监控设备中，所述时空数据API服务的日志增量式监控设备通过处理器1001调用存储器1005中存储的时空数据API服务的日志增量式监控程序，并执行本发明实施例提供的时空数据API服务的日志增量式监控方法。

本发明实施例提供了一种时空数据API服务的日志增量式监控方法，参照图2，图2为本发明一种时空数据API服务的日志增量式监控方法第一实施例的流程示意图。

本实施例中，所述时空数据API服务的日志增量式监控方法包括以下步骤：

步骤S10：在接收到前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限。

需要说明的是，本实施例的执行主体为计算机，可为任一能够执行时空数据API服务的日志增量式监控程序的计算机，本实施例对此不做限制，通过计算机中设有的时空数据API服务的日志增量式监控程序，对时空数据API服务的访问情况进行监控，实现日志落盘并统计每日访问情况。

可理解的是，所述目标区域时空数据API服务为前端想要访问的目标区域内的时空数据API服务，所述目标区域时空数据API服务请求为访问目标区域内时空数据API服务的请求，所述前端可为用户使用的电脑端页面，也可为移动端页面，本实施例对此不做限制。

进一步地，在所述步骤S10之前包括：发布时空数据API服务，以使所述前端根据所述时空数据API服务发送服务请求，其中，所述时空数据API服务使用预设坐标系。

应理解的是，所述时空数据API服务使用预设坐标系，所述预设坐标系为Web-Mercator坐标系，遵循WMTS标准。

步骤S20：在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限。

进一步地，所述步骤S20包括：在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息，确定所述目标区域时空数据API服务的目标地图瓦片，根据所述目标地图瓦片，确定目标坐标数据，根据所述目标坐标数据，确定目标经纬数据，在所述目标经纬数据与区划索引信息满足预设相交条件时，确定所述前端具有所述目标区域时空数据API服务的访问权限。

需要说明的是，所述前端的目标区域信息为前端请求访问的时空数据API服务所属的区域，所述目标地图瓦片为请求访问的时空数据API服务所属区域对应的地图瓦片，所述目标坐标数据为当前地图瓦片范围的外接矩形的网格坐标值(tileX，tileY)，所述目标经纬数据为网格坐标值对应的经纬度坐标值(lng，lat)，如图3所示的坐标转换流程示意图，可根据WGS 1984(World Geodetic System 1984)坐标系统进行换算，将网格坐标转换为经纬度坐标。所述区划索引信息为前端用户权限内的空间区划数据建立的索引，所述预设相交条件为在实际范围内相交。

在具体实现中，针对时空数据的API服务访问，需要对数据所属区域进行访问权限控制和监控，在网关层添加全局拦截器，首先，发布时空数据API服务，确认前端是否具有时空数据API服务的访问权限，在前端具有时空数据API服务访问权限时，提取前端当前请求的时空数据API服务所属区域的地图瓦片坐标(tileX，tileY)，并进行WGS 1984经纬度坐标转换，获得对应的经纬度坐标(lng，lat)，然后，对提前构建好的区划索引信息与请求访问的经纬度坐标进行相交判断，确定前端是否具有该区域时空数据API服务的访问权限，如图4所示的权限校验示意图，若实际范围相交，则网关准予请求通过，实现不同前端用户对时空数据API访问权限的动态校验。

可理解的是，在动态校验之前，需要提前构建区划索引信息，所述步骤S20之前还包括：根据预设访问区域权限，确定空间区划数据，对所述空间区划数据进行索引编码，建立区划索引信息。所述预设访问区域权限为前端用户有权访问的区域，所述空间区划数据为用户权限内的区域进行划分后得到的数据。

在具体实现中，对前端用户权限内的空间区划数据建立R树索引，并使用区划唯一标志对索引进行编码，如图5所示，得到区划索引信息。

步骤S30：在所述前端具有所述目标区域时空数据API服务的访问权限时，允许所述前端访问所述目标区域时空数据API服务，并生成访问日志。

在具体实现中，网关准予服务请求通过后，前端用户可对目标区域时空数据API服务进行访问，在此过程中，会生成相应的访问日志。

步骤S40：根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，根据所述落盘访问日志进行日志查询，确定目标访问日志，所述预设消费策略包括批量落盘间隔时间与批量落盘数量。

需要说明的是，所述预设消费策略为日志落盘条件，包括批量落盘间隔时间与批量落盘数量，所述批量落盘间隔时间为预先设定的每次批量落盘之间间隔的时间，本实施例设置为1秒钟，也可为其他时间，本实施例对此不做限制，可根据实际情况灵活调整，所述批量落盘数量为预先设定的每次批量落盘日志的数量，本实施例设置为1000条，也可为其他数量，本实施例对此不做限制，可根据实际情况灵活调整。所述落盘访问日志为落盘后的访问日志，所述目标访问日志为想要查询的访问日志。

所述步骤S40包括：对所述访问日志进行日志消费，获取当前消费日志，并记录当前消费时间，将所述当前消费日志存入本地缓存数据库，并确定缓存数量，根据所述缓存数量、当前消费时间与预设消费策略，将所述本地缓存数据库中的日志存入磁盘数据库，得到落盘访问日志。

可理解的是，所述当前消费日志为正在进行日志消费的访问日志，所述当前消费时间为当前系统时间，在当前系统时间与记录的上一次落盘的系统时间之间的间隔超过1s时，就会进行落盘，所述本地缓存数据库为本地内存，所述缓存数量为内存中已经缓存的日志数量，在缓存的日志数量达到1000条时，就会进行落盘，所述磁盘数据库为用于日志存档的磁盘。

进一步地，在所述当前消费时间满足批量落盘间隔时间或所述缓存数量大于等于批量落盘数量阈值时，根据预设消费者实例，确定各日志的落盘时间，根据所述落盘时间，将所述本地缓存数据库中的日志批量存入磁盘数据库，得到落盘访问日志，并初始化所述本地缓存数据库，返回执行对所述访问日志进行日志消费的步骤。

应理解的是，所述预设消费者实例为预先设置的各java服务，所述落盘时间为日志批量落盘的时间点。如图6所示的API访问日志消费示意图，通过Kafka集群进行日志消费，Kafka集群中的消费者实例将已经消费的访问日志统一在内存中进行缓存，当日志缓存数量达到1000条或者与上一次落盘时间的间隔达到1秒时间窗时，对日志进行批量落盘，两个条件只要满足其一，就会进行批量落盘，并清除缓存中已落盘的日志，在此过程中，各消费者实例的随机时间窗起点不同。

在具体实现中，针对时空数据API服务访问日志的监控，本实施例提出基于异步和秒内数据批量落盘架构。首先，网关层将授权过的API访问日志发送到Kafka集群，从而实现日志采集和业务调用的解耦，提高API接口的效率。其次，针对日志消费进行批量化处理，根据系统对时延的要求，这里设置为1秒，Kafka消费者接收到的API服务访问日志会优先存储到本地内存，同时根据业务日志单条记录大小，配置1000条数据一次批量落盘，即日志缓存数量达到1000条或者与上一次落盘时间的间隔达到1秒时间窗时，对日志进行批量落盘。然后，通过部署多个消费者实例，随机采用不同的时间窗起点，在日志批量落盘的过程中，根据分散批量落盘时间点，达到日志平稳落盘，整体磁盘写入性能以及IO(Input/Output，输入/输出)占用平滑，并能够根据访问量的提升动态扩充消费者实例。通过异步、批量落盘可以有效缓解数据库的压力，并且提高写入性能。

需要说明的是，在所述当前消费时间不满足批量落盘间隔时间且所述缓存数量小于批量落盘数量阈值时，返回执行对所述访问日志进行日志消费的步骤，即在两个条件都不满足时，继续进行日志消费。

可理解的是，通过日志消费，将访问日志存入磁盘数据库，对API访问信息进行存档，以便进行相关的日志查询。

步骤S50：根据预设数据统计模型对所述访问日志进行监听，确定增量数据。

进一步地，所述步骤S50包括：根据预设数据统计模型，确定消费者，根据所述消费者对所述访问日志进行监听，得到监听数据，根据所述监听数据，确定增量数据。

可理解的是，所述预设数据统计模型为用于统计数据的模型，例如：访问区域统计模型、访问者IP区域统计模型、API性能统计模型等，本实施例对此不做限制，可根据实际情况灵活选择。所述消费者为java服务，可用于日志数据监听，不同的数据统计模型对应有不同的监听消费者。所述监听数据为监听获得的访问日志，例如：请求服务的地址、服务、时空数据类型、IP源、数据所属的行政区等多重维度，还可以有其他维度，本实施例对此不做限制，所述增量数据为需要增加的数值。

在具体实现中，网关层将授权过的API访问日志发送到Kafka集群，针对提前设计好的多个数据统计模型，分别使用Topic(主题)分区中不同的消费者分组监听Kafka集群中的时空数据API访问日志，从而根据监听数据计算数据统计模型的增量数据。

步骤S60：根据所述增量数据，更新统计表中的日值数据，得到当前统计数据。

应理解的是，所述当前统计数据为各统计表中当前的日值数据，会根据增量数据不断进行更新。

在具体实现中，根据请求服务的地址、服务、时空数据类型、IP源、数据所属的行政区等多重维度，分别对统计表中的日值数据进行逐次增1，实现异步增量。

步骤S70：在所述当前时间达到封存时间时，对所述当前统计数据进行封存，得到当日访问统计结果。

可理解的是，所述当前时间为当前的系统时间，所述封存时间为截止时间，本实施例设置封存时间为凌晨0点，可以封存当日数据，所述当日访问统计结果为当天API服务的访问统计数据。

在具体实现中，时间到达凌晨0点时，将统计数据自动封存，不可改写，可通过分表或加状态标识的方式对要封存的数据进行处理，得到当天的统计结果，当天产生的访问日志，只增量更新当天统计结果。

如图7所示的整体流程示意图，时空数据API服务发布后，前端发送API服务请求，提取API服务对应的瓦片坐标，根据设置的用户区域权限创建R树索引信息，判断索引信息与瓦片坐标是否存在实际范围内的相交，若不相交，则拒绝API服务请求，若相交，则API服务请求通过，允许前端访问时空数据API服务，将访问日志发送到Kafka集群中，对访问日志进行日志消费，消费者会将已消费的日志缓存至本地，当缓存数量达到1000条或者与上一次落盘时间的间隔达到1秒时间窗时，对日志进行批量落盘，分别使用不同的消费者分组监听访问日志，根据监听得到的数据对统计表中的数据进行增量，时间到达封存时间时，将统计数据自动进行封存，得到当日的统计结果。

在本实施例中，在接收到前端发送的目标区域时空数据API服务请求时，先确定前端是否具有时空数据API服务的访问权限，在所述前端具有时空数据API服务的访问权限时，接着根据前端的目标区域信息与区划索引信息，确定前端是否具有目标区域时空数据API服务的访问权限，在前端具有目标区域时空数据API服务的访问权限时，允许前端访问目标区域时空数据API服务，并生成访问日志，根据预设消费策略对访问日志进行日志消费，得到落盘访问日志，根据预设数据统计模型对访问日志进行监听，确定增量数据，并更新统计表中的日值数据，得到当前统计数据，在当前时间达到封存时间时，封存当前统计数据，得到当日访问统计结果。本实施例获取时空数据API的归属区域，同时结合不同用户的不同区域授权实现时空数据API访问权限的动态校验，网关层将API服务访问日志发送到Kafka集群，Kafka集群中的消费者实例接收到API服务访问日志后，在缓存数量达到1000条或者与上一次落盘时间的间隔达到1秒时，对日志进行批量落盘，能够有效缓解数据库的压力，实现日志数据的稳定落盘，保障写入效率，提高写入性能，从而提高系统的稳定性，此外，经过日志采集，将访问日志存入磁盘数据库，对API访问信息进行存档，以便进行日志查询，采用异步增量的方式，实现了时空数据API访问日志统计的及时更新，避免资源浪费，提高了统计分析效率，保证了系统的稳定性和安全性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有时空数据API服务的日志增量式监控程序，所述时空数据API服务的日志增量式监控程序被处理器执行时实现如上文所述的时空数据API服务的日志增量式监控方法的步骤。

参照图8，图8为本发明时空数据API服务的日志增量式监控装置第一实施例的结构框图。

如图8所示，本发明实施例提出的时空数据API服务的日志增量式监控装置包括：

校验模块10，用于在接收到前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限。

所述校验模块10，还用于在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限。

所述校验模块10，还用于在所述前端具有所述目标区域时空数据API服务的访问权限时，允许所述前端访问所述目标区域时空数据API服务，并生成访问日志。

落盘模块20，用于根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，根据所述落盘访问日志进行日志查询，确定目标访问日志，所述预设消费策略包括批量落盘间隔时间与批量落盘数量。

统计模块30，用于根据预设数据统计模型对所述访问日志进行监听，确定增量数据。

所述统计模块30，还用于根据所述增量数据，更新统计表中的日值数据，得到当前统计数据。

所述统计模块30，还用于在所述当前时间达到封存时间时，对所述当前统计数据进行封存，得到当日访问统计结果。

在本实施例中，在接收到前端发送的目标区域时空数据API服务请求时，先确定前端是否具有时空数据API服务的访问权限，在所述前端具有时空数据API服务的访问权限时，接着根据前端的目标区域信息与区划索引信息，确定前端是否具有目标区域时空数据API服务的访问权限，在前端具有目标区域时空数据API服务的访问权限时，允许前端访问目标区域时空数据API服务，并生成访问日志，根据预设消费策略对访问日志进行日志消费，得到落盘访问日志，根据预设数据统计模型对访问日志进行监听，确定增量数据，并更新统计表中的日值数据，得到当前统计数据，在当前时间达到封存时间时，封存当前统计数据，得到当日访问统计结果。本实施例获取时空数据API的归属区域，同时结合不同用户的不同区域授权实现时空数据API访问权限的动态校验，网关层将API服务访问日志发送到Kafka集群，Kafka集群中的消费者实例接收到API服务访问日志后，在缓存数量达到1000条或者与上一次落盘时间的间隔达到1秒时，对日志进行批量落盘，能够有效缓解数据库的压力，实现日志数据的稳定落盘，保障写入效率，提高写入性能，从而提高系统的稳定性，此外，经过日志采集，将访问日志存入磁盘数据库，对API访问信息进行存档，以便进行日志查询，采用异步增量的方式，实现了时空数据API访问日志统计的及时更新，避免资源浪费，提高了统计分析效率，保证了系统的稳定性和安全性。

在一实施例中，所述校验模块10，还用于发布时空数据API服务，以使所述前端根据所述时空数据API服务发送服务请求，其中，所述时空数据API服务使用预设坐标系。

在一实施例中，所述校验模块10，还用于在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息，确定所述目标区域时空数据API服务的目标地图瓦片；

根据所述目标地图瓦片，确定目标坐标数据；

根据所述目标坐标数据，确定目标经纬数据；

在所述目标经纬数据与区划索引信息满足预设相交条件时，确定所述前端具有所述目标区域时空数据API服务的访问权限。

在一实施例中，所述校验模块10，还用于根据预设访问区域权限，确定空间区划数据；

对所述空间区划数据进行索引编码，建立区划索引信息。

在一实施例中，所述落盘模块20，还用于对所述访问日志进行日志消费；

获取当前消费日志，并记录当前消费时间；

将所述当前消费日志存入本地缓存数据库，并确定缓存数量；

根据所述缓存数量、当前消费时间与预设消费策略，将所述本地缓存数据库中的日志存入磁盘数据库，得到落盘访问日志。

在一实施例中，所述落盘模块20，还用于在所述当前消费时间满足批量落盘间隔时间或所述缓存数量大于等于批量落盘数量阈值时，根据预设消费者实例，确定各日志的落盘时间；

根据所述落盘时间，将所述本地缓存数据库中的日志批量存入磁盘数据库，得到落盘访问日志，并初始化所述本地缓存数据库，返回执行对所述访问日志进行日志消费的步骤。

在一实施例中，所述落盘模块20，还用于在所述当前消费时间不满足批量落盘间隔时间且所述缓存数量小于批量落盘数量阈值时，返回执行对所述访问日志进行日志消费的步骤。

在一实施例中，所述统计模块30，还用于根据预设数据统计模型，确定消费者；

根据所述消费者对所述访问日志进行监听，得到监听数据；

根据所述监听数据，确定增量数据。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的时空数据API服务的日志增量式监控方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种时空数据API服务的日志增量式监控方法，其特征在于，所述时空数据API服务的日志增量式监控方法包括：

在接收到前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限；

在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限，所述区划索引信息通过对空间区划数据建立索引得到；

在所述前端具有所述目标区域时空数据API服务的访问权限时，允许所述前端访问所述目标区域时空数据API服务，并生成访问日志；

根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，根据所述落盘访问日志进行日志查询，确定目标访问日志，所述预设消费策略包括批量落盘间隔时间与批量落盘数量；

根据预设数据统计模型对所述访问日志进行监听，确定增量数据，所述监听的维度包括请求服务的地址、服务、时空数据类型、IP源以及数据所属的行政区，所述增量数据为异步增量数据；

根据所述增量数据，更新统计表中的日值数据，得到当前统计数据；

在当前时间达到封存时间时，对所述当前统计数据进行封存，得到当日访问统计结果；

所述根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，包括：对所述访问日志进行日志消费；获取当前消费日志，并记录当前消费时间；将所述当前消费日志存入本地缓存数据库，并确定缓存数量；在所述当前消费时间满足批量落盘间隔时间或所述缓存数量大于等于批量落盘数量时，根据预设消费者实例，确定各日志的落盘时间；根据所述落盘时间，将所述本地缓存数据库中的日志批量存入磁盘数据库，得到落盘访问日志，并初始化所述本地缓存数据库，继续对所述访问日志进行日志消费，所述批量落盘间隔时间为1秒。

2.如权利要求1所述的方法，其特征在于，所述在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限，包括：

在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息，确定所述目标区域时空数据API服务的目标地图瓦片；

根据所述目标地图瓦片，确定目标坐标数据；

根据所述目标坐标数据，确定目标经纬数据；

在所述目标经纬数据与区划索引信息满足预设相交条件时，确定所述前端具有所述目标区域时空数据API服务的访问权限。

3.如权利要求1所述的方法，其特征在于，所述在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限之前，还包括：

根据预设访问区域权限，确定空间区划数据；

对所述空间区划数据进行索引编码，建立区划索引信息。

4.如权利要求1所述的方法，其特征在于，所述在所述当前消费时间满足批量落盘间隔时间或所述缓存数量大于等于批量落盘数量阈值时，根据预设消费者实例，确定各日志的落盘时间之前，还包括：

在所述当前消费时间不满足批量落盘间隔时间且所述缓存数量小于批量落盘数量阈值时，返回执行对所述访问日志进行日志消费的步骤。

5.如权利要求1所述的方法，其特征在于，所述根据预设数据统计模型对所述访问日志进行监听，确定增量数据，包括：

根据预设数据统计模型，确定消费者；

根据所述消费者对所述访问日志进行监听，得到监听数据；

根据所述监听数据，确定增量数据。

6.如权利要求1至5中任一项所述的方法，其特征在于，所述在接收到前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限之前，还包括：

发布时空数据API服务，以使所述前端根据所述时空数据API服务发送服务请求，其中，所述时空数据API服务使用预设坐标系。

7.一种时空数据API服务的日志增量式监控装置，其特征在于，所述时空数据API服务的日志增量式监控装置包括：

校验模块，用于在接收到前端发送的目标区域时空数据API服务请求时，确定所述前端是否具有时空数据API服务的访问权限；

所述校验模块，还用于在所述前端具有时空数据API服务的访问权限时，根据所述前端的目标区域信息与区划索引信息，确定所述前端是否具有目标区域时空数据API服务的访问权限，所述区划索引信息通过对空间区划数据建立索引得到；

所述校验模块，还用于在所述前端具有所述目标区域时空数据API服务的访问权限时，允许所述前端访问所述目标区域时空数据API服务，并生成访问日志；

落盘模块，用于根据预设消费策略对所述访问日志进行日志消费，得到落盘访问日志，根据所述落盘访问日志进行日志查询，确定目标访问日志，所述预设消费策略包括批量落盘间隔时间与批量落盘数量；

统计模块，用于根据预设数据统计模型对所述访问日志进行监听，确定增量数据，所述监听的维度包括请求服务的地址、服务、时空数据类型、IP源以及数据所属的行政区，所述增量数据为异步增量数据；

所述统计模块，还用于根据所述增量数据，更新统计表中的日值数据，得到当前统计数据；

所述统计模块，还用于在当前时间达到封存时间时，对所述当前统计数据进行封存，得到当日访问统计结果；

所述落盘模块，还用于对所述访问日志进行日志消费；获取当前消费日志，并记录当前消费时间；将所述当前消费日志存入本地缓存数据库，并确定缓存数量；在所述当前消费时间满足批量落盘间隔时间或所述缓存数量大于等于批量落盘数量时，根据预设消费者实例，确定各日志的落盘时间；根据所述落盘时间，将所述本地缓存数据库中的日志批量存入磁盘数据库，得到落盘访问日志，并初始化所述本地缓存数据库，继续对所述访问日志进行日志消费，所述批量落盘间隔时间为1秒。

8.一种时空数据API服务的日志增量式监控设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时空数据API服务的日志增量式监控程序，所述时空数据API服务的日志增量式监控程序配置为实现如权利要求1至6中任一项所述的时空数据API服务的日志增量式监控方法的步骤。