CN115688147A - 地理信息系统数据保护方法、系统、设备、介质和芯片 - Google Patents

地理信息系统数据保护方法、系统、设备、介质和芯片 Download PDF

Info

Publication number
CN115688147A
CN115688147A CN202211705799.5A CN202211705799A CN115688147A CN 115688147 A CN115688147 A CN 115688147A CN 202211705799 A CN202211705799 A CN 202211705799A CN 115688147 A CN115688147 A CN 115688147A
Authority
CN
China
Prior art keywords
data
time period
user
request
judgment result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211705799.5A
Other languages
English (en)
Other versions
CN115688147B (zh
Inventor
任延鹏
盛尊阔
颜伟
韩斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elane Inc
Original Assignee
Elane Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elane Inc filed Critical Elane Inc
Priority to CN202211705799.5A priority Critical patent/CN115688147B/zh
Publication of CN115688147A publication Critical patent/CN115688147A/zh
Application granted granted Critical
Publication of CN115688147B publication Critical patent/CN115688147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种地理信息系统数据保护方法、系统、设备、介质和芯片,涉及数据安全保护技术领域,方法包括:判断第一时间周期内请求次数、第一数量和第二数量中是否至少有一个超限,若是则强制游客登录账号或强制登录用户通过行为验证码,若否则判断第二时间周期内是否至少有一个超限;若是则强制游客登录账号或强制登录用户通过行为验证码,若否则判断第三时间周期内是否至少有一个超限;若是则提供假数据,若否则正常提供数据;判断第四时间周期内IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限;若是则限制游客的IP地址或限制登录用户的账号,若否则正常提供数据;对用户请求画像进行建模和完善。

Description

地理信息系统数据保护方法、系统、设备、介质和芯片
技术领域
本发明涉及数据安全保护技术领域,具体而言,涉及一种地理信息系统数据保护方法、一种地理信息系统数据保护系统、一种电子设备、一种计算机可读存储介质和一种芯片。
背景技术
GIS(Geographic Information System,地理信息系统)平台是地理学和计算机科学相结合,通过用户输入、查询,分析并呈现地理数据的系统。有的Web(全球广域网)端的GIS系统存在着明显的漏洞,通过抓包的方式就能分析具体的数据接口,还有的都不需要处理就可以直接使用。这种数据接口如果被网络爬虫无节制的抓取数据,不仅给GIS平台服务器造成很大的请求压力,还会影响正常用户的使用体验。
相关技术中,一些信息系统或平台的防爬效果较差。常用的防止网络爬虫的技术,简单可以分为信息验证防爬、文件混淆防爬、访问特征识别防爬等几个方面。爬虫程序的访问速度和目的,通过以上一种或者多种手段的结合,可以发现其与正常用户的区别。发现异常请求行为之后,势必要采取安全保护措施,若数据保护方法或策略不得当,可能会出现内存资源占用过高、服务器性能与平台运行稳定性较差等情况,最终给平台使用者带来不好的体验。因此,亟需提供一种可以有效防爬的地理信息系统数据保护方法或系统。
发明内容
为了解决或改善信息系统或平台防爬效果较差的技术问题,本发明的一个目的在于提供一种地理信息系统数据保护方法。
本发明的另一个目的在于提供一种地理信息系统数据保护系统。
本发明的另一个目的在于提供一种电子设备。
本发明的另一个目的在于提供一种计算机可读存储介质。
本发明的另一个目的在于提供一种芯片。
为实现上述目的,本发明第一方面提供了一种地理信息系统数据保护方法,包括:获取用户身份和请求位置数据,用户身份包括游客和登录用户,对请求位置数据埋点并生成请求日志;根据请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据用户身份和用户请求画像的历史特征数据确定设定阈值,将请求次数、第一数量和第二数量与设定阈值比较;判断在第一时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第一判断结果;若第一判断结果为是,则强制游客登录账号或强制登录用户通过行为验证码;若第一判断结果为否,则判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果,第二时间周期大于第一时间周期;若第二判断结果为是,则强制游客登录账号或强制登录用户通过行为验证码;若第二判断结果为否,则判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果,第三时间周期大于第二时间周期;若第三判断结果为是,则启动假数据提供策略,假数据提供第一时间阈值后,正常提供移动目标的位置数据或区域位置数据;若第三判断结果为否,则正常提供移动目标的位置数据或区域位置数据;确定用户登录账号的IP地址总量和请求会话总量;判断在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限,生成第四判断结果,第四时间周期大于第三时间周期;若第四判断结果为是,则对游客的IP地址进行限制或对登录用户的账号进行限制;若第四判断结果为否,则正常提供移动目标的位置数据和/或区域位置数据;根据请求日志对用户请求画像进行建模和完善。
根据本发明提供的地理信息系统数据保护方法的技术方案,为了保护GIS平台的数据,提供了一种可以有效防爬的地理信息系统数据保护方法及系统。地理信息系统数据保护方法及系统主要针对用户查询单个移动目标的位置数据、缩放地图监控某块区域位置数据的界面操作行为,服务器端对接口请求日志埋点,通过预设几个时间周期内正访问次数的阈值,甄别出哪些访问请求是网络爬虫抓取数据的行为,针对异常请求的行为实施数据安全保护相关措施,最终达到保护GIS数据安全的目的,有利于提高用户的访问响应速度,提升GIS平台的吞吐量。
地理信息系统数据保护方法的具体步骤包括:
第一步,获取用户身份和请求位置数据,身份信息包括游客和登录用户,对请求位置数据埋点并生成请求日志。可选地,根据请求位置数据确定调用第一接口和/或第二接口。用户的请求位置数据为对单个或多个移动目标(比如船舶)的位置进行查询,第一接口能够返回用户所需的移动目标的位置数据;或者用户的请求数据为对某个区域(比如某个港口)范围进行查询,第二接口能够返回用户所需的区域位置数据。另外,埋点分析是网站分析中一种常见的数据采集方法。数据埋点是一种良好的私有化部署数据采集方式;
第二步,根据请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据用户身份和用户请求画像的历史特征数据确定设定阈值,将请求次数、第一数量和第二数量与设定阈值比较。可选地,请求次数为访问接口(第一接口或第二接口)的次数,或者为搜索同一个移动目标的次数。移动目标的第一数量为通过第一接口搜索的移动目标的数量,或者是通过第二接口搜索某块区域时经过移动目标的数量。根据用户身份和用户请求画像的历史特征数据确定不同的设定阈值,以便后续步骤中将请求次数、第一数量以及第二数量去与不同的设定阈值进行比较,判断是否超限;
第三步,判断在第一时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第一判断结果。可选地,第一时间周期为短分钟周期。可选地,第一时间周期为5分钟。请求次数、第一数量和第二数量作为三个参数,在第一时间周期内可能会有其中一个参数超限,或者在第一时间周期内可能会有其中两个参数超限,或者在第一时间周期内可能三个参数全部超限,针对不同情况后续步骤采取不同的措施或手段;
第四步,若第一判断结果为是(在第一时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第一时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;
第五步,若第一判断结果为否(在第一时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果,第二时间周期大于第一时间周期。确定第一时间周期内三个参数均未超限后,需要进一步确定第二时间周期内是否存在参数超限。可选地,第二时间周期为长分钟周期。可选地,长分钟周期为15分钟;
第六步,若第二判断结果为是(在第二时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第二时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;
第七步,若第二判断结果为否(在第二时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果,第三时间周期大于第二时间周期。确定第二时间周期内三个参数均未超限后,需要进一步确定第三时间周期内是否存在参数超限。可选地,第三时间周期为小时周期。可选地,小时周期为1小时;
第八步,若第三判断结果为是(在第三时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则启动假数据提供策略,假数据提供第一时间阈值后,正常提供移动目标的位置数据或区域位置数据。提供假数据是一种比较奇特的反爬手段,新颖之处在于,如果人工不进行干预校验,网络爬虫等机器人无法识别到数据的差异,爬取行为依然还会持续进行。第一接口返回的移动目标的位置数据,经纬度属性按照一定范围做随机数偏移算法处理,位置最后更新时间属性按照一定分钟区间做随机数相减算法处理。第二接口返回的所有移动目标的位置数据,经纬度属性按照不超出区域空间范围的前提下,在一定范围内做随机数偏移算法处理。假数据提供策略,从返回的数据格式,数量级上面都没有发生变化,爬取数据的行为依然持续有效的进行,为构建用户请求画像提供了大量数据支撑;
第九步,若第三判断结果为否(在第三时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据或区域位置数据。确定第三时间周期内三个参数均未超限,表示不存在爬取数据的行为;
第十步,确定用户登录账号的IP地址总量和请求会话总量。统计分析每天的请求日志数据,通过IP地址总量和token(请求会话)总量两个维度进行分析。IP维度主要指用户访问GIS平台(地理信息系统平台)使用的客户端公网出口的IP地址。一个小区、一栋大厦、一个公司可能都是一个IP地址。token维度就是用户使用浏览器客户端进行页面访问的一个会话。一个IP可能由多个token组成。由于公网IP地址不固定,在一个IP段内,频繁发生更换,一个token可有可能被多个IP使用。按天统计一个IP下总共生成了多少个token,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计一个token总共被多少个IP使用,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计的这两组数据,都是一个量级的数据,是发现爬取数据行为的又一个比较重要的途径。将这些统计数据作为请求的特征数据,有利于更客观的说明爬取数据的行为;
第十一步,判断在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限,生成第四判断结果,第四时间周期大于第三时间周期。可选地,第四时间周期为一天;
第十二步,若第四判断结果为是(在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中至少有一个超限),则对游客的IP地址进行限制或对登录用户的账号进行限制。确定第四时间周期内存在参数超限后,表示用户存在爬取数据的行为。对于未登录账号的游客而言优先封其IP地址;对于登录用户而言优先封其账号。 按天进行历史统计数据分析的结果,如果超过了设定阈值,对于游客可能直接采取封IP的安全保护策略;对于登录用户可能采取封账号的安全保护策略。 封IP、封账号的依据是数据量远远超过了正常用户使用请求的数据量,是比较严重的爬取数据行为。同时也需要借鉴历史几天的统计分析数据,防止影响正常用户的使用。一旦被封IP或账号后,都不会自动进行解封,需要通过联系平台进行人工解封;
第十三步,若第四判断结果为否(在第四时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据和/或区域位置数据。确定第四时间周期内不存在参数超限,表示不存在爬取数据的行为。用户请求行为的特征数据,既包括实时统计的分析过程数据,还包括按天统计的数值数据,最后要整合这两块数据,形成一个统计分析的结果数据。用户请求的特征数据生成之后,要进行数据持久化存储,为历史数据分析进行服务。利用大数据挖掘和机器学习历史特征数据, 找到界定爬取行为各维度的比较准确的阈值。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的;
第十四步,根据请求日志对用户请求画像进行建模和完善。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的。用户请求行为的特征数据(历史特征数据)包括正常用户未超过任何阈值的请求行为、单移动目标接口(第一接口)短分钟周期请求次数超限、单移动目标接口长分钟周期请求次数超限、单移动目标接口短分钟周期请求移动目标去重后第一数量超限、单移动目标接口长分钟周期请求移动目标去重后第一数量超限、单移动目标接口小时周期请求移动目标去重后第一数量超限、区域位置接口(第二接口)短分钟周期请求次数超限、区域位置接口长分钟周期请求次数超限、区域位置接口短分钟周期第一数量超限、区域位置接口长分钟周期第一数量超限、区域位置接口小时周期第一数量超限、区域位置接口长分钟周期第二数量超限、区域位置接口小时周期第二数量超限、按天统计使用token的IP地址总量、按天统计第一数量、按天统计第二数量以及按天统计出现超限的次数。
本发明限定的技术方案中,为了保护GIS平台的数据,提供了一种可以有效防爬的地理信息系统数据保护方法。地理信息系统数据保护方法主要针对用户查询单个移动目标的位置数据、缩放地图监控某块区域位置数据的界面操作行为,服务器端对接口请求日志埋点,通过预设几个时间周期内正访问次数的阈值,甄别出哪些访问请求是网络爬虫抓取数据的行为,针对异常请求的行为实施数据安全保护相关措施,最终达到保护GIS数据安全的目的,有利于提高用户的访问响应速度,提升GIS平台的吞吐量。
地理信息系统数据保护方法采用滑动时间窗的算法,分别对第一接口返回的移动目标的位置数据、第二接口返回的区域位置数据进行埋点,按照不同的时间窗(长短周期)统计分析埋点的日志数据。短分钟周期关心请求次数;长分钟周期关心请求次数、移动目标的数量(第一数量)、网格数量(第二数量);小时周期关心请求次数、移动目标的数量、网格数量;天周期(第四时间周期)关心IP地址总量、请求会话总量、第一数量、第二数量。在传统的GIS数据保护策略的基础上,通过对用户请求数据埋点,多个维度数据实时分析,再结合用户请求行为特征历史数据,构建了用户请求行为画像,分析出异常请求数据的行为,有利于释放内存占用资源,提高服务器性能与平台运行的稳定性。
本发明中,在用户请求行为画像分析时,根据用户的身份信息与历史特征数据分别设置不同的阈值,进行控制。 通过长短周期统计分析指标数据,最后整合归类行为相似的指标数据。对于超过阈值的请求行为,认定为网络爬虫爬取数据的行为。对于爬取数据的行为,本发明设计了三个方面的应对策略。第一方面采用强制登录、出现行为验证码这种界面交互的方式进行保护;第二方面采取提供假数据的方式,进行数据层面上的保护。提供假数据是一种比较奇特的反爬手段,新颖之处在于,如果人工不进行干预校验,网络爬虫等机器人无法识别到数据的差异,爬取行为依然还会持续进行。第一接口返回的移动目标的位置数据,经纬度属性按照一定范围做随机数偏移算法处理,位置最后更新时间属性按照一定分钟区间做随机数相减算法处理。第二接口返回的所有移动目标的位置数据,经纬度属性按照不超出区域空间范围的前提下,在一定范围内做随机数偏移算法处理。假数据提供策略,从返回的数据格式,数量级上面都没有发生变化,爬取数据的行为依然持续有效的进行,为构建用户请求画像提供了大量数据支撑;第三方面对IP地址、账号进行限制(比如采取封IP、封账号的手段),包括一定时间内不提供数据,或者永远不提供数据两种形态。
另外,本发明提供的上述技术方案还可以具有如下附加技术特征:
在上述技术方案中,登录用户包括普通权限用户和高级权限用户;若第一判断结果为是,则强制游客登录账号或强制登录用户通过行为验证码,具体为:若第一判断结果为是,则强制游客登录账号或强制普通权限用户通过行为验证码或强制高级权限用户通过行为验证码;若第二判断结果为是,则强制游客登录账号或强制登录用户通过行为验证码,具体为:若第二判断结果为是,则强制游客登录账号或强制普通权限用户通过行为验证码或强制高级权限用户通过行为验证码。
在该技术方案中,若第一判断结果为是(在第一时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制普通权限用户通过行为验证码或强制高级权限用户通过行为验证码。确定第一时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为普通权限用户,则强制通过行为验证码;若用户身份为高级权限用户,则强制通过行为验证码。
进一步地,若第二判断结果为是(在第二时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制普通权限用户通过行为验证码或强制高级权限用户通过行为验证码。确定第二时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为普通权限用户,则强制通过行为验证码;若用户身份为高级权限用户,则强制通过行为验证码。
在上述技术方案中,获取用户身份和请求位置数据,用户身份包括游客和登录用户,对请求位置数据埋点并生成请求日志,具体为:获取用户身份和请求位置数据,用户身份包括游客和登录用户,根据请求位置数据确定调用第一接口和/或第二接口,第一接口用于请求移动目标的位置数据,第二接口用于请求区域位置数据,对请求位置数据埋点并生成请求日志。
在该技术方案中,根据请求位置数据确定调用第一接口(用于请求移动目标的位置数据),访问第一接口的次数为第一请求次数。根据请求位置数据确定调用第二接口(用于请求区域位置数据),访问第二接口的次数为第二请求次数。
在上述技术方案中,第一时间周期为短分钟周期;和/或第二时间周期为长分钟周期;和/或第三时间周期为小时周期。
在该技术方案中,地理信息系统数据保护方法采用滑动时间窗的算法,分别对第一接口返回的移动目标的位置数据、第二接口返回的区域位置数据进行埋点,按照不同的时间窗(长短周期)统计分析埋点的日志数据。短分钟周期关心请求次数;长分钟周期关心请求次数、移动目标的数量(第一数量)、网格数量(第二数量);小时周期关心请求次数、移动目标的数量、网格数量;天周期(第四时间周期)关心IP地址总量、请求会话总量、第一数量、第二数量。在传统的GIS数据保护策略的基础上,通过对用户请求数据埋点,多个维度数据实时分析,再结合用户请求行为特征历史数据,构建了用户请求行为画像,分析出异常请求数据的行为,有利于释放内存占用资源,提高服务器性能与平台运行的稳定性。
在上述技术方案中,第一时间周期处于第二时间周期内,第二时间周期处于第三时间周期内。
在该技术方案中,地理信息系统数据保护方法采用滑动时间窗的算法,分别对第一接口返回的移动目标的位置数据、第二接口返回的区域位置数据进行埋点,按照不同的时间窗(长短周期)统计分析埋点的日志数据。短分钟周期关心请求次数;长分钟周期关心请求次数、移动目标的数量(第一数量)、网格数量(第二数量);小时周期关心请求次数、移动目标的数量、网格数量;天周期(第四时间周期)关心IP地址总量、请求会话总量、第一数量、第二数量。在传统的GIS数据保护策略的基础上,通过对用户请求数据埋点,多个维度数据实时分析,再结合用户请求行为特征历史数据,构建了用户请求行为画像,分析出异常请求数据的行为,有利于释放内存占用资源,提高服务器性能与平台运行的稳定性。
在上述技术方案中,第四时间周期为一天。
在该技术方案中,按天进行历史统计数据分析的结果,如果超过了设定阈值,对于游客可能直接采取封IP的安全保护策略;对于登录用户可能采取封账号的安全保护策略。
本发明第二方面提供了一种地理信息系统数据保护系统,包括:第一信息获取单元,用于获取用户身份和请求位置数据,用户身份包括游客和登录用户,对请求位置数据埋点并生成请求日志;第一信息处理单元,用于根据请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据用户身份和用户请求画像的历史特征数据确定设定阈值,将请求次数、第一数量和第二数量与设定阈值比较;第一判断单元,用于判断在第一时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第一判断结果;若第一判断结果为是,则强制游客登录账号或强制登录用户通过行为验证码;若第一判断结果为否,则判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果,第二时间周期大于第一时间周期;第二判断单元,用于判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果;若第二判断结果为是,则强制游客登录账号或强制登录用户通过行为验证码;若第二判断结果为否,则判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果,第三时间周期大于第二时间周期;第三判断单元,用于判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果;若第三判断结果为是,则启动假数据提供策略,假数据提供第一时间阈值后,正常提供移动目标的位置数据或区域位置数据;若第三判断结果为否,则正常提供移动目标的位置数据或区域位置数据;第二信息处理单元,用于确定用户登录账号的IP地址总量和请求会话总量;第四判断单元,用于判断在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限,生成第四判断结果,第四时间周期大于第三时间周期;若第四判断结果为是,则对游客的IP地址进行限制或对登录用户的账号进行限制;若第四判断结果为否,则正常提供移动目标的位置数据和/或区域位置数据;第三信息处理单元,用于根据请求日志对用户请求画像进行建模和完善。
根据本发明的地理信息系统数据保护系统的技术方案,地理信息系统数据保护系统包括第一信息获取单元、第一信息处理单元、第一判断单元、第二判断单元、第三判断单元、第二信息处理单元、第四判断单元和第三信息处理单元。其中,第一信息获取单元用于获取用户的身份信息和请求数据,身份信息包括游客和登录用户,对请求位置数据埋点并生成请求日志。可选地,根据请求位置数据确定调用第一接口和/或第二接口。用户的请求数据为对单个或多个移动目标(比如船舶)的位置进行查询,第一接口能够返回用户所需的移动目标的位置数据;或者用户的请求数据为对某个区域(比如某个港口)范围进行查询,第二接口能够返回用户所需的区域位置数据。另外,埋点分析是网站分析中一种常见的数据采集方法。数据埋点是一种良好的私有化部署数据采集方式。
进一步地,第一信息处理单元用于根据请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据用户身份和用户请求画像的历史特征数据确定设定阈值,将请求次数、第一数量和第二数量与设定阈值比较。可选地,请求次数为访问接口(第一接口或第二接口)的次数,或者为搜索同一个移动目标的次数。移动目标的第一数量为通过第一接口搜索的移动目标的数量,或者是通过第二接口搜索某块区域时经过移动目标的数量。根据用户身份和用户请求画像的历史特征数据确定不同的设定阈值,以便后续步骤中将请求次数、第一数量以及第二数量去与不同的设定阈值进行比较,判断是否超限。
进一步地,第一判断单元用于判断在第一时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第一判断结果。可选地,第一时间周期为短分钟周期。可选地,第一时间周期为5分钟。请求次数、第一数量和第二数量作为三个参数,在第一时间周期内可能会有其中一个参数超限,或者在第一时间周期内可能会有其中两个参数超限,或者在第一时间周期内可能三个参数全部超限,针对不同情况后续步骤采取不同的措施或手段。若第一判断结果为是(在第一时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第一时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;若第一判断结果为否(在第一时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果,第二时间周期大于第一时间周期。确定第一时间周期内三个参数均未超限后,需要进一步确定第二时间周期内是否存在参数超限。可选地,第二时间周期为长分钟周期。可选地,长分钟周期为15分钟。
进一步地,第二判断单元用于判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果。确定第一时间周期内三个参数均未超限后,需要进一步确定第二时间周期内是否存在参数超限。可选地,第二时间周期为长分钟周期。可选地,长分钟周期为15分钟。若第二判断结果为是(在第二时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第二时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;若第二判断结果为否(在第二时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果,第三时间周期大于第二时间周期。确定第二时间周期内三个参数均未超限后,需要进一步确定第三时间周期内是否存在参数超限。可选地,第三时间周期为小时周期。可选地,小时周期为1小时。
进一步地,第三判断单元用于判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果。确定第二时间周期内三个参数均未超限后,需要进一步确定第三时间周期内是否存在参数超限。可选地,第三时间周期为小时周期。可选地,小时周期为1小时。若第三判断结果为是(在第三时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则启动假数据提供策略,假数据提供第一时间阈值后,正常提供移动目标的位置数据或区域位置数据。提供假数据是一种比较奇特的反爬手段,新颖之处在于,如果人工不进行干预校验,网络爬虫等机器人无法识别到数据的差异,爬取行为依然还会持续进行。第一接口返回的移动目标的位置数据,经纬度属性按照一定范围做随机数偏移算法处理,位置最后更新时间属性按照一定分钟区间做随机数相减算法处理。第二接口返回的所有移动目标的位置数据,经纬度属性按照不超出区域空间范围的前提下,在一定范围内做随机数偏移算法处理。假数据提供策略,从返回的数据格式,数量级上面都没有发生变化,爬取数据的行为依然持续有效的进行,为构建用户请求画像提供了大量数据支撑;若第三判断结果为否(在第三时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据或区域位置数据。确定第三时间周期内三个参数均未超限,表示不存在爬取数据的行为。
进一步地,第二信息处理单元用于确定用户登录账号的IP地址总量和请求会话总量。统计分析每天的请求日志数据,通过IP地址总量和token(请求会话)总量两个维度进行分析。IP维度主要指用户访问GIS平台(地理信息系统平台)使用的客户端公网出口的IP地址。一个小区、一栋大厦、一个公司可能都是一个IP地址。token维度就是用户使用浏览器客户端进行页面访问的一个会话。一个IP可能由多个token组成。由于公网IP地址不固定,在一个IP段内,频繁发生更换,一个token可有可能被多个IP使用。按天统计一个IP下总共生成了多少个token,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计一个token总共被多少个IP使用,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计的这两组数据,都是一个量级的数据,是发现爬取数据行为的又一个比较重要的途径。将这些统计数据作为请求的特征数据,有利于更客观的说明爬取数据的行为。
进一步地,第四判断单元用于判断在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限,生成第四判断结果。可选地,第四时间周期为一天。若第四判断结果为是(在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中至少有一个超限),则对游客的IP地址进行限制或对登录用户的账号进行限制。确定第四时间周期内存在参数超限后,表示用户存在爬取数据的行为。对于未登录账号的游客而言优先封其IP地址;对于登录用户而言优先封其账号。 按天进行历史统计数据分析的结果,如果超过了设定阈值,对于游客可能直接采取封IP的安全保护策略;对于登录用户可能采取封账号的安全保护策略。 封IP、封账号的依据是数据量远远超过了正常用户使用请求的数据量,是比较严重的爬取数据行为。同时也需要借鉴历史几天的统计分析数据,防止影响正常用户的使用。一旦被封IP或账号后,都不会自动进行解封,需要通过联系平台进行人工解封;若第四判断结果为否(在第四时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据和/或区域位置数据,并根据请求日志对用户请求画像进行建模和完善。确定第四时间周期内不存在参数超限,表示不存在爬取数据的行为。用户请求行为的特征数据,既包括实时统计的分析过程数据,还包括按天统计的数值数据,最后要整合这两块数据,形成一个统计分析的结果数据。用户请求的特征数据生成之后,要进行数据持久化存储,为历史数据分析进行服务。利用大数据挖掘和机器学习历史特征数据, 找到界定爬取行为各维度的比较准确的阈值。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的。
进一步地,第三信息处理单元用于根据请求日志对用户请求画像进行建模和完善。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的。
本发明限定的技术方案中,为了保护GIS平台的数据,提供了一种可以有效防爬的地理信息系统数据保护系统。地理信息系统数据保护系统主要针对用户查询单个移动目标的位置数据、缩放地图监控某块区域位置数据的界面操作行为,服务器端对接口请求日志埋点,通过预设几个时间周期内正访问次数的阈值,甄别出哪些访问请求是网络爬虫抓取数据的行为,针对异常请求的行为实施数据安全保护相关措施,最终达到保护GIS数据安全的目的,有利于提高用户的访问响应速度,提升GIS平台的吞吐量。
本发明第三方面提供了一种电子设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现上述任一技术方案中的地理信息系统数据保护方法的步骤。
本发明第四方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述任一技术方案中的地理信息系统数据保护方法的步骤。
本发明第五方面提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述任一技术方案中的地理信息系统数据保护方法的步骤。
本发明的技术方案的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
图1示出了根据本发明的一个实施例的地理信息系统数据保护方法的第一流程图;
图2示出了根据本发明的一个实施例的地理信息系统数据保护方法的第二流程图;
图3示出了根据本发明的一个实施例的地理信息系统数据保护系统的示意图。
其中,图3中附图标记与部件名称之间的对应关系为:
400:地理信息系统数据保护系统;410:第一信息获取单元;421:第一信息处理单元;422:第二信息处理单元;423:第三信息处理单元;431:第一判断单元;432:第二判断单元;433:第三判断单元;434:第四判断单元。
具体实施方式
为了能够更清楚地理解本发明的实施例的上述目的、特征和优点,下面结合附图和具体实施方式对本发明的实施例进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但是,本发明的实施例还可以采用其他不同于在此描述的其他方式来实施,因此,本申请的保护范围并不限于下面公开的具体实施例的限制。
下面参照图1至图3描述根据本发明一些实施例提供的地理信息系统数据保护方法、地理信息系统数据保护系统400、电子设备、计算机可读存储介质和芯片。
在根据本发明的一个实施例中,如图1所示,地理信息系统数据保护方法的具体步骤包括:
S102,获取用户身份和请求位置数据,身份信息包括游客和登录用户,对请求位置数据埋点并生成请求日志。可选地,根据请求位置数据确定调用第一接口和/或第二接口。用户的请求位置数据为对单个或多个移动目标(比如船舶)的位置进行查询,第一接口能够返回用户所需的移动目标的位置数据;或者用户的请求数据为对某个区域(比如某个港口)范围进行查询,第二接口能够返回用户所需的区域位置数据。另外,埋点分析是网站分析中一种常见的数据采集方法。数据埋点是一种良好的私有化部署数据采集方式;
S104,根据请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据用户身份和用户请求画像的历史特征数据确定设定阈值,将请求次数、第一数量和第二数量与设定阈值比较。可选地,请求次数为访问接口(第一接口或第二接口)的次数,或者为搜索同一个移动目标的次数。移动目标的第一数量为通过第一接口搜索的移动目标的数量,或者是通过第二接口搜索某块区域时经过移动目标的数量。根据用户身份和用户请求画像的历史特征数据确定不同的设定阈值,以便后续步骤中将请求次数、第一数量以及第二数量去与不同的设定阈值进行比较,判断是否超限;
S106,判断在第一时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第一判断结果。可选地,第一时间周期为短分钟周期。可选地,第一时间周期为5分钟。请求次数、第一数量和第二数量作为三个参数,在第一时间周期内可能会有其中一个参数超限,或者在第一时间周期内可能会有其中两个参数超限,或者在第一时间周期内可能三个参数全部超限,针对不同情况后续步骤采取不同的措施或手段;
S108,若第一判断结果为是(在第一时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第一时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;
S110,若第一判断结果为否(在第一时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果,第二时间周期大于第一时间周期。确定第一时间周期内三个参数均未超限后,需要进一步确定第二时间周期内是否存在参数超限。可选地,第二时间周期为长分钟周期。可选地,长分钟周期为15分钟;
S112,若第二判断结果为是(在第二时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第二时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;
S114,若第二判断结果为否(在第二时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果,第三时间周期大于第二时间周期。确定第二时间周期内三个参数均未超限后,需要进一步确定第三时间周期内是否存在参数超限。可选地,第三时间周期为小时周期。可选地,小时周期为1小时;
S116,若第三判断结果为是(在第三时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则启动假数据提供策略,假数据提供第一时间阈值后,正常提供移动目标的位置数据或区域位置数据。提供假数据是一种比较奇特的反爬手段,新颖之处在于,如果人工不进行干预校验,网络爬虫等机器人无法识别到数据的差异,爬取行为依然还会持续进行。第一接口返回的移动目标的位置数据,经纬度属性按照一定范围做随机数偏移算法处理,位置最后更新时间属性按照一定分钟区间做随机数相减算法处理。第二接口返回的所有移动目标的位置数据,经纬度属性按照不超出区域空间范围的前提下,在一定范围内做随机数偏移算法处理。假数据提供策略,从返回的数据格式,数量级上面都没有发生变化,爬取数据的行为依然持续有效的进行,为构建用户请求画像提供了大量数据支撑;
S118,若第三判断结果为否(在第三时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据或区域位置数据。确定第三时间周期内三个参数均未超限,表示不存在爬取数据的行为;
S120,确定用户登录账号的IP地址总量和请求会话总量。统计分析每天的请求日志数据,通过IP地址总量和token(请求会话)总量两个维度进行分析。IP维度主要指用户访问GIS平台(地理信息系统平台)使用的客户端公网出口的IP地址。一个小区、一栋大厦、一个公司可能都是一个IP地址。token维度就是用户使用浏览器客户端进行页面访问的一个会话。一个IP可能由多个token组成。由于公网IP地址不固定,在一个IP段内,频繁发生更换,一个token可有可能被多个IP使用。按天统计一个IP下总共生成了多少个token,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计一个token总共被多少个IP使用,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计的这两组数据,都是一个量级的数据,是发现爬取数据行为的又一个比较重要的途径。将这些统计数据作为请求的特征数据,有利于更客观的说明爬取数据的行为;
S122,判断在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限,生成第四判断结果,第四时间周期大于第三时间周期。可选地,第四时间周期为一天;
S124,若第四判断结果为是(在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中至少有一个超限),则对游客的IP地址进行限制或对登录用户的账号进行限制。确定第四时间周期内存在参数超限后,表示用户存在爬取数据的行为。对于未登录账号的游客而言优先封其IP地址;对于登录用户而言优先封其账号。 按天进行历史统计数据分析的结果,如果超过了设定阈值,对于游客可能直接采取封IP的安全保护策略;对于登录用户可能采取封账号的安全保护策略。 封IP、封账号的依据是数据量远远超过了正常用户使用请求的数据量,是比较严重的爬取数据行为。同时也需要借鉴历史几天的统计分析数据,防止影响正常用户的使用。一旦被封IP或账号后,都不会自动进行解封,需要通过联系平台进行人工解封;
S126,若第四判断结果为否(在第四时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据和/或区域位置数据。确定第四时间周期内不存在参数超限,表示不存在爬取数据的行为。用户请求行为的特征数据,既包括实时统计的分析过程数据,还包括按天统计的数值数据,最后要整合这两块数据,形成一个统计分析的结果数据。用户请求的特征数据生成之后,要进行数据持久化存储,为历史数据分析进行服务。利用大数据挖掘和机器学习历史特征数据, 找到界定爬取行为各维度的比较准确的阈值。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的;
S128,根据请求日志对用户请求画像进行建模和完善。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的。用户请求行为的特征数据(历史特征数据)包括正常用户未超过任何阈值的请求行为、单移动目标接口(第一接口)短分钟周期请求次数超限、单移动目标接口长分钟周期请求次数超限、单移动目标接口短分钟周期请求移动目标去重后第一数量超限、单移动目标接口长分钟周期请求移动目标去重后第一数量超限、单移动目标接口小时周期请求移动目标去重后第一数量超限、区域位置接口(第二接口)短分钟周期请求次数超限、区域位置接口长分钟周期请求次数超限、区域位置接口短分钟周期第一数量超限、区域位置接口长分钟周期第一数量超限、区域位置接口小时周期第一数量超限、区域位置接口长分钟周期第二数量超限、区域位置接口小时周期第二数量超限、按天统计使用token的IP地址总量、按天统计第一数量、按天统计第二数量以及按天统计出现超限的次数。
本发明限定的技术方案中,为了保护GIS平台的数据,提供了一种可以有效防爬的地理信息系统数据保护方法。地理信息系统数据保护方法主要针对用户查询单个移动目标的位置数据、缩放地图监控某块区域位置数据的界面操作行为,服务器端对接口请求日志埋点,通过预设几个时间周期内正访问次数的阈值,甄别出哪些访问请求是网络爬虫抓取数据的行为,针对异常请求的行为实施数据安全保护相关措施,最终达到保护GIS数据安全的目的,有利于提高用户的访问响应速度,提升GIS平台的吞吐量。
地理信息系统数据保护方法采用滑动时间窗的算法,分别对第一接口返回的移动目标的位置数据、第二接口返回的区域位置数据进行埋点,按照不同的时间窗(长短周期)统计分析埋点的日志数据。短分钟周期关心请求次数;长分钟周期关心请求次数、移动目标的数量(第一数量)、网格数量(第二数量);小时周期关心请求次数、移动目标的数量、网格数量;天周期(第四时间周期)关心IP地址总量、请求会话总量、第一数量、第二数量。在传统的GIS数据保护策略的基础上,通过对用户请求数据埋点,多个维度数据实时分析,再结合用户请求行为特征历史数据,构建了用户请求行为画像,分析出异常请求数据的行为,有利于释放内存占用资源,提高服务器性能与平台运行的稳定性。
本发明中,在用户请求行为画像分析时,根据用户的身份信息与历史特征数据分别设置不同的阈值,进行控制。 通过长短周期统计分析指标数据,最后整合归类行为相似的指标数据。对于超过阈值的请求行为,认定为网络爬虫爬取数据的行为。对于爬取数据的行为,本发明设计了三个方面的应对策略。第一方面采用强制登录、出现行为验证码这种界面交互的方式进行保护;第二方面采取提供假数据的方式,进行数据层面上的保护。提供假数据是一种比较奇特的反爬手段,新颖之处在于,如果人工不进行干预校验,网络爬虫等机器人无法识别到数据的差异,爬取行为依然还会持续进行。第一接口返回的移动目标的位置数据,经纬度属性按照一定范围做随机数偏移算法处理,位置最后更新时间属性按照一定分钟区间做随机数相减算法处理。第二接口返回的所有移动目标的位置数据,经纬度属性按照不超出区域空间范围的前提下,在一定范围内做随机数偏移算法处理。假数据提供策略,从返回的数据格式,数量级上面都没有发生变化,爬取数据的行为依然持续有效的进行,为构建用户请求画像提供了大量数据支撑;第三方面对IP地址、账号进行限制(比如采取封IP、封账号的手段),包括一定时间内不提供数据,或者永远不提供数据两种形态。
调用第一接口时,要异步的针对请求日志做埋点。对埋点数据进行统计分析后完善用户请求画像。通过短分钟周期、长分钟周期以及小时周期三个时间窗口进行滑动,对数据进行统计分析。每一个时间周期内,又将用户身份定义为游客、普通权限用户和高级权限用户。根据用户身份和用户请求画像的历史特征数据,设置不同的阈值。长分钟周期统计是短分钟周期统计的有效补充,适用于在短分钟周期内没有超限,而持续请求,长分钟周期内超限的情况。
次数超限是指,在不同的时间周期内,统计每个token(在计算机身份认证中是令牌的意思)请求第一接口(单移动目标位置接口)时,总共请求或访问了多少次。请求次数超过阈值,游客需要强制登录操作,登录用户需要人工通过行为验证码,只有界面解除限制之后,才能继续使用系统。
数量超限是指,在长分钟周期和小时周期内,对移动目标的数量进行去重处理,统计总共请求了多少个移动目标。数量超过设定阈值,就需要启动假数据提供策略,假数据提供一定时间(第二时间阈值)后,才能重新提供真实数据。
用户缩放地图针对区域内移动目标的监控,是移动目标位置监控平台最常用的功能之一。请求第二接口(区域位置数据接口)的同时,对请求日志进行埋点分析。采用几个不同时间周期,运用滑动时间窗的算法,分析出周期内是都超过设定阈值,再根据用户身份的不同,针对爬取数据行为做相应的我数据安全保护措施。以请求次数、移动目标的数量(第一数量)以及网格数量(第二数量)三个维度对区域位置数据进行统计分析。请求次数指的是,在地图区域范围内,对区域位置数据的请求次数。统计分析不同周期内,每个token请求第二接口的次数。随着滑动时间窗选择的周期不一样,设定阈值也有区别。请求次数超限后,游客要求强制登录账号,登录用户需要人工通过行为验证码解除限制。移动目标的数量指的是,区域位置内经过移动目标的数量(第一数量,去重后)。网格数量为第二数量。第一数量和第二数量超限,都会启动一定时间(第二时间阈值)的假数据提供策略。
在根据本发明的一个实施例中,如图2所示,地理信息系统数据保护方法的具体步骤包括:
S202,获取用户身份和请求位置数据,身份信息包括游客和登录用户,登录用户包括普通权限用户和高级权限用户,对请求位置数据埋点并生成请求日志。可选地,根据请求位置数据确定调用第一接口和/或第二接口。用户的请求位置数据为对单个或多个移动目标(比如船舶)的位置进行查询,第一接口能够返回用户所需的移动目标的位置数据;或者用户的请求数据为对某个区域(比如某个港口)范围进行查询,第二接口能够返回用户所需的区域位置数据。另外,埋点分析是网站分析中一种常见的数据采集方法。数据埋点是一种良好的私有化部署数据采集方式;
S204,根据请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据用户身份和用户请求画像的历史特征数据确定设定阈值,将请求次数、第一数量和第二数量与设定阈值比较。可选地,请求次数为访问接口(第一接口或第二接口)的次数,或者为搜索同一个移动目标的次数。移动目标的第一数量为通过第一接口搜索的移动目标的数量,或者是通过第二接口搜索某块区域时经过移动目标的数量。根据用户身份和用户请求画像的历史特征数据确定不同的设定阈值,以便后续步骤中将请求次数、第一数量以及第二数量去与不同的设定阈值进行比较,判断是否超限;
S206,判断在第一时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第一判断结果。可选地,第一时间周期为短分钟周期。可选地,第一时间周期为5分钟。请求次数、第一数量和第二数量作为三个参数,在第一时间周期内可能会有其中一个参数超限,或者在第一时间周期内可能会有其中两个参数超限,或者在第一时间周期内可能三个参数全部超限,针对不同情况后续步骤采取不同的措施或手段;
S208,若第一判断结果为是(在第一时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制普通权限用户通过行为验证码或强制高级权限用户通过行为验证码。确定第一时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为普通权限用户,则强制通过行为验证码;若用户身份为高级权限用户,则强制通过行为验证码;
S210,若第一判断结果为否(在第一时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果,第二时间周期大于第一时间周期。确定第一时间周期内三个参数均未超限后,需要进一步确定第二时间周期内是否存在参数超限。可选地,第二时间周期为长分钟周期。可选地,长分钟周期为15分钟;
S212,若第二判断结果为是(在第二时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制普通权限用户通过行为验证码或强制高级权限用户通过行为验证码。确定第二时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为普通权限用户,则强制通过行为验证码;若用户身份为高级权限用户,则强制通过行为验证码;
S214,若第二判断结果为否(在第二时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果,第三时间周期大于第二时间周期。确定第二时间周期内三个参数均未超限后,需要进一步确定第三时间周期内是否存在参数超限。可选地,第三时间周期为小时周期。可选地,小时周期为1小时;
S216,若第三判断结果为是(在第三时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则启动假数据提供策略,假数据提供第一时间阈值后,正常提供移动目标的位置数据或区域位置数据。提供假数据是一种比较奇特的反爬手段,新颖之处在于,如果人工不进行干预校验,网络爬虫等机器人无法识别到数据的差异,爬取行为依然还会持续进行。第一接口返回的移动目标的位置数据,经纬度属性按照一定范围做随机数偏移算法处理,位置最后更新时间属性按照一定分钟区间做随机数相减算法处理。第二接口返回的所有移动目标的位置数据,经纬度属性按照不超出区域空间范围的前提下,在一定范围内做随机数偏移算法处理。假数据提供策略,从返回的数据格式,数量级上面都没有发生变化,爬取数据的行为依然持续有效的进行,为构建用户请求画像提供了大量数据支撑;
S218,若第三判断结果为否(在第三时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据或区域位置数据。确定第三时间周期内三个参数均未超限,表示不存在爬取数据的行为;
S220,确定用户登录账号的IP地址总量和请求会话总量。统计分析每天的请求日志数据,通过IP地址总量和token(请求会话)总量两个维度进行分析。IP维度主要指用户访问GIS平台(地理信息系统平台)使用的客户端公网出口的IP地址。一个小区、一栋大厦、一个公司可能都是一个IP地址。token维度就是用户使用浏览器客户端进行页面访问的一个会话。一个IP可能由多个token组成。由于公网IP地址不固定,在一个IP段内,频繁发生更换,一个token可有可能被多个IP使用。按天统计一个IP下总共生成了多少个token,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计一个token总共被多少个IP使用,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计的这两组数据,都是一个量级的数据,是发现爬取数据行为的又一个比较重要的途径。将这些统计数据作为请求的特征数据,有利于更客观的说明爬取数据的行为;
S222,判断在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限,生成第四判断结果,第四时间周期大于第三时间周期。可选地,第四时间周期为一天;
S224,若第四判断结果为是(在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中至少有一个超限),则对游客的IP地址进行限制或对登录用户的账号进行限制。确定第四时间周期内存在参数超限后,表示用户存在爬取数据的行为。对于未登录账号的游客而言优先封其IP地址;对于登录用户而言优先封其账号。 按天进行历史统计数据分析的结果,如果超过了设定阈值,对于游客可能直接采取封IP的安全保护策略;对于登录用户可能采取封账号的安全保护策略。 封IP、封账号的依据是数据量远远超过了正常用户使用请求的数据量,是比较严重的爬取数据行为。同时也需要借鉴历史几天的统计分析数据,防止影响正常用户的使用。一旦被封IP或账号后,都不会自动进行解封,需要通过联系平台进行人工解封;
S226,若第四判断结果为否(在第四时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据和/或区域位置数据。确定第四时间周期内不存在参数超限,表示不存在爬取数据的行为。用户请求行为的特征数据,既包括实时统计的分析过程数据,还包括按天统计的数值数据,最后要整合这两块数据,形成一个统计分析的结果数据。用户请求的特征数据生成之后,要进行数据持久化存储,为历史数据分析进行服务。利用大数据挖掘和机器学习历史特征数据, 找到界定爬取行为各维度的比较准确的阈值。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的;
S228,根据请求日志对用户请求画像进行建模和完善。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的。用户请求行为的特征数据(历史特征数据)包括正常用户未超过任何阈值的请求行为、单移动目标接口(第一接口)短分钟周期请求次数超限、单移动目标接口长分钟周期请求次数超限、单移动目标接口短分钟周期请求移动目标去重后第一数量超限、单移动目标接口长分钟周期请求移动目标去重后第一数量超限、单移动目标接口小时周期请求移动目标去重后第一数量超限、区域位置接口(第二接口)短分钟周期请求次数超限、区域位置接口长分钟周期请求次数超限、区域位置接口短分钟周期第一数量超限、区域位置接口长分钟周期第一数量超限、区域位置接口小时周期第一数量超限、区域位置接口长分钟周期第二数量超限、区域位置接口小时周期第二数量超限、按天统计使用token的IP地址总量、按天统计第一数量、按天统计第二数量以及按天统计出现超限的次数。
在根据本发明的一个实施例中,获取用户身份和请求位置数据,用户身份包括游客和登录用户,对请求位置数据埋点并生成请求日志,具体为:
获取用户身份和请求位置数据,用户身份包括游客和登录用户,根据请求位置数据确定调用第一接口和/或第二接口,第一接口用于请求移动目标的位置数据,第二接口用于请求区域位置数据,对请求位置数据埋点并生成请求日志。
在根据本发明的一个实施例中,第一时间周期为短分钟周期;和/或第二时间周期为长分钟周期;和/或第三时间周期为小时周期。
在另一个实施例中,第一时间周期处于第二时间周期内,第二时间周期处于第三时间周期内。
在另一个实施例中,第四时间周期为一天。
在根据本发明的一个实施例中,如图3所示,地理信息系统数据保护系统400包括第一信息获取单元410、第一信息处理单元421、第一判断单元431、第二判断单元432、第三判断单元433、第二信息处理单元422、第四判断单元434和第三信息处理单元423。其中,第一信息获取单元410用于获取用户的身份信息和请求数据,身份信息包括游客和登录用户,对请求位置数据埋点并生成请求日志。可选地,根据请求位置数据确定调用第一接口和/或第二接口。用户的请求数据为对单个或多个移动目标(比如船舶)的位置进行查询,第一接口能够返回用户所需的移动目标的位置数据;或者用户的请求数据为对某个区域(比如某个港口)范围进行查询,第二接口能够返回用户所需的区域位置数据。另外,埋点分析是网站分析中一种常见的数据采集方法。数据埋点是一种良好的私有化部署数据采集方式。
进一步地,第一信息处理单元421用于根据请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据用户身份和用户请求画像的历史特征数据确定设定阈值,将请求次数、第一数量和第二数量与设定阈值比较。可选地,请求次数为访问接口(第一接口或第二接口)的次数,或者为搜索同一个移动目标的次数。移动目标的第一数量为通过第一接口搜索的移动目标的数量,或者是通过第二接口搜索某块区域时经过移动目标的数量。根据用户身份和用户请求画像的历史特征数据确定不同的设定阈值,以便后续步骤中将请求次数、第一数量以及第二数量去与不同的设定阈值进行比较,判断是否超限。
进一步地,第一判断单元431用于判断在第一时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第一判断结果。可选地,第一时间周期为短分钟周期。可选地,第一时间周期为5分钟。请求次数、第一数量和第二数量作为三个参数,在第一时间周期内可能会有其中一个参数超限,或者在第一时间周期内可能会有其中两个参数超限,或者在第一时间周期内可能三个参数全部超限,针对不同情况后续步骤采取不同的措施或手段。若第一判断结果为是(在第一时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第一时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;若第一判断结果为否(在第一时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果,第二时间周期大于第一时间周期。确定第一时间周期内三个参数均未超限后,需要进一步确定第二时间周期内是否存在参数超限。可选地,第二时间周期为长分钟周期。可选地,长分钟周期为15分钟。
进一步地,第二判断单元432用于判断在第二时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第二判断结果。确定第一时间周期内三个参数均未超限后,需要进一步确定第二时间周期内是否存在参数超限。可选地,第二时间周期为长分钟周期。可选地,长分钟周期为15分钟。若第二判断结果为是(在第二时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则强制游客登录账号或强制登录用户通过行为验证码。确定第二时间周期内存在参数超限后,需要进一步确定用户身份,若用户身份为游客,则强制游客登录账号;若用户身份为登录用户,则强制登录用户通过行为验证码;若第二判断结果为否(在第二时间周期内,请求次数、第一数量和第二数量均未超限),则判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果,第三时间周期大于第二时间周期。确定第二时间周期内三个参数均未超限后,需要进一步确定第三时间周期内是否存在参数超限。可选地,第三时间周期为小时周期。可选地,小时周期为1小时。
进一步地,第三判断单元433用于判断在第三时间周期内,请求次数、第一数量和第二数量中是否至少有一个超限,生成第三判断结果。确定第二时间周期内三个参数均未超限后,需要进一步确定第三时间周期内是否存在参数超限。可选地,第三时间周期为小时周期。可选地,小时周期为1小时。若第三判断结果为是(在第三时间周期内,请求次数、第一数量和第二数量中至少有一个超限),则启动假数据提供策略,假数据提供第一时间阈值后,正常提供移动目标的位置数据或区域位置数据。提供假数据是一种比较奇特的反爬手段,新颖之处在于,如果人工不进行干预校验,网络爬虫等机器人无法识别到数据的差异,爬取行为依然还会持续进行。第一接口返回的移动目标的位置数据,经纬度属性按照一定范围做随机数偏移算法处理,位置最后更新时间属性按照一定分钟区间做随机数相减算法处理。第二接口返回的所有移动目标的位置数据,经纬度属性按照不超出区域空间范围的前提下,在一定范围内做随机数偏移算法处理。假数据提供策略,从返回的数据格式,数量级上面都没有发生变化,爬取数据的行为依然持续有效的进行,为构建用户请求画像提供了大量数据支撑;若第三判断结果为否(在第三时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据或区域位置数据。确定第三时间周期内三个参数均未超限,表示不存在爬取数据的行为。
进一步地,第二信息处理单元422用于确定用户登录账号的IP地址总量和请求会话总量。统计分析每天的请求日志数据,通过IP地址总量和token(请求会话)总量两个维度进行分析。IP维度主要指用户访问GIS平台(地理信息系统平台)使用的客户端公网出口的IP地址。一个小区、一栋大厦、一个公司可能都是一个IP地址。token维度就是用户使用浏览器客户端进行页面访问的一个会话。一个IP可能由多个token组成。由于公网IP地址不固定,在一个IP段内,频繁发生更换,一个token可有可能被多个IP使用。按天统计一个IP下总共生成了多少个token,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计一个token总共被多少个IP使用,请求了多少个不重复移动目标的有效位置数据的总个数(第一数量),访问了多少个有效区域位置返回的网格数量(第二数量)。按天统计的这两组数据,都是一个量级的数据,是发现爬取数据行为的又一个比较重要的途径。将这些统计数据作为请求的特征数据,有利于更客观的说明爬取数据的行为。
进一步地,第四判断单元434用于判断在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中是否至少有一个超限,生成第四判断结果。可选地,第四时间周期为一天。若第四判断结果为是(在第四时间周期内,IP地址总量、请求会话总量、第一数量和第二数量中至少有一个超限),则对游客的IP地址进行限制或对登录用户的账号进行限制。确定第四时间周期内存在参数超限后,表示用户存在爬取数据的行为。对于未登录账号的游客而言优先封其IP地址;对于登录用户而言优先封其账号。 按天进行历史统计数据分析的结果,如果超过了设定阈值,对于游客可能直接采取封IP的安全保护策略;对于登录用户可能采取封账号的安全保护策略。 封IP、封账号的依据是数据量远远超过了正常用户使用请求的数据量,是比较严重的爬取数据行为。同时也需要借鉴历史几天的统计分析数据,防止影响正常用户的使用。一旦被封IP或账号后,都不会自动进行解封,需要通过联系平台进行人工解封;若第四判断结果为否(在第四时间周期内,请求次数、第一数量和第二数量均未超限),则正常提供移动目标的位置数据和/或区域位置数据,并根据请求日志对用户请求画像进行建模和完善。确定第四时间周期内不存在参数超限,表示不存在爬取数据的行为。用户请求行为的特征数据,既包括实时统计的分析过程数据,还包括按天统计的数值数据,最后要整合这两块数据,形成一个统计分析的结果数据。用户请求的特征数据生成之后,要进行数据持久化存储,为历史数据分析进行服务。利用大数据挖掘和机器学习历史特征数据, 找到界定爬取行为各维度的比较准确的阈值。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的。
进一步地,第三信息处理单元423用于根据请求日志对用户请求画像进行建模和完善。用户特征历史数据,通过大数据挖掘技术,还可以实现可视化,更直观的将用户请求画像的行为展现出来,慢慢优化长短时间周期设定的超限阈值,实现保护GIS数据的最终目的。
本发明限定的技术方案中,为了保护GIS平台的数据,提供了一种可以有效防爬的地理信息系统数据保护系统。地理信息系统数据保护系统主要针对用户查询单个移动目标的位置数据、缩放地图监控某块区域位置数据的界面操作行为,服务器端对接口请求日志埋点,通过预设几个时间周期内正访问次数的阈值,甄别出哪些访问请求是网络爬虫抓取数据的行为,针对异常请求的行为实施数据安全保护相关措施,最终达到保护GIS数据安全的目的,有利于提高用户的访问响应速度,提升GIS平台的吞吐量。
在根据本发明的一个实施例中,电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现上述任一实施例中的地理信息系统数据保护方法的步骤。
在根据本发明的一个实施例中,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例中的地理信息系统数据保护方法的步骤。
在根据本发明的一个实施例中,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述任一实施例中的地理信息系统数据保护方法的步骤。
根据本发明的地理信息系统数据保护方法、地理信息系统数据保护系统、电子设备、计算机可读存储介质和芯片的实施例,为了保护GIS平台的数据,提供了一种可以有效防爬的地理信息系统数据保护方法及系统。地理信息系统数据保护方法及系统主要针对用户查询单个移动目标的位置数据、缩放地图监控某块区域位置数据的界面操作行为,服务器端对接口请求日志埋点,通过预设几个时间周期内正访问次数的阈值,甄别出哪些访问请求是网络爬虫抓取数据的行为,针对异常请求的行为实施数据安全保护相关措施,最终达到保护GIS数据安全的目的,有利于提高用户的访问响应速度,提升GIS平台的吞吐量。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述的目的,而不能理解为指示或暗示相对重要性;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种地理信息系统数据保护方法,其特征在于,包括:
获取用户身份和请求位置数据,所述用户身份包括游客和登录用户,对所述请求位置数据埋点并生成请求日志;
根据所述请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据所述用户身份和用户请求画像的历史特征数据确定设定阈值,将所述请求次数、所述第一数量和所述第二数量与所述设定阈值比较;
判断在第一时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成第一判断结果;
若所述第一判断结果为是,则强制所述游客登录账号或强制所述登录用户通过行为验证码;
若所述第一判断结果为否,则判断在第二时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成第二判断结果,所述第二时间周期大于所述第一时间周期;
若所述第二判断结果为是,则强制所述游客登录所述账号或强制所述登录用户通过所述行为验证码;
若所述第二判断结果为否,则判断在第三时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成第三判断结果,所述第三时间周期大于所述第二时间周期;
若所述第三判断结果为是,则启动假数据提供策略,所述假数据提供第一时间阈值后,正常提供所述移动目标的位置数据或区域位置数据;
若所述第三判断结果为否,则正常提供所述移动目标的所述位置数据或所述区域位置数据;
确定用户登录所述账号的IP地址总量和请求会话总量;
判断在第四时间周期内,所述IP地址总量、所述请求会话总量、所述第一数量和所述第二数量中是否至少有一个超限,生成第四判断结果,所述第四时间周期大于所述第三时间周期;
若所述第四判断结果为是,则对所述游客的IP地址进行限制或对所述登录用户的所述账号进行限制;
若所述第四判断结果为否,则正常提供所述移动目标的所述位置数据和/或所述区域位置数据;
根据所述请求日志对所述用户请求画像进行建模和完善。
2.根据权利要求1所述的地理信息系统数据保护方法,其特征在于,所述登录用户包括普通权限用户和高级权限用户;
所述若所述第一判断结果为是,则强制所述游客登录账号或强制所述登录用户通过行为验证码,具体为:
若所述第一判断结果为是,则强制所述游客登录所述账号或强制所述普通权限用户通过所述行为验证码或强制所述高级权限用户通过所述行为验证码;
所述若所述第二判断结果为是,则强制所述游客登录所述账号或强制所述登录用户通过所述行为验证码,具体为:
若所述第二判断结果为是,则强制所述游客登录所述账号或强制所述普通权限用户通过所述行为验证码或强制所述高级权限用户通过所述行为验证码。
3.根据权利要求1或2所述的地理信息系统数据保护方法,其特征在于,所述获取用户身份和请求位置数据,所述用户身份包括游客和登录用户,对所述请求位置数据埋点并生成请求日志,具体为:
获取所述用户身份和所述请求位置数据,所述用户身份包括所述游客和所述登录用户,根据所述请求位置数据确定调用第一接口和/或第二接口,所述第一接口用于请求所述移动目标的所述位置数据,所述第二接口用于请求所述区域位置数据,对所述请求位置数据埋点并生成请求日志。
4.根据权利要求1或2所述的地理信息系统数据保护方法,其特征在于,所述第一时间周期为短分钟周期;和/或所述第二时间周期为长分钟周期;和/或所述第三时间周期为小时周期。
5.根据权利要求1或2所述的地理信息系统数据保护方法,其特征在于,所述第一时间周期处于所述第二时间周期内,所述第二时间周期处于所述第三时间周期内。
6.根据权利要求1或2所述的地理信息系统数据保护方法,其特征在于,所述第四时间周期为一天。
7.一种地理信息系统数据保护系统,其特征在于,包括:
第一信息获取单元(410),用于获取用户身份和请求位置数据,所述用户身份包括游客和登录用户,对所述请求位置数据埋点并生成请求日志;
第一信息处理单元(421),用于根据所述请求日志确定请求次数、移动目标的第一数量和有效经纬度网格的第二数量,根据所述用户身份和用户请求画像的历史特征数据确定设定阈值,将所述请求次数、所述第一数量和所述第二数量与所述设定阈值比较;
第一判断单元(431),用于判断在第一时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成第一判断结果;若所述第一判断结果为是,则强制所述游客登录账号或强制所述登录用户通过行为验证码;若所述第一判断结果为否,则判断在第二时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成第二判断结果,所述第二时间周期大于所述第一时间周期;
第二判断单元(432),用于判断在所述第二时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成所述第二判断结果;若所述第二判断结果为是,则强制所述游客登录所述账号或强制所述登录用户通过所述行为验证码;若所述第二判断结果为否,则判断在第三时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成第三判断结果,所述第三时间周期大于所述第二时间周期;
第三判断单元(433),用于判断在所述第三时间周期内,所述请求次数、所述第一数量和所述第二数量中是否至少有一个超限,生成所述第三判断结果;若所述第三判断结果为是,则启动假数据提供策略,所述假数据提供第一时间阈值后,正常提供所述移动目标的位置数据或区域位置数据;若所述第三判断结果为否,则正常提供所述移动目标的所述位置数据或所述区域位置数据;
第二信息处理单元(422),用于确定用户登录所述账号的IP地址总量和请求会话总量;
第四判断单元(434),用于判断在第四时间周期内,所述IP地址总量、所述请求会话总量、所述第一数量和所述第二数量中是否至少有一个超限,生成第四判断结果,所述第四时间周期大于所述第三时间周期;若所述第四判断结果为是,则对所述游客的IP地址进行限制或对所述登录用户的所述账号进行限制;若所述第四判断结果为否,则正常提供所述移动目标的所述位置数据和/或所述区域位置数据;
第三信息处理单元(423),用于根据所述请求日志对所述用户请求画像进行建模和完善。
8.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的地理信息系统数据保护方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的地理信息系统数据保护方法的步骤。
10.一种芯片,其特征在于,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如权利要求1至6中任一项所述的地理信息系统数据保护方法的步骤。
CN202211705799.5A 2022-12-29 2022-12-29 地理信息系统数据保护方法、系统、设备、介质和芯片 Active CN115688147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211705799.5A CN115688147B (zh) 2022-12-29 2022-12-29 地理信息系统数据保护方法、系统、设备、介质和芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211705799.5A CN115688147B (zh) 2022-12-29 2022-12-29 地理信息系统数据保护方法、系统、设备、介质和芯片

Publications (2)

Publication Number Publication Date
CN115688147A true CN115688147A (zh) 2023-02-03
CN115688147B CN115688147B (zh) 2023-02-28

Family

ID=85055618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211705799.5A Active CN115688147B (zh) 2022-12-29 2022-12-29 地理信息系统数据保护方法、系统、设备、介质和芯片

Country Status (1)

Country Link
CN (1) CN115688147B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110581859A (zh) * 2019-09-18 2019-12-17 成都安恒信息技术有限公司 一种基于页面埋点的防爬虫方法
US20210263979A1 (en) * 2020-02-24 2021-08-26 Wangsu Science & Technology Co., Ltd. Method, system and device for identifying crawler data
CN114154147A (zh) * 2021-12-08 2022-03-08 重庆化工职业学院 一种人机行为检测方法、系统、设备及介质
CN114553541A (zh) * 2022-02-17 2022-05-27 苏州良医汇网络科技有限公司 一种分级校验防爬虫的方法、装置、设备及存储介质
CN114584390A (zh) * 2022-03-22 2022-06-03 重庆师范大学 地图服务的防爬取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110581859A (zh) * 2019-09-18 2019-12-17 成都安恒信息技术有限公司 一种基于页面埋点的防爬虫方法
US20210263979A1 (en) * 2020-02-24 2021-08-26 Wangsu Science & Technology Co., Ltd. Method, system and device for identifying crawler data
CN114154147A (zh) * 2021-12-08 2022-03-08 重庆化工职业学院 一种人机行为检测方法、系统、设备及介质
CN114553541A (zh) * 2022-02-17 2022-05-27 苏州良医汇网络科技有限公司 一种分级校验防爬虫的方法、装置、设备及存储介质
CN114584390A (zh) * 2022-03-22 2022-06-03 重庆师范大学 地图服务的防爬取方法

Also Published As

Publication number Publication date
CN115688147B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN107634959B (zh) 基于汽车的防护方法、装置及系统
CN108595976B (zh) 基于差分隐私的安卓终端传感器信息保护方法
DE102012217563B4 (de) Erhöhte Sicherheit bei Eingabefeldern für Computer-Benutzer-IDs
CN101459537A (zh) 基于多层次多角度分析的网络安全态势感知系统及方法
CN106295349A (zh) 账号被盗的风险识别方法、识别装置及防控系统
CN103685575A (zh) 一种基于云架构的网站安全监控方法
CN112738100A (zh) 数据访问的鉴权方法、装置、鉴权设备和鉴权系统
CN113162923A (zh) 基于用户行为的用户可信度评估方法、装置及存储介质
CN113190839A (zh) 一种基于SQL注入的web攻击防护方法及系统
CN112016078A (zh) 一种登录设备的封禁检测方法、装置、服务器和存储介质
CN110798353B (zh) 基于行为特征大数据分析的网络行为风险感知及防御方法
CN112668005A (zh) webshell文件的检测方法及装置
Zhang et al. Test and evaluation system for automotive cybersecurity
CN108924086A (zh) 一种基于安全代理的主机信息采集方法
CN115688147B (zh) 地理信息系统数据保护方法、系统、设备、介质和芯片
CN113722740A (zh) 一种基于接口画像的水平越权访问敏感数据风险的检测方法
CN117614693A (zh) 一种基于行为流量的云内安全威胁检测方法
CN111131166B (zh) 一种用户行为预判方法及相关设备
CN115794539B (zh) 时空数据api服务的日志增量式监控方法、装置及设备
CN114826727B (zh) 流量数据采集方法、装置、计算机设备、存储介质
CN110198288B (zh) 一种异常节点的处理方法及设备
CN114297639A (zh) 一种接口调用行为的监测方法、装置、电子设备及介质
CN112527888B (zh) 一种数据分析方法、装置、电子设备及存储介质
CN115022008A (zh) 一种访问风险评估方法、装置、设备及介质
KR102293397B1 (ko) 자율협력주행 시스템 및 그것의 보안관제정보 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant