CN112115401A - 基于云平台实现的网页数据处理方法、装置及系统 - Google Patents
基于云平台实现的网页数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN112115401A CN112115401A CN202010931657.5A CN202010931657A CN112115401A CN 112115401 A CN112115401 A CN 112115401A CN 202010931657 A CN202010931657 A CN 202010931657A CN 112115401 A CN112115401 A CN 112115401A
- Authority
- CN
- China
- Prior art keywords
- data
- webpage
- item
- service
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2119—Authenticating web pages, e.g. with suspicious links
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例提供一种基于云平台实现的网页数据处理方法、装置及系统,通过网页处理终端预先在服务器中关联对应的网页,从而便于服务器统一管理网页篡改行为,无需每个网页的服务商单独监控,并且可以从网页数据中获取高于设定监控等级的目标监控节点监控到的数据下载特征和数据填充特征来确定对应的目标网页数据区后,再进行网页数据防护和数据恢复的操作,由此无需花费大量人力资源来准确配置网页中的预设服务器,并且当网页存在业务更新时也不会影响到正常的网页业务,同时对于网页中其它监控节点所对应的网页业务下,终端的访问行为不受影响,从而进一步保证正常的网页业务。
Description
技术领域
本申请涉及网页技术领域,具体而言,涉及一种基于云平台实现的网页数据处理方法、装置及系统。
背景技术
随着互联网信息技术的快速发展,在日常生活、工作中,在访问互联网中的网页数据时,一部分网页中的部分关键数据通常可能会受到一些不法服务商的篡改,从而非法地添加一些存在安全或隐私隐患的无关内容,不仅对原互联网服务商的正常业务造成影响,也会给用户造成极差的网页体验。
在传统方案中,互联网服务商通常会在用户终端访问网页的过程中实时监控该网页中非预设服务器的访问行为,从而阻止用户终端访问其他非预设服务器来篡改网页数据。然而,经本申请发明人研究发现,在实际场景中,该方案需要花费大量人力资源来准确配置网页中的预设服务器,例如一旦网页存在业务更新,那么对应的预设服务器也可能会存在更新,倘若更新不及时,那么必然会影响到正常的网页业务。又例如,网页中有一部分业务(例如多方合作业务)本身是允许随时修改的,如果直接不允许该网页中所有非预设服务器的访问行为,那么同样会对正常的网页业务产生影响。
发明内容
为了至少克服现有技术中的上述不足,本申请的目的在于提供一种基于云平台实现的网页数据处理方法、装置及系统,通过网页处理终端预先在服务器中关联对应的网页,从而便于服务器统一管理网页篡改行为,无需每个网页的服务商单独监控,并且可以从网页数据中获取高于设定监控等级的目标监控节点监控到的数据下载特征和数据填充特征来确定对应的目标网页数据区后,再进行网页数据防护和数据恢复的操作,由此无需花费大量人力资源来准确配置网页中的预设服务器,并且当网页存在业务更新时也不会影响到正常的网页业务,同时对于网页中其它监控节点所对应的网页业务下,终端的访问行为不受影响,从而进一步保证正常的网页业务。
第一方面,本申请提供一种基于云平台实现的网页数据处理方法,应用于服务器,所述服务器与至少一个网页处理终端通信连接,每个网页处理终端预先在所述服务器中关联对应的网页,所述方法包括:
获取与目标网页关联的当前网页处理终端的网页数据;
当确定所述当前网页处理终端采用与目标网页对应的网页数据监控策略进行数据监控时,从所述网页数据中提取目标网页项目特征,所述目标网页项目特征由第一项目特征和第二项目特征组成,所述第一项目特征为所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,所述第二项目特征为所述目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务;
根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区,并确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本;
根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据。
在第一方面的一种可能的设计中,所述从所述网页数据中提取目标网页项目特征的步骤,包括:
针对所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点,通过所述目标监控节点从所述网页数据中分别获取对应的网页业务的各个业务项目之间的业务调用数据,以及网页业务的业务项目所调用的调用业务的业务项目所包含的项目特征信息;
根据获取的网页业务的各个业务项目之间的业务调用数据,分别确定网页业务的各个业务项目彼此之间的关联度;
根据获取的所述网页业务的业务项目所调用的调用业务的业务项目所包含的项目特征信息,将网页业务的各个业务项目划分为数据下载项目和数据填充项目;
根据所述项目特征信息和所述网页业务的各个业务项目彼此之间的关联度,确定所述数据下载项目和所述数据填充项目各自的项目特征信息;
根据所述数据下载项目和所述数据填充项目各自的项目特征信息,确定所述目标网页项目特征。
在第一方面的一种可能的设计中,所述根据获取的网页业务的各个业务项目之间的业务调用数据,分别确定网页业务的各个业务项目彼此之间的关联度的步骤,包括:
针对任意两个业务项目,根据该两个业务项目之间的业务调用数据确定该两个业务项目之间的业务调用范围,其中,所述业务调用范围用于表示该两个业务项目在调用业务过程中业务数据的重合情况;
根据该两个业务项目之间的业务调用范围,分别确定该两个业务项目之间的业务调用范围占各自与其他网页业务的业务项目之间的业务调用范围的比率;
根据该两个业务项目之间的业务调用范围占各自与其他网页业务的业务项目之间的业务调用范围的比率,确定该两个业务项目之间的关联度。
在第一方面的一种可能的设计中,所述项目特征信息包括至少两个项目类型的加载行为信息;
所述根据所述项目特征信息和所述网页业务的各个业务项目彼此之间的关联度,确定所述数据下载项目和所述数据填充项目各自的项目特征信息的步骤,包括:
根据网页业务的各个业务项目彼此之间的关联度,建立网页业务的业务项目彼此之间的关联度函数;
根据所述项目特征信息和所述项目特征信息包括的至少两个项目类型的加载行为信息,确定每一所述数据下载项目和所述数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度;
根据每一数据下载项目对应于每一项目类型的加载行为信息的项目类型置信度和每一数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度,建立网页业务的业务项目对应于每一项目类型的加载行为信息的第一项目类型函数;
利用所述关联度函数,对所述关联度函数和所述第一项目类型函数的融合结果进行循环得到网页业务的各个业务项目对应于每一项目类型的加载行为信息的第二项目类型函数,直至循环次数达到预设次数或者所述第二项目类型函数中各项目类型置信度的变化值低于设定变化值,其中,在每一次循环开始前,针对每一数据下载项目,恢复上次循环得到的融合结果中所包含的该数据下载项目对应的项目类型置信度为第一项目类型函数中包含的、该数据下载项目对应的项目类型置信度,并选择项目类型置信度最大的项目类型的加载行为信息为该数据下载项目对应的加载行为信息;
针对每一数据填充项目,根据第二项目类型函数中该数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度,选择项目类型置信度最大的项目类型的加载行为信息为该数据填充项目对应的加载行为信息;
根据所述数据下载项目和所述数据填充项目各自的对应的加载行为信息得到对应的项目特征信息。
在第一方面的一种可能的设计中,所述根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区的步骤,包括:
根据所述第一项目特征和所述第二项目特征,确定所述当前网页处理终端分别对应的第一初始网页数据区和第二初始网页数据区;
确定所述第一初始网页数据区和所述第二初始网页数据区之间的重合数据区,并获取所述重合数据区的网页项目特征,将所述网页项目特征分割成特征分片;
将各特征分片添加至数据区定位序列,每个特征分片与所述数据区定位序列中的数据区定位节点一一对应;
从所述数据区定位序列中依次选取数据区定位节点,并将选取的数据区定位节点并行地分配至处于空闲状态的各数据区定位进程,所述数据区定位节点,用于指示各数据区定位进程生成与所述数据区定位节点所对应的特征分片相应的第一数据区信息,所述特征分片用于指示相应数据区定位进程生成与所述特征分片相应的第一数据区信息,所述特征分片还用于指示相应数据区定位进程将所述特征分片分别转换成下载特征序列和填充特征序列,并分别从所述下载特征序列的各下载特征中提取第一特征,以及从填充特征序列的各填充特征中提取第二特征;
分析各所述第一特征和所述第二特征,得到与所述特征分片相应的第一数据区信息,之后获取各所述数据区定位进程反馈的第一数据区信息,并将各所述第一数据区信息按照相应特征分片在网页项目特征中所处节点的先后顺序进行融合后,将融合后的数据区信息中的各数据区节点转换为数据区节点向量,得到数据区节点向量序列;
对所述数据区节点向量序列进行去冗余编码生成与所述网页项目特征对应的第二数据区信息,以得到所述当前网页处理终端的目标网页数据区。
在第一方面的一种可能的设计中,所述确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本的步骤,包括:
确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问标识,以根据所述访问标识确定对应的访问数据区域;
获得所述网页数据项目的项目特征的特征信息,并获得在接收到所述网页数据项目下的多个网页数据文件中,各个疑似篡改数据文件的文件特征信息;
将所述文件特征信息与预先配置的各个数据防护脚本的特征信息进行相似度计算,获得针对所述各个数据防护脚本的多个第一相似度计算结果,所述各个数据防护脚本的特征信息为:在配置过程中确定的该数据防护脚本对应的预设的数据下载特征和数据填充特征的特征信息;
根据所述多个第一相似度计算结果,确定所述对应的数据防护脚本;
其中,所述各个数据防护脚本,采用如下方式配置获得:
获取配置集合中各个数据防护指令对应的预设的数据防护特征的各个目标特征信息,构成目标特征信息集合;
逐一选择所述目标特征信息集合中的一个目标特征信息,分别作为当前目标特征信息,以根据所述目标特征信息创建一个数据防护脚本,计算当前目标特征信息与所述数据防护脚本的头信息之间的关联度,获得多个第二关联度值,作为第二相似度结果;
判断所述各个第二关联度值是否小于预设阈值,如果小于则确定第二相似度结果满足预设的相似条件,如果不小于则确定第二相似度结果不满足预设的相似条件;
获得第二相似度计算结果满足预设相似条件时对应的数据防护脚本,确定为所述当前目标特征信息所属的数据防护脚本,将所述当前目标特征信息加入所述当前目标特征信息所属的数据防护脚本中;
如果没有第二相似度计算结果满足预设相似条件,则创建一个数据防护脚本,该数据防护脚本的头信息记录为当前目标特征信息,重新计算所述数据防护脚本的头信息后,且在对所述目标特征信息集合中的各个目标特征信息融合完成后,将每个数据防护脚本的头信息,作为每个数据防护脚本对应的预设的数据防护特征的特征信息。
在第一方面的一种可能的设计中,所述根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据的步骤,包括:
根据所述数据防护脚本获取多个防护处理节点,并获取所述多个防护处理节点中每个防护处理节点的防护指令;
根据所述每个防护处理节点的防护指令和所述每个防护处理节点所预先配置的防护序列参数,获取所述每个防护处理节点的防护序列控制信息,所述防护序列控制信息中包括防护序列参数和对应的各个防护处理节点的节点参数;
根据所述每个防护处理节点的防护处理标签和所述每个防护处理节点的防护序列参数,对所述访问数据区域中的当前网页内容数据所对应的网页地址的访问域进行防护标记,并将防护标记后的访问域关联到所述访问数据区域所对应的预设防护集合中,并根据所述当前网页内容数据的数据总量配置所述访问域的防护强度,根据所述访问域的防护强度为所述访问域设置对应的防护拦截指令;
删除所述访问数据区域中的原有网页内容数据,在所述访问数据区域中重新添加原始的网页内容数据。
第二方面,本申请实施例还提供一种基于云平台实现的网页数据处理装置,应用于服务器,所述服务器与至少一个网页处理终端通信连接,每个网页处理终端预先在所述服务器中关联对应的网页,所述装置包括:
获取模块,用于获取与目标网页关联的当前网页处理终端的网页数据;
提取模块,用于当确定所述当前网页处理终端采用与目标网页对应的网页数据监控策略进行数据监控时,从所述网页数据中提取目标网页项目特征,所述目标网页项目特征由第一项目特征和第二项目特征组成,所述第一项目特征为所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,所述第二项目特征为所述目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务;
确定模块,用于根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区,并确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本;
防护添加模块,用于根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据。
第三方面,本申请实施例还提供一种基于云平台实现的网页数据处理系统,所述基于云平台实现的网页数据处理系统包括服务器以及与所述服务器通信连接的至少一个网页处理终端,每个网页处理终端预先在所述服务器中关联对应的网页;
当所述网页处理终端与目标网页关联时,用于向所述服务器发送网页数据;
所述服务器用于获取与所述目标网页关联的网页处理终端的网页数据;
当确定所述当前网页处理终端采用与目标网页对应的网页数据监控策略进行数据监控时,所述服务器用于从所述网页数据中提取目标网页项目特征,所述目标网页项目特征由第一项目特征和第二项目特征组成,所述第一项目特征为所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,所述第二项目特征为所述目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务;
所述服务器用于根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区,并确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本;
所述服务器用于根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据。
第四方面,本申请实施例还提供一种服务器,所述服务器包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个网页处理终端通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的设计中的基于云平台实现的网页数据处理方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上检测时,使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的基于云平台实现的网页数据处理方法。
基于上述任意一个方面,本申请通过网页处理终端预先在服务器中关联对应的网页,从而便于服务器统一管理网页篡改行为,无需每个网页的服务商单独监控,并且可以从网页数据中获取高于设定监控等级的目标监控节点监控到的数据下载特征和数据填充特征来确定对应的目标网页数据区后,再进行网页数据防护和数据恢复的操作,由此无需花费大量人力资源来准确配置网页中的预设服务器,并且当网页存在业务更新时也不会影响到正常的网页业务,同时对于网页中其它监控节点所对应的网页业务下,终端的访问行为不受影响,从而进一步保证正常的网页业务。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基于云平台实现的网页数据处理系统的应用场景示意图;
图2为本申请实施例提供的基于云平台实现的网页数据处理方法的流程示意图;
图3为本申请实施例提供的基于云平台实现的网页数据处理装置的功能模块示意图;
图4为本申请实施例提供的用于实现上述的基于云平台实现的网页数据处理方法的服务器的结构示意框图。
具体实施方式
下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。在本申请的描述中,除非另有说明,“至少一个”包括一个或多个。“多个”是指两个或两个以上。例如,A、B和C中的至少一个,包括:单独存在A、单独存在B、同时存在A和B、同时存在A和C、同时存在B和C,以及同时存在A、B和C。在本申请中,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
图1是本申请一种实施例提供的基于云平台实现的网页数据处理系统10的交互示意图。基于云平台实现的网页数据处理系统10可以包括服务器100以及与所述服务器100通信连接的网页处理终端200,服务器100中可以包括执行指令操作的处理器。图1所示的基于云平台实现的网页数据处理系统10仅为一种可行的示例,在其它可行的实施例中,该基于云平台实现的网页数据处理系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
在一些实施例中,服务器100可以是单个服务器,也可以是一个服务器组。运营服务器组可以是集中式的,也可以是分布式的(例如,服务器100可以是分布式系统)。在一些实施例中,服务器100相对于网页处理终端200,可以是本地的、也可以是远程的。例如,服务器100可以经由网络访问存储在网页处理终端200以及数据库、或其任意组合中的信息。作为另一示例,服务器100可以直接连接到网页处理终端200和数据库中的至少一个,以访问其中存储的信息和/或数据。在一些实施例中,服务器100可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。
在一些实施例中,服务器100可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据,以执行本申请中描述的一个或多个功能。处理器可以包括一个或多个处理核(例如,单核处理器(S)或多核处理器(S))。仅作为举例,处理器可以包括中央处理单元(Central Processing Unit, CPU)、专用集成电路(Application Specific IntegratedCircuit, ASIC)、专用指令集处理器(Application Specific Instruction-setProcessor, ASIP)、图形处理单元(Graphics Processing Unit, GPU)、物理处理单元(Physics Processing Unit, PPU)、数字信号处理器 (Digital Signal Processor,DSP)、现场可编程门阵列( Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device, PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing, RISC)、或微处理器等,或其任意组合。
网络可以用于信息和/或数据的交换。在一些实施例中,基于云平台实现的网页数据处理系统10中的一个或多个组件(例如,服务器100,网页处理终端200和数据库)可以向其他组件发送信息和/或数据。在一些实施例中,网络可以是任何类型的有线或者无线网络,或者是他们的结合。仅作为示例,网络130可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network,LAN)、广域网(Wide AreaNetwork,WAN)、无线局域网(Wireless Local Area Networks,WLAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、公共电话交换网(Public Switched Telephone Network,PSTN)、蓝牙网络、ZigBee网络、或近场通信(NearField Communication, NFC)网络等,或其任意组合。在一些实施例中,网络可以包括一个或多个网络接入点。例如,网络可以包括有线或无线网络接入点,例如基站和/或网络交换节点,基于云平台实现的网页数据处理系统10的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。
前述的数据库可以存储数据和/或指令。在一些实施例中,数据库可以存储向网页处理终端200分配的数据。在一些实施例中,数据库可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory, ROM)等,或其任意组合。作为举例,大容量存储器可以包括磁盘、光盘、固态驱动器等;可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等;易失性读写存储器可以包括随机存取存储器(Random AccessMemory, RAM);RAM可以包括动态RAM(Dynamic Random Access Memory, DRAM),双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM, DDR SDRAM);静态RAM(StaticRandom-Access Memory, SRAM),晶闸管RAM(Thyristor-Based Random Access Memory,T-RAM)和零电容器RAM(Zero-RAM)等。作为举例,ROM可以包括掩模ROM(Mask Read-OnlyMemory, MROM)、可编程ROM( Programmable Read-Only Memory, PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory , PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory, EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中,数据库可以在云平台上实现。仅作为示例,云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等,或其任意组合。
在一些实施例中,数据库可以连接到网络以与基于云平台实现的网页数据处理系统10(例如,服务器100,网页处理终端200等)中的一个或多个组件通信。基于云平台实现的网页数据处理系统10中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中,数据库可以直接连接到基于云平台实现的网页数据处理系统10中的一个或多个组件(例如,服务器100,网页处理终端200等;或者,在一些实施例中,数据库也可以是服务器100的一部分。
为了解决前述背景技术中的技术问题,图2为本申请实施例提供的基于云平台实现的网页数据处理方法的流程示意图,本实施例提供的基于云平台实现的网页数据处理方法可以由图1中所示的服务器100执行,下面对该基于云平台实现的网页数据处理方法进行详细介绍。
步骤S110,获取与目标网页关联的当前网页处理终端200的网页数据。
步骤S120,当确定当前网页处理终端200采用与目标网页对应的网页数据监控策略进行数据监控时,从网页数据中提取目标网页项目特征。
步骤S130,根据目标网页项目特征,确定当前网页处理终端200的目标网页数据区,并确定目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本。
步骤S140,根据数据防护脚本,对访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在访问数据区域中重新添加原始的网页内容数据。
本实施例中,目标网页项目特征由第一项目特征和第二项目特征组成,第一项目特征为网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,第二项目特征为目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务。
其中,预设网页业务可以根据该目标网页的实际需求进行配置和确定,本实施例对此不作具体限制。例如,可以包括不同类型的多媒体业务,如图片业务,视频业务,音频业务等等。
本实施例中,数据下载特征可以用于表示该目标监控节点监控到的该目标网页从其它访问域的数据下载行为,数据填充特征可以用于表示该目标监控节点监控到的该目标网页从其它访问域的数据获取和填充行为。
本实施例中,通过网页处理终端200预先在服务器中关联对应的网页,从而便于服务器统一管理网页篡改行为,无需每个网页的服务商单独监控,并且可以从网页数据中获取高于设定监控等级的目标监控节点监控到的数据下载特征和数据填充特征来确定对应的目标网页数据区后,再进行网页数据防护和数据恢复的操作,由此无需花费大量人力资源来准确配置网页中的预设服务器,并且当网页存在业务更新时也不会影响到正常的网页业务,同时对于网页中其它监控节点所对应的网页业务下,终端的访问行为不受影响,从而进一步保证正常的网页业务。
作为一种可能的实施方式,针对步骤S120,本实施例可以针对网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点,通过目标监控节点从网页数据中分别获取对应的网页业务的各个业务项目之间的业务调用数据,以及网页业务的业务项目所调用的调用业务的业务项目所包含的项目特征信息。
然后,根据获取的网页业务的各个业务项目之间的业务调用数据,分别确定网页业务的各个业务项目彼此之间的关联度。
例如,作为一种可能的示例,可以针对任意两个业务项目,根据该两个业务项目之间的业务调用数据确定该两个业务项目之间的业务调用范围,其中,业务调用范围用于表示该两个业务项目在调用业务过程中业务数据的重合情况。在此基础上,根据该两个业务项目之间的业务调用范围,分别确定该两个业务项目之间的业务调用范围占各自与其他网页业务的业务项目之间的业务调用范围的比率,由此可以根据该两个业务项目之间的业务调用范围占各自与其他网页业务的业务项目之间的业务调用范围的比率,确定该两个业务项目之间的关联度。
在上述基础上,本实施例可以进一步根据获取的网页业务的业务项目所调用的调用业务的业务项目所包含的项目特征信息,将网页业务的各个业务项目划分为数据下载项目和数据填充项目。例如,如果项目特征信息表征该业务项目主要存在数据下载行为, 那么则将该业务项目划分为数据下载项目,又例如,如果项目特征信息表征该业务项目主要存在数据填充行为, 那么则将该业务项目划分为数据填充项目。具体划分过程,可以通过比较数据下载行为和数据填充行为之间的比例,或者数据下载行为和数据填充行为的次数等来进行确定,在此不作具体限定。
而后,本实施例则可以进一步根据项目特征信息和网页业务的各个业务项目彼此之间的关联度,确定数据下载项目和数据填充项目各自的项目特征信息。
例如,在一种可能的示例中,项目特征信息可以包括至少两个项目类型的加载行为信息,加载行为信息可以用于表示在加载数据过程中的数据流向。在此基础上,可以根据前述获得的网页业务的各个业务项目彼此之间的关联度,建立网页业务的业务项目彼此之间的关联度函数,并根据项目特征信息和项目特征信息包括的至少两个项目类型的加载行为信息,确定每一数据下载项目和数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度。
而后,可以根据每一数据下载项目对应于每一项目类型的加载行为信息的项目类型置信度和每一数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度,建立网页业务的业务项目对应于每一项目类型的加载行为信息的第一项目类型函数。接着,利用关联度函数,对关联度函数和第一项目类型函数的融合结果进行循环得到网页业务的各个业务项目对应于每一项目类型的加载行为信息的第二项目类型函数,直至循环次数达到预设次数或者第二项目类型函数中各项目类型置信度的变化值低于设定变化值。
其中,在每一次循环开始前,针对每一数据下载项目,恢复上次循环得到的融合结果中所包含的该数据下载项目对应的项目类型置信度为第一项目类型函数中包含的、该数据下载项目对应的项目类型置信度,并选择项目类型置信度最大的项目类型的加载行为信息为该数据下载项目对应的加载行为信息。
同时,针对每一数据填充项目,根据第二项目类型函数中该数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度,选择项目类型置信度最大的项目类型的加载行为信息为该数据填充项目对应的加载行为信息;
如此,即根据上述获得的数据下载项目和数据填充项目各自的对应的加载行为信息得到对应的项目特征信息,从而根据数据下载项目和数据填充项目各自的项目特征信息,确定目标网页项目特征。
为了进一步说明本实施例提供的技术方案,针对步骤S130,本实施例可以根据前述获得的第一项目特征和第二项目特征,确定当前网页处理终端200分别对应的第一初始网页数据区和第二初始网页数据区。也即,第一项目特征可以对应得到第一初始网页数据区,第二项目特征可以对应得到第二初始网页数据区。具体获得方式,可以根据第一项目特征和第二项目特征所指示的项目业务在目标网页中的分布情况来确定,该方面率属于现有技术,在此不作赘述。
由此,为了准确确定后续处理的目标网页数据区,并且提高处理效率,本实施例进一步确定第一初始网页数据区和第二初始网页数据区之间的重合数据区,并获取重合数据区的网页项目特征,将网页项目特征分割成特征分片,然后将各特征分片添加至数据区定位序列,每个特征分片与数据区定位序列中的数据区定位节点一一对应,由此从数据区定位序列中依次选取数据区定位节点,并将选取的数据区定位节点并行地分配至处于空闲状态的各数据区定位进程,数据区定位节点,用于指示各数据区定位进程生成与数据区定位节点所对应的特征分片相应的第一数据区信息,特征分片用于指示相应数据区定位进程生成与特征分片相应的第一数据区信息,特征分片还用于指示相应数据区定位进程将特征分片分别转换成下载特征序列和填充特征序列,并分别从下载特征序列的各下载特征中提取第一特征,以及从填充特征序列的各填充特征中提取第二特征。
在上述描述的基础上,可以分析各第一特征和第二特征,得到与特征分片相应的第一数据区信息,之后获取各数据区定位进程反馈的第一数据区信息,并将各第一数据区信息按照相应特征分片在网页项目特征中所处节点的先后顺序进行融合后,将融合后的数据区信息中的各数据区节点转换为数据区节点向量,得到数据区节点向量序列,而后可以对数据区节点向量序列进行去冗余编码生成与网页项目特征对应的第二数据区信息,以得到当前网页处理终端200的目标网页数据区。
进一步地,针对步骤S130,在上述描述的基础上,本实施例在确定目标网页数据区后,可以进一步确定目标网页数据区所对应的网页数据项目的网页数据文件的访问标识,以根据访问标识确定对应的访问数据区域。
由此,可以获得网页数据项目的项目特征的特征信息,并获得在接收到网页数据项目下的多个网页数据文件中,各个疑似篡改数据文件的文件特征信息,并将文件特征信息与预先配置的各个数据防护脚本的特征信息进行相似度计算,获得针对各个数据防护脚本的多个第一相似度计算结果,各个数据防护脚本的特征信息为:在配置过程中确定的该数据防护脚本对应的预设的数据下载特征和数据填充特征的特征信息。
由此,可以根据多个第一相似度计算结果,确定对应的数据防护脚本,例如可以选择多个第一相似度计算结果中最高相似度所对应的数据防护脚本,或者选择两个或者两个以上相似度排名靠前的数据防护脚本,具体选择的数据防护脚本的数量可以实际需求进行确定,本实施例不作具体限定。
其中,作为一种可能的实施方式,各个数据防护脚本,可以采用如下方式配置获得:
首先,获取配置集合中各个数据防护指令对应的预设的数据防护特征的各个目标特征信息,构成目标特征信息集合,然后逐一选择目标特征信息集合中的一个目标特征信息,分别作为当前目标特征信息,以根据目标特征信息创建一个数据防护脚本,计算当前目标特征信息与数据防护脚本的头信息之间的关联度,获得多个第二关联度值,作为第二相似度结果。
在此基础上,可以判断各个第二关联度值是否小于预设阈值,如果小于则确定第二相似度结果满足预设的相似条件,如果不小于则确定第二相似度结果不满足预设的相似条件,由此获得第二相似度计算结果满足预设相似条件时对应的数据防护脚本,确定为当前目标特征信息所属的数据防护脚本,将当前目标特征信息加入当前目标特征信息所属的数据防护脚本中。
如果没有第二相似度计算结果满足预设相似条件,则创建一个数据防护脚本,该数据防护脚本的头信息记录为当前目标特征信息,重新计算数据防护脚本的头信息后,且在对目标特征信息集合中的各个目标特征信息融合完成后,将每个数据防护脚本的头信息,作为每个数据防护脚本对应的预设的数据防护特征的特征信息。
最后,针对步骤S140,作为一种可能的实施方式,本实施例可以根据数据防护脚本获取多个防护处理节点,并获取多个防护处理节点中每个防护处理节点的防护指令,从而根据每个防护处理节点的防护指令和每个防护处理节点所预先配置的防护序列参数,获取每个防护处理节点的防护序列控制信息,防护序列控制信息中包括防护序列参数和对应的各个防护处理节点的节点参数。
由此,可以根据每个防护处理节点的防护处理标签和每个防护处理节点的防护序列参数,对访问数据区域中的当前网页内容数据所对应的网页地址的访问域进行防护标记,并将防护标记后的访问域关联到访问数据区域所对应的预设防护集合中,并根据当前网页内容数据的数据总量配置访问域的防护强度,根据访问域的防护强度为访问域设置对应的防护拦截指令,这样后续可以针对该访问域来针对性地进行防护,而无需花费大量人力资源来准确配置网页中的预设服务器,并且当网页存在业务更新时也不会影响到正常的网页业务。
在此基础上,为了保证业务的正常进行,可以删除访问数据区域中的原有网页内容数据,在访问数据区域中重新添加原始的网页内容数据。
图3为本申请实施例提供的基于云平台实现的网页数据处理装置300的功能模块示意图,本实施例可以根据上述方法实施例对该基于云平台实现的网页数据处理装置300进行功能模块的划分。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。比如,在采用对应各个功能划分各个功能模块的情况下,图3示出的基于云平台实现的网页数据处理装置300只是一种装置示意图。其中,基于云平台实现的网页数据处理装置300可以包括获取模块310、提取模块320、确定模块330以及防护添加模块340,下面分别对该基于云平台实现的网页数据处理装置300的各个功能模块的功能进行详细阐述。
获取模块310,用于获取与目标网页关联的当前网页处理终端200的网页数据。
提取模块320,用于当确定当前网页处理终端200采用与目标网页对应的网页数据监控策略进行数据监控时,从网页数据中提取目标网页项目特征,目标网页项目特征由第一项目特征和第二项目特征组成,第一项目特征为网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,第二项目特征为目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务。
确定模块330,用于根据目标网页项目特征,确定当前网页处理终端200的目标网页数据区,并确定目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本。
防护添加模块340,用于根据数据防护脚本,对访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在访问数据区域中重新添加原始的网页内容数据。
进一步地,图4为本申请实施例提供的用于执行上述基于云平台实现的网页数据处理方法的服务器100的结构示意图。如图4所示,该服务器100可包括网络接口110、机器可读存储介质120、处理器130以及总线140。处理器130可以是一个或多个,图4中以一个处理器130为例。网络接口110、机器可读存储介质120以及处理器130可以通过总线140或其他方式连接,图4中以通过总线140连接为例。
机器可读存储介质120作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的基于云平台实现的网页数据处理方法对应的程序指令/模块(例如图3中所示的基于云平台实现的网页数据处理装置300的获取模块310、提取模块320、确定模块330以及防护添加模块340)。处理器130通过检测存储在机器可读存储介质120中的软件程序、指令以及模块,从而执行终端设备的各种功能应用以及数据处理,即实现上述的基于云平台实现的网页数据处理方法,在此不再赘述。
机器可读存储介质120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,机器可读存储介质120可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合发布节点的存储器。在一些实例中,机器可读存储介质120可进一步包括相对于处理器130远程设置的存储器,这些远程存储器可以通过网络连接至服务器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器130可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。
服务器100可以通过网络接口110和其它设备(例如网页处理终端200)进行信息交互。网络接口110可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。处理器130可以利用网络接口110收发信息。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种基于云平台实现的网页数据处理方法,其特征在于,应用于服务器,所述服务器与至少一个网页处理终端通信连接,每个网页处理终端预先在所述服务器中关联对应的网页,服务器经由网络访问存储在网页处理终端中的信息,服务器在云平台上实现,网络包括有线或无线网络接入点,所述方法包括:
获取与目标网页关联的当前网页处理终端的网页数据;
当确定所述当前网页处理终端采用与目标网页对应的网页数据监控策略进行数据监控时,从所述网页数据中提取目标网页项目特征,所述目标网页项目特征由第一项目特征和第二项目特征组成,所述第一项目特征为所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,所述第二项目特征为所述目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务;
根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区,并确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本;
根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据;
其中,数据下载特征用于表示该目标监控节点监控到的该目标网页从其它访问域的数据下载行为,数据填充特征可以用于表示该目标监控节点监控到的该目标网页从其它访问域的数据获取和填充行为。
2.根据权利要求1所述的基于云平台实现的网页数据处理方法,其特征在于,所述从所述网页数据中提取目标网页项目特征的步骤,包括:
针对所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点,通过所述目标监控节点从所述网页数据中分别获取对应的网页业务的各个业务项目之间的业务调用数据,以及网页业务的业务项目所调用的调用业务的业务项目所包含的项目特征信息;
根据获取的网页业务的各个业务项目之间的业务调用数据,分别确定网页业务的各个业务项目彼此之间的关联度;
根据获取的所述网页业务的业务项目所调用的调用业务的业务项目所包含的项目特征信息,将网页业务的各个业务项目划分为数据下载项目和数据填充项目;
根据所述项目特征信息和所述网页业务的各个业务项目彼此之间的关联度,确定所述数据下载项目和所述数据填充项目各自的项目特征信息;
根据所述数据下载项目和所述数据填充项目各自的项目特征信息,确定所述目标网页项目特征。
3.根据权利要求1所述的基于云平台实现的网页数据处理方法,其特征在于,所述根据获取的网页业务的各个业务项目之间的业务调用数据,分别确定网页业务的各个业务项目彼此之间的关联度的步骤,包括:
针对任意两个业务项目,根据该两个业务项目之间的业务调用数据确定该两个业务项目之间的业务调用范围,其中,所述业务调用范围用于表示该两个业务项目在调用业务过程中业务数据的重合情况;
根据该两个业务项目之间的业务调用范围,分别确定该两个业务项目之间的业务调用范围占各自与其他网页业务的业务项目之间的业务调用范围的比率;
根据该两个业务项目之间的业务调用范围占各自与其他网页业务的业务项目之间的业务调用范围的比率,确定该两个业务项目之间的关联度。
4.根据权利要求2所述的基于云平台实现的网页数据处理方法,其特征在于,所述项目特征信息包括至少两个项目类型的加载行为信息;
所述根据所述项目特征信息和所述网页业务的各个业务项目彼此之间的关联度,确定所述数据下载项目和所述数据填充项目各自的项目特征信息的步骤,包括:
根据网页业务的各个业务项目彼此之间的关联度,建立网页业务的业务项目彼此之间的关联度函数;
根据所述项目特征信息和所述项目特征信息包括的至少两个项目类型的加载行为信息,确定每一所述数据下载项目和所述数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度;
根据每一数据下载项目对应于每一项目类型的加载行为信息的项目类型置信度和每一数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度,建立网页业务的业务项目对应于每一项目类型的加载行为信息的第一项目类型函数;
利用所述关联度函数,对所述关联度函数和所述第一项目类型函数的融合结果进行循环得到网页业务的各个业务项目对应于每一项目类型的加载行为信息的第二项目类型函数,直至循环次数达到预设次数或者所述第二项目类型函数中各项目类型置信度的变化值低于设定变化值,其中,在每一次循环开始前,针对每一数据下载项目,恢复上次循环得到的融合结果中所包含的该数据下载项目对应的项目类型置信度为第一项目类型函数中包含的、该数据下载项目对应的项目类型置信度,并选择项目类型置信度最大的项目类型的加载行为信息为该数据下载项目对应的加载行为信息;
针对每一数据填充项目,根据第二项目类型函数中该数据填充项目对应于每一项目类型的加载行为信息的项目类型置信度,选择项目类型置信度最大的项目类型的加载行为信息为该数据填充项目对应的加载行为信息;
根据所述数据下载项目和所述数据填充项目各自的对应的加载行为信息得到对应的项目特征信息。
5.根据权利要求1-4中任意一项所述的基于云平台实现的网页数据处理方法,其特征在于,所述根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区的步骤,包括:
根据所述第一项目特征和所述第二项目特征,确定所述当前网页处理终端分别对应的第一初始网页数据区和第二初始网页数据区;
确定所述第一初始网页数据区和所述第二初始网页数据区之间的重合数据区,并获取所述重合数据区的网页项目特征,将所述网页项目特征分割成特征分片;
将各特征分片添加至数据区定位序列,每个特征分片与所述数据区定位序列中的数据区定位节点一一对应;
从所述数据区定位序列中依次选取数据区定位节点,并将选取的数据区定位节点并行地分配至处于空闲状态的各数据区定位进程,所述数据区定位节点,用于指示各数据区定位进程生成与所述数据区定位节点所对应的特征分片相应的第一数据区信息,所述特征分片用于指示相应数据区定位进程生成与所述特征分片相应的第一数据区信息,所述特征分片还用于指示相应数据区定位进程将所述特征分片分别转换成下载特征序列和填充特征序列,并分别从所述下载特征序列的各下载特征中提取第一特征,以及从填充特征序列的各填充特征中提取第二特征;
分析各所述第一特征和所述第二特征,得到与所述特征分片相应的第一数据区信息,之后获取各所述数据区定位进程反馈的第一数据区信息,并将各所述第一数据区信息按照相应特征分片在网页项目特征中所处节点的先后顺序进行融合后,将融合后的数据区信息中的各数据区节点转换为数据区节点向量,得到数据区节点向量序列;
对所述数据区节点向量序列进行去冗余编码生成与所述网页项目特征对应的第二数据区信息,以得到所述当前网页处理终端的目标网页数据区。
6.根据权利要求1-4中任意一项所述的基于云平台实现的网页数据处理方法,其特征在于,所述确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本的步骤,包括:
确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问标识,以根据所述访问标识确定对应的访问数据区域;
获得所述网页数据项目的项目特征的特征信息,并获得在接收到所述网页数据项目下的多个网页数据文件中,各个疑似篡改数据文件的文件特征信息;
将所述文件特征信息与预先配置的各个数据防护脚本的特征信息进行相似度计算,获得针对所述各个数据防护脚本的多个第一相似度计算结果,所述各个数据防护脚本的特征信息为:在配置过程中确定的该数据防护脚本对应的预设的数据下载特征和数据填充特征的特征信息;
根据所述多个第一相似度计算结果,确定所述对应的数据防护脚本;
其中,所述各个数据防护脚本,采用如下方式配置获得:
获取配置集合中各个数据防护指令对应的预设的数据防护特征的各个目标特征信息,构成目标特征信息集合;
逐一选择所述目标特征信息集合中的一个目标特征信息,分别作为当前目标特征信息,以根据所述目标特征信息创建一个数据防护脚本,计算当前目标特征信息与所述数据防护脚本的头信息之间的关联度,获得多个第二关联度值,作为第二相似度结果;
判断所述各个第二关联度值是否小于预设阈值,如果小于则确定第二相似度结果满足预设的相似条件,如果不小于则确定第二相似度结果不满足预设的相似条件;
获得第二相似度计算结果满足预设相似条件时对应的数据防护脚本,确定为所述当前目标特征信息所属的数据防护脚本,将所述当前目标特征信息加入所述当前目标特征信息所属的数据防护脚本中;
如果没有第二相似度计算结果满足预设相似条件,则创建一个数据防护脚本,该数据防护脚本的头信息记录为当前目标特征信息,重新计算所述数据防护脚本的头信息后,且在对所述目标特征信息集合中的各个目标特征信息融合完成后,将每个数据防护脚本的头信息,作为每个数据防护脚本对应的预设的数据防护特征的特征信息。
7.根据权利要求1-6中任意一项所述的基于云平台实现的网页数据处理方法,其特征在于,所述根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据的步骤,包括:
根据所述数据防护脚本获取多个防护处理节点,并获取所述多个防护处理节点中每个防护处理节点的防护指令;
根据所述每个防护处理节点的防护指令和所述每个防护处理节点所预先配置的防护序列参数,获取所述每个防护处理节点的防护序列控制信息,所述防护序列控制信息中包括防护序列参数和对应的各个防护处理节点的节点参数;
根据所述每个防护处理节点的防护处理标签和所述每个防护处理节点的防护序列参数,对所述访问数据区域中的当前网页内容数据所对应的网页地址的访问域进行防护标记,并将防护标记后的访问域关联到所述访问数据区域所对应的预设防护集合中,并根据所述当前网页内容数据的数据总量配置所述访问域的防护强度,根据所述访问域的防护强度为所述访问域设置对应的防护拦截指令;
删除所述访问数据区域中的原有网页内容数据,在所述访问数据区域中重新添加原始的网页内容数据。
8.一种基于云平台实现的网页数据处理装置,其特征在于,应用于服务器,所述服务器与至少一个网页处理终端通信连接,每个网页处理终端预先在所述服务器中关联对应的网页,每个网页处理终端预先在所述服务器中关联对应的网页,服务器经由网络访问存储在网页处理终端中的信息,服务器在云平台上实现,网络包括有线或无线网络接入点,所述装置包括:
获取模块,用于获取与目标网页关联的当前网页处理终端的网页数据;
提取模块,用于当确定所述当前网页处理终端采用与目标网页对应的网页数据监控策略进行数据监控时,从所述网页数据中提取目标网页项目特征,所述目标网页项目特征由第一项目特征和第二项目特征组成,所述第一项目特征为所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,所述第二项目特征为所述目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务;
确定模块,用于根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区,并确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本;
防护添加模块,用于根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据;
其中,数据下载特征用于表示该目标监控节点监控到的该目标网页从其它访问域的数据下载行为,数据填充特征可以用于表示该目标监控节点监控到的该目标网页从其它访问域的数据获取和填充行为。
9.一种基于云平台实现的网页数据处理系统,其特征在于,所述基于云平台实现的网页数据处理系统包括服务器以及与所述服务器通信连接的至少一个网页处理终端,每个网页处理终端预先在所述服务器中关联对应的网页,服务器经由网络访问存储在网页处理终端中的信息,服务器在云平台上实现,网络包括有线或无线网络接入点;
当所述网页处理终端与目标网页关联时,用于向所述服务器发送网页数据;
所述服务器用于获取与所述目标网页关联的网页处理终端的网页数据;
当确定所述当前网页处理终端采用与目标网页对应的网页数据监控策略进行数据监控时,所述服务器用于从所述网页数据中提取目标网页项目特征,所述目标网页项目特征由第一项目特征和第二项目特征组成,所述第一项目特征为所述网页数据监控策略包括的监控节点中监控等级大于设定等级的目标监控节点监控到的数据下载特征,所述第二项目特征为所述目标监控节点监控到的数据填充特征,不同的监控节点用于监控不同的预设网页业务;
所述服务器用于根据所述目标网页项目特征,确定所述当前网页处理终端的目标网页数据区,并确定所述目标网页数据区所对应的网页数据项目的网页数据文件的访问数据区域以及对应的数据防护脚本;
所述服务器用于根据所述数据防护脚本,对所述访问数据区域中的当前网页内容数据所对应的网页地址进行数据防护处理后,在所述访问数据区域中重新添加原始的网页内容数据;
其中,数据下载特征用于表示该目标监控节点监控到的该目标网页从其它访问域的数据下载行为,数据填充特征可以用于表示该目标监控节点监控到的该目标网页从其它访问域的数据获取和填充行为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010931657.5A CN112115401A (zh) | 2020-02-02 | 2020-02-02 | 基于云平台实现的网页数据处理方法、装置及系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010077968.XA CN111291300B (zh) | 2020-02-02 | 2020-02-02 | 网页数据处理方法、装置、网页系统及服务器 |
CN202010931657.5A CN112115401A (zh) | 2020-02-02 | 2020-02-02 | 基于云平台实现的网页数据处理方法、装置及系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010077968.XA Division CN111291300B (zh) | 2020-02-02 | 2020-02-02 | 网页数据处理方法、装置、网页系统及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112115401A true CN112115401A (zh) | 2020-12-22 |
Family
ID=71021446
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010077968.XA Active CN111291300B (zh) | 2020-02-02 | 2020-02-02 | 网页数据处理方法、装置、网页系统及服务器 |
CN202010931657.5A Withdrawn CN112115401A (zh) | 2020-02-02 | 2020-02-02 | 基于云平台实现的网页数据处理方法、装置及系统 |
CN202010931637.8A Withdrawn CN112115400A (zh) | 2020-02-02 | 2020-02-02 | 网页数据处理方法、装置及网页云平台 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010077968.XA Active CN111291300B (zh) | 2020-02-02 | 2020-02-02 | 网页数据处理方法、装置、网页系统及服务器 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010931637.8A Withdrawn CN112115400A (zh) | 2020-02-02 | 2020-02-02 | 网页数据处理方法、装置及网页云平台 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN111291300B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114168670A (zh) * | 2021-12-03 | 2022-03-11 | 苏州博士创新技术转移有限公司 | 一种产业生态大数据整合方法、系统及云平台 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112100661B (zh) * | 2020-09-16 | 2024-03-12 | 深圳集智数字科技有限公司 | 一种数据处理方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8584232B2 (en) * | 2007-04-23 | 2013-11-12 | Sap Ag | Enhanced cross-site attack prevention |
CN102663289B (zh) * | 2012-03-22 | 2015-07-15 | 北京奇虎科技有限公司 | 一种对修改网页元素的恶意程序进行拦截的方法及装置 |
JP2017501490A (ja) * | 2013-12-02 | 2017-01-12 | ザグ ホールディングス インコーポレーテッド | レガシー互換ソフトウェアのための方法およびシステム |
CN105824813B (zh) * | 2015-01-05 | 2018-12-07 | 中国移动通信集团江苏有限公司 | 一种挖掘核心用户的方法及装置 |
CN106530154A (zh) * | 2016-08-08 | 2017-03-22 | 浙江大学城市学院 | 一种基于WiFi的高校课堂教学效率监控系统及方法 |
CN106790687A (zh) * | 2017-02-17 | 2017-05-31 | 和创(北京)科技股份有限公司 | 网页呈现方法、网页数据处理方法和服务器 |
CN109729100B (zh) * | 2019-03-12 | 2021-04-13 | Oppo广东移动通信有限公司 | 一种网页数据劫持监控方法、装置及计算机可读存储介质 |
CN110719320B (zh) * | 2019-09-18 | 2022-05-27 | 上海联蔚数字科技集团股份有限公司 | 公有云配置调整信息的生成方法和设备 |
-
2020
- 2020-02-02 CN CN202010077968.XA patent/CN111291300B/zh active Active
- 2020-02-02 CN CN202010931657.5A patent/CN112115401A/zh not_active Withdrawn
- 2020-02-02 CN CN202010931637.8A patent/CN112115400A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114168670A (zh) * | 2021-12-03 | 2022-03-11 | 苏州博士创新技术转移有限公司 | 一种产业生态大数据整合方法、系统及云平台 |
CN114168670B (zh) * | 2021-12-03 | 2022-12-27 | 苏州博士创新技术转移有限公司 | 一种产业生态大数据整合方法、系统及云平台 |
Also Published As
Publication number | Publication date |
---|---|
CN111291300A (zh) | 2020-06-16 |
CN112115400A (zh) | 2020-12-22 |
CN111291300B (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3917115B1 (en) | Data processing method and apparatus, computer device, and storage medium | |
CN111064711B (zh) | 基于区块链的数据流检测方法、装置及服务器 | |
CN111132145B (zh) | 网络通信安全监测方法、装置、服务器及网络通信系统 | |
CN111291300B (zh) | 网页数据处理方法、装置、网页系统及服务器 | |
JP6859518B2 (ja) | サーバへの攻撃を防ぐ方法及びデバイス | |
CN108595280B (zh) | 接口适配方法、装置、计算机设备和存储介质 | |
CN110741617B (zh) | 资源更新方法、装置、计算机设备和存储介质 | |
CN110659019A (zh) | 参数校验方法、装置和服务器 | |
CN112699034B (zh) | 虚拟登录用户构建方法、装置、设备及存储介质 | |
CN108133026B (zh) | 一种多数据的处理方法、系统及存储介质 | |
CN111209074B (zh) | 浏览器视图加载方法、装置、系统及服务器 | |
CN111563215B (zh) | 前端操作权限的控制方法、装置以及相关设备 | |
CN111414239B (zh) | 基于麒麟云计算平台的虚拟机镜像管理方法、系统及介质 | |
CN113821307A (zh) | 一种虚拟机镜像的快速导入方法、装置及设备 | |
CN115391188A (zh) | 一种场景测试用例生成方法、装置、设备及存储介质 | |
CN111125567B (zh) | 设备标记方法、装置、电子设备及存储介质 | |
CN116070191A (zh) | 信息处理方法及其装置、存储介质、程序产品 | |
CN112698932A (zh) | 工业应用程序调用方法、装置、计算机设备和存储介质 | |
CN112595824A (zh) | 一种cod在线检测方法、装置及平台 | |
CN104965909A (zh) | 一种动态web内容的请求处理方法 | |
CN114270309A (zh) | 资源获取方法、装置以及电子设备 | |
CN104301345B (zh) | 一种Cache集群中删除数据的方法及系统 | |
CN116339767B (zh) | 应用资源配置方法、装置、计算机设备和存储介质 | |
CN117081845A (zh) | 一种数据获取请求的拦截方法及相关装置 | |
CN111741465A (zh) | 软sim保护方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201222 |