CN114760086A - 一种网站页面合规性检测方法、装置、存储介质及终端 - Google Patents

一种网站页面合规性检测方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN114760086A
CN114760086A CN202210080650.6A CN202210080650A CN114760086A CN 114760086 A CN114760086 A CN 114760086A CN 202210080650 A CN202210080650 A CN 202210080650A CN 114760086 A CN114760086 A CN 114760086A
Authority
CN
China
Prior art keywords
compliance
webpage
detection
record number
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210080650.6A
Other languages
English (en)
Other versions
CN114760086B (zh
Inventor
晏伟
田猛
夏曙东
石四平
张志平
孙智彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Transwiseway Information Technology Co Ltd
Original Assignee
Beijing Transwiseway Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Transwiseway Information Technology Co Ltd filed Critical Beijing Transwiseway Information Technology Co Ltd
Priority to CN202210080650.6A priority Critical patent/CN114760086B/zh
Publication of CN114760086A publication Critical patent/CN114760086A/zh
Application granted granted Critical
Publication of CN114760086B publication Critical patent/CN114760086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2119—Authenticating web pages, e.g. with suspicious links

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种网站页面合规性检测方法、装置、存储介质及终端，方法包括：确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果；将检测结果推送到第三方审批流程软件的API接口。由于本申请将网页合规性要求数据转化为预设网页合规性检测参数，并基于预设网页合规性检测参数构造合规检测算法库，可根据该合规检测算法库自动扫描确定网站页面是否合规，从而提升了网站页面合规性检测效率，降低了网站页面上线后的错误率。

Description

一种网站页面合规性检测方法、装置、存储介质及终端
技术领域
本发明涉及交通枢纽安全技术领域，特别涉及一种网站页面合规性检测方法、装置、存储介质及终端。
背景技术
随着网络安全越来越被重视，维护网络安全是国家的责任，社会的责任，企业的责任，更是每个人的责任。多家数据中心服务商下发通知中，要求企业对ICP备案、公网安备案及服务器安全、网络产品安全、数据安全等进行相关自查。例如非经营性互联网信息服务提供者应当在其网站开通时在主页底部的中央位置标明其备案编号，按要求链接到备案管理系统网址，供公众查询核对。
在现有的方案中，工具只是针对ICP备案信息的查询，或单独的进行安全扫描，并没有找到类似针对最新ICP备案合规要求的安全查询工具；现有安全扫描工具只是在上线时会对内部程序包进行安全扫描，未对或未及时对外部入口进行扫描；或者以上信息检查单独触发，并未结合产品上线的流程，存在上线后一段时间内网站存在不合规的风险；或者人工不定期处理，效率低下，时效性较低，并且与相关人员沟通时会花费较多的时间；从而降低了网站页面合规性检测效率，提升了网站页面上线后的错误率。
发明内容
本申请实施例提供了一种网站页面合规性检测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种网站页面合规性检测方法，方法包括：
确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果；
将检测结果推送到第三方审批流程软件的API接口。
可选的，确定待检测网站之前，还包括：
当接收到基于待上线网站的基础信息所发起的API请求时，获取API请求中的post请求数据；
提取post请求数据中网站基础信息；其中，网站基础信息至少包括二级域名信息、外网IP、网页名称；
将包括二级域名信息、外网IP、网页名称保存至数据库。
可选的，确定待检测网站，包括：
从数据库中获取二级域名信息、外网IP、网页名称；
根据二级域名信息、外网IP、网页名称确定出待检测网站。
可选的，根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果，包括：
初始化网页数据爬取服务；
根据网页数据爬取服务爬取待检测网站中每个网页的各类型数据；
根据每个网页的各类型数据所对应的数据类型从合规检测算法库中映射出每个网页的合规检测算法；
根据每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果。
可选的，每个网页的合规检测算法至少包括ICP备案号检测算法、公安备案号检测算法、网页检测算法、异常检测算法；
根据每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果，包括：
根据ICP备案号检测算法，并结合每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果；
根据公安备案号检测算法检测算法，并结合每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果；
根据网页检测算法，并结合每个网页的各类型数据进行网页的合规性检测，生成第三检测结果；
根据异常检测算法，并结合每个网页的各类型数据进行异常页面的合规性检测，生成第四检测结果；
将第一检测结果、第二检测结果、第三检测结果以及第四检测结果进行保存并确定为最终的检测结果。
可选的，根据ICP备案号检测算法，并结合每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果，包括：
执行ICP备案号检测算法，扫描每个网页的各类型数据中是否存在目标ICP备案号；
若扫描出每个网页中存在目标ICP备案号时，检测目标ICP备案号是否存在超链接；
若目标ICP备案号存在超链接时，请求超链接是否可用；
若超链接可用时，检测目标ICP备案号是否准确；
若目标ICP备案号准确时，生成每个网页ICP备案号合规报告；
将ICP备案号合规报告确定为第一检测结果。
可选的，根据公安备案号检测算法检测算法，并结合每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果，包括：
执行公安备案号检测算法，扫描每个网页的各类型数据中是否存在目标公安备案号；
若扫描出每个网页中存在目标公安备案号时，检测目标公安备案号是否存在超链接；
若目标公安备案号存在超链接时，请求超链接是否可用；
若超链接可用时，检测目标公安备案号是否准确；
若目标公安备案号准确时，检测公安联网备案号的图标是否添加及准确；
若公安联网备案号的图标添加且准确时，生成每个网页公安备案号合规报告；
将公安备案号合规报告确定为第二检测结果。
第二方面，本申请实施例提供了一种网站页面合规性检测装置，装置包括：
合规检测算法库获取模块，用于确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
检测结果生成模块，用于根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果；
检测结果推送模块，用于将检测结果推送到第三方审批流程软件的API接口。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，网站页面合规性检测装置首先确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；然后根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果，最后将检测结果推送到第三方审批流程软件的API接口。由于本申请将网页合规性要求数据转化为预设网页合规性检测参数，并基于预设网页合规性检测参数构造合规检测算法库，可根据该合规检测算法库自动扫描确定网站页面是否合规，从而提升了网站页面合规性检测效率，降低了网站页面上线后的错误率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种网站页面合规性检测方法的流程示意图；
图2是本申请实施例提供的一种信息收集模块执行示意图；
图3是本申请实施例提供的一种数据分析模块执行示意图；
图4是本申请实施例提供的一种信息推送模块执行示意图；
图5是本申请实施例提供的一种数据展示模块执行示意图；
图6是本申请实施例提供的一种规则配置模块执行示意图；
图7是本申请实施例提供的另一种网站页面合规性检测方法的流程示意图；
图8是本申请实施例提供的一种网站页面合规性检测装置的结构示意图；
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种网站页面合规性检测方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请将网页合规性要求数据转化为预设网页合规性检测参数，并基于预设网页合规性检测参数构造合规检测算法库，可根据该合规检测算法库自动扫描确定网站页面是否合规，从而提升了网站页面合规性检测效率，降低了网站页面上线后的错误率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图7，对本申请实施例提供的网站页面合规性检测方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的网站页面合规性检测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种网站页面合规性检测方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，确定待检测网站，并获取针对待检测网站设置的合规检测算法库；
其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
在本申请实施例中，在确定待检测网站之前，当接收到基于待上线网站的基础信息所发起的API请求时，首先获取API请求中的post请求数据，然后提取post请求数据中网站基础信息；其中，网站基础信息至少包括二级域名信息、外网IP、网页名称；最后将包括二级域名信息、外网IP、网页名称保存至数据库。
例如图2所示，该过程可理解为信息收集模块处理过程，结合目前在用的流程申请系统，在某个网站正式启用时，自动触发该检测流程，发起api请求，保证了检测的时效性。流程中会包括一些基础信息，包括并不局域于以下：二级域名信息；对应的外网IP；网页名称；通过信息收集服务和信息存储服务将基础信息进行信息入库。
具体的，本系统提供https安全加密的API接口，同时配置网络上的访问白名单，保证系统不存在安全风险。接收信息收集模块中第1步流程发起的post请求数据，包括二级域名信息、外网IP、网页名称等相关信息。完成基础信息的收集后入库保存。
在一种可能的实现方式中，首先从数据库中获取二级域名信息、外网IP、网页名称，然后可根据二级域名信息、外网IP、网页名称确定出待检测网站。
S102，根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果；
在本申请实施例中，在进行合规性检测时，首先初始化网页数据爬取服务，再根据网页数据爬取服务爬取待检测网站中每个网页的各类型数据，然后根据每个网页的各类型数据所对应的数据类型从合规检测算法库中映射出每个网页的合规检测算法，最后根据每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果。
例如图3所示，该过程可理解为数据分析模块的处理过程，网页数据爬取服务对新上线网页进行相应类型数据爬取，包括并不限于静态图片、html文件、js文件、css文件等类型资源。对爬取各类型数据，结合数据分析服务以及多个安全检测模块，逐一对网页内容进行详细分析，最后结合信息存储服务将分析结果入库保存。
需要说明的是，每个网页的合规检测算法至少包括ICP备案号检测算法、公安备案号检测算法、网页检测算法、异常检测算法。
进一步地，在根据每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果时，首先根据ICP备案号检测算法，并结合每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果，然后根据公安备案号检测算法检测算法，并结合每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果，再根据网页检测算法，并结合每个网页的各类型数据进行网页的合规性检测，生成第三检测结果，其次根据异常检测算法，并结合每个网页的各类型数据进行异常页面的合规性检测，生成第四检测结果，最后将第一检测结果、第二检测结果、第三检测结果以及第四检测结果进行保存并确定为最终的检测结果。
S103，将检测结果推送到第三方审批流程软件的API接口。
在本申请实施例中，在得到检测结果后，针对上一步的检测结果进行梳理，有选择地推送到第三方审批流程软件的API接口，以便实时告知相关人员，责任人必须对不合规项目进行整改，并复测完毕，之后才可以结束整个流程。
例如图4所示，该过程可理解成数据推送模块的处理过程，通过信息推送服务将分析后的检测结果实时发送给用户，通过现有流程申请系统如域名申请流程、cicd产品上线流程等通知方式通知用户。
进一步地，例如图5所示，用户在收到检测结果后，用户可通过数据展示模块以及信息查询服务查看历次的扫描结果，对统计报表进行分析，避免类似问题的重复出错。
进一步地，例如图6所示，管理员可对检测项目进行随时补充完善，并对每次的扫描项目进行定制化选择，同时还可以配置定时检测的周期，对线上所有网站循环不间断进行检测，及时发现问题。
在本申请实施例中，网站页面合规性检测装置首先确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；然后根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果，最后将检测结果推送到第三方审批流程软件的API接口。由于本申请将网页合规性要求数据转化为预设网页合规性检测参数，并基于预设网页合规性检测参数构造合规检测算法库，可根据该合规检测算法库自动扫描确定网站页面是否合规，从而提升了网站页面合规性检测效率，降低了网站页面上线后的错误率。
请参见图7，为本申请实施例提供了另一种网站页面合规性检测方法的流程示意图。如图7所示，本申请实施例的方法可以包括以下步骤：
S201，确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
S202，根据ICP备案号检测算法，并结合每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果；
在本申请实施例中，在生成第一检测结果时，执行ICP备案号检测算法，扫描每个网页的各类型数据中是否存在目标ICP备案号；若扫描出每个网页中存在目标ICP备案号时，检测目标ICP备案号是否存在超链接；若目标ICP备案号存在超链接时，请求超链接是否可用；若超链接可用时，检测目标ICP备案号是否准确；若目标ICP备案号准确时，生成每个网页ICP备案号合规报告；将ICP备案号合规报告确定为第一检测结果。
例如，ICP备案号检测步骤如下：
(1)检测icp备案号是否添加；
匹配“icp备”及前面一个汉字，后面n个数字(或包含横杠、空格)，直到匹配到"号”，样例:京ICP备12345678号，京ICP备12346678号，京ICP备12346678-1号，如匹配为空，则该项不合规，直接跳过第2步和第3步。
(2)检测icp备案号对应的超链接是否添加；
上一步检测到icp备案号后，继续匹配前面包含herf的标签，取出双引号内的内容，判断是否完全匹配以下任一URL：
https://beian.miit.gov.cn/
https://beian.miit.gov.cn
http://beian.miit.gov.cn/
http://beian.miit.gov.cn
匹配成功后，模拟请求该URL，确保访问正常(因为工信部备案地址偶尔会变化，及时验证URL的可用性，便于及时更新该项的检测规则)，匹配失败，则该项不合规。
(3)检测icp备案号是否准确；
上一步检测完成后，通过比对本地存储的icp备案号列表(先前统一录入)或实时调用工信部查询页面，判断该号码是否存在，判断该号码是否与公司主体对应，如匹配失败，则该项不合规。
S203，根据公安备案号检测算法检测算法，并结合每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果；
在本申请实施例中，在生成第二检测结果时，首先执行公安备案号检测算法，扫描每个网页的各类型数据中是否存在目标公安备案号；若扫描出每个网页中存在目标公安备案号时，检测目标公安备案号是否存在超链接；若目标公安备案号存在超链接时，请求超链接是否可用；若超链接可用时，检测目标公安备案号是否准确；若目标公安备案号准确时，检测公安联网备案号的图标是否添加及准确；若公安联网备案号的图标添加且准确时，生成每个网页公安备案号合规报告；将公安备案号合规报告确定为第二检测结果。
例如，公安备案号检测步骤如下：
(1)检测公安备案号是否添加；
匹配“公网安备”及前面一个汉字，后面n个数字，直到匹配到“号”，样例:京公网安备11010802012345号，京公网安备11010802012345号，如匹配为空，则该项不合规，直接跳过第5步和第6步。
(2)检测公安备案号对应的超链接是否添加；
上一步检测到公安备案号后，继续匹配前面包含herf的标签，取出双引号内的内容，判断是否完全匹配“http://www.beian.gov.cn/portal/registerSystemInfo？recordcode＝公安备案号”并能正常访问(因为公安备案地址偶尔会变化，该匹配内容可在本系统动态设置)，匹配失败，则该项不合规。
(3)检测公安备案号是否准确；
上一步检测完成后，通过比对本地存储的公安备案号列表(先前统一录入)或实时调用公安部查询页面，判断该号码是否存在，判断该号码是否与公司主体对应，如匹配失败，则该项不合规。
(4)检测公安联网备案图标是否添加及准确性；
匹配公安备案号前面的图标链接，下载到本地，与本地图标对比，如无法下载或对比不一致，则该项不合规。
S204，根据网页检测算法，并结合每个网页的各类型数据进行网页的合规性检测，生成第三检测结果；
例如，合规性检测步骤如下：
(1)网页是否开启https自动跳转的校验
通过wget域名，验证是否从http跳转到了https。
(2)ssl证书的过期时间；
模拟浏览器访问网页，检测ssl证书的到期时间，即将到期时发出预警。
(3)主页资源下载最耗时和下载流量最大的情况记录；
检测整体总耗时，总流量，单文件最大耗时，单文件最大流量。
(4)网页是否开启gzip压缩；
模拟浏览器访问网页，判断返回数据Response Headers中Content-Encoding的值，不为gzip时则该项不通过。
S205，根据异常检测算法，并结合每个网页的各类型数据进行异常页面的合规性检测，生成第四检测结果；
异常检测步骤如下：
模拟浏览器访问网页，在网页不存在时，检查是否显示nginx或tomcat等版本号，如有404图片返回，检查该图片是否可本地缓存，是否为不可缓存的base64类型文件。
S206，将第一检测结果、第二检测结果、第三检测结果以及第四检测结果进行保存并确定为最终的检测结果。
S207，将检测结果推送到第三方审批流程软件的API接口。
在本申请实施例中，网站页面合规性检测装置首先确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；然后根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果，最后将检测结果推送到第三方审批流程软件的API接口。由于本申请将网页合规性要求数据转化为预设网页合规性检测参数，并基于预设网页合规性检测参数构造合规检测算法库，可根据该合规检测算法库自动扫描确定网站页面是否合规，从而提升了网站页面合规性检测效率，降低了网站页面上线后的错误率。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图8，其示出了本发明一个示例性实施例提供的网站页面合规性检测装置的结构示意图。该网站页面合规性检测装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括合规检测算法库获取模块10、检测结果生成模块20、检测结果推送模块30。
合规检测算法库获取模块10，用于确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
检测结果生成模块20，用于根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果；
检测结果推送模块30，用于将检测结果推送到第三方审批流程软件的API接口。
需要说明的是，上述实施例提供的网站页面合规性检测装置在执行网站页面合规性检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的网站页面合规性检测装置与网站页面合规性检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，网站页面合规性检测装置首先确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；然后根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果，最后将检测结果推送到第三方审批流程软件的API接口。由于本申请将网页合规性要求数据转化为预设网页合规性检测参数，并基于预设网页合规性检测参数构造合规检测算法库，可根据该合规检测算法库自动扫描确定网站页面是否合规，从而提升了网站页面合规性检测效率，降低了网站页面上线后的错误率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的网站页面合规性检测方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的网站页面合规性检测方法。
请参见图9，为本申请实施例提供了一种终端的结构示意图。如图9所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网站页面合规性检测应用程序。
在图9所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的网站页面合规性检测应用程序，并具体执行以下操作：
确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果；
将检测结果推送到第三方审批流程软件的API接口。
在一个实施例中，处理器1001在执行确定待检测网站之前时，还执行以下操作：
当接收到基于待上线网站的基础信息所发起的API请求时，获取API请求中的post请求数据；
提取post请求数据中网站基础信息；其中，网站基础信息至少包括二级域名信息、外网IP、网页名称；
将包括二级域名信息、外网IP、网页名称保存至数据库。
在一个实施例中，处理器1001在执行确定待检测网站时，具体执行以下操作：
从数据库中获取二级域名信息、外网IP、网页名称；
根据二级域名信息、外网IP、网页名称确定出待检测网站。
在一个实施例中，处理器1001在执行根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果时，具体执行以下操作：
初始化网页数据爬取服务；
根据网页数据爬取服务爬取待检测网站中每个网页的各类型数据；
根据每个网页的各类型数据所对应的数据类型从合规检测算法库中映射出每个网页的合规检测算法；
根据每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果。
在一个实施例中，处理器1001在执行根据每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果时，具体执行以下操作：
根据ICP备案号检测算法，并结合每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果；
根据公安备案号检测算法检测算法，并结合每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果；
根据网页检测算法，并结合每个网页的各类型数据进行网页的合规性检测，生成第三检测结果；
根据异常检测算法，并结合每个网页的各类型数据进行异常页面的合规性检测，生成第四检测结果；
将第一检测结果、第二检测结果、第三检测结果以及第四检测结果进行保存并确定为最终的检测结果。
在一个实施例中，处理器1001在执行根据ICP备案号检测算法，并结合每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果时，具体执行以下操作：
执行ICP备案号检测算法，扫描每个网页的各类型数据中是否存在目标ICP备案号；
若扫描出每个网页中存在目标ICP备案号时，检测目标ICP备案号是否存在超链接；
若目标ICP备案号存在超链接时，请求超链接是否可用；
若超链接可用时，检测目标ICP备案号是否准确；
若目标ICP备案号准确时，生成每个网页ICP备案号合规报告；
将ICP备案号合规报告确定为第一检测结果。
在一个实施例中，处理器1001在执行根据公安备案号检测算法检测算法，并结合每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果时，具体执行以下操作：
执行公安备案号检测算法，扫描每个网页的各类型数据中是否存在目标公安备案号；
若扫描出每个网页中存在目标公安备案号时，检测目标公安备案号是否存在超链接；
若目标公安备案号存在超链接时，请求超链接是否可用；
若超链接可用时，检测目标公安备案号是否准确；
若目标公安备案号准确时，检测公安联网备案号的图标是否添加及准确；
若公安联网备案号的图标添加且准确时，生成每个网页公安备案号合规报告；
将公安备案号合规报告确定为第二检测结果。
在本申请实施例中，网站页面合规性检测装置首先确定待检测网站，并获取针对待检测网站设置的合规检测算法库；其中，合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；然后根据合规检测算法库对待检测网站中每个网页进行合规性检测，生成检测结果，最后将检测结果推送到第三方审批流程软件的API接口。由于本申请将网页合规性要求数据转化为预设网页合规性检测参数，并基于预设网页合规性检测参数构造合规检测算法库，可根据该合规检测算法库自动扫描确定网站页面是否合规，从而提升了网站页面合规性检测效率，降低了网站页面上线后的错误率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，网站页面合规性检测的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种网站页面合规性检测方法，其特征在于，所述方法包括：
确定待检测网站，并获取针对所述待检测网站设置的合规检测算法库；其中，所述合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
根据所述合规检测算法库对所述待检测网站中每个网页进行合规性检测，生成检测结果；
将所述检测结果推送到第三方审批流程软件的API接口。
2.根据权利要求1所述的方法，其特征在于，所述确定待检测网站之前，还包括：
当接收到基于待上线网站的基础信息所发起的API请求时，获取所述API请求中的post请求数据；
提取所述post请求数据中网站基础信息；其中，所述网站基础信息至少包括二级域名信息、外网IP、网页名称；
将所述包括二级域名信息、外网IP、网页名称保存至数据库。
3.根据权利要求2所述的方法，其特征在于，所述确定待检测网站，包括：
从所述数据库中获取二级域名信息、外网IP、网页名称；
根据所述二级域名信息、外网IP、网页名称确定出待检测网站。
4.根据权利要求1所述的方法，其特征在于，所述根据所述合规检测算法库对所述待检测网站中每个网页进行合规性检测，生成检测结果，包括：
初始化网页数据爬取服务；
根据所述网页数据爬取服务爬取所述待检测网站中每个网页的各类型数据；
根据所述每个网页的各类型数据所对应的数据类型从所述合规检测算法库中映射出每个网页的合规检测算法；
根据所述每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果。
5.根据权利要求4所述的方法，其特征在于，所述每个网页的合规检测算法至少包括ICP备案号检测算法、公安备案号检测算法、网页检测算法、异常检测算法；
所述根据所述每个网页的合规检测算法，并结合与其对应的各类型数据进行合规性检测，生成检测结果，包括：
根据所述ICP备案号检测算法，并结合所述每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果；
根据所述公安备案号检测算法检测算法，并结合所述每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果；
根据所述网页检测算法，并结合所述每个网页的各类型数据进行网页的合规性检测，生成第三检测结果；
根据所述异常检测算法，并结合所述每个网页的各类型数据进行异常页面的合规性检测，生成第四检测结果；
将所述第一检测结果、第二检测结果、第三检测结果以及第四检测结果进行保存并确定为最终的检测结果。
6.根据权利要求5所述的方法，其特征在于，所述根据所述ICP备案号检测算法，并结合所述每个网页的各类型数据进行ICP备案号的合规性检测，生成第一检测结果，包括：
执行所述ICP备案号检测算法，扫描所述每个网页的各类型数据中是否存在目标ICP备案号；
若扫描出每个网页中存在目标ICP备案号时，检测所述目标ICP备案号是否存在超链接；
若所述目标ICP备案号存在超链接时，请求所述超链接是否可用；
若所述超链接可用时，检测所述目标ICP备案号是否准确；
若所述目标ICP备案号准确时，生成每个网页ICP备案号合规报告；
将所述ICP备案号合规报告确定为第一检测结果。
7.根据权利要求5所述的方法，其特征在于，所述根据所述公安备案号检测算法检测算法，并结合所述每个网页的各类型数据进行公安备案号的合规性检测，生成第二检测结果，包括：
执行所述公安备案号检测算法，扫描所述每个网页的各类型数据中是否存在目标公安备案号；
若扫描出每个网页中存在目标公安备案号时，检测所述目标公安备案号是否存在超链接；
若所述目标公安备案号存在超链接时，请求所述超链接是否可用；
若所述超链接可用时，检测所述目标公安备案号是否准确；
若所述目标公安备案号准确时，检测所述公安联网备案号的图标是否添加及准确；
若所述公安联网备案号的图标添加且准确时，生成每个网页公安备案号合规报告；
将所述公安备案号合规报告确定为第二检测结果。
8.一种网站页面合规性检测装置，其特征在于，所述装置包括：
合规检测算法库获取模块，用于确定待检测网站，并获取针对所述待检测网站设置的合规检测算法库；其中，所述合规检测算法库中各算法是基于预设网页合规性检测参数配置生成的；
检测结果生成模块，用于根据所述合规检测算法库对所述待检测网站中每个网页进行合规性检测，生成检测结果；
检测结果推送模块，用于将所述检测结果推送到第三方审批流程软件的API接口。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
CN202210080650.6A 2022-01-24 2022-01-24 一种网站页面合规性检测方法、装置、存储介质及终端 Active CN114760086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210080650.6A CN114760086B (zh) 2022-01-24 2022-01-24 一种网站页面合规性检测方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210080650.6A CN114760086B (zh) 2022-01-24 2022-01-24 一种网站页面合规性检测方法、装置、存储介质及终端

Publications (2)

Publication Number Publication Date
CN114760086A true CN114760086A (zh) 2022-07-15
CN114760086B CN114760086B (zh) 2023-12-05

Family

ID=82325039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210080650.6A Active CN114760086B (zh) 2022-01-24 2022-01-24 一种网站页面合规性检测方法、装置、存储介质及终端

Country Status (1)

Country Link
CN (1) CN114760086B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179125A (zh) * 2013-03-25 2013-06-26 北京奇虎科技有限公司 网站认证信息的显示方法及浏览器
CN105791253A (zh) * 2014-12-26 2016-07-20 腾讯科技（深圳）有限公司 一种获取网站的认证信息的方法和装置
CN111651658A (zh) * 2020-06-05 2020-09-11 杭州安恒信息技术股份有限公司 一种基于深度学习的自动化识别网站的方法和计算机设备
CN112417240A (zh) * 2020-02-21 2021-02-26 上海哔哩哔哩科技有限公司 网站链接检测方法、装置、计算机设备
CN112929390A (zh) * 2021-03-12 2021-06-08 厦门帝恩思科技股份有限公司 一种基于多策略融合的网络智能监控方法
CN113867885A (zh) * 2020-06-30 2021-12-31 瞻博网络公司 用于应用程序流监控的方法、计算系统和计算机可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179125A (zh) * 2013-03-25 2013-06-26 北京奇虎科技有限公司 网站认证信息的显示方法及浏览器
CN105791253A (zh) * 2014-12-26 2016-07-20 腾讯科技（深圳）有限公司 一种获取网站的认证信息的方法和装置
CN112417240A (zh) * 2020-02-21 2021-02-26 上海哔哩哔哩科技有限公司 网站链接检测方法、装置、计算机设备
CN111651658A (zh) * 2020-06-05 2020-09-11 杭州安恒信息技术股份有限公司 一种基于深度学习的自动化识别网站的方法和计算机设备
CN113867885A (zh) * 2020-06-30 2021-12-31 瞻博网络公司 用于应用程序流监控的方法、计算系统和计算机可读介质
CN112929390A (zh) * 2021-03-12 2021-06-08 厦门帝恩思科技股份有限公司 一种基于多策略融合的网络智能监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯锐杰: ""关键目标互联网资源画像技术研究"", 《中国硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN114760086B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
US20210314354A1 (en) Techniques for determining threat intelligence for network infrastructure analysis
US10769228B2 (en) Systems and methods for web analytics testing and web development
US8578019B2 (en) Monitoring the health of web page analytics code
CN108628748B (zh) 自动化测试管理方法和自动化测试管理系统
CN113489713B (zh) 网络攻击的检测方法、装置、设备及存储介质
CN103685307A (zh) 基于特征库检测钓鱼欺诈网页的方法及系统、客户端、服务器
US20150302466A1 (en) Data determination method and device for a thermodynamic chart
AU2014400621B2 (en) System and method for providing contextual analytics data
TWI729763B (zh) 收集與驗證網路交通數據之系統以及方法
CN111651347B (zh) 测试系统的跳转验证方法、装置、设备及存储介质
CN110311972B (zh) 用于应用软件分发的检测方法、装置、设备及介质
CN115150261B (zh) 告警分析的方法、装置、电子设备及存储介质
CN110851681A (zh) 爬虫处理方法、装置、服务器及计算机可读存储介质
US10291492B2 (en) Systems and methods for discovering sources of online content
CN113114680A (zh) 用于文件上传漏洞的检测方法和检测装置
CN112433936A (zh) 测试方法、装置及存储介质
CN108809896A (zh) 一种信息校验方法、装置和电子设备
CN105450462A (zh) 在线状态的监测方法和系统
CN117272308A (zh) 软件安全测试方法、装置、设备、存储介质及程序产品
CN113886216B (zh) 接口测试和工具配置方法、装置、电子设备和存储介质
CN114760086A (zh) 一种网站页面合规性检测方法、装置、存储介质及终端
CN112559278B (zh) 操作数据的获取方法和装置
CN113326506A (zh) 一种小程序监控方法及装置
CN111651356A (zh) 一种应用程序测试方法、装置及系统
CN110889027A (zh) 访问网页页面的方法、装置、终端设备及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant