CN109740094A - 页面监测方法、设备和计算机存储介质 - Google Patents

Abstract

本发明提供了一种页面监测方法、设备和计算机存储介质。其中方法包括：记录通过页面内容审核的页面地址以及对应的第一页面内容；在监测阶段内，对已投放的所述页面地址进行访问以获取对应的第二页面内容；利用所述第一页面内容和所述第二页面内容之间的相似度，确定所述页面地址是否通过本次监测。通过本发明提供的方式能够确定实际投放的推广页面与通过内容审核时的页面内容是否发生变化，从而实现对实际投放过程中内容被偷换的推广页面进行监测的目的。

Description

页面监测方法、设备和计算机存储介质

【技术领域】

本发明涉及计算机应用技术领域，特别涉及一种页面监测方法、设备和计算机存储介质。

【背景技术】

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就被认为是现有技术。

为了确保推广页面的内容健康且适合展示给用户，所有的推广页面均需要被审核。审核通过之后，推广页面才能够开始投放。然而在实际投放过程中，一些不良的推广信息提供者为了获取利益会采用作弊手段，例如在推广页面审核通过之后，将推广页面的内容进行偷换后进行实际投放。

【发明内容】

有鉴于此，本发明提供了一种页面监测方法、设备和计算机存储介质，以便于监测出实际投放过程中内容被偷换的推广页面。

具体技术方案如下：

一方面，本发明提供了一种页面监测方法，该方法包括：

获取并记录通过页面内容审核的页面地址以及对应的第一页面内容；

在监测阶段，对已投放的所述页面地址进行访问以获取对应的第二页面内容；

利用所述第一页面内容和所述第二页面内容之间的相似度，确定所述页面地址是否通过本次监测。

根据本发明一优选实施方式，所述获取并记录通过页面内容审核的页面地址以及对应的第一页面内容包括：

获取用户提交的页面地址；

获取对所述页面地址进行内容审核的结果；

若所述页面地址通过审核，则获取所述页面地址对应的页面内容作为所述第一页面内容；

记录所述页面地址以及对应的第一页面内容。

根据本发明一优选实施方式，对已投放的所述页面地址进行访问以获取对应的第二页面内容包括：

采用第二访问条件对已投放的所述页面地址进行访问以获取对应的第二页面内容，所述第二访问条件不同于获取所述第一页面内容时采用的第一访问条件。

根据本发明一优选实施方式，利用所述第一页面内容和第二页面内容之间的相似度，确定所述页面地址是否通过本次监测包括：

若所述第一页面内容和所述第二页面内容之间的相似度大于或等于预设的相似度阈值，则确定所述页面地址通过本次监测；否则，确定所述页面地址未通过本次监测。

根据本发明一优选实施方式，对已投放的所述页面地址进行访问以获取对应的第二页面内容包括：

采用多个第二访问条件对已投放的所述页面地址进行多次访问以获取对应的多个第二页面内容；

利用所述第一页面内容和所述第二页面内容之间的相似度，确定所述页面地址是否通过本次监测包括：

分别计算同一页面地址对应的各第二页面内容与第一页面内容之间的相似度，若至少存在M个相似度小于预设的相似度阈值，则确定所述页面地址未通过本次监测；否则，确定所述页面地址通过本次监测，所述M为预设的正整数。

根据本发明一优选实施方式，所述第二访问条件通过变换以下条件中的至少一种得到：

访问端的用户代理、访问端的IP地址、访问端的网络环境以及访问时段。

根据本发明一优选实施方式，所述第一页面内容和所述第二页面内容均通过快照的形式进行记录；

所述相似度为所述第一页面内容的快照和第二页面内容的快照之间的相似度。

根据本发明一优选实施方式，该方法还包括：

若所述页面地址未通过本次监测，则将所述页面地址放入复审队列以使所述页面地址再次被内容审核。

根据本发明一优选实施方式，若所述页面地址未通过再次的内容审核，则禁止所述页面地址的投放；若所述页面地址通过再次的内容审核，则获取所述页面地址的页面内容用以更新所述第一页面内容。

另一方面，本发明提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。

再一方面，本发明提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述的方法。

由以上技术方案可以看出，通过本发明提供的方式能够确定实际投放的推广页面与通过内容审核时的页面内容是否发生变化，从而实现对实际投放过程中内容被偷换的推广页面进行监测的目的。

【附图说明】

图1为本发明实施例提供的主要方法流程图；

图2为本发明实施例提供的一种监测推广页面的方法流程图；

图3示出了适于用来实现本发明实施方式的示例性计算机系统/服务器的框图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

需要说明的是，本发明实施例中涉及的“页面”可以包括网页，即包含HTML标签的纯文本文件，可以通过PC、移动终端等进行访问和展现。除此之外，“页面”还可以包括应用(APP)页面，或者之后可能衍生出的PC、移动终端等用户设备可以访问和展现的其他类型的内容载体。其中的内容可以包含文本、图片、音频、视频等中的一种或任意组合。

图1为本发明实施例提供的主要方法流程图，如图1中所示，该方法可以包括以下步骤：

在101中，记录通过页面内容审核的页面地址以及对应的第一页面内容。

对于进行内容审核的页面地址，若通过页面内容审核，则获取该页面地址对应的页面内容作为第一页面内容，然后记录该页面地址以及对应的第一页面内容。其中，本发明实施例并不限制内容审核的具体方式，可以采用诸如人工审核、利用机器学习模型进行内容审核的方式，也可以采用其他内容审核的方式。

本步骤中的页面内容审核可以是页面地址对应的页面投放之前进行的内容审核，对于审核未通过的页面地址，不允许其进行实际投放。对于审核通过的页面地址，则允许其进行实际投放。

在102中，在监测阶段内，对已投放的页面地址进行访问以获取对应的第二页面内容。

在本发明实施例中，可以周期性地启动监控，例如每天晚上12点启动监控，监控阶段为晚上12点至早上6点。也可以收到特定事件触发启动监控，例如人工启动监控程序从而开始监控阶段。

在监控阶段对已投放的页面地址进行访问时，采用的访问条件可以与对通过内容审核的页面地址获取第一页面内容时采用的访问条件(称为第一访问条件)相同。但为了避免作弊的页面提供者针对不同访问条件的访问者展现出违法或违规内容，优选地，在本发明实施例中可以采用第二访问条件对已投放的页面地址进行访问以获取对应的第二页面内容，其中第二访问条件不同于获取第一页面内容时采用的第一访问条件。

在本发明实施例中涉及的访问条件可以包括但不限于访问端的用户代理、访问端的IP地址、访问端的网络环境以及访问时段中的至少一种。

用户代理(UA，User Agent)是一个特殊字符串头，使得服务器能够识别访问端使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。在本发明实施例中可以采用浏览器的UA变换器对访问端的UA进行变换。

访问环境主要包括访问端的网络类型，例如WIFI、移动网络、有线网络等。还可以包括访问端的网络属性，例如家庭网络、办公网络等等。

作为一种实施方式，在监控阶段，可以随机变换用户代理、访问端的IP地址、访问端的网络环境以及访问时段中的至少一种产生第二访问条件对页面地址进行访问。

作为另一种实现方式，在监控阶段，还可以对预设的用户代理、访问端的IP地址、访问端的网络环境以及访问时段进行组合，得到多个第二访问条件，分别利用组合得到的各第二访问条件对页面地址进行访问，得到对应的多个第二页面内容，然后分别进行后续相似度的计算。

在103中，利用第一页面内容和第二页面内容之间的相似度，确定该页面内容是否通过本次监测。

若第一页面内容和第二页面内容之间的相似度大于或等于预设的相似度阈值，则确定该页面地址通过本次监测；否则，确定该页面地址未通过本次监测。

对于在监控阶段内变换访问条件，针对一个页面地址获取多个第二页面内容的情况，则分别将该多个第二页面内容与第一页面内容进行相似度计算，若有M个第二页面内容与第一页面内容的相似度小于预设的相似度阈值，则可以确定该页面地址未通过本次监测，其中M为预设的正整数。例如M可以取1，即对于同一个页面地址而言，若通过多个访问条件的组合(即多个第二访问条件)对该页面地址进行访问，从而获取到多个第二页面内容后，只要有一个第二页面内容与第一页面内容的相似度小于预设的相似度阈值，则可以确定该页面地址未通过本次监测。

本发明实施例并不限制第一页面内容和第二页面内容之间的相似度的确定方式，在此仅列举三种：

第一种方式：提取第一页面内容中的文本，对提取的文本进行分词后，建立第一页面内容的词向量；提取第二页面内容中的文本，对提取的文本进行分词后，建立第二页面内容的词向量；计算第一页面内容的词向量和第二页面内容的词向量之间的余弦相似度，将该余弦相似度作为第一页面内容和第二页面内容之间的相似度。

第二种方式：基于页面结构，分别提取第一页面内容和第二页面内容中的标题、摘要、正文、链接等部分的内容，将两个页面中各部分的内容分别计算相似度，即计算两个页面的标题之间的相似度、两个页面的摘要之间的相似度、两个页面的正文之间的相似度、两个页面的链接之间的相似度，所有部分的相似度均需要大于或等于预设相似度阈值，或者将各部分相似度进行加权求和后判断是否大于或等于预设相似度阈值。其中，两个页面中各部分的内容之间的相似度可以采用编辑距离的方式，或者分别建立各部分文本的词向量后求取词向量之间余弦相似度的方式，等等。

第三种方式：在步骤101和步骤102中，对于获取的第一页面内容和第二页面内容均采用页面快照的形式进行记录，那么在步骤103中，确定第一页面内容的快照和第二页面内容的快照之间的相似度。页面的快照通常是图像的形式，因此相当于计算两个图像之间的相似度，因此计算量相比较前两种方式较小，优选使用第三种方式。

若某页面地址未通过本次监测，则可以将该页面地址放入复审队列以使该页面地址再次被内容审核。

需要说明的是，本发明所涉及的页面可以是推广页面，即用以对实际投放后的推广页面进行监测，但本发明并不限于此，对于其他页面类型也可以采用本发明的方式进行监控。下面结合图2以推广页面为例进行详细描述。

图2为本发明实施例提供的一种监测推广页面的方法流程图，本发明实施例的方法流程可以由页面检测装置执行，该页面检测装置用于对实际投放后的推广页面进行监测。如图2所示，该流程可以包括以下步骤：

在201中，获取推广页面提供者提交的页面地址。

推广页面提供者想要在某平台进行推广页面投放，则需要受到该平台的内容审核和页面监测，从而满足该平台对投放的推广页面的要求以及满足国家或地区相关法律法规的要求。因此，推广页面提供者会首先向该平台提交页面地址，先进行内容审核，例如进行平台审核人员的人工审核。

在202中，获取对该页面地址进行内容审核的结果，若该页面地址通过审核，则执行203；否则，拒绝该页面地址的投放。

对于未通过人工审核的推广页面，则会拒绝该推广页面在本平台的投放，采用的拒绝方式本发明并不加以限制。例如可以在平台对该页面地址进行过滤，禁止该页面地址的投放。

在203中，获取该页面地址对应的推广页面，记录该页面地址以及对应的推广页面的页面快照即第一页面快照。

上述步骤实际上是在审核阶段内对通过内容审核的页面进行的处理，后续为在监测阶段内对实际投放的推广页面进行监测的处理。需要说明的是，上述审核阶段和监控阶段是相互独立的两个过程，对于通过审核的推广页面在实际投放后，会进入监测阶段进行监测。而对于未通过监测的页面，则又会流转回审核阶段进行再次审核。具体如下：

在启动的监控阶段内，执行步骤204，即拉取实际投放的页面地址。

对于在平台上实际投放的推广页面，其页面地址可以在专门的服务器或数据库中进行维护，本步骤中可以从服务器或数据库中拉取实际投放的页面地址。

在205中，变换访问条件对拉取的页面地址进行访问以获取对应的页面内容并记录其页面快照即第二页面快照。

如图1中所述地，在此处，可以随机变换访问条件对拉取的页面地址进行访问从而得到页面地址对应的第二页面快照。

也可以对预设的用户代理、访问端的IP地址、访问端的网络环境以及访问时段进行组合，得到多个访问条件，分别利用组合得到的各访问条件对页面地址进行访问，得到对应的多个第二页面快照，然后分别进行后续相似度的计算。

在206中，计算第一页面快照和第二页面快照之间的相似度。

页面快照之间相似度的计算方式可以参见图1中步骤103的相关描述，在此不再赘述。

在207中，判断上述相似度是否大于或等于预设的相似度阈值，如果是，执行208，否则，执行209。

若得到多个第二页面快照，则分别计算各第二页面快照和第一页面快照之间的相似度。只要有一个第二页面快照和第一页面快照之间的相似度小于预设的相似度阈值，则执行209。

在208中，确定该页面地址通过本次监测。

对于通过本次监测的页面地址的后续处理可以根据实际需要灵活设置各种策略，例如对于通过本次监测的页面地址后续不再进行监测，或者在下一个监测阶段再次进行监测，等等，对此本发明实施例不做限制。

在209中，将该页面地址放入复审队列，复审队列中的页面地址会再次被内容审核后，转至步骤202。

对于未通过本次监测的页面地址，在本发明实施例中将其放入复审队列。对于复审队列中的页面地址会流转回审核阶段的处理，例如由平台的审核人员对复审队列中的页面地址对应的推广页面再次进行人工审核，然后转至202，人工审核未通过的，拒绝该页面地址的投放，将该页面地址从投放的页面地址中过滤掉。对于人工审核通过的，再次获取该页面地址对应的第一页面快照并更新之前的记录。

图3示出了适于用来实现本发明实施方式的示例性计算机系统/服务器012的框图。图3显示的计算机系统/服务器012仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，计算机系统/服务器012以通用计算设备的形式表现。计算机系统/服务器012的组件可以包括但不限于：一个或者多个处理器或者处理单元016，系统存储器028，连接不同系统组件(包括系统存储器028和处理单元016)的总线018。

总线018表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器012访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器028可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机系统/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统034可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块042的程序/实用工具040，可以存储在例如存储器028中，这样的程序模块042包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信，在本发明中，计算机系统/服务器012与外部雷达设备进行通信，还可与一个或者多个使得用户能与该计算机系统/服务器012交互的设备通信，和/或与使得该计算机系统/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且，计算机系统/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器020通过总线018与计算机系统/服务器012的其它模块通信。应当明白，尽管图3中未示出，可以结合计算机系统/服务器012使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元016通过运行存储在系统存储器028中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的方法流程。

上述的计算机程序可以设置于计算机存储介质中，即该计算机存储介质被编码有计算机程序，该程序在被一个或多个计算机执行时，使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。例如，被上述一个或多个处理器执行本发明实施例所提供的方法流程。

随着时间、技术的发展，介质含义越来越广泛，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

由以上描述可以看出，本发明实施例提供的方法、设备和计算机存储介质至少具备以下优点：

1)通过本发明提供的方式能够确定实际投放的推广页面与通过内容审核时的页面内容是否发生变化，从而实现对实际投放过程中内容被偷换的推广页面进行监测的目的。

2)在监测阶段变换访问条件对已投放的页面地址进行访问，避免作弊的页面提供者针对不同访问条件的访问者展现出违法或违规内容。。

3)对于未通过监测的页面地址，将其送入复审队列由审核人员重新对其进行内容审核，从而进一步提高了监测的准确度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种页面监测方法，其特征在于，该方法包括：

获取并记录通过页面内容审核的页面地址以及对应的第一页面内容；

在监测阶段，对已投放的所述页面地址进行访问以获取对应的第二页面内容；

利用所述第一页面内容和所述第二页面内容之间的相似度，确定所述页面地址是否通过本次监测。

2.根据权利要求1所述的方法，其特征在于，所述获取并记录通过页面内容审核的页面地址以及对应的第一页面内容包括：

获取用户提交的页面地址；

获取对所述页面地址进行内容审核的结果；

若所述页面地址通过审核，则获取所述页面地址对应的页面内容作为所述第一页面内容；

记录所述页面地址以及对应的第一页面内容。

3.根据权利要求1所述的方法，其特征在于，对已投放的所述页面地址进行访问以获取对应的第二页面内容包括：

采用第二访问条件对已投放的所述页面地址进行访问以获取对应的第二页面内容，所述第二访问条件不同于获取所述第一页面内容时采用的第一访问条件。

4.根据权利要求1所述的方法，其特征在于，利用所述第一页面内容和第二页面内容之间的相似度，确定所述页面地址是否通过本次监测包括：

若所述第一页面内容和所述第二页面内容之间的相似度大于或等于预设的相似度阈值，则确定所述页面地址通过本次监测；否则，确定所述页面地址未通过本次监测。

5.根据权利要求3所述的方法，其特征在于，对已投放的所述页面地址进行访问以获取对应的第二页面内容包括：

采用多个第二访问条件对已投放的所述页面地址进行多次访问以获取对应的多个第二页面内容；

利用所述第一页面内容和所述第二页面内容之间的相似度，确定所述页面地址是否通过本次监测包括：

分别计算同一页面地址对应的各第二页面内容与第一页面内容之间的相似度，若至少存在M个相似度小于预设的相似度阈值，则确定所述页面地址未通过本次监测；否则，确定所述页面地址通过本次监测，所述M为预设的正整数。

6.根据权利要求3或5所述的方法，其特征在于，所述第二访问条件通过变换以下条件中的至少一种得到：

访问端的用户代理、访问端的IP地址、访问端的网络环境以及访问时段。

7.根据权利要求1、4或5所述的方法，其特征在于，所述第一页面内容和所述第二页面内容均通过快照的形式进行记录；

所述相似度为所述第一页面内容的快照和第二页面内容的快照之间的相似度。

8.根据权利要求1所述的方法，其特征在于，该方法还包括：

若所述页面地址未通过本次监测，则将所述页面地址放入复审队列以使所述页面地址再次被内容审核。

9.根据权利要求8所述的方法，其特征在于，若所述页面地址未通过再次的内容审核，则禁止所述页面地址的投放；若所述页面地址通过再次的内容审核，则获取所述页面地址的页面内容用以更新所述第一页面内容。

10.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

11.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的方法。