CN105335869A

CN105335869A - 一种广告监测的预警方法及系统

Info

Publication number: CN105335869A
Application number: CN201510618829.2A
Authority: CN
Inventors: 洪倍
Original assignee: JINGSHUO CENTURY TECHNOLOGY (BEIJING) Co Ltd
Current assignee: JINGSHUO CENTURY TECHNOLOGY (BEIJING) Co Ltd
Priority date: 2015-09-24
Filing date: 2015-09-24
Publication date: 2016-02-17

Abstract

本发明涉及一种广告监测预警方法，其包括启动爬虫、网页截屏、特征比对和发送预警。本发明还涉及一种广告监测预警方法，其包括启动爬虫，特征比对和发送预警。本发明还涉及一种广告监测预警系统，包括爬虫模块、预警模块、数据仓库、和特征库。

Description

一种广告监测的预警方法及系统

技术领域

本发明涉及一种广告监测的预警方法，特别是一种利用爬虫技术的广告监测预警方法。本发明还涉及一种广告监测的预警系统。

背景技术

随着互联网技术的发展，广告主选择投放网络广告的比例逐渐增大。网络广告的计费方式主要的方式有按点击付费(CPC)和按千次曝光付费(CPM)。不论是哪一种，均有可能造假或滥用，给广告主带来损失。常用的广告监测方法是在广告页中加入监测代码，最终完成计数功能。没有一项技术能够在计数功能以外，帮助广告主了解自己的广告是否被滥用，或是被骗点击。

发明内容

有鉴于此，本发明提供一种广告监测的预警方法，可以在网页中识别不正常的广告行为，向广告监测服务器发送预警。

根据本发明的第一方面，本发明涉及一种广告监测预警方法，其包括：

利用网络爬虫爬取网页并进行识别；

当检测到特定监测代码时，对该网页进行截屏，识别该截屏中图文信息，与特征库中数据进行比对，当相似度小于第一临界阈值S₁时，则向广告监测服务器发出预警信号。

所述S₁范围为60％～95％，优选70％～90％，更优选75％～85％。

根据本发明的一个实施方式，在特征比对时，将与特征库相符的特征标注为老特征，不相符的标注为新特征。

所述“相符”是指单个特征比对和/或多特征融合的相似度在第一临界阈值S₁以上。

根据本发明的一个优选的实施方式，当相似度在第二临界阈值S₂以上时，向服务器发送专家干预请求，请求确认是否将该新特征加入特征库。

所述S₂范围优选为50％～95％，再优选为55％～90％，更优选为60％～85％；且，其中S₂＜S₁。

根据本发明的一个实施方式，所述特定监测代码是网络嗅探器检测到的。优选的，所述网络嗅探器带有Javascript和Flash模拟器。

在本发明中，所述相似度包括单个特征的相似度和/或多特征融合的相似度。

根据本发明的第二方面，本发明涉及一种广告监测预警方法，其包括利用网络爬虫爬取网页并进行识别；

将爬取的数据与特征库中的数据进行比对，当相似度在第三临界阈值S₃以上时，如果没有检测到特定监测代码，则向广告监测服务器发出预警信号。

所述S₃范围为60％～95％，优选70％～90％，更优选75％～85％。

在本发明的一个实施方式中，特征库为自增库，当发现新特征时，向服务器发送专家干预请求，请求确认是否将该新特征加入特征库。

根据本发明的第三方面，本发明涉及一种广告监测预警系统，包括爬虫模块、预警模块、数据仓库和特征库，其中

爬虫模块，用于爬取网络数据，并进行处理；

预警模块，根据预设的预警规则，当条件符合时，发出预警信息；

数据仓库，存储嗅探模块和爬虫模块获取并处理的数据；和

特征库，存储特征数据用于与数据仓库中的数据比对。

优选的，所述处理包括图文识别、扩充检验和清洗中的一种或多种。

在本发明的一个实施方式中,所述预警规则是当检测到特定监测代码时，对该网页进行截屏，识别该截屏中图文信息，与特征库中数据进行比对，当相似度小于第一临界阈值S₁时，则向广告监测服务器发出预警信号。

在本发明的另一个实施方式中，所述预警规则是将爬取的数据与特征库中的数据进行比对，当相似度在第三临界阈值S₃以上时，如果没有检测到特定监测代码，则向广告监测服务器发出预警信号。

在本发明的一个实施方式中，所述系统还包括嗅探模块，利用网络嗅探器接收数据包，并解析。

在本发明的一个实施方式中，所述爬虫模块基于所述嗅探模块分析出的广告监测代码启动爬虫任务。

在本发明的一个实施方式中，所述系统还包括专家干预模块，当需要增加特征库的特征时，通过专家干预模块引入人工判断。

优选的，所述特征库为自增库。

优选的，所述特征库可以通过人工或是自动增加特征。

优选的，所述特征库可以自动添加相似度在第四临界阈值S₄以上的新特征。

所述S₄范围为60％～95％，优选70％～90％，更优选75％～85％。

在本发明中涉及的各个阈值范围均可以相同或不同，可以根据需要而设定。除非特别指明不同阈值范围的逻辑关系，否则各阈值范围相互独立，本领域技术人员按照说明书阐释的内容，以及用户的要求，很容易选择合适的阈值范围。本发明并不排除各阈值范围存在的实质上的逻辑关系，例如在某阈值范围发送预警，而在其他的阈值范围不发送预警等。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。在附图中，

图1是根据本发明第一方面的方法的一个实施方式的示意图。

图2是根据本发明第二方面的方法的一个实施方式的示意图。

图3是根据本发明第一方面的方法的另一个实施方式的示意图。

图4是根据本发明第三方面的系统的一个实施方式的示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

本文中所用术语“网络嗅探器”是指Sniffer，可以是软件，也可以是硬件，用于监听网络上流经的数据包。软件形式的网络嗅探器可以是单独的软件，也可以是浏览器插件，一般被加载在浏览器和网卡驱动程序上。在真实的网络环境中，数据在网络上是以很小的称为帧(Frame)的单位传输。一般数据的收发是由网卡来完成的，因此网络嗅探器可以捕获网卡驱动程序接收的数据包，并对数据包进行分析。

由于广告经常是以图像、视频、动画等方式呈现，因此本发明中的网络嗅探器优选带有Javascript和Flash模拟器。

本文中“广告监测代码”、“特定监测代码”、“监测代码”是指根据广告主的需要，添加到网页中的代码，包括但不限于曝光量监测代码和/或点击量监测代码。例如，应广告主要求将JavaScript代码添加到网站上，访客访问网站，浏览器加载并响应JavaScript代码，此段代码经收集、处理、储存访客的信息，最后将访客信息发送到服务器分析并处理数据。或者是，例如广告素材是Flash图片，可以将点击量代码替换Object标签中的Codebase属性值，将曝光量代码插入到Flash素材中。对于确定的广告主，作为广告监测业务提供商，自然知晓需要监测的广告所使用的监测代码的种类和具体实施方式。本发明中所涉及的“广告监测代码”、“特定监测代码”、“监测代码”并不限于上面提到的具体的监测代码的类型和实施方式，而是包括任何能够实现对广告投放效果进行监测的代码类型和实施方式。

本文中的“网络爬虫”，又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

爬虫任务可以根据预设条件启动，例如当嗅探器分析数据包中包含特定监测代码，或其他特定信息时，启动爬虫并进行网页截屏。爬虫任务可以根据预设的调度规则进行爬取。在本发明中，爬虫任务例如可以爬取包含特定监测代码或其他涉及预设条件的网页内容，所述网页内容包括但不限于文字、图像、视频、动画等。

在本发明中，爬虫任务也可以因为其他条件而启动。在爬取的过程中发现特定监测代码，并进行网页截屏。

本文中的“网页截屏”可以通过例如网页快照(WebCache)或抓图插件(例如Google提供的API)等方式实现，目的是呈现出广告受众看到的该网页的真实情况。例如以图像形式呈现的广告，如果像素缩小到1×1，则广告受众无法看到该广告。在此情况下，虽然该网页有监测代码，可以计数，但并不能实现投放广告的效果。

在爬取网页内容的过程中，爬虫程序对获得的网页内容进行图文识别、扩充检验和清洗中的一种或多种，数据存入数据仓库中，并与特征库中的特征数据进行比对，与特征库相符的特征标注为老特征，不相符的标注为新特征。

对于标注的方式并没有限制，只要能将特征区分出来即可。

本文中所述的“相符”是指特征的相似度在一定阈值范围内。所述阈值范围根据需要而设定，例如根据用户要求的预警敏感度等。本文中的相似度，既可以是单个特征比对的相似度，也可以是多特征融合的相似度。在很多的情况下，是指在某临界阈值以上。根据场合，所述临界阈值可以是第一临界阈值S₁，第三临界阈值S₃，或第四临界阈值S₄。也可以在两个临界阈值之间的范围。

在本发明中，相似度利用例如Hash算法进行计算，也可以根据需要使用本领域技术人员知晓的其他算法，只要可以计算相似度即可，例如SIFT算法、SURF算法，OpenCV等。

在对比图像时，通常使用的向量空间模型，也就是把视觉特征看作是向量空间中的点，通过计算两个点之间的接近程度(包括距离、长度或方向等)来衡量图像特征间的相似度。常用的度量方法包括但不限于街区距离、欧式距离、无穷范数、直方图相交、二次式距离、马氏距离、EMD距离、相似度度量、余弦相似度等等。

本发明中，本领域技术人员可以使用任何算法和模型来计算与特征库特征对比时的相似度。

根据预设的预警规则，当相似度阈值在预设的范围内时，对服务器发送预警信号。预警的具体方式和频率可以根据需要而设定，只要使服务器监管人员得知即可。

发送预警的场景可以根据客户需要而定，例如有监测代码却无可视广告(即，有监测代码而相似度很低)，可以视为投放错误；或者是有可视广告但无监测代码(即，相似度很高却无监测代码)，也可以视为投放错误；或是其他需要提请广告主注意的情形。

为了使预警越来越准确，从机器学习和完善特征库的角度出发，本发明中的特征库优选为自增库。对于相似度在特定阈值范围内的特征，或是经比对与老特征“相符”的特征，可以自动添加至特征库，也可以通过设定其他条件，选择性地进入特征库。对于新特征，可以通过发送专家干预请求，人工判断是否添加至特征库。

所述专家干预可以在发送预警之前、同时或之后进行。优选在发送预警之前进行，如果确认加入特征库，则返回特征比对，重新计算相似度阈值；如果确认不加入特征库，则向广告监测服务器发出预警信号。

实施例1

图1是根据本发明第一方面的方法的一个实施方式的示意图。

步骤101，利用网络嗅探器接收数据包，并解析。

所述网络嗅探器带有Javascript和Flash模拟器，布置在分布式网络中，获取网络数据包，通过解析得到URL，系统信息，设备信息，cookie，IP信息，等。

步骤102，当解析发现特定监测代码时，启动爬虫任务，下载该监测代码所在的网页内容。

当解析发现特定的监测代码时，启动爬虫任务，以该监测代码所在URL为起点，爬取该监测代码所在的网页内容。

步骤103，对所述网页进行截屏，并将该截屏图像与特征库中的特征进行对比。

所述特征可以是图像、视频、或文字等。为了进行对比，先将截屏图像进行图文识别，再以识别出的特征与特征库中的特征进行对比，利用Hash算法计算出相似度。

在比对时，在特征比对时，将与特征库相符的特征标注为老特征，不相符的标注为新特征。

步骤104，当相似度小于第一临界阈值S₁时，向监测服务器发出预警。

用户可根据需要设定S₁，例如90％。也可以设定不同阈值范围内发送预警的方式。例如S₁为90％时立即发送预警，连发10次；S₁’为70％时，连发5次等。

实施例2

图2是根据本发明第二方面的方法的一个实施方式的示意图。

步骤201，启动爬虫任务，对爬取的内容进行图文识别、扩充校验；

步骤202，与特征库中的特征数据进行比对；

所述特征库中的特征数据源自图像、文字、视频等。

步骤203，当比对的相似度在第三临界阈值S₃以上时，查询该内容所在网页是否存在监测代码；S₃为85％。

步骤204，如果没有发现监测代码，则向服务器发出预警。

实施例3

其中步骤301～303分别对应图1中的101～103，不同在于步骤304和305。当相似度小于第一临界阈值S₁时，向服务器发送预警，同时发送专家干预请求，请求确认新特征是否加入特征库。如果人工判断加入特征库，则重新计算相似度。

在又一个实施方式中，也可以在向服务器发送预警之前发送专家干预请求，请求确认新特征是否加入特征库。

如果确认加入特征库，则返回特征比对，重新计算相似度阈值；

如果确认不加入特征库，则向广告监测服务器发出预警信号。

根据本发明的一个优选的实施方式，当相似度在第二临界阈值S₂以上时，向服务器发送专家干预请求，请求确认是否将该新特征加入特征库，其中S₂＜S₁。

在实际应用中，由于分布式爬虫任务持续不断地进行，因此上述各种实施方式有可能混合实施。例如在进行实施例1的过程中，爬虫程序在爬取特定监测代码所在的网页内容后，增加深度或广度爬取了其他网页，从而触发了实施例2的实施方式。

图4是根据本发明第三方面的系统的一个实施方式的示意图。

嗅探模块接收到的数据启动爬虫模块，爬虫模块爬取的数据经过图文识别，存入数据仓库，并与特征库中的数据进行比对。当达到发送预警条件时，通过预警模块发送预警。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims

1.一种广告监测预警方法，其包括

启动爬虫，利用网络爬虫爬取网页并进行识别；

网页截屏，当检测到特定监测代码时，对该网页进行截屏；

特征比对，识别该截屏中的图文信息，与特征库中数据进行比对；

发送预警，当相似度小于第一临界阈值S₁时，向广告监测服务器发出预警信号。

2.根据权利要求1所述的方法，其中

在特征比对时，将与特征库相符的特征标注为老特征，不相符的标注为新特征。

3.根据权利要求2所述的方法，其中

当相似度在在第二临界阈值S₂以上时，向服务器发送专家干预请求，请求确认是否将该新特征加入特征库，其中S₂＜S₁；

4.根据权利要求1所述的方法，其中所述特定监测代码是通过网络嗅探器检测到的。

5.一种广告监测预警方法，其包括

启动爬虫，利用网络爬虫爬取网页并进行识别；

特征比对，将爬取的数据与特征库中的数据进行比对；

发送预警，当相似度在第三临界阈值S₃以上时，如果没有检测到特定监测代码，则向广告监测服务器发出预警信号。

6.一种广告监测预警系统，包括

爬虫模块，用于爬取网络数据，并进行处理；

数据仓库，存储嗅探模块和爬虫模块获取并处理的数据；和

特征库，存储特征数据用于与数据仓库中的数据比对。

7.根据权利要求6所述的系统，其中还包括嗅探模块，利用网络嗅探器接收数据包，并解析。

8.根据权利要求6或7所述的系统，其中还包括专家干预模块，当需要增加特征库的特征时，通过专家干预模块引入人工判断。

9.根据权利要求6所述的系统，其中所述处理包括图文识别、扩充检验和清洗中的一种或多种。

10.根据权利要求7所述的系统，其中所述网络嗅探器带有Javascript和Flash模拟器。