CN108183908B - 一种基于网络流量的广告链接发现方法、系统及存储介质 - Google Patents

一种基于网络流量的广告链接发现方法、系统及存储介质 Download PDF

Info

Publication number
CN108183908B
CN108183908B CN201711479167.0A CN201711479167A CN108183908B CN 108183908 B CN108183908 B CN 108183908B CN 201711479167 A CN201711479167 A CN 201711479167A CN 108183908 B CN108183908 B CN 108183908B
Authority
CN
China
Prior art keywords
traffic
advertisement
link
network
advertisement link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711479167.0A
Other languages
English (en)
Other versions
CN108183908A (zh
Inventor
童志明
张启迪
叶佳旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Antiy Technology Group Co Ltd
Original Assignee
Harbin Antian Science And Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Antian Science And Technology Group Co ltd filed Critical Harbin Antian Science And Technology Group Co ltd
Priority to CN201711479167.0A priority Critical patent/CN108183908B/zh
Publication of CN108183908A publication Critical patent/CN108183908A/zh
Application granted granted Critical
Publication of CN108183908B publication Critical patent/CN108183908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于网络流量的广告链接发现方法、系统及存储介质，所述方法通过获取预设的较短时间段内访问同一网页所产生的完整数据流量，并将收集到的数据流量进行对比；判断是否存在差异数据，识别并提取出差异数据中的网络链接地址，则所述网络链接地址即为广告链接，将所述广告链接提交上报。本发明还相应给出了对应的系统及存储介质。通过本发明方法，能够主动发现网络访问中产生的广告链接，提高了广告链接的发现效率，减少人工作业量，进而减少作业成本。

Description

一种基于网络流量的广告链接发现方法、系统及存储介质
技术领域
本发明涉及计算机网络安全技术领域，尤其涉及一种基于网络流量的广告链接发现方法、系统及存储介质。
背景技术
广告充斥在日常的网络访问中，而广告推送策略一般都是根据用户的浏览记录等信息进行定向推送的，即日常网络访问中看到的广告都是量身定制的广告，所以不同用户同一时刻(同一用户不同时刻)接收到的广告存在差异。广告的一种有效检测手段就是检测广告链接。而广告链接的传统发现方式是通过用户提交举报、人工分析的方式收集。传统的广告链接发现方式是对已经发现的广告链接进行收集，是一种被动的收集方式，而这种方式的效率并不高，对于与日俱增的广告链接并不能高效地发现并检测。因此现有的这种广告链接的发现方式不够主动，发现效率较低，不能有效地应对广告链接日益增多的情况，同时作业成本高。
发明内容
基于上述存在的问题，本发明提出了一种基于网络流量的广告链接发现方法、系统及存储介质，通过自动化对比网页差异，解决现有发现方式被动，发现效率低，作业成本高的问题。
首先，本发明提出一种基于网络流量的广告链接发现方法，包括：
获取短时间间隔内不同用户访问同一网页所产生的完整数据流量；
将收集到的数据流量进行对比；
判断是否存在差异数据，如果是，则提取出存在差异的数据，否则结束检测；
识别并提取出差异数据中的网络链接地址；
所述网络链接地址即为广告链接，将所述广告链接提交上报。
所述的方法中，所述获取短时间间隔内不用用户访问同一网页所产生的完整数据流量的方式包括：在主机、网关、或关键节点使用任意流量采集监控设备获取完整数据流量。
本发明还提出一种基于网络流量的广告链接发现系统，包括：
流量获取模块，获取短时间间隔内不同用户访问同一网页所产生的完整数据流量；
对比模块，将收集到的数据流量进行对比；
差异提取模块，判断是否存在差异数据，如果是，则提取出存在差异的数据，否则结束检测；
链接识别模块，识别并提取出差异数据中的网络链接地址；
上报模块，所述网络链接地址即为广告链接，将所述广告链接提交上报。
所述的系统中，所述获取短时间间隔内不同用户访问同一网页所产生的完整数据流量的方式包括：在主机、网关、或关键节点使用任意流量采集监控设备获取完整数据流量。
本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一所述的基于网络流量的广告链接发现方法。
本发明的有益效果：本发明技术方案通过使用计算机自动对比并提取网络中的流量数据的广告链接，获取方式主动、高效，能够实现自动化提取发现广告链接，减少作业成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于网络流量的广告链接发现方法实施例流程图；
图2为本发明一种基于网络流量的广告链接发现系统结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。
本发明提出了一种基于网络流量的广告链接发现方法、系统及存储介质，通过自动化对比网页差异，解决现有发现方式被动，发现效率低，作业成本高的问题。
首先，本发明提出一种基于网络流量的广告链接发现方法，如图1所示，包括：
S101：获取预设时间段内访问同一网页所产生的完整数据流量；由于在较短时间内网页信息不会产生变化，因此这里的预设时间一般较短；
S102：将收集到的数据流量进行对比；
S103：判断是否存在差异数据，如果是，则执行S104，否则结束检测；
S104：提取出存在差异的数据；
S105：识别并提取出差异数据中的网络链接地址；
S106：所述网络链接地址即为广告链接，将所述广告链接提交上报。
所述的方法中，所述获取预设时间段内访问同一网页所产生的完整数据流量的方式包括：在主机、网关、或关键节点使用任意流量采集监控设备获取完整数据流量。
本发明方案主要利用了广告推送策略中针对用于浏览记录，对不同用户推送其浏览记录相关的广告这一特点，来发现同一网页的不同链接。如用户A最近浏览了电子设备交易网站，用户B最近浏览了家具交易网站。
在一个较短的时间间隔内，用户A和用户B都访问了某新闻网站a，该新闻网站的广告控件通过分析用户的浏览历史，分别向用户A和用户B定向推送了电子设备广告和家具广告。
由于短时间(如几秒或几分钟)内新闻网站的新闻信息内容发生变动的概率较低，所以用户A和用户B接收到的新闻信息是一样的，不一样的只是定制内容，该内容就包括广告链接。因此，通过对比用户A和用户B访问网站a所产生的流量数据，提取差异数据的网络链接地址，就可以发现分别推送给用户A和用户B的两个广告链接。
本发明还提出一种基于网络流量的广告链接发现系统，如图2所示，包括：
流量获取模块201，获取预设时间段内访问同一网页所产生的完整数据流量；
对比模块202，将收集到的数据流量进行对比；
差异提取模块203，判断是否存在差异数据，如果是，则提取出存在差异的数据，否则结束检测；
链接识别模块204，识别并提取出差异数据中的网络链接地址；
上报模块205，所述网络链接地址即为广告链接，将所述广告链接提交上报。
所述的系统中，所述获取预设时间段内访问同一网页所产生的完整数据流量的方式包括：在主机、网关、或关键节点使用任意流量采集监控设备获取完整数据流量。
本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一所述的基于网络流量的广告链接发现方法。
本发明的有益效果：本发明技术方案通过使用计算机自动对比并提取网络中的流量数据的广告链接，获取方式主动、高效，能够实现自动化提取发现广告链接，减少作业成本。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (5)

1.一种基于网络流量的广告链接发现方法，其特征在于，包括：
获取短时间间隔内不同用户访问同一网页所产生的完整数据流量；
将收集到的数据流量进行对比；
判断是否存在差异数据，如果是，则提取出存在差异的数据，否则结束检测；
识别并提取出差异数据中的网络链接地址；
所述网络链接地址即为广告链接，将所述广告链接提交上报。
2.如权利要求1所述的方法，其特征在于，所述获取短时间间隔内不同用户访问同一网页所产生的完整数据流量的方式包括：在主机、网关、或关键节点使用任意流量采集监控设备获取完整数据流量。
3.一种基于网络流量的广告链接发现系统，其特征在于，包括：
流量获取模块，获取短时间间隔内不同用户访问同一网页所产生的完整数据流量；
对比模块，将收集到的数据流量进行对比；
差异提取模块，判断是否存在差异数据，如果是，则提取出存在差异的数据，否则结束检测；
链接识别模块，识别并提取出差异数据中的网络链接地址；
上报模块，所述网络链接地址即为广告链接，将所述广告链接提交上报。
4.如权利要求3所述的系统，其特征在于，所述获取短时间间隔内不同用户访问同一网页所产生的完整数据流量的方式包括：在主机、网关、或关键节点使用任意流量采集监控设备获取完整数据流量。
5.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的基于网络流量的广告链接发现方法。
CN201711479167.0A 2017-12-29 2017-12-29 一种基于网络流量的广告链接发现方法、系统及存储介质 Active CN108183908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711479167.0A CN108183908B (zh) 2017-12-29 2017-12-29 一种基于网络流量的广告链接发现方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711479167.0A CN108183908B (zh) 2017-12-29 2017-12-29 一种基于网络流量的广告链接发现方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN108183908A CN108183908A (zh) 2018-06-19
CN108183908B true CN108183908B (zh) 2020-12-04

Family

ID=62549021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711479167.0A Active CN108183908B (zh) 2017-12-29 2017-12-29 一种基于网络流量的广告链接发现方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN108183908B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012937A (zh) * 2010-12-08 2011-04-13 萨·约翰尼 用于将广告发布在超文本文档中的图像上的方法和系统
US9373129B2 (en) * 2005-11-30 2016-06-21 John Nicholas and Kristin Gross Trust System and method of delivering collective content based advertising

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276362B (zh) * 2007-03-26 2011-05-11 国际商业机器公司 定制网页的装置和方法
US8019700B2 (en) * 2007-10-05 2011-09-13 Google Inc. Detecting an intrusive landing page
CN102436564A (zh) * 2011-12-30 2012-05-02 奇智软件（北京）有限公司 一种识别被篡改网页的方法及装置
CN103024013A (zh) * 2012-12-03 2013-04-03 百度在线网络技术（北京）有限公司 差异化的传输方法、系统和装置
CN103679510A (zh) * 2013-12-17 2014-03-26 深圳市东信时代信息技术有限公司 移动互联网广告的监测方法及系统
US20150278852A1 (en) * 2014-04-01 2015-10-01 DoubleVerify, Inc. System And Method For Identifying Online Advertisement Laundering And Online Advertisement Injection
CN105446968B (zh) * 2014-06-04 2018-12-25 广州市动景计算机科技有限公司 一种检测网页特征区域的方法和装置
CN106407218B (zh) * 2015-07-31 2020-03-03 北京国双科技有限公司 导航网页的检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373129B2 (en) * 2005-11-30 2016-06-21 John Nicholas and Kristin Gross Trust System and method of delivering collective content based advertising
CN102012937A (zh) * 2010-12-08 2011-04-13 萨·约翰尼 用于将广告发布在超文本文档中的图像上的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于布局相似性的网页正文内容提取研究;杨柳青，李晓东，耿光刚;《计算机应用研究》;20150403(第9期);全文 *

Also Published As

Publication number Publication date
CN108183908A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
US9448999B2 (en) Method and device to detect similar documents
CN104125209B (zh) 恶意网址提示方法和路由器
WO2015196907A1 (zh) 一种挖掘用户需求的搜索推送方法和装置
CN103118007B (zh) 一种用户访问行为的获取方法和系统
CN101582887A (zh) 安全防护方法、网关设备及安全防护系统
KR100848319B1 (ko) 웹 구조정보를 이용한 유해 사이트 차단 방법 및 장치
CN104391979A (zh) 网络恶意爬虫识别方法及装置
CN102436564A (zh) 一种识别被篡改网页的方法及装置
CN107145556B (zh) 通用的分布式采集系统
CN110035075A (zh) 钓鱼网站的检测方法、装置、计算机设备及存储介质
WO2014180130A1 (en) Method and system for recommending contents
CN103117903A (zh) 上网流量异常检测方法及装置
CN102073960A (zh) 一种网站营销过程中运行效果的评估方法
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
US20140250116A1 (en) Identifying time sensitive ambiguous queries
CN103559203A (zh) 网页排序方法、装置和系统
CN101739412A (zh) 用于智能卡的网页安全评估装置和方法
US20110270691A1 (en) Method and system for providing url possible new advertising
CN110020161B (zh) 数据处理方法、日志处理方法和终端
CN102253948A (zh) 在多源信息系统中搜索信息的方法和装置
US12067069B2 (en) URL refreshing method, apparatus and device in CDN, and CDN node
CN108664492A (zh) 一种向用户推送内容的方法、装置、电子设备和存储介质
CN108183908B (zh) 一种基于网络流量的广告链接发现方法、系统及存储介质
WO2015062652A1 (en) Technique for data traffic analysis
CN105338091A (zh) 高传输效率的个性化信息界面显示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 150028 Building 7, Innovation Plaza, Science and Technology Innovation City, Harbin Hi-tech Industrial Development Zone, Heilongjiang Province (838 Shikun Road)

Applicant after: Harbin antiy Technology Group Limited by Share Ltd

Address before: 150090 Room 506, No. 162 Hongqi Street, Nangang District, Harbin Development Zone, Heilongjiang Province

Applicant before: Harbin Antiy Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 150028 building 7, innovation and entrepreneurship square, science and technology innovation city, Harbin high tech Industrial Development Zone, Heilongjiang Province (No. 838, Shikun Road)

Patentee after: Antan Technology Group Co.,Ltd.

Address before: 150028 building 7, innovation and entrepreneurship square, science and technology innovation city, Harbin high tech Industrial Development Zone, Heilongjiang Province (No. 838, Shikun Road)

Patentee before: Harbin Antian Science and Technology Group Co.,Ltd.