CN107483554A - 基于onu的网络流量进行机器学习定向广告的推送系统和方法 - Google Patents

基于onu的网络流量进行机器学习定向广告的推送系统和方法 Download PDF

Info

Publication number
CN107483554A
CN107483554A CN201710610329.3A CN201710610329A CN107483554A CN 107483554 A CN107483554 A CN 107483554A CN 201710610329 A CN201710610329 A CN 201710610329A CN 107483554 A CN107483554 A CN 107483554A
Authority
CN
China
Prior art keywords
module
onu
data
server
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710610329.3A
Other languages
English (en)
Inventor
王源
顾宏飞
何伟
王寅
符小东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongtian Communication Technology Co., Ltd
Original Assignee
Zhongtian Broadband Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongtian Broadband Technology Co Ltd filed Critical Zhongtian Broadband Technology Co Ltd
Priority to CN201710610329.3A priority Critical patent/CN107483554A/zh
Publication of CN107483554A publication Critical patent/CN107483554A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了基于ONU的网络流量进行机器学习定向广告的推送系统，包括以下模块：网络数据获取模块，用于从ONU中的镜像抓取客户端所收发IP数据流量，根据TCP协议过滤出TCP报文，并传输到数据重组模块；数据重组模块，将获得TCP报文重新组装为完整的http响应报文；数据特征提取模块，将http响应报文中的相关信息重新整理抽取，形成单独的特征字段存储到ONU的缓存当中；机器学习模块，将获得的特征信息使用kNN算法进行兴趣分类；服务器通信模块，将兴趣分类的结果，发送至远端服务器并从该服务器接收返回的广告素材；广告推送模块，使用最新的广告素材形成广告页面推送到客户端的网页界面。解决了信息获取渠道单一、广告投放受限、耗费服务器计算资源的问题。

Description

基于ONU的网络流量进行机器学习定向广告的推送系统和 方法
技术领域
本发明涉及广告推送技术领域，具体是一种基于ONU的网络流量进行机器学习定向广告的推送系统和方法。
背景技术
随着计算机信息技术的发展，各种网络广告层出不穷，如邮件广告、弹出式广告、程序插件广告等。消费者对于各类广告的骚扰的忍耐度越来越低，因此网络广告迎来了精准投放的时代。
定向广告以其及时、精准、高效的特点备受关注。定向广告根据消费者的职业模式、偏好习惯、当前关注点、所处地域等因素综合判断，选取消费者真正感兴趣的广告进行投放。
现在的网络定向广告模式包括：搜索引擎定向广告、基于IP的cookie定向广告等。
搜索引擎的定向广告是根据消费者输入的关键词，进行广告的搜索并返回响应的广告页面给消费者。
基于IP的cookie定向广告是根据消费者在消费网址上的浏览记录，然后将消费者可能感兴趣的内容提供给消费者。
虽然现在的技术方案可以根据消费者的一些信息进行一定的广告投放，但是获取的渠道受到限制，投放的方式也受到限制，并且会要求占用一定的广告投放商的硬件计算资源。如搜索引擎的定向广告，获取的数据来源只有消费者搜索的关键词，广告投放也只有消费者访问搜索界面的时候，并且需要另外单独的服务器来计算消费者的需求取向。而基于IP的cookie定向广告必须要消费者访问该消费网址时才能获得消费者的信息，广告只能在该消费网站投放，对于获得的消费者的信息也必须送回该网址的服务器进行处理后再进行广告投放。发明内容
为解决上述问题，本发明提供一种基于ONU的网络流量进行机器学习定向广告的推送系统和方法，解决了信息获取渠道单一、广告投放受限、耗费服务器计算资源的问题。
本发明采用的技术方案是：基于ONU的网络流量进行机器学习定向广告的推送系统，包括以下模块：
网络数据获取模块，用于从ONU中的镜像抓取客户端所收发IP数据流量，根据TCP协议过滤出TCP报文，并传输到数据重组模块；数据重组模块，将获得TCP报文重新组装为完整的http响应报文，并还原为完整的html页面；数据特征提取模块，将http响应报文中的相关信息重新整理抽取，形成单独的特征字段存储到ONU的缓存当中；机器学习模块，在ONU中实现，将获得的特征信息使用kNN算法进行兴趣分类；服务器通信模块，将兴趣分类的结果，发送至远端服务器并从该服务器接收返回的广告素材；广告推送模块，使用最新的广告素材形成广告页面推送到客户端的网页界面。
所述广告推送模块将广告内容作为javascript脚本植入到http请求的返回页面中，形成页面推送广告。
上述基于ONU的网络流量进行机器学习定向广告的推送方法，包括以下步骤：
（1）网络数据获取模块将从ONU的上联口进入的数据包，镜像一份到缓存当中；解析IP协议，过滤出IP报文；解析TCP协议，过滤出TCP报文，并传输到数据重组模块；
（2）数据重组模块将获得的TCP报文重新组装为完整的http响应报文，并还原为完整的html页面；
（3）数据特征提取模块从html页面中针对<title>、<keyword>标签提取其中的内容字段，并将提取的特征字段存储到ONU的缓存当中；
（4）机器学习模块在ONU中将获得的特征信息使用kNN算法进行兴趣分类；
（5）服务器通信模块将消费者的兴趣分类结果发送到服务器并接收服务器发送的新广告；
（6）广告推送模块，用于接收从服务器提供的广告素材并推送到消费者的网页中。
所述数据重组模块的工作流程如下：a、根据不同的源IP、目的IP、源端口、目的端口，协议号这五元组确认单条的TCP会话，对数据包按照TCP协议中的序列号进行重新排序；b、根据重新排序后的TCP数据包还原原始的HTTP GET请求的响应数据报文；c、若HTTP的响应报文采用chunk分片，则进行重新组装，然后过滤HTTP的GET及其响应报文；若HTTP的响应报文存在压缩，则针对不同的压缩算法进行解压缩，解压缩算法包括deflate和GZIP两种。
本发明的有益效果是：解决了现有的定向广告推送技术方案中普遍存在的信息获取渠道单一、广告投放受限、耗费服务器计算资源的问题。
附图说明
图1为本发明的结构框图；
图2为本发明的网络拓扑模型。
具体实施方式
为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
如图1和图2所示，基于ONU的网络流量进行机器学习定向广告的推送系统，包括以下模块：
网络数据获取模块，用于从ONU中的镜像抓取客户端所收发IP数据流量，根据TCP协议过滤出TCP报文，并传输到数据重组模块；数据重组模块，将获得TCP报文重新组装为完整的http响应报文，并还原为完整的html页面；数据特征提取模块，将http响应报文中的相关信息重新整理抽取，形成单独的特征字段存储到ONU的缓存当中；机器学习模块，在ONU中实现，将获得的特征信息使用kNN算法进行兴趣分类；即将不同消费者的特征字段训练学习得到最终的消费趋向分类结果；服务器通信模块，将兴趣分类的结果，发送至远端服务器并从该服务器接收返回的广告素材；广告推送模块，使用最新的广告素材形成广告页面推送到客户端的网页界面。
所述广告推送模块将广告内容作为javascript脚本植入到http请求的返回页面中，形成页面推送广告。
上述基于ONU的网络流量进行机器学习定向广告的推送方法，包括以下步骤：
（1）网络数据获取模块将从ONU的上联口进入的数据包，镜像一份到缓存当中；解析IP协议，过滤出IP报文；解析TCP协议，过滤出TCP报文，并传输到数据重组模块；
（2）数据重组模块将获得的TCP报文重新组装为完整的http响应报文，并还原为完整的html页面；具体工作流程如下：a、根据不同的源IP、目的IP、源端口、目的端口，协议号这五元组确认单条的TCP会话，对数据包按照TCP协议中的序列号进行重新排序；b、根据重新排序后的TCP数据包还原原始的HTTP GET请求的响应数据报文；c、若HTTP的响应报文采用chunk分片，则进行重新组装，然后过滤HTTP的GET及其响应报文；若HTTP的响应报文存在压缩，则针对不同的压缩算法进行解压缩，解压缩算法包括deflate和GZIP两种；
（3）数据特征提取模块从html页面中针对<title>、<keyword>标签提取其中的内容字段，并将提取的特征字段存储到ONU的缓存当中；
（4）机器学习模块在ONU中将获得的特征信息使用kNN算法进行兴趣分类；具体工作流程如下：
a、统计获得的不同消费者的数据的特征字段的数目，当到达阈值后开始训练学习；
b、将获得的数据特征和已经存储的训练样例D使用kNN算法进行数据分类；
b1、选取最近邻数目k，D是训练样本；
b2、对每个测试样例z(x,y)计算和D之间的距离d(x,y)；
b3、选择离z最近的k个训练样例的集合D’
b4、则分类种类：；
（5）服务器通信模块将消费者的兴趣分类结果发送到服务器并接收服务器发送的新广告；
（6）广告推送模块，用于接收从服务器提供的广告素材并推送到消费者的网页中；具体工作流程如下：a、在ONU中抓取对HTTP请求的GET的响应报文；b、修改HTTP请求中的Accept-Encoding属性，使得客户端的属性改为不支持压缩，获得的返回报文也不压缩；c、在ONU中截取HTTP的请求的响应报文，在其中嵌入显示广告的javascript脚本。

Claims (4)

1.基于ONU的网络流量进行机器学习定向广告的推送系统，其特征在于，包括以下模块：网络数据获取模块，用于从ONU中的镜像抓取客户端所收发IP数据流量，根据TCP协议过滤出TCP报文，并传输到数据重组模块；数据重组模块，将获得TCP报文重新组装为完整的http响应报文，并还原为完整的html页面；数据特征提取模块，将http响应报文中的相关信息重新整理抽取，形成单独的特征字段存储到ONU的缓存当中；机器学习模块，在ONU中实现，将获得的特征信息使用kNN算法进行兴趣分类；服务器通信模块，将兴趣分类的结果，发送至远端服务器并从该服务器接收返回的广告素材；广告推送模块，使用最新的广告素材形成广告页面推送到客户端的网页界面。
2.根据权利要求1所述的基于ONU的网络流量进行机器学习定向广告的推送系统，其特征在于，所述广告推送模块将广告内容作为javascript脚本植入到http请求的返回页面中，形成页面推送广告。
3.如权利要求1所述的基于ONU的网络流量进行机器学习定向广告的推送方法，其特征在于，包括以下步骤：
（1）网络数据获取模块将从ONU的上联口进入的数据包，镜像一份到缓存当中；解析IP协议，过滤出IP报文；解析TCP协议，过滤出TCP报文，并传输到数据重组模块；
（2）数据重组模块将获得的TCP报文重新组装为完整的http响应报文，并还原为完整的html页面；
（3）数据特征提取模块从html页面中针对<title>、<keyword>标签提取其中的内容字段，并将提取的特征字段存储到ONU的缓存当中；
（4）机器学习模块在ONU中将获得的特征信息使用kNN算法进行兴趣分类；
（5）服务器通信模块将消费者的兴趣分类结果发送到服务器并接收服务器发送的新广告；
（6）广告推送模块，用于接收从服务器提供的广告素材并推送到消费者的网页中。
4.根据权利要求3所述的基于ONU的网络流量进行机器学习定向广告的推送方法，其特征在于，所述数据重组模块的工作流程如下：
a、根据不同的源IP、目的IP、源端口、目的端口，协议号这五元组确认单条的TCP会话，对数据包按照TCP协议中的序列号进行重新排序；
b、根据重新排序后的TCP数据包还原原始的HTTP GET请求的响应数据报文；
c、若HTTP的响应报文采用chunk分片，则进行重新组装，然后过滤HTTP的GET及其响应报文；若HTTP的响应报文存在压缩，则针对不同的压缩算法进行解压缩，解压缩算法包括deflate和GZIP两种。
CN201710610329.3A 2017-07-25 2017-07-25 基于onu的网络流量进行机器学习定向广告的推送系统和方法 Pending CN107483554A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710610329.3A CN107483554A (zh) 2017-07-25 2017-07-25 基于onu的网络流量进行机器学习定向广告的推送系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710610329.3A CN107483554A (zh) 2017-07-25 2017-07-25 基于onu的网络流量进行机器学习定向广告的推送系统和方法

Publications (1)

Publication Number Publication Date
CN107483554A true CN107483554A (zh) 2017-12-15

Family

ID=60596747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710610329.3A Pending CN107483554A (zh) 2017-07-25 2017-07-25 基于onu的网络流量进行机器学习定向广告的推送系统和方法

Country Status (1)

Country Link
CN (1) CN107483554A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110839060A (zh) * 2019-10-16 2020-02-25 武汉绿色网络信息服务有限责任公司 一种DPI场景中http多会话的文件还原方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079063A (zh) * 2007-06-25 2007-11-28 腾讯科技（深圳）有限公司 一种基于场景信息推送广告的方法、系统及设备
CN101296256A (zh) * 2008-06-19 2008-10-29 中国电信股份有限公司 一种利用互联网实现信息精确推送的方法及系统
CN101442550A (zh) * 2008-12-19 2009-05-27 成都市华为赛门铁克科技有限公司 一种网络信息的推送方法和装置
CN101561825A (zh) * 2009-06-02 2009-10-21 北京迈朗世讯科技有限公司 媒体技术平台系统、数据采集系统和网络内容提供方法
CN101626551A (zh) * 2009-06-26 2010-01-13 武汉虹旭信息技术有限责任公司 一种基于移动互联网的广告业务推送系统和方法
US20110191168A1 (en) * 2010-02-04 2011-08-04 Yahoo! Inc. Multiple cascading auctions in search advertising
CN102223366A (zh) * 2011-06-10 2011-10-19 武汉长光科技有限公司 基于用电信息采集系统的多媒体广告推送系统和方法
CN102334118A (zh) * 2010-11-29 2012-01-25 华为技术有限公司 基于用户兴趣学习的个性化广告推送方法与系统
CN104700289A (zh) * 2015-03-17 2015-06-10 中国联合网络通信集团有限公司 广告投放方法和装置
CN106326460A (zh) * 2016-08-30 2017-01-11 苏州蓝海彤翔系统科技有限公司 广告推送方法、服务器及系统
CN106506572A (zh) * 2015-09-07 2017-03-15 深圳触云科技有限公司 路由器及路由器推送本地信息的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079063A (zh) * 2007-06-25 2007-11-28 腾讯科技（深圳）有限公司 一种基于场景信息推送广告的方法、系统及设备
CN101296256A (zh) * 2008-06-19 2008-10-29 中国电信股份有限公司 一种利用互联网实现信息精确推送的方法及系统
CN101442550A (zh) * 2008-12-19 2009-05-27 成都市华为赛门铁克科技有限公司 一种网络信息的推送方法和装置
CN101561825A (zh) * 2009-06-02 2009-10-21 北京迈朗世讯科技有限公司 媒体技术平台系统、数据采集系统和网络内容提供方法
CN101626551A (zh) * 2009-06-26 2010-01-13 武汉虹旭信息技术有限责任公司 一种基于移动互联网的广告业务推送系统和方法
US20110191168A1 (en) * 2010-02-04 2011-08-04 Yahoo! Inc. Multiple cascading auctions in search advertising
CN102334118A (zh) * 2010-11-29 2012-01-25 华为技术有限公司 基于用户兴趣学习的个性化广告推送方法与系统
CN102223366A (zh) * 2011-06-10 2011-10-19 武汉长光科技有限公司 基于用电信息采集系统的多媒体广告推送系统和方法
CN104700289A (zh) * 2015-03-17 2015-06-10 中国联合网络通信集团有限公司 广告投放方法和装置
CN106506572A (zh) * 2015-09-07 2017-03-15 深圳触云科技有限公司 路由器及路由器推送本地信息的方法
CN106326460A (zh) * 2016-08-30 2017-01-11 苏州蓝海彤翔系统科技有限公司 广告推送方法、服务器及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110839060A (zh) * 2019-10-16 2020-02-25 武汉绿色网络信息服务有限责任公司 一种DPI场景中http多会话的文件还原方法和装置
CN110839060B (zh) * 2019-10-16 2022-02-01 武汉绿色网络信息服务有限责任公司 一种DPI场景中http多会话的文件还原方法和装置

Similar Documents

Publication Publication Date Title
US7822868B2 (en) Method and apparatus for targeted content delivery based on RSS feed analysis
CN101561825B (zh) 媒体技术平台系统、数据采集系统和网络内容提供方法
CN104995924B (zh) 实况媒体分发中的基于节目的缓存
US9336323B2 (en) Method and system for accelerating surfing the internet
US20080160490A1 (en) Seeking Answers to Questions
US8527450B2 (en) Apparatus and methods for analyzing and using short messages from commercial accounts
CN104899265B (zh) 信息推荐方法及系统
CN105447147B (zh) 一种数据处理方法及装置
CN105631707A (zh) 基于决策树的广告点击率预估方法与应用推荐方法及装置
US20070214207A1 (en) Method and system for accurate issuance of data information
DE112015003750T5 (de) Systeme und verfahren zum verschleierten messen von publikum
CN101079824A (zh) 一种用户兴趣偏好向量生成系统和方法
WO2010022627A1 (zh) 用户行为属性确定方法、装置、系统及广告投放方法与系统
CN106651470A (zh) 一种基于用户行为预测分析的广告定向推广系统
KR20160020429A (ko) 맥락적 모바일 애플리케이션 광고 기법
CN109756757A (zh) 直播数据处理方法及装置、直播方法及装置和直播服务器
JP2012108916A5 (zh)
CN103546517B (zh) 网络信息推送系统和方法
Chen et al. Characterizing roles of front-end servers in end-to-end performance of dynamic content distribution
CN110191171B (zh) 气象信息传播方法
CN106126519A (zh) 媒体信息的展示方法及服务器
CN109982293A (zh) 流量产品推送方法、系统、电子设备及存储介质
CN110427499B (zh) 多媒体资源的处理方法、装置及存储介质和电子装置
CN109063158A (zh) 一种网站访问排名信息查询的方法、设备、系统及介质
Lai et al. CASQ: Adaptive and cloud-assisted query processing in vehicular sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191115

Address after: 226463 Zhongtian Industrial Zone, Hekou Town, Rudong County, Jiangsu, Nantong

Applicant after: Zhongtian Broadband Technology Co., Ltd.

Applicant after: Zhongtian Communication Technology Co., Ltd

Address before: 226463 Zhongtian Industrial Zone, Hekou Town, Rudong County, Jiangsu, Nantong

Applicant before: Zhongtian Broadband Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215