CN105429865A - 一种基于浏览器的微信公众号数据采集方法及装置 - Google Patents

一种基于浏览器的微信公众号数据采集方法及装置 Download PDF

Info

Publication number
CN105429865A
CN105429865A CN201511013659.1A CN201511013659A CN105429865A CN 105429865 A CN105429865 A CN 105429865A CN 201511013659 A CN201511013659 A CN 201511013659A CN 105429865 A CN105429865 A CN 105429865A
Authority
CN
China
Prior art keywords
micro
browser
public number
letter
letter public
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511013659.1A
Other languages
English (en)
Inventor
陈志群
李晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhonghong On-Line Co Ltd
Original Assignee
Shenzhen Zhonghong On-Line Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhonghong On-Line Co Ltd filed Critical Shenzhen Zhonghong On-Line Co Ltd
Priority to CN201511013659.1A priority Critical patent/CN105429865A/zh
Publication of CN105429865A publication Critical patent/CN105429865A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

<b>本发明涉及信息采集领域，具体涉及一种基于浏览器的微信公众号数据采集方法及装置。该方法和装置通过浏览器代理设置实现同时开启多个微信账号，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；一台服务器可以开多个浏览器窗口，相当于开多个采集入口，而浏览器窗口占用的资源小；采集针对性较强，由微信账号关注重点微信公众号，采集的信息没有其他杂乱信息；访问不受限制，浏览器登陆微信后，公众号会自动推送信息；不影响微信账号的正常使用，微信在网页版登陆后，用于采集信息，手机端可正常使用。</b>

Description

一种基于浏览器的微信公众号数据采集方法及装置
技术领域
本发明涉及信息采集领域，具体涉及一种基于浏览器的微信公众号数据采集方法及装置。
背景技术
微信公众号推送的文章可以通过两种途径查看，一个是搜索引擎的微信搜索，但是搜索的信息太杂乱，且受到服务器提供商的限制。第二个是关注公众号，可接受公众号推送的文章，但是每个微信账号关注的公众号有限。
在一般的微信采集方法中，通过模拟搜素引擎的请求，获取关键词搜索出来的微信文章，这种方法缺点是请求频率会严格受到限制，出现需要输入验证码才能继续请求，程序无法识别验证而导致采集中断，信息采集效率低且信息杂乱。
发明内容
为克服上述缺陷，本发明的目的即在于提供一种基于浏览器的微信公众号数据采集方法及装置。
本发明的目的是通过以下技术方案来实现的：
本发明的一种基于浏览器的微信公众号数据采集方法，包括以下步骤：
在服务器上开启一个以上的浏览器，设置浏览器代理实现浏览器与互联网通信；
在每一个浏览器上均登陆一个微信账号，通过微信账号接收微信公众号的推送数据，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；
扫描微信公众号交互数据包并提取所需的微信相关信息；
根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号的具体微信信息。
进一步，所述微信公众号索引信息为微信文章链接地址或微信公众号账号。
进一步，根据提取所需的微信相关信息解析出微信公众号索引信息，利用httpclient访问微信公众号索引信息获取微信公众号的具体微信信息。
进一步，将浏览器与互联网交互的微信公众号交互数据包进行监控并下载的同时，根据微信公众号交互数据包请求的域名进行分类存储。
进一步，设置多个启动配置在服务器上开启一个以上的浏览器。
更进一步，所述浏览器为谷歌浏览器。
一种基于浏览器的微信公众号数据采集装置，该装置与服务器数据连接，该装置包括依次连接的：
在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载的数据监控及下载单元；
扫描微信公众号交互数据包并提取所需的微信相关信息的数据扫描提取单元；
根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号具体微信信息的解析及访问获取单元。
进一步，该装置还包括与数据监控及下载单元连接、设置多个启动配置在服务器上开启一个以上浏览器的启动配置单元。
更进一步，该装置还包括与数据监控及下载单元连接、根据微信公众号交互数据包请求的域名对微信公众号交互数据包进行分类存储的分类存储单元。
本发明提供的一种基于浏览器的微信公众号数据采集方法及装置，该方法和装置通过浏览器代理设置实现同时开启多个微信账号，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；一台服务器可以开多个浏览器窗口，相当于开多个采集入口，而浏览器窗口占用的资源小；采集针对性较强，由微信账号关注重点微信公众号，采集的信息没有其他杂乱信息；访问不受限制，浏览器登陆微信后，公众号会自动推送信息；不影响微信账号的正常使用，微信在网页版登陆后，用于采集信息，手机端可正常使用。
附图说明
为了易于说明，本发明由下述的较佳实施例及附图作以详细描述。
图1为本发明一种基于浏览器的微信公众号数据采集方法的步骤流程图；
图2为本发明一种基于浏览器的微信公众号数据采集方法的另一步骤流程图；
图3为本发明一种基于浏览器的微信公众号数据采集装置的模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1-2，本发明的一种基于浏览器的微信公众号数据采集方法，包括以下步骤：
在服务器上开启一个以上的浏览器，设置浏览器代理实现浏览器与互联网通信；根据谷歌浏览器启动读取配置文件的流程，通过程序设置多个启动配置，实现同时打开多个浏览器，每个浏览器的数据互不影响，一台服务器可同时登陆多个微信账号，且多个微信账号能同时在线并正常接收信息，参照fiddler的监控原理，通过编写程序（依赖.net框架）实现谷歌浏览器开启后，通过代理访问与互联网通信；
在每一个浏览器上均登陆一个微信账号，通过微信账号接收微信公众号的推送数据，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；浏览器设置代理后，浏览器与互联网通信的数据包被数据监控程序实时捕获并保存到已知路径下，浏览器在请求过程中会产生大量的数据包，监控程序除了捕获数据包，在保存数据包的同时，根据数据包请求的域名分类存储，方便解析程序快速区分；
扫描微信公众号交互数据包并提取所需的微信相关信息；浏览器与互联网交互的数据包得到后，解析程序定时扫描由数据监控程序捕获回来的数据包，找到属于微信的数据包；
根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号的具体微信信息；根据数据包的格式，提取数据包中需要采集的文章内容，如微信文章链接地址，来源于哪个公众号等，解析出来的信息，作为一个采集任务传个下一个数据采集程序，通过上一步解析到的文章链接地址，利用httpclient访问该地址获取微信文章的具体内容，并解析入库。
具体参见图3，一种应用上述基于浏览器的微信公众号数据采集方法的基于浏览器的微信公众号数据采集装置，该装置与服务器数据连接，该装置包括依次连接的：
在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载的数据监控及下载单元；
扫描微信公众号交互数据包并提取所需的微信相关信息的数据扫描提取单元；
根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号具体微信信息的解析及访问获取单元。
其中，该装置还包括与数据监控及下载单元连接、设置多个启动配置在服务器上开启一个以上浏览器的启动配置单元及与数据监控及下载单元连接、根据微信公众号交互数据包请求的域名对微信公众号交互数据包进行分类存储的分类存储单元。
本发明提供的一种基于浏览器的微信公众号数据采集方法及装置，该方法和装置通过浏览器代理设置实现同时开启多个微信账号，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；一台服务器可以开多个浏览器窗口，相当于开多个采集入口，而浏览器窗口占用的资源小；采集针对性较强，由微信账号关注重点微信公众号，采集的信息没有其他杂乱信息；访问不受限制，浏览器登陆微信后，公众号会自动推送信息；不影响微信账号的正常使用，微信在网页版登陆后，用于采集信息，手机端可正常使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于浏览器的微信公众号数据采集方法，其特征在于，包括以下步骤：
在服务器上开启一个以上的浏览器，设置浏览器代理实现浏览器与互联网通信；
在每一个浏览器上均登陆一个微信账号，通过微信账号接收微信公众号的推送数据，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；
扫描微信公众号交互数据包并提取所需的微信相关信息；
根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号的具体微信信息。
2.根据权利要求1所述的一种基于浏览器的微信公众号数据采集方法，其特征在于，所述微信公众号索引信息为微信文章链接地址或微信公众号账号。
3.根据权利要求1或2所述的一种基于浏览器的微信公众号数据采集方法，其特征在于，根据提取所需的微信相关信息解析出微信公众号索引信息，利用httpclient访问微信公众号索引信息获取微信公众号的具体微信信息。
4.根据权利要求1所述的一种基于浏览器的微信公众号数据采集方法，其特征在于，将浏览器与互联网交互的微信公众号交互数据包进行监控并下载的同时，根据微信公众号交互数据包请求的域名进行分类存储。
5.根据权利要求1所述的一种基于浏览器的微信公众号数据采集方法，其特征在于，设置多个启动配置在服务器上开启一个以上的浏览器。
6.根据权利要求1所述的一种基于浏览器的微信公众号数据采集方法，其特征在于，所述浏览器为谷歌浏览器。
7.一种基于浏览器的微信公众号数据采集装置，其特征在于，该装置与服务器数据连接，该装置包括依次连接的：
在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载的数据监控及下载单元；
扫描微信公众号交互数据包并提取所需的微信相关信息的数据扫描提取单元；
根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号具体微信信息的解析及访问获取单元。
8.根据权利要求7所述的一种基于浏览器的微信公众号数据采集装置，其特征在于，该装置还包括与数据监控及下载单元连接、设置多个启动配置在服务器上开启一个以上浏览器的启动配置单元。
9.根据权利要求7或8所述的一种基于浏览器的微信公众号数据采集装置，其特征在于，该装置还包括与数据监控及下载单元连接、根据微信公众号交互数据包请求的域名对微信公众号交互数据包进行分类存储的分类存储单元。
CN201511013659.1A 2015-12-31 2015-12-31 一种基于浏览器的微信公众号数据采集方法及装置 Pending CN105429865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511013659.1A CN105429865A (zh) 2015-12-31 2015-12-31 一种基于浏览器的微信公众号数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511013659.1A CN105429865A (zh) 2015-12-31 2015-12-31 一种基于浏览器的微信公众号数据采集方法及装置

Publications (1)

Publication Number Publication Date
CN105429865A true CN105429865A (zh) 2016-03-23

Family

ID=55507811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511013659.1A Pending CN105429865A (zh) 2015-12-31 2015-12-31 一种基于浏览器的微信公众号数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN105429865A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948052A (zh) * 2017-11-14 2018-04-20 福建中金在线信息科技有限公司 信息爬取方法、装置、电子设备和系统
CN108234487A (zh) * 2017-12-29 2018-06-29 重庆远望广告有限公司 基于微信公众号的信息管理方法
CN110609834A (zh) * 2018-05-29 2019-12-24 西安电子科技大学 基于Agent的多源异构政务数据抽取系统
CN111405023A (zh) * 2020-03-10 2020-07-10 中新网络信息安全股份有限公司 一种移动端数据采集方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944905A (zh) * 2014-04-24 2014-07-23 天脉聚源(北京)传媒科技有限公司 一种信息交互方法、装置和系统
CN104065693A (zh) * 2013-04-16 2014-09-24 腾讯科技（深圳）有限公司 一种网页应用中网络数据的访问方法、装置和系统
CN104199953A (zh) * 2014-09-15 2014-12-10 浪潮软件集团有限公司 一种爬取手机客户端公共账号信息的方法
CN105159992A (zh) * 2015-09-01 2015-12-16 北京瑞汛世纪科技有限公司 一种应用程序的页面内容及网络行为的检测方法及装置
CN105162676A (zh) * 2015-04-03 2015-12-16 中国科学院信息工程研究所 一种微信数据获取方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065693A (zh) * 2013-04-16 2014-09-24 腾讯科技（深圳）有限公司 一种网页应用中网络数据的访问方法、装置和系统
CN103944905A (zh) * 2014-04-24 2014-07-23 天脉聚源(北京)传媒科技有限公司 一种信息交互方法、装置和系统
CN104199953A (zh) * 2014-09-15 2014-12-10 浪潮软件集团有限公司 一种爬取手机客户端公共账号信息的方法
CN105162676A (zh) * 2015-04-03 2015-12-16 中国科学院信息工程研究所 一种微信数据获取方法和系统
CN105159992A (zh) * 2015-09-01 2015-12-16 北京瑞汛世纪科技有限公司 一种应用程序的页面内容及网络行为的检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
乌唯卿: "Web应用程序的自动化测试工具开发", 《中国优秀硕士学位论文》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948052A (zh) * 2017-11-14 2018-04-20 福建中金在线信息科技有限公司 信息爬取方法、装置、电子设备和系统
CN108234487A (zh) * 2017-12-29 2018-06-29 重庆远望广告有限公司 基于微信公众号的信息管理方法
CN110609834A (zh) * 2018-05-29 2019-12-24 西安电子科技大学 基于Agent的多源异构政务数据抽取系统
CN110609834B (zh) * 2018-05-29 2023-04-18 西安电子科技大学 基于Agent的多源异构政务数据抽取系统
CN111405023A (zh) * 2020-03-10 2020-07-10 中新网络信息安全股份有限公司 一种移动端数据采集方法

Similar Documents

Publication Publication Date Title
CN105577528B (zh) 一种基于虚拟机的微信公众号数据采集方法及装置
CN102647408A (zh) 一种基于内容分析的判断钓鱼网站的方法
CN107341399B (zh) 评估代码文件安全性的方法及装置
CN102984161B (zh) 一种可信网站的识别方法和装置
CN102938789B (zh) 一种移动互联网手机应用下载组合分析方法和装置
CN105429865A (zh) 一种基于浏览器的微信公众号数据采集方法及装置
CN102469117B (zh) 一种异常访问行为的识别方法及装置
CN109729044B (zh) 一种通用的互联网数据采集反反爬系统及方法
CN107809383A (zh) 一种基于mvc的路径映射方法及装置
CN103581909B (zh) 一种疑似手机恶意软件的定位方法及其装置
CN105302707B (zh) 应用程序的漏洞检测方法和装置
CN111740923A (zh) 应用识别规则的生成方法、装置、电子设备和存储介质
CN105162676B (zh) 一种微信数据获取方法和系统
CN106446113A (zh) 移动大数据解析方法及装置
CN102685224A (zh) 用户行为分析方法及相关设备和系统
US20150120692A1 (en) Method, device, and system for acquiring user behavior
CN112532605B (zh) 一种网络攻击溯源方法及系统、存储介质、电子设备
CN110020161B (zh) 数据处理方法、日志处理方法和终端
CN105704177A (zh) 一种ua识别方法、装置
CN105337776B (zh) 一种生成网站指纹的方法、装置及电子设备
CN102984162B (zh) 可信网站的识别方法和收集系统
CN108345793A (zh) 一种软件检测特征的提取方法及装置
CN103530389A (zh) 一种提高停用词搜索有效性的方法和装置
CN102571922A (zh) 一种数据流处理方法及装置
CN104317847A (zh) 一种识别网络文字信息的语种的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323