CN104901849A - 一种上网行为数据采集方法及其系统 - Google Patents

一种上网行为数据采集方法及其系统 Download PDF

Info

Publication number
CN104901849A
CN104901849A CN201510301284.2A CN201510301284A CN104901849A CN 104901849 A CN104901849 A CN 104901849A CN 201510301284 A CN201510301284 A CN 201510301284A CN 104901849 A CN104901849 A CN 104901849A
Authority
CN
China
Prior art keywords
uploading
internet
upstream data
internet behavior
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510301284.2A
Other languages
English (en)
Inventor
乐毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feixun Data Communication Technology Co Ltd
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201510301284.2A priority Critical patent/CN104901849A/zh
Publication of CN104901849A publication Critical patent/CN104901849A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种上网行为数据采集方法，包含以下步骤：S1、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；S2、对符合预设条件的上行数据包进行处理；S3、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。本发明还公开了一种上网行为数据采集系统。本发明通过无线覆盖区域内的若干无线热点收集用户通过移动终端上网的数据，然后汇总压缩后上传到云端服务器，有效的解决了用户上网行为的数据收集和上传功能，并优化了上传性能，增强了安全性，为大数据应用奠定了技术基础。

Description

一种上网行为数据采集方法及其系统
技术领域
本发明涉及无线网络技术领域，具体涉及一种上网行为数据采集方法及其系统。
背景技术
当前无线覆盖越来越多，使用手机等移动终端设备也越来越多，通过WiFi上网成为当前的主流方式，相比有线覆盖而言，流量的突发性和网络延迟有很大的不同，其数据量大，突发性强，人流量快带来了新的问题，如何解决无线覆盖区域的用户上网行为数据采集和上传是一个新的课题。
发明内容
本发明的目的在于提供一种上网行为数据采集方法及其系统，通过无线覆盖区域内的若干无线热点收集用户通过移动终端上网的数据，然后汇总压缩后上传到云端服务器，有效的解决了用户上网行为的数据收集和上传功能，并优化了上传性能，增强了安全性，为大数据应用奠定了技术基础。
为了达到上述目的，本发明通过以下技术方案实现：一种上网行为数据采集方法，其特点是，包含以下步骤：
S1、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
S2、对符合预设条件的上行数据包进行处理；
S3、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
所述的步骤S2包含对符合预设条件的上行数据包进行加密及压缩处理后保存。
所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。
一种上网行为数据采集系统，其特点是，包含：
若干个监听单元，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
处理单元，分别与若干个监听单元连接，用于对监听单元采集的符合预设条件的上行数据包进行处理；
存储单元，与所述处理单元连接，用于存储经处理单元处理后的上行数据包；
上传单元，与所述存储单元连接，用于将存储单元中的上行数据包上传至云服务器。
所述的处理单元包含依次连接的加密模块及压缩模块，所述加密模块与所述监听单元连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密；所述压缩模块与所述存储单元连接，用于对加密后的上行数据包采用预设压缩算法进行压缩。
所述的上网行为数据采集系统还包含一计时单元，分别与所述存储单元及上传单元连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元将上行数据包上传至云服务器。
所述的上网行为数据采集系统还包含包含一文件大小判断单元，分别与所述存储单元及上传单元连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元将上行数据包上传至云服务器。
所述的预设加密算法为采用AES-128位进行加密。
所述的预设压缩算法为使用gzip工具进行压缩。
本发明一种上网行为数据采集方法及其系统与现有技术相比具有以下优点：采用预设上传条件，有效保证数据的完整性和一定的实时性问题，并且解决了上传数据至云服务器时的并发问题，同时上传数据会对云服务器造成负载压力，分散时间上传，减少上传并发量，减轻云服务器负载压力；通过对要进行上传得上行数据包进行压缩，减少对宽带的占用率，节约宽带资源；采用AES-128位进行加密，有效保证上传数据的安全性。
附图说明
图1为本发明一种上网行为数据采集系统的结构框图；
图2为本发明一种上网行为数据采集方法的流程图。
具体实施方式
以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
本发明主要是通过无线覆盖区域内的若干无线热点（AP）收集用户通过移动终端（如手机）上网的数据，然后汇总压缩后上传到云端服务器。由于某一区域的无线覆盖是通过若干AP的无线信号相互重叠形成的Mesh网络实现，而用户通过WiFi使用手机等移动终端上网必须接入某一个AP，这样就可以通过每一个AP监控上网的行为并采集所需要的上网行为数据，然后通过压缩利用FTP协议上传到指定的云服务器，从而完成整个上网行为的数据采集和上传。解决了在无线覆盖的商户，超市或企业等区域如何通过无线热点（Access Point）有效的收集用户上网行为的数据，并且将数据进行加密和压缩上传云端服务器的过程。
如图1所示，本发明公开一种上网行为数据采集系统用于实现对上网行为数据的收集，包含：若干个监听单元101，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；处理单元102，分别与若干个监听单元101连接，用于对监听单元101采集的符合预设条件的上行数据包进行处理；存储单元103，与所述处理单元102连接，用于存储经处理单元102处理后的上行数据包；上传单元104，与所述存储单元103连接，用于将存储单元103中的上行数据包上传至云服务器。
优选地，所述的处理单元102包含依次连接的加密模块1021及压缩模块1022，所述加密模块1021与所述监听单元101连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密，例如采用AES-128位进行加密；所述压缩模块1022与所述存储单元103连接，用于对加密后的上行数据包采用预设压缩算法进行压缩，例如使用gzip工具进行压缩。
在本发明的较佳实施例中，上网行为数据采集系统还包含一计时单元105，分别与所述存储单元103及上传单元104连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元104将上行数据包上传至云服务器。
优选地所述的上网行为数据采集系统还包含一文件大小判断单元106，分别与所述存储单元103及上传单元104连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元104将上行数据包上传至云服务器。预设加密算法为采用。
如图2所示，一种上网行为数据采集方法，包含以下步骤：
S1、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
S2、对符合预设条件的上行数据包进行处理，处理包含对符合预设条件的上行数据包进行加密及压缩处理后保存；
S3、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。具体地，系统判断符合其中之一就可以执行上传步骤。
具体应用：每一个AP内设置一个监听单元，当用户通过手机等移动终端上网时，监听单元通过预设条件将满足的用户上行数据包送到处理单元进一步分析和确认，若确认无误则保存到存储单元中缓存下来，等待下一条数据。获得的数据会被保存在一个内存文件中，当满足一定条件时会上传到指定的云端服务器，在上传云服务器之前，将此文件压缩成gzip然后上传，因为数据文件是文本文件，所以使用gzip工具压缩，压缩比比较高，很大程度的节约了上行的宽带资源。将压缩好的数据文件上传，当AP的数量比较多时，会在一段时间内出现并发上传量非常大的情况，会给云服务器带来压力；通过设置两个条件来解决此问题，满足下列条件之一就直接上传：条件1，一个周期开始计时，若超过周期时间阈值的一半，则上传至云服务器；或者条件2，数据文件压缩后大于等于10M字节则上传至云服务器。这样的方法即保证了数据一定的实时性，又分散了时间上传，从而减少了上传并发量。为了加强安全性，上传的数据文件不仅需要压缩，而且需要加密，即数据文件采用AES-128位进行加密压缩，保证了数据安全性，同时通过SFTP（Secure File Transfer Protocol）协议上传到FTP服务器。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种上网行为数据采集方法，其特征在于，包含以下步骤：
S1、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
S2、对符合预设条件的上行数据包进行处理；
S3、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
2.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的步骤S2包含对符合预设条件的上行数据包进行加密及压缩处理后保存。
3.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
4.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。
5.一种上网行为数据采集系统，其特征在于，包含：
若干个监听单元，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
处理单元，分别与若干个监听单元连接，用于对监听单元采集的符合预设条件的上行数据包进行处理；
存储单元，与所述处理单元连接，用于存储经处理单元处理后的上行数据包；
上传单元，与所述存储单元连接，用于将存储单元中的上行数据包上传至云服务器。
6.如权利要求5所述的上网行为数据采集系统，其特征在于，所述的处理单元包含依次连接的加密模块及压缩模块，所述加密模块与所述监听单元连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密；所述压缩模块与所述存储单元连接，用于对加密后的上行数据包采用预设压缩算法进行压缩。
7.如权利要求5所述的上网行为数据采集系统，其特征在于，进一步包含一计时单元，分别与所述存储单元及上传单元连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元将上行数据包上传至云服务器。
8.如权利要求5所述的上网行为数据采集系统，其特征在于，进一步包含一文件大小判断单元，分别与所述存储单元及上传单元连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元将上行数据包上传至云服务器。
9.如权利要求6所述的上网行为数据采集系统，其特征在于，所述的预设加密算法为采用AES-128位进行加密。
10.如权利要求6所述的上网行为数据采集系统，其特征在于，所述的预设压缩算法为使用gzip工具进行压缩。
CN201510301284.2A 2015-06-04 2015-06-04 一种上网行为数据采集方法及其系统 Pending CN104901849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510301284.2A CN104901849A (zh) 2015-06-04 2015-06-04 一种上网行为数据采集方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510301284.2A CN104901849A (zh) 2015-06-04 2015-06-04 一种上网行为数据采集方法及其系统

Publications (1)

Publication Number Publication Date
CN104901849A true CN104901849A (zh) 2015-09-09

Family

ID=54034252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510301284.2A Pending CN104901849A (zh) 2015-06-04 2015-06-04 一种上网行为数据采集方法及其系统

Country Status (1)

Country Link
CN (1) CN104901849A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131216A (zh) * 2016-08-23 2016-11-16 王志强 一种基于大数据管理笔录的方法、系统及其终端
CN107426046A (zh) * 2016-05-24 2017-12-01 深圳市信锐网科技术有限公司 用户上网数据采集分析方法及系统
CN107707377A (zh) * 2017-06-12 2018-02-16 贵州白山云科技有限公司 一种分析网络节点可用性的方法及系统
CN110177024A (zh) * 2019-05-06 2019-08-27 北京奇安信科技有限公司 热点设备的监控方法及客户端、服务端、系统
CN111376255A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 机器人数据采集方法、装置及终端设备
CN112512031A (zh) * 2020-11-10 2021-03-16 广州爱浦路网络技术有限公司 一种应用于5g网络的数据采集方法和5g网络
CN115250467A (zh) * 2022-07-12 2022-10-28 中国电信股份有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202889399U (zh) * 2012-10-22 2013-04-17 上海照恒科技有限公司 信息采集系统
CN104349339A (zh) * 2013-07-26 2015-02-11 中国科学院信息工程研究所 移动智能终端Wi-Fi信号数据包的收集装置、方法及系统
US20150120865A1 (en) * 2012-06-14 2015-04-30 Airplug Inc. Method for controlling content data receiving through a plurality of connected wireless networks and an apparatus for said method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150120865A1 (en) * 2012-06-14 2015-04-30 Airplug Inc. Method for controlling content data receiving through a plurality of connected wireless networks and an apparatus for said method
CN202889399U (zh) * 2012-10-22 2013-04-17 上海照恒科技有限公司 信息采集系统
CN104349339A (zh) * 2013-07-26 2015-02-11 中国科学院信息工程研究所 移动智能终端Wi-Fi信号数据包的收集装置、方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426046A (zh) * 2016-05-24 2017-12-01 深圳市信锐网科技术有限公司 用户上网数据采集分析方法及系统
CN106131216A (zh) * 2016-08-23 2016-11-16 王志强 一种基于大数据管理笔录的方法、系统及其终端
CN107707377A (zh) * 2017-06-12 2018-02-16 贵州白山云科技有限公司 一种分析网络节点可用性的方法及系统
CN111376255A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 机器人数据采集方法、装置及终端设备
CN111376255B (zh) * 2018-12-29 2022-06-24 深圳市优必选科技有限公司 机器人数据采集方法、装置及终端设备
CN110177024A (zh) * 2019-05-06 2019-08-27 北京奇安信科技有限公司 热点设备的监控方法及客户端、服务端、系统
CN110177024B (zh) * 2019-05-06 2021-10-01 奇安信科技集团股份有限公司 热点设备的监控方法及客户端、服务端、系统
CN112512031A (zh) * 2020-11-10 2021-03-16 广州爱浦路网络技术有限公司 一种应用于5g网络的数据采集方法和5g网络
CN115250467A (zh) * 2022-07-12 2022-10-28 中国电信股份有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN104901849A (zh) 一种上网行为数据采集方法及其系统
JP7029471B2 (ja) アップリンクデータ解凍、圧縮方法および装置
CN105764079A (zh) 数据传输方法及装置
CN108566369B (zh) 基于工业大数据的数据采集系统及方法
JP6389280B2 (ja) プロトコルスタック適合方法および装置
CN101699822A (zh) 一种文件上传方法、装置和海量存储系统
CN103701897A (zh) 服务器、终端和文件传输方法
US20150372711A1 (en) Data compression method, data restoration method, apparatuses, and system
CN110943914A (zh) 配电房智能网关及控制方法
CN102571820A (zh) 用于传输数据的方法、压缩服务器和终端
CN106201708A (zh) 应用程序的冻结方法、应用程序的冻结装置和终端
CN109688564A (zh) 一种基于蓝牙和LoRa的电力监测系统及运维方法
CN105354505A (zh) 一种图像适配方法及电子设备
CN101408756A (zh) 一种核电汽轮机调节系统远程监视与分析系统及方法
CN104618371A (zh) 一种数据下载方法、装置及系统
CN104158629A (zh) 基于lzw算法的分布式新能源运行数据加密压缩传输方法
CN110572850A (zh) 5g基站缓存处理业务数据方法、装置、设备和存储介质
CN106375999A (zh) 一种WiFi快速连接的方法和装置
CN110474924B (zh) 数据传输方法、装置、计算机设备和存储介质
CN103068052A (zh) 资源动态配置方法、系统和Portal服务器
CN104038307A (zh) 数据流传输系统及方法
CN107277104A (zh) 一种网页访问数据的处理方法及无线路由器
CN108062956A (zh) 一种单主机多终端的语音识别方法及系统
CN112512031B (zh) 一种应用于5g网络的数据采集方法和5g网络
CN115665487A (zh) 一种影像数据传输方法、装置、计算机设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150909

RJ01 Rejection of invention patent application after publication