CN105335486A - 一种数据过滤方法及数据过滤装置 - Google Patents

一种数据过滤方法及数据过滤装置 Download PDF

Info

Publication number
CN105335486A
CN105335486A CN201510669876.XA CN201510669876A CN105335486A CN 105335486 A CN105335486 A CN 105335486A CN 201510669876 A CN201510669876 A CN 201510669876A CN 105335486 A CN105335486 A CN 105335486A
Authority
CN
China
Prior art keywords
data
data filtering
communication data
file type
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510669876.XA
Other languages
English (en)
Inventor
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201510669876.XA priority Critical patent/CN105335486A/zh
Publication of CN105335486A publication Critical patent/CN105335486A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据过滤方法及数据过滤装置，其中，数据过滤方法包括获取用户与终端设备交互过程中产生的通信数据；提取所述通信数据的数据特征；判断所述数据特征是否满足数据过滤条件；若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。本发明能够对用户与终端设备的交互数据进行过滤，使据能够更加准确的反映用户的真实行为。

Description

一种数据过滤方法及数据过滤装置
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据过滤方法及数据过滤装置。
背景技术
用户在经由终端设备(比如台式计算机或者移动终端设备)浏览互联网时所发生的上网行为(例如，在浏览器地址栏中键入页面地址或者点击页面中的超链接)会产生大量通信数据。
当需要对用户产生的这些通信数据进行分析时，由于产生的数据量较大，且存在大量“脏数据”(即，与用户真实的上网行为(例如，用户手动行为)无关的数据)较多。这样会导致对数据的处理速度较慢，并影响数据分析的准确性，以至于影响了多个层面的数据质量，而且需要的存储空间较大。
发明内容
本发明所要解决的技术问题是提供一种数据过滤方法及数据过滤装置，对用户与终端设备的交互数据进行过滤。
本发明解决上述技术问题的技术方案如下：
基于本发明的一个方面，提供了一种数据过滤方法，所述方法包括：
S1、获取用户与终端设备交互过程中产生的通信数据；
S2、提取所述通信数据的数据特征；
S3、判断所述数据特征是否满足数据过滤条件；
S4、若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。
基于本发明的另一个方面，提供了一种数据过滤装置，所述装置包括：
数据获取模块，用于获取用户与终端设备交互过程中产生的通信数据；
特征提取模块，用于提取所述通信数据的数据特征；
判断模块，用于判断所述数据特征是否满足数据过滤条件；
数据过滤模块，用于若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。
本发明提供的一种数据过滤方法及数据过滤装置，获取用户与终端设备交互产生的通信数据并提取该通信数据中的数据特征，判断该数据特征是否满足数据过滤条件，若满足，则对通信数据进行过滤，能够对用户与终端设备的交互数据进行过滤，使据能够更加准确的反映用户的真实行为。
附图说明
图1为本发明实施例1的一种数据过滤方法流程图；
图2为本发明实施例2的一种数据过滤装置示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1、一种数据过滤方法。以下结合图1对本实施例提供的方法进行详细说明。
参见图1，S1、获取用户与终端设备交互过程中产生的通信数据。
S2、提取所述通信数据的数据特征；
S3、判断所述数据特征是否满足数据过滤条件；
S4、若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。
其中，步骤S2中的用户与终端设备交互过程中产生的通信数据的数据特征具体包括通信数据的文件类型信息，文件类型信息又具体包括内容类型标识和/或文件类型标识。所述内容类型标识是由所述通信数据的http包头解析而来，所述文件类型标识是由所述通信数据的http包体解析而来。
步骤S3根据所述通信数据的文件类型信息，判断该文件类型信息是否满足数据过滤条件。具体为：根据通信数据的内容类型标识和/或文件类型标识，判断通信数据所属内容和/或文件是否满足数据过滤条件，若满足数据过滤条件，则根据数据过滤条件对通信数据进行过滤。
在数据过滤的过程中，预先为终端设备配置数据过滤函数，若用户与终端设备交互产生的通信数据满足数据过滤条件，则步骤S4调用与该终端设备对应的数据过滤函数，对通信数据进行过滤。
实施例2、一种数据过滤装置。以下结合图2对本实施例提供的装置进行详细描述。
参见图2，本实施例提供的数据过滤装置包括数据获取模块201、特征提取模块202、判断模块203、函数配置模块204和数据过滤模块205。
其中，数据获取模块201，用于获取用户与终端设备交互过程中产生的通信数据。
特征提取模块202，用于提取所述通信数据的数据特征。
判断模块203，用于判断所述数据特征是否满足数据过滤条件。
数据过滤模块205，用于若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。
其中，特征提取模块202提取的用户与终端设备交互过程中产生的通信数据的数据特征具体包括通信数据的文件类型信息，文件类型信息又具体包括内容类型标识和/或文件类型标识。所述内容类型标识是由所述通信数据的http包头解析而来，所述文件类型标识是由所述通信数据的http包体解析而来。
判断模块203根据所述通信数据的文件类型信息，判断该文件类型信息是否满足数据过滤条件。具体为：根据通信数据的内容类型标识和/或文件类型标识，判断通信数据所属内容和/或文件是否满足数据过滤条件，若满足数据过滤条件，则根据数据过滤条件对通信数据进行过滤。
在数据过滤的过程中，函数配置模块204预先为终端设备配置数据过滤函数，若用户与终端设备交互产生的通信数据满足数据过滤条件，则数据过滤模块205调用与该终端设备对应的数据过滤函数，对通信数据进行过滤。
本发明提供的一种数据过滤方法及数据过滤装置，获取用户与终端设备交互产生的通信数据并提取该通信数据中的数据特征，判断该数据特征是否满足数据过滤条件，若满足，则对通信数据进行过滤，能够对用户与终端设备的交互数据进行过滤，使据能够更加准确的反映用户的真实行为。
在本说明书的描述中，参考术语“实施例一”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据过滤方法，其特征在于，所述方法包括：
S1、获取用户与终端设备交互过程中产生的通信数据；
S2、提取所述通信数据的数据特征；
S3、判断所述数据特征是否满足数据过滤条件；
S4、若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。
2.如权利要求1所述的数据过滤方法，其特征在于，所述步骤S2中的数据特征包括通信数据中的文件类型信息。
3.如权利要求2所述的数据过滤方法，其特征在于，所述文件类型信息包括内容类型标识和/或文件类型标识。
4.如权利要求3所述的数据过滤方法，其特征在于，所述内容类型标识是由所述通信数据的http包头解析而来，所述文件类型标识是由所述通信数据的http包体解析而来。
5.如权利要求2所述的数据过滤方法，其特征在于，所述步骤S3具体包括：
根据所述通信数据的文件类型信息，判断该文件类型信息是否满足数据过滤条件。
6.如权利要求1所述的数据过滤方法，其特征在于，所述步骤S4具体包括：
为终端设备配置数据过滤函数，若用户与终端设备交互产生的通信数据满足数据过滤条件，则调用与该终端设备对应的数据过滤函数，对通信数据进行过滤。
7.一种数据过滤装置，其特征在于，所述装置包括：
数据获取模块，用于获取用户与终端设备交互过程中产生的通信数据；
特征提取模块，用于提取所述通信数据的数据特征；
判断模块，用于判断所述数据特征是否满足数据过滤条件；
数据过滤模块，用于若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。
8.如权利要求7所述的数据过滤装置，其特征在于，所述通信数据的数据特征包括文件类型信息。
9.如权利要求8所述的数据过滤装置，其特征在于，所述判断模块具体用于：
根据所述通信数据的文件类型信息，判断该文件类型信息是否满足数据过滤条件。
10.如权利要求7所述的数据过滤装置，其特征在于，所述装置还包括：
函数配置模块，用于为终端设备配置数据过滤函数；
所述数据过滤模块具体用于若用户与终端设备交互产生的通信数据满足数据过滤条件，则调用与该终端设备对应的数据过滤函数，对通信数据进行过滤。
CN201510669876.XA 2015-10-15 2015-10-15 一种数据过滤方法及数据过滤装置 Pending CN105335486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510669876.XA CN105335486A (zh) 2015-10-15 2015-10-15 一种数据过滤方法及数据过滤装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510669876.XA CN105335486A (zh) 2015-10-15 2015-10-15 一种数据过滤方法及数据过滤装置

Publications (1)

Publication Number Publication Date
CN105335486A true CN105335486A (zh) 2016-02-17

Family

ID=55286013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510669876.XA Pending CN105335486A (zh) 2015-10-15 2015-10-15 一种数据过滤方法及数据过滤装置

Country Status (1)

Country Link
CN (1) CN105335486A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362724A (zh) * 2019-07-23 2019-10-22 国家卫星海洋应用中心 一种数据过滤方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857493A (zh) * 2012-06-30 2013-01-02 华为技术有限公司 内容过滤方法和装置
CN104022924A (zh) * 2014-07-02 2014-09-03 浪潮电子信息产业股份有限公司 一种http通信内容检测的方法
CN104601527A (zh) * 2013-10-31 2015-05-06 腾讯科技（北京）有限公司 数据过滤的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857493A (zh) * 2012-06-30 2013-01-02 华为技术有限公司 内容过滤方法和装置
CN104601527A (zh) * 2013-10-31 2015-05-06 腾讯科技（北京）有限公司 数据过滤的方法及装置
CN104022924A (zh) * 2014-07-02 2014-09-03 浪潮电子信息产业股份有限公司 一种http通信内容检测的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362724A (zh) * 2019-07-23 2019-10-22 国家卫星海洋应用中心 一种数据过滤方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN108847977B (zh) 一种业务数据的监控方法、存储介质和服务器
CN111143415B (zh) 一种数据处理方法、装置和计算机可读存储介质
RU2014135221A (ru) Способ, система и устройство для фильтрации рекламных объявлений веб-страниц на мобильном терминале
CN106202101B (zh) 广告识别方法及装置
CN103116638B (zh) 网页筛选方法及装置
CN103679030B (zh) 一种基于动态语义特征的恶意代码分析检测方法
CN104348871B (zh) 一种同类账号扩展方法及装置
CN104111836A (zh) 一种网络采集处理异步加载数据的方法
CN103279516A (zh) 网络爬虫识别方法
CN104462397A (zh) 推广信息处理方法和装置
CN106446113A (zh) 移动大数据解析方法及装置
CN103218410A (zh) 互联网事件分析方法与装置
KR101712592B1 (ko) 프로그램
CN103500158A (zh) 批注电子文档的方法和装置
CN108737193A (zh) 一种故障预测方法及装置
CN103188347B (zh) 互联网事件分析方法与装置
CN107135199B (zh) 网页后门的检测方法和装置
CN108683649A (zh) 一种基于文本特征的恶意域名检测方法
CN103455572B (zh) 获取网页中影视主体的方法及装置
CN105335486A (zh) 一种数据过滤方法及数据过滤装置
CN103327178B (zh) 自动拨打页面中分机电话的方法及装置
CN103902906A (zh) 基于应用图标的移动终端恶意代码检测方法及系统
CN104065617B (zh) 一种骚扰邮件处理方法、装置和系统
CN105512896A (zh) 举报信息处理方法和系统
CN111125704A (zh) 一种网页挂马识别方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160217

RJ01 Rejection of invention patent application after publication