CN101635886A - 一种基于用户选择的垃圾短信过滤方法 - Google Patents

一种基于用户选择的垃圾短信过滤方法 Download PDF

Info

Publication number
CN101635886A
CN101635886A CN200810132195A CN200810132195A CN101635886A CN 101635886 A CN101635886 A CN 101635886A CN 200810132195 A CN200810132195 A CN 200810132195A CN 200810132195 A CN200810132195 A CN 200810132195A CN 101635886 A CN101635886 A CN 101635886A
Authority
CN
China
Prior art keywords
user
server
keyword
client
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200810132195A
Other languages
English (en)
Inventor
曾明发
战扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangmang Xingkong Information Technology Co Ltd
Original Assignee
Beijing Guangmang Xingkong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangmang Xingkong Information Technology Co Ltd filed Critical Beijing Guangmang Xingkong Information Technology Co Ltd
Priority to CN200810132195A priority Critical patent/CN101635886A/zh
Publication of CN101635886A publication Critical patent/CN101635886A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于用户选择的垃圾短信过滤方法，其步骤为：(1)用户在手机上安装客户端，安装完成后在服务器注册获得激活码。服务器为每一个注册用户建立一个帐户，用户登录到服务器设置不需要过滤的种类和添加安全关键字；(2)服务器端一定周期内使用贝叶斯算法，根据最新的垃圾短信库和非垃圾短信库中的短信中生成过滤关键字；(3)客户端从服务器升级下载过滤关键字，服务器在提供关键字下载之前，先访问用户的帐户设置，然后根据用户的设置将待下载的过滤关键字进行剪裁后提供给客户端；(4)客户端根据黑白名单和过滤关键字进行垃圾短信的过滤。

Description

一种基于用户选择的垃圾短信过滤方法
技术领域
本发明属于网通通信技术领域的短信息处理技术，涉及垃圾短信的过滤策略和方法，特别是基于用户设置的过滤技术。
背景技术
短信的安全监控过滤是一个较新的课题，加上短信业务流程复杂、接收方式灵活多变，因此，短信内容的监控和过滤非常困难。如何在保持短信业务活力的同时限制有害消息的传播成为一个棘手的问题，而该问题的核心就是：没有统一标准来判断垃圾短信，由用户自己判定是非常有效的判定方法。因此，非常有必要开展基于用户选择的短信过滤业务。基于用户选择的消息过滤业务，即通过由用户设置短信过滤关键字从而把判断垃圾短信的权力交给用户，让用户自己决定是否过滤短信，这样一方面解决了垃圾短信判定标准的问题，另外一方面也提高了用户的业务满意度。
随着移动通信运营商对垃圾短信打击力度的增加和用户的反垃圾短信意识的增强，垃圾短息发送者为了能够成功地发送垃圾短信而不断地改变短信的内容和短信的特征(如电话号码不使用阿拉伯数字而使用中文数字)，因此过滤关键字也需要去适应这种变化。为了适应这种变化，必须周期性地去更新过滤关键字，使得过滤关键字与垃圾短信的特征同步。
发明内容
本发明的目的是为了实现用户能够个性化选择短信过滤内容的一个系统，同时该系统又能够根据最新的垃圾短信的情况提供实时的过滤关键字。
为实现上述目的，本发明包括以下步骤：
(1)用户在手机上安装客户端，安装完成后在服务器注册或登录获得激活码，服务器为每一个注册用户建立一个帐户，用户登录到服务器设置不需要过滤的种类和添加安全关键字；
(2)服务器端一定周期内使用贝叶斯算法，根据最新的垃圾短信库和非垃圾短信库中的短信中生成过滤关键字；
(3)客户端从服务器升级下载过滤关键字；
(4)服务器在提供关键字下载之前，先访问用户的关键字设置，然后根据用户的设置将待下载的关键字进行剪裁后提供给客户端；
(5)客户端根据黑白名单和过滤关键字进行垃圾短信的过滤，非垃圾短信直接放行，垃圾短信则将其放入到客户端中的垃圾短信箱，待用户处理。
安装客户端后在服务器注册获得激活码：用户通过客户端提供的短信或GPRS方式激活客户端。使用用户的手机号作为用户名，在服务器上为用户建立一个帐户，并采用与客户端相同的算法来生成一个序列号作为软件的激活码，通过短信的形式将激活码和自动生成的初始密码发送给用户。如果用户已经注册过，则直接生成一个序列号并发送给用户。通过这个步骤，使得每一个使用客户端的用户在服务器上都有一个对应的帐户，当关键字下载的时候需要访问该帐户。
用户登录到服务器设置不需要过滤的种类和添加安全关键字：客户端提供短信和GPRS方式，服务器端也提供Web的方式，使用户登录到服务器上，让用户从过滤的类别中选择自己感兴趣不需要完全过滤的类别(例如房产广告、促销信息等)，服务器在关键字下载的时候就不会提供所选类别的过滤关键字的下载；用户也能够添加安全关键字，同样会使服务器产生不含用户已添加的关键字的过滤关键字。
服务器端一定周期内使用贝叶斯算法，根据最新的垃圾短信库和非垃圾短信库中的短信中生成过滤关键字：在服务器端设有垃圾短信举报数据库，因此会收集到最新的垃圾短信；同时，从运营商处获得一定的短信样本，然后使用贝叶斯算法来进行过滤关键字的产生，保证关键字与垃圾短信同步。在过滤关键字生成的时候，会根据短信的内容将生成的关键字标识为相应的种类，便于为用户个性化下载关键字时剪裁。
服务器在提供关键字下载之前，先访问用户的关键字设置，然后根据用户的设置将待下载的关键字进行剪裁后提供给客户端：服务器端程序会首先将根据最新的垃圾短信库和非垃圾短信库中的短信生成的所有的关键字作为下载源准备好，然后根据申请下载关键字的用户的手机号码查找该号码对应的用户帐户的设置信息，根据用户已设信息来将下载源中的相应的信息种类和关键字剔除，然后下载给用户。
客户端根据黑白名单和下载的过滤关键字进行垃圾短信的过滤：短信首先使用白名单进行过滤，如果短信发送人在白名单中，则直接放行；如果不在，则使用黑名单对短信发送人进行匹配，如果在黑名单中，则将其放入到客户端中的垃圾短信箱，同时提醒用户收到了垃圾短信，待用户处理。如果也不在黑名单中，则对短信的内容进行切词，然后使用贝叶斯算法进行分析，如果超过预定阀值则同黑名单处理过程一样，否则同白名单处理过程一样。
客户端中拦截下来的垃圾短信，将会被在客户端中使用举报功能举报到服务器的垃圾短信数据库中。
附图说明
图1是用户使用客户端的流程图；
图2是服务器端生成过滤关键字的流程图；
图3是过滤关键字下载过程的流程图；
图4是客户端短信过滤的流程图。
具体实施方式
本发明的具体实施步骤描述如下：
在图1所示中：用户首先从服务器下载到客户端软件，然后在手机上进行安装。安装客户端完成之后，会在用户界面上提示用户需要在服务器注册或登录获得激活码。用户直接通过客户端提供的短信或GPRS方式向服务器发送获得激活码的请求。
服务器在收到请求以后，使用用户的手机号作为用户名，在服务器上为用户建立一个帐户，并采用与客户端相同的算法来生成一个序列号作为软件的激活码，通过短信的形式将激活码和自动生成的初始密码发送给用户。如果用户已经注册过，则直接生成一个序列号并发送给用户。通过这个步骤，使得每一个使用客户端的用户在服务器上都有一个对应的帐户，当关键字下载的时候需要访问该帐户。
用户在收到激活码之后，软件就能够正常使用了。在使用的过程中，可以添加黑名单和白名单以及敏感关键词，同时客户端软件会定期自动更新过滤关键字，用户也可手动使用更新功能。
当客户端拦截下来短信之后，会在界面上显示已经拦截的状态来提醒用户。用户可使用客户端选择将已拦截的短信删除、举报或者标识为非垃圾短信。
当用户不再想使用客户端的时候，可在手机中将客户端删除。
在图2服务器端生成过滤关键字的流程所示例中，服务器端一定周期内使用贝叶斯算法，根据最新的垃圾短信库和非垃圾短信库中的短信中生成过滤关键字。在服务器端设有垃圾短信举报数据库，因此会收集到最新的垃圾短信；同时，从运营商处获得一定的短信样本，然后使用贝叶斯算法，对当前最有代表性的垃圾短信来进行过滤关键字的产生，保证关键字与垃圾短信同步。
在过滤关键字生成的时候，会根据短信的内容将生成的关键字标识为相应的种类，便于为用户个性化下载关键字时剪裁。
关键字生成的具体过程包括：
对两类短信集中每条短信进行分词，即提取出特征项(token)。为减小开销，可剔除一些出现频率过少的词或频率虽高但无法作为判断依据的非用词，的、了等字就属于此类。
建立哈希表hashtable_spam和hashtable_normal，存储token串到词频的映射关系，计算token在每个集合中出现的概率为
Ps(ti)＝(ti在spam集中的词频)/hashtable_spam表的长度
Ph(ti)＝(ti在normal集中的词频)/hashtable_normal表的长度
假设A事件表示短信为垃圾短信，则一条短信出现token串ti时，垃圾短信的概率为
P(A|ti)＝Ps(ti)/(Ps(ti)+Ph(ti))
建立新的哈希表hashtable_probability存储token串ti到P(A|ti)的映射。
当新到一条短信同时出现多个token串(t1，t2，…，tn时，hashtable_probability中对应的值为P1，P2，…，Pn，则该短信为垃圾短信的概率为
P(A|d)＝P(A|t1，t2，…，tn)＝
P1P2…Pn/(P1P2…Pn+(1-P1)(1-P2)…(1-Pn))
当上述P(A|d)的值超过预定阀值时，就判断为垃圾短信。过滤关键字就是要生成哈希表hashtable_probability。
在图3所示中，用户登录到服务器来设置不需要过滤的种类，比如用户有买房的打算，那么房产一类的广告对这类用户来说就很可能不是垃圾短信，这时，用户在服务器上的自己的帐户中将房产广告这一类别选中，在关键字下载的时候将不包含房产广告方面的过滤关键字。用户还能够针对特殊需求添加安全关键字，所谓安全关键字就是关键字产生的时候，也不包含用户已添加的这些关键字。
客户端提供短信和GPRS方式，服务器端也提供Web的方式，使用户登录到服务器上，让用户从过滤的类别中选择自己感兴趣不需要完全过滤的类别和添加安全关键字。
过滤关键字更新的时候，客户端首先向服务器发送升级请求，请求包括用户的手机号码、上一次升级的时间等，服务器端程序在收到请求以后会首先核对客户端是否是最近的过滤关键字，如果是则告知客户端不必升级；否则将根据最新的垃圾短信库和非垃圾短信库中的短信生成的所有的关键字作为下载源准备好，然后根据申请下载关键字的用户的手机号码查找该号码对应的用户帐户的设置信息，根据用户已设信息来将下载源中的相应的信息种类和关键字剔除，然后下载给用户。如果没有用户帐户存在，则将所有的过滤关键字都下载给客户端。
在图4所示中，当用户收到一条短消息时，客户端首先使用白名单进行过滤，如果短信发送人在白名单中，则直接放行；如果不在，则使用黑名单对短信发送人进行匹配，如果在黑名单中，则将其放入到客户端中的垃圾短信箱，同时提醒用户收到了垃圾短信，待用户处理。客户端使用黑白名单的原因是因为黑白名单过滤会对一些特殊的号码直接拦截或放行，提高了处理的速度和准确度。如果也不在黑名单中，则对短信的内容进行切词，然后使用贝叶斯算法进行分析，如果超过预定阀值则同黑名单处理过程一样，否则，同白名单处理过程一样。
客户端中拦截下来的垃圾短信，将会被在客户端中使用的举报功能举报到服务器的垃圾短信数据库中。

Claims (5)

1.一种基于用户选择的垃圾短信过滤方法，其特征在于，包括以下步骤：
(1)用户在手机上安装客户端，安装完成后在服务器注册获得激活码，服务器为每一个注册用户建立一个帐户，用户登录到服务器设置不需要过滤的种类和添加安全关键字；
(2)服务器端一定周期内使用贝叶斯算法，根据最新的垃圾短信库和非垃圾短信库中的短信中生成过滤关键字；
(3)客户端从服务器升级下载过滤关键字，服务器在提供关键字下载之前，先访问用户的帐户设置，然后根据用户的设置将待下载的关键字进行剪裁后提供给客户端；
(4)客户端根据黑白名单和过滤关键字进行垃圾短信的过滤。
2.根据权利要求1所述的一种基于用户选择的垃圾短信过滤方法，其特征在于所述的安装客户端后在服务器注册获得激活码：用户通过客户端提供的短信和GPRS方式激活客户端，使用用户的手机号作为用户名，在服务器上为用户建立一个帐户，并采用与客户端相同的算法来生成一个序列号作为软件的激活码，通过短信的形式将激活码和自动生成的初始密码发送给用户，如果用户已经注册过，则直接生成一个序列号并发送给用户。
3.根据权利要求1所述的一种基于用户选择的垃圾短信过滤方法，其特征在于所述的用户登录到服务器设置不需要过滤的种类和添加安全关键字：为用户提供短信、GPRS和Web的方式登录到服务器上，让用户从过滤的类别中选择自己感兴趣不需要完全过滤的类别(例如房产广告、促销信息等)，服务器在过滤关键字下载的时候就不会提供所选类别的关键字的下载，用户也能够添加安全关键字，同样会使服务器产生不含用户已添加的关键字。
4.根据权利要求1所述的一种基于用户选择的垃圾短信过滤方法，其特征在于所述的服务器端一定周期内使用贝叶斯算法，根据最新的垃圾短信库和非垃圾短信库中的短信中生成过滤关键字：在服务器端设有垃圾短信举报数据库，因此会收集到最新的垃圾短信，同时，从运营商处获得一定的短信样本，然后使用贝叶斯算法来进行过滤关键字的产生，保证关键字与垃圾短信同步。
5.根据权利要求1所述的一种基于用户选择的垃圾短信过滤方法，其特征在于所述的服务器在提供关键字下载之前，先访问用户的帐户设置，然后根据用户的设置将待下载的关键字进行剪裁后提供给客户端：服务器端程序会首先将生成的所有的关键字作为下载源准备好，然后根据申请下载关键字的用户的手机号码查找该号码对应的用户帐户的设置信息，根据用户已设信息来将下载源中的相应的信息种类和关键字剔除，然后下载给用户。
CN200810132195A 2008-07-22 2008-07-22 一种基于用户选择的垃圾短信过滤方法 Pending CN101635886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810132195A CN101635886A (zh) 2008-07-22 2008-07-22 一种基于用户选择的垃圾短信过滤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810132195A CN101635886A (zh) 2008-07-22 2008-07-22 一种基于用户选择的垃圾短信过滤方法

Publications (1)

Publication Number Publication Date
CN101635886A true CN101635886A (zh) 2010-01-27

Family

ID=41594906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810132195A Pending CN101635886A (zh) 2008-07-22 2008-07-22 一种基于用户选择的垃圾短信过滤方法

Country Status (1)

Country Link
CN (1) CN101635886A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102355517A (zh) * 2011-07-01 2012-02-15 宇龙计算机通信科技(深圳)有限公司 信息分类装置、信息分类方法和终端
CN102480702A (zh) * 2010-11-24 2012-05-30 腾讯科技（深圳）有限公司 短信拦截方法和系统
CN102547623A (zh) * 2010-12-08 2012-07-04 中国电信股份有限公司 垃圾短信处理方法和系统
WO2013075430A1 (zh) * 2011-11-23 2013-05-30 中兴通讯股份有限公司 信息过滤的方法、转发信息的处理方法、装置及系统
CN103369486A (zh) * 2013-08-01 2013-10-23 上海粱江通信系统股份有限公司 诈骗短信防范系统与防范方法
CN103501487A (zh) * 2013-09-18 2014-01-08 小米科技有限责任公司 分类器更新方法、装置、终端、服务器及系统
CN104424447A (zh) * 2013-09-02 2015-03-18 中国移动通信集团四川有限公司 一种构建数据库防火墙的方法和装置
CN104640092A (zh) * 2015-01-27 2015-05-20 北京奇虎科技有限公司 识别垃圾短信的方法、客户端、云端服务器和系统
CN106488412A (zh) * 2015-09-01 2017-03-08 中国移动通信集团公司 通信服务控制方法、系统、服务器和客户端
CN106572449A (zh) * 2015-10-12 2017-04-19 中兴通讯股份有限公司 一种实现信息过滤的方法及装置
CN106777245A (zh) * 2016-12-27 2017-05-31 上海大汉三通通信股份有限公司 一种短信类型判别方法、系统及短信管理平台
CN107730297A (zh) * 2017-01-19 2018-02-23 西安艾润物联网技术服务有限责任公司 优惠券发送方法及系统
CN112597282A (zh) * 2021-01-24 2021-04-02 深圳市诚立业科技发展有限公司 一种应用于短信数据安全的管理方法
US11765557B2 (en) 2015-06-10 2023-09-19 Honor Device Co. Ltd. Short message processing method and apparatus, and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060081162A (ko) * 2005-01-07 2006-07-12 에스케이 텔레콤주식회사 스팸성 단문 메시지 차단 시스템 및 방법
CN1812604A (zh) * 2006-03-01 2006-08-02 成都今辰科技发展有限公司 短信防火墙系统和设立短信防火墙的方法
CN1905564A (zh) * 2006-08-07 2007-01-31 华为技术有限公司 用户动态更改过滤规则的实现方法
CN101184259A (zh) * 2007-11-01 2008-05-21 浙江大学 垃圾短信中的关键词自动学习及更新方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060081162A (ko) * 2005-01-07 2006-07-12 에스케이 텔레콤주식회사 스팸성 단문 메시지 차단 시스템 및 방법
CN1812604A (zh) * 2006-03-01 2006-08-02 成都今辰科技发展有限公司 短信防火墙系统和设立短信防火墙的方法
CN1905564A (zh) * 2006-08-07 2007-01-31 华为技术有限公司 用户动态更改过滤规则的实现方法
CN101184259A (zh) * 2007-11-01 2008-05-21 浙江大学 垃圾短信中的关键词自动学习及更新方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102480702A (zh) * 2010-11-24 2012-05-30 腾讯科技（深圳）有限公司 短信拦截方法和系统
CN102547623A (zh) * 2010-12-08 2012-07-04 中国电信股份有限公司 垃圾短信处理方法和系统
CN102547623B (zh) * 2010-12-08 2015-05-20 中国电信股份有限公司 垃圾短信处理方法和系统
CN102355517A (zh) * 2011-07-01 2012-02-15 宇龙计算机通信科技(深圳)有限公司 信息分类装置、信息分类方法和终端
WO2013075430A1 (zh) * 2011-11-23 2013-05-30 中兴通讯股份有限公司 信息过滤的方法、转发信息的处理方法、装置及系统
CN103139041A (zh) * 2011-11-23 2013-06-05 中兴通讯股份有限公司 信息过滤的方法、转发信息的处理方法、装置及系统
CN103369486A (zh) * 2013-08-01 2013-10-23 上海粱江通信系统股份有限公司 诈骗短信防范系统与防范方法
CN104424447A (zh) * 2013-09-02 2015-03-18 中国移动通信集团四川有限公司 一种构建数据库防火墙的方法和装置
CN103501487A (zh) * 2013-09-18 2014-01-08 小米科技有限责任公司 分类器更新方法、装置、终端、服务器及系统
CN104640092B (zh) * 2015-01-27 2016-10-19 北京奇虎科技有限公司 识别垃圾短信的方法、客户端、云端服务器和系统
CN104640092A (zh) * 2015-01-27 2015-05-20 北京奇虎科技有限公司 识别垃圾短信的方法、客户端、云端服务器和系统
US11765557B2 (en) 2015-06-10 2023-09-19 Honor Device Co. Ltd. Short message processing method and apparatus, and electronic device
CN106488412A (zh) * 2015-09-01 2017-03-08 中国移动通信集团公司 通信服务控制方法、系统、服务器和客户端
CN106488412B (zh) * 2015-09-01 2020-03-27 中国移动通信集团公司 通信服务控制方法、系统、服务器和客户端
CN106572449A (zh) * 2015-10-12 2017-04-19 中兴通讯股份有限公司 一种实现信息过滤的方法及装置
CN106777245A (zh) * 2016-12-27 2017-05-31 上海大汉三通通信股份有限公司 一种短信类型判别方法、系统及短信管理平台
CN106777245B (zh) * 2016-12-27 2020-09-25 上海大汉三通通信股份有限公司 一种短信类型判别方法、系统及短信管理平台
CN107730297A (zh) * 2017-01-19 2018-02-23 西安艾润物联网技术服务有限责任公司 优惠券发送方法及系统
CN112597282A (zh) * 2021-01-24 2021-04-02 深圳市诚立业科技发展有限公司 一种应用于短信数据安全的管理方法
CN112597282B (zh) * 2021-01-24 2021-06-11 深圳市诚立业科技发展有限公司 一种应用于短信数据安全的管理方法

Similar Documents

Publication Publication Date Title
CN101635886A (zh) 一种基于用户选择的垃圾短信过滤方法
JP6385896B2 (ja) 無線装置でコンテンツ変換を管理する装置および方法
US10581778B2 (en) Method and system for filtering communication
US7882193B1 (en) Apparatus and method for weighted and aging spam filtering rules
CN101155324B (zh) 一种基于或囊括手机电话本的即时通讯方法和系统
CN101335721B (zh) 为消息创建预测过滤器的方法和装置
US8798585B2 (en) System and method for enhanced communications via small data rate communication systems
US7546351B1 (en) Methods and systems for filtering, sorting, and dispatching messages to wired and wireless devices
US20020199095A1 (en) Method and system for filtering communication
US20070150542A1 (en) Method and system for automatically updating contact information within a contact database
CN100414948C (zh) 一种在推送信息服务中限制信息接收的方法
WO2012123509A1 (fr) Controle de publication de message relatif a un utilisateur
CN102110131A (zh) 一种防止社交网络中陌生人骚扰的方法与系统
CN101180629A (zh) 用于在无线装置上管理内容交换的设备和方法
KR100473051B1 (ko) 스팸메일 자동분류 방법
CN101686223B (zh) 一种内容过滤的反馈方法和装置
CN101383852B (zh) 实现个人专用数字报刊的系统和方法
CN102244617A (zh) 一种基于社区平台的批量处理通知方法及即时通讯服务器
CN102244618A (zh) 一种基于社区平台的批量处理方法及即时通讯服务器
KR20050003224A (ko) 커뮤니티 플랫폼의 구조 및 그 서비스 시스템
US20120016900A1 (en) Identification of third party pim repositories storing a user's contact information
JP2009205640A (ja) 情報収集管理システム、方法、及び、プログラム
TWI385577B (zh) 具有軟件自動更新功能的電子裝置及方法
KR20050093084A (ko) 이동 통신 단말기의 에스엠에스 메시지 관리 방법
JP2003348166A (ja) サーバ装置およびデータ通信機器およびメッセージ配信システムおよびメッセージ配信処理方法およびコンピュータが読取り可能な記憶媒体およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100127