JP2006178998A - メッセージ内容に基づく迷惑メッセージ(スパム)の検出 - Google Patents

メッセージ内容に基づく迷惑メッセージ(スパム)の検出 Download PDF

Info

Publication number
JP2006178998A
JP2006178998A JP2005367330A JP2005367330A JP2006178998A JP 2006178998 A JP2006178998 A JP 2006178998A JP 2005367330 A JP2005367330 A JP 2005367330A JP 2005367330 A JP2005367330 A JP 2005367330A JP 2006178998 A JP2006178998 A JP 2006178998A
Authority
JP
Japan
Prior art keywords
message
spam
upper limit
messages
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005367330A
Other languages
English (en)
Other versions
JP4827518B2 (ja
Inventor
Yigang Cai
サイ ワイギャング
S Shehryar Qutub
クトゥブ エス.シェルヤー
Alok Sharma
シャルマ アロック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Lucent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lucent Technologies Inc filed Critical Lucent Technologies Inc
Publication of JP2006178998A publication Critical patent/JP2006178998A/ja
Application granted granted Critical
Publication of JP4827518B2 publication Critical patent/JP4827518B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06Q50/40
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/212Monitoring or handling of messages using filtering or selective blocking
    • G06Q50/60
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements

Abstract

【課題】電気通信ネットワークにおいて、迷惑メッセージ(スパム)を検出するための方法を提供すること。
【解決手段】疑わしいスパム・メッセージの内容を解析して、メッセージの重み付き特性および特性の重み付き総和がしきい値を超えているかどうかを判定する。それらの重み付き総和がしきい値を超えている場合、メッセージはスパム・メッセージとして取り扱われ、重み付け係数および解析で使用される特性の品質を向上するために人間による解析が適用される。
【選択図】図1

Description

本発明は、メッセージの内容に基づいてスパム・メッセージを検出する方法に関する。
インターネットが出現してから、送信者が費用をほとんど、またはまったく負担せずに、複数のメッセージを数多くの宛先に簡単に送信できるようになってしまった。これらのメッセージは、ショート・メッセージ・サービスのショート・メッセージを含む。これらのメッセージは、メッセージを消去する作業、および重要かどうかを判定する作業を行わなければならないメッセージの受信者にとって不愉快な勝手に送り付けられる迷惑メッセージ(スパム)を含む。さらに、これらがメッセージを伝送するために使用される電気通信ネットワークの通信事業者にとって非常に厄介なのは、スパムが殺到したことで客が怒るという顧客関係問題に発展することが理由であるだけでなく、これらのメッセージは、通常、収益にほとんど、またはまったく結びつかないのに、ネットワーク資源を使うというのも理由である。この問題の重大性は、以下の2つの統計から説明される。2003年、中国では、20兆件のショート・メッセージ・サービス(SMS)メッセージが中国の電気通信ネットワークに送信されたが、これらのメッセージのうち3/4がスパム・メッセージと推定された。第2の統計は、米国内の電子メール・メッセージの推定85%〜90%はスパムであることを示している。
配信される多数のスパム・メッセージを削減する多数の処置方法が提案され、多くが実装された。配信する前にメッセージを解析するさまざまな処置方法が提案されている。1つの処置方法によれば、起呼側が被呼側によって指定された事前選択グループのうちの1つでない場合に、そのメッセージはブロックされる。スパム・メッセージは、さらに、N個を超える宛先を宛先指定するメッセージはいっさい、配信されないように被呼側が指定することを許可することによりインターセプトすることもできる。
被呼側は、自分の電話番号または電子メール・アドレスを公開することを拒絶することができる。起呼側が被呼側の電話番号または電子メール・アドレスを検索することを許可しないことの明白な欠点に加えて、このような処置方法は効果がない可能性が高い。非公開電子メール・アドレスは、例えば、ルータでメッセージ・ヘッダを監視することにより、IPネットワークから高度なハッカーが検出することができる。非公開被呼番号にしても、起呼側がメッセージを市内局番の10,000件の電話番号すべてに送信することを単に誘うだけであり、上述のように、これは、メッセージを複数の宛先に送る現在の処理方法では非常に容易である。
とりわけつかみ所のないスパム・メッセージの中でも、ポルノを目的とする、または迷惑広告を受信者に配送する、とても不快なメッセージがある。このようなメッセージは、メッセージの内容を調べないとインターセプトできないことが多いが、それは、送信者が同じ発信源から多数の無難なメッセージを送信している可能性があるからである。スパム検出の主要な問題は、メッセージの内容に基づいてスパムを検出するという問題である。
キーワードなどのいくつかの特性が存在していないか、またそのような特性への頻度について疑わしいメッセージが解析され、それぞれの特性に対しほぼ静的で、予め定義され、用意されている数量である適切なスパム・インデックスが与えられ、動的に変化する重み付け係数は、トラフィック・ボリュームおよびメッセージ/コンテンツ・タイプに依存する、出願者の発明により、上記の問題は緩和され、また進歩は従来技術に勝っている。メッセージは、使用頻度がしきい値を超える特性、組み合わせた使用がしきい値を超える特性の所定の組み合わせ、および組み合わせた使用がしきい値を超えるすべての特性について調べられる。出願者の発明の一特徴によれば、それぞれの特性の重み付け係数は、人間のアナリストによる疑わしいメッセージの調査の結果と一致するように動的に調整することができる。都合のよいことに、人間のアナリストを利用することで、検出プロセスは学習できる。
図1は、出願者の発明のオペレーションを例示している。発信源1は、宛先2にメッセージを送信したがっている。メッセージは、これがスパム・メッセージであるかもしれないということを認識するが判定するためにはメッセージ内容の解析を必要とするネットワーク3に送信される。ネットワーク3では、このメッセージをメッセージ・アナライザ10に受け渡す。メッセージ・アナライザ側でこれがスパム・メッセージではないと結論した場合、メッセージは、ネットワーク4を介して宛先2に送信される。
メッセージ・アナライザ10は、特性の表形式データ14、それぞれの特性の重大度インデックス、それぞれの重大度インデックスの重み付け係数、およびその特性の重大度レベルしきい値を含む。
スパム特性は、スパム・メッセージの指標として可能な単語、フレーズ、センテンス、画像、またはビデオ・セグメントである。単語「madam」を一例とする。メッセージ内に出現するそれぞれの特性について、特性の出現回数、重大度インデックス、および重み付け係数の積を計算して、重大度レベルを求める。重大度レベルは、メッセージをスパム・メッセージとして取り扱うかどうかを判定するために使用される。
重大度インデックスおよび重大度しきい値は、比較的一定に保たれるが、重み付け係数は、特別問題領域(重み付け係数を大きくする)またはスパム活動がほとんどなかった領域(重み付け係数を小さくする)の局での決定に応じて、スパム・サービス局15からのメッセージに応答して変更することができる。
メッセージ・アナライザは、メッセージの内容を取り出して、例えば、単語「madam」および「lovers」などの予め保存されている特性を調べる。予め保存されている特性毎に、特定の重大度レベルに達する際のこの特性の重みの程度を示す重み付け係数がある。重大度レベルが所定のしきい値を超えるメッセージがブロックされ、さらに人間による解析が行えるように格納できる。
図2は、出願者のスパム・チェックのオペレーションを例示する流れ図である。着信メッセージが受信されると、スパム解析を行うためにバッファリングされる(アクション・ブロック201)。メッセージの特性のスパム重大度インデックスを計算するためにスパムの表形式データが取得される(アクション・ブロック203)。スパム解析の結果、メッセージのメッセージ特性に対するスパム重大度インデックスを返す(アクション・ブロック205)。サービス・ロジックで、解析スプレッドシートにそれぞれの特性の重大度インデックスを書き込み、分散スパム重大度インデックス・プロファイル・パターンを取得する(アクション・ブロック207)。テスト209では、個々の特性の重大度インデックスがその特性のしきい値を超えているかチェックする。限界を超えていた場合、(アクション・ブロック221、後述)に入る。そうでない場合、テスト211に入り、重大度インデックスのパターンがしきい値を超えているかどうかをチェックす。そのパターンに対するしきい値を超えていた場合、アクション・ブロック221に入る。そうでない場合、すべての特性または、重大度インデックスがしきい値を超えるすべての特性を使用して、集計スパム重大度インデックスが計算される(アクション・ブロック213)。この集計されたインデックスがしきい値上限を超えている場合(テスト215)、そのメッセージは黒である。しきい値下限よりも小さい場合(テスト216)、メッセージは白である。他のメッセージについては、テスト217を使用して、そのメッセージを人間による解析に任すかどうかを判定する。そうしない場合、メッセージはその宛先に中継される(アクション・ブロック223)。人間による解析に任すとして選択した場合、メッセージはサービス局に送られる(アクション・ブロック218)。人間による調査の結果(テスト219)、満足のゆく結果であると判定されれば、メッセージは転送され(アクション・ブロック223)、結果が満足なものでないと判定されれば、メッセージはスパムとして取り扱われ、アクション・ブロック221のファンクションが適用される。
アクション・ブロック221は、スパム・メッセージを格納し、必要ならば、更新されたスパム・フィルタおよび人間の調査の結果得られたルール・サービス・データベースを格納し、スパム重大度重み付け係数およびインデックス上限を更新し、必要ならば、新しい分散スパム・パターンを追加する。
上記の説明は、出願者の発明の好ましい一実施形態の説明である。他の実施形態は、本発明の範囲から逸脱することなく当業者には明らかであろう。本発明は、添付の特許請求の範囲によってのみ限定される。
出願者の発明のオペレーションを例示する図である。 出願者の発明を例示する流れ図である。

Claims (10)

  1. 通信ネットワークにおいて、迷惑(スパム)メッセージを検出する方法であって、
    潜在的メッセージのそれぞれの特性について重み付け係数、インデックス、および限界値を格納する工程と、
    疑わしいスパム・メッセージを格納する工程と、
    前記格納されているスパム・メッセージの特性を導く工程と、
    それぞれの特性の出現回数、その重み付け係数、およびそのインデックスの積を計算する工程と、
    前記積から分散スパム・プロファイルを形成する工程と、
    前記分散スパム・プロファイルがメッセージをスパム・メッセージとして分類する判定基準を満たすかどうかを判定する工程とを含む方法。
  2. 積がその積の前記特性に対するその上限を超える場合に、前記関連付けられているメッセージをスパム・メッセージとして宣言する工程を含む請求項1に記載の方法。
  3. さらに、
    特性の複数のパターンについて、それぞれのパターンに対する上限を格納する工程と、
    パターンに対する前記上限を超えた場合に、メッセージをスパム・メッセージであると宣言する工程とを含む請求項1に記載の方法。
  4. 前記メッセージに対するすべての積の和が所定のしきい値上限を超えた場合、前記メッセージをスパム・メッセージとして取り扱う請求項1に記載の方法。
  5. 特性の前記重み付け係数または上限は、サービス局からのメッセージに応答して変更できる請求項1に記載の方法。
  6. 通信ネットワークにおいて、迷惑(スパム)メッセージを検出する装置であって、
    潜在的メッセージのそれぞれの特性について重み付け係数、インデックス、および限界値を格納する手段と、
    疑わしいスパム・メッセージを格納する手段と、
    前記格納されているスパム・メッセージの特性を導く手段と、
    それぞれの特性の出現回数、その重み付け係数、およびそのインデックスの積を計算する手段と、
    前記積から分散スパム・プロファイルを形成する手段と、
    前記分散スパム・プロファイルがメッセージをスパム・メッセージとして分類する判定基準を満たすかどうかを判定する手段とを備える装置。
  7. 積がその積の前記特性に対するその上限を超える場合に、前記関連付けられているメッセージをスパム・メッセージとして取り扱う手段を備える請求項6に記載の装置。
  8. さらに、
    特性の複数のパターンについて、それぞれのパターンに対する上限を格納する手段と、
    パターンに対する前記上限を超えた場合に、メッセージをスパム・メッセージとして取り扱う手段とを備える請求項6に記載の装置。
  9. 前記メッセージに対するすべての積の和が所定のしきい値上限を超えた場合、前記メッセージをスパム・メッセージとして取り扱う手段を備える請求項6に記載の装置。
  10. さらに、サービス局からのメッセージに応答して特性の前記重み付け係数または上限を変更する手段を備える請求項6に記載の装置。
JP2005367330A 2004-12-21 2005-12-21 メッセージ内容に基づく迷惑メッセージ(スパム)の検出 Expired - Fee Related JP4827518B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/018270 2004-12-21
US11/018,270 US20060168032A1 (en) 2004-12-21 2004-12-21 Unwanted message (spam) detection based on message content

Publications (2)

Publication Number Publication Date
JP2006178998A true JP2006178998A (ja) 2006-07-06
JP4827518B2 JP4827518B2 (ja) 2011-11-30

Family

ID=35954109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005367330A Expired - Fee Related JP4827518B2 (ja) 2004-12-21 2005-12-21 メッセージ内容に基づく迷惑メッセージ(スパム)の検出

Country Status (6)

Country Link
US (1) US20060168032A1 (ja)
EP (1) EP1675330B1 (ja)
JP (1) JP4827518B2 (ja)
KR (1) KR101170562B1 (ja)
CN (1) CN1801855B (ja)
DE (1) DE602005001046T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291054B2 (en) 2008-05-27 2012-10-16 International Business Machines Corporation Information processing system, method and program for classifying network nodes

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166159B (zh) * 2006-10-18 2010-07-28 阿里巴巴集团控股有限公司 一种确定垃圾信息的方法及系统
KR100851595B1 (ko) * 2006-11-28 2008-08-12 주식회사 케이티프리텔 스팸 메시지 발송 제한 방법 및 이를 위한 장치
US8745056B1 (en) 2008-03-31 2014-06-03 Google Inc. Spam detection for user-generated multimedia items based on concept clustering
US8752184B1 (en) * 2008-01-17 2014-06-10 Google Inc. Spam detection for user-generated multimedia items based on keyword stuffing
US8171020B1 (en) 2008-03-31 2012-05-01 Google Inc. Spam detection for user-generated multimedia items based on appearance in popular queries
US8291024B1 (en) * 2008-07-31 2012-10-16 Trend Micro Incorporated Statistical spamming behavior analysis on mail clusters
CN101711013A (zh) * 2009-12-08 2010-05-19 中兴通讯股份有限公司 一种彩信处理的方法及装置
US8572496B2 (en) * 2010-04-27 2013-10-29 Go Daddy Operating Company, LLC Embedding variable fields in individual email messages sent via a web-based graphical user interface
CN102315953B (zh) * 2010-06-29 2016-08-03 百度在线网络技术(北京)有限公司 基于帖子的出现规律来检测垃圾帖子的方法及设备
CN102480705B (zh) * 2010-11-26 2015-11-25 卓望数码技术(深圳)有限公司 一种根据号码关系图过滤垃圾短信的方法及系统
US9275001B1 (en) 2010-12-01 2016-03-01 Google Inc. Updating personal content streams based on feedback
US10037569B2 (en) * 2011-10-21 2018-07-31 Intercontinental Exchange Holdings, Inc. Systems and methods to implement an exchange messaging policy
CN103368914A (zh) * 2012-03-31 2013-10-23 百度在线网络技术(北京)有限公司 一种用于拦截消息的方法、装置和设备
US8955127B1 (en) * 2012-07-24 2015-02-10 Symantec Corporation Systems and methods for detecting illegitimate messages on social networking platforms
US9083729B1 (en) 2013-01-15 2015-07-14 Symantec Corporation Systems and methods for determining that uniform resource locators are malicious
RU2013144681A (ru) 2013-10-03 2015-04-10 Общество С Ограниченной Ответственностью "Яндекс" Система обработки электронного сообщения для определения его классификации
CN104572646B (zh) * 2013-10-11 2017-10-17 富士通株式会社 异常信息确定装置和方法以及电子设备
US9357362B2 (en) 2014-05-02 2016-05-31 At&T Intellectual Property I, L.P. System and method for fast and accurate detection of SMS spam numbers via monitoring grey phone space
US9565147B2 (en) 2014-06-30 2017-02-07 Go Daddy Operating Company, LLC System and methods for multiple email services having a common domain
US10229219B2 (en) * 2015-05-01 2019-03-12 Facebook, Inc. Systems and methods for demotion of content items in a feed
CN105100366B (zh) 2015-07-13 2018-03-20 小米科技有限责任公司 骚扰电话号码确定方法、装置和系统
EP3200136A1 (en) 2016-01-28 2017-08-02 Institut Mines-Telecom / Telecom Sudparis Method for detecting spam reviews written on websites
KR101870789B1 (ko) * 2017-09-12 2018-06-25 주식회사 에바인 스마트 수신 차단 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000026795A1 (en) * 1998-10-30 2000-05-11 Justsystem Pittsburgh Research Center, Inc. Method for content-based filtering of messages by analyzing term characteristics within a message
WO2000049776A1 (en) * 1999-02-17 2000-08-24 Argo Interactive Limited Method and apparatus for proxying and filtering electronic mail
US6654787B1 (en) * 1998-12-31 2003-11-25 Brightmail, Incorporated Method and apparatus for filtering e-mail
WO2004061698A1 (en) * 2002-12-30 2004-07-22 Activestate Corporation Method and system for feature extraction from outgoing messages for use in categorization of incoming messages

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100452910B1 (ko) 2002-02-22 2004-10-14 주식회사 네오위즈 대량 메일의 파악에 기반한 스팸 메일 필터링 방법 및 장치
US20030195937A1 (en) * 2002-04-16 2003-10-16 Kontact Software Inc. Intelligent message screening
US7366761B2 (en) * 2003-10-09 2008-04-29 Abaca Technology Corporation Method for creating a whitelist for processing e-mails
US7272853B2 (en) * 2003-06-04 2007-09-18 Microsoft Corporation Origination/destination features and lists for spam prevention

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000026795A1 (en) * 1998-10-30 2000-05-11 Justsystem Pittsburgh Research Center, Inc. Method for content-based filtering of messages by analyzing term characteristics within a message
US6654787B1 (en) * 1998-12-31 2003-11-25 Brightmail, Incorporated Method and apparatus for filtering e-mail
WO2000049776A1 (en) * 1999-02-17 2000-08-24 Argo Interactive Limited Method and apparatus for proxying and filtering electronic mail
WO2004061698A1 (en) * 2002-12-30 2004-07-22 Activestate Corporation Method and system for feature extraction from outgoing messages for use in categorization of incoming messages

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291054B2 (en) 2008-05-27 2012-10-16 International Business Machines Corporation Information processing system, method and program for classifying network nodes

Also Published As

Publication number Publication date
KR20060071361A (ko) 2006-06-26
JP4827518B2 (ja) 2011-11-30
DE602005001046T2 (de) 2008-01-03
US20060168032A1 (en) 2006-07-27
CN1801855A (zh) 2006-07-12
CN1801855B (zh) 2011-04-06
KR101170562B1 (ko) 2012-08-01
DE602005001046D1 (de) 2007-06-14
EP1675330A1 (en) 2006-06-28
EP1675330B1 (en) 2007-05-02

Similar Documents

Publication Publication Date Title
JP4827518B2 (ja) メッセージ内容に基づく迷惑メッセージ(スパム)の検出
JP4917776B2 (ja) 移動体通信装置のためにスパムメールをフィルタリングする方法
US8396927B2 (en) Detection of unwanted messages (spam)
US7941490B1 (en) Method and apparatus for detecting spam in email messages and email attachments
US8028031B2 (en) Determining email filtering type based on sender classification
US8621638B2 (en) Systems and methods for classification of messaging entities
US8549611B2 (en) Systems and methods for classification of messaging entities
US8185638B2 (en) Degrees of separation for handling communications
US8635690B2 (en) Reputation based message processing
US9361605B2 (en) System and method for filtering spam messages based on user reputation
US20050076241A1 (en) Degrees of separation for handling communications
AU2005304883A1 (en) Message profiling systems and methods
US8271588B1 (en) System and method for filtering fraudulent email messages
US20050198181A1 (en) Method and apparatus to use a statistical model to classify electronic communications
US8135778B1 (en) Method and apparatus for certifying mass emailings
US7409206B2 (en) Defending against unwanted communications by striking back against the beneficiaries of the unwanted communications
JP4839318B2 (ja) メッセージプロファイリングシステムおよび方法
JP2006245813A (ja) フィルタリングシステム、フィルタ作成エンジン、フィルタリング方法およびプログラム
Lv et al. Experimental study of spam classifier based on naive Bayesian model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees