JP2006178995A - 迷惑メッセージの検出 - Google Patents

Abstract

【課題】電気通信ネットワークにおいて、迷惑メッセージ（スパム）をブロックするための方法および装置を提供すること。
【解決手段】メッセージは、最初に、ルールおよびデータ・テーブルを使用してメッセージを通すことができるか、または潜在的にスパム・メッセージであるかを判定する高速プロセスにより調べられる。メッセージが潜在的にスパム・メッセージである場合、メッセージ内容がディープ・プロセスにより解析される。ほとんどのメッセージは、通すか、またはブロックすることを素早く行うことができ都合が良く、広範なデータ処理は、高速プロセスでは分類できない少数のメッセージについてのみ必要である。
【選択図】図１

Description

本発明は、電気通信ネットワークにおいて、メッセージを解析して迷惑（スパム）メッセージを検出するための方法および装置に関する。

インターネットが出現してから、送信者が費用をほとんど、またはまったく負担せずに、複数のメッセージを数多くの宛先に簡単に送信できるようになってしまった。これらのメッセージは、ショート・メッセージ・サービスのショート・メッセージを含む。これらのメッセージは、メッセージを消去する作業、および重要かどうかを判定する作業を行わなければならないメッセージの受信者にとって不愉快な勝手に送り付けられる迷惑メッセージ（スパム）を含む。さらに、これらがメッセージを伝送するために使用される電気通信ネットワークの通信事業者にとって非常に厄介なのは、スパムが殺到したことで客が怒るという顧客関係問題に発展することが理由であるだけでなく、これらのメッセージは、通常、収益にほとんど、またはまったく結びつかないのに、ネットワーク資源を使うというのも理由である。この問題の重大性は、以下の２つの統計から説明される。２００３年、中国では、２０億件のショート・メッセージ・サービス（ＳＭＳ）メッセージが中国の電気通信ネットワークに送信されたが、これらのメッセージのうち３／４がスパム・メッセージと推定された。第２の統計は、米国内の電子メール・メッセージの推定８５％〜９０％はスパムであることを示している。

配信される多数のスパム・メッセージを削減する多数の処置方法が提案され、多くが実装された。配信する前にメッセージを解析するさまざまな処置方法が提案されている。１つの処置方法によれば、起呼側が被呼側によって指定された事前選択グループのうちの１つでない場合に、そのメッセージはブロックされる。スパム・メッセージは、さらに、Ｎ個を超える宛先を宛先指定するメッセージはいっさい、配信されないように被呼側が指定することを許可することによりインターセプトすることもできる。

被呼側は、自分の電話番号または電子メール・アドレスを公開することを拒絶することができる。起呼側が被呼側の電話番号または電子メール・アドレスを検索することを許可しないことの明白な欠点に加えて、このような処置方法は効果がない可能性が高い。非公開電子メール・アドレスは、例えば、ルータでメッセージ・ヘッダを監視することにより、ＩＰネットワークから高度なハッカーが検出することができる。非公開被呼番号にしても、起呼側がメッセージを市内局番の１０，０００件の電話番号すべてに送信することを単に誘うだけであり、上述のように、これは、メッセージを複数の宛先に送る現在の処理方法では非常に容易である。

特定のメッセージがスパム・メッセージであるかどうかを検出する実際のプロセスは、きわめて込み入っていることが多く、ネットワークの処理機能をかなり使う可能性がある。このため、ネットワークのスループットが制限されうる。

出願者らは、スパム・メッセージを検出するプロセスを慎重に解析した。発明により、出願者らは、多くのスパム・メッセージについて、検出プロセスは比較的直接的であるが、他のスパム・メッセージについては、非常に複雑であることを理解した。この複雑な解析は、スパム・メッセージの新しい生成源を検出するうえで重要な場合が多いため、これらの複雑な状況は単純に無視することはできない。出願者は、スパムかどうかを判定するためにメッセージを解析するプロセスが２つまたはそれ以上のステージのプロセスであり、メッセージをスパムまたは非スパム・メッセージであると認識する直接的な手段が実行された場合にその後の処理は回避される、本発明による従来技術に対する寄与を行った。高速ステージでは、着信メッセージは、素早くスクリーニングされ、最小限の遅延で、クリアされたメッセージは下流に送られ、検出されたスパム・メッセージは、ブロックされ、少数の疑わしい（灰色）メッセージは第２のステージに送られ、さらに詳しく解析される。第１のステージは、スパム・メッセージを格納するための巨大なデータベースを持たず、スクリーニング・ルールおよび判定基準を格納するための小さなデータベースを持つことができる。第２のステージまたは深いステージでは、コンテンツ・ベースの解析およびスクリーニングを実行し、良いメッセージと悪いメッセージの両方を格納するための大きなデータベースを備える。第２のステージは、スパム・メッセージを識別するための情報モデルを使用する自己学習解析エンジンを備える。第２のステージでは、解析した非スパム・メッセージの伝送を遅らせる。大量のメッセージを短時間のうちに解析し、スパムまたは非スパムであるとして分類することができて都合が良いが、メッセージの残りは深く解析することができる。

図１は、出願者の発明のオペレーションを例示する状態および状態遷移図を示す図である。このルール・ベースの多工程スパム検出の概念およびアーキテクチャは、ＳＭＳまたは電子メールのスパムを検出するアプリケーションにおいて広く使用され、また、無線、有線、およびインターネット・プロトコル・ネットワークに適用することができる。スパム防止アプリケーションは、着信メッセージをインターセプトし、スパム・メッセージをフィルタ処理するネットワーク内のスタンドアロンのエンティティとすることができる。また、ＳＭＳセンター（ＳＭＳＣ）、インターネット・プロトコル・ルータ、電子メール・サーバ、ネットワーク・ゲートウェイ、またはロケーション・サーバ内に収納することもできる。ルール・エンジン・データベース内のスパム防止フィルタ判定基準およびルールは、サービス・プロバイダまたはエンド・ユーザによる用意、表示、検索、更新を行える。

１つのスパム防止アプリケーションは、高速プロセス・ルール・エンジンおよびディープ・プロセス・ルール・エンジンの集合、１つだけの高速ルール・エンジン、１つだけのディープ・ルール・エンジン、複数の高速プロセス・ルール・エンジン、複数の高速プロセス・ルール・エンジンと１つのディープ．プロセス・ルール・エンジンにより実装することができる。ネットワークは、高速ルール・エンジンとディープ・ルール・エンジンの組み合わせを含む複数のスパム防止アプリケーションを備えることができる。

ルール・エンジン・データベースは、一元化されたデータベース（ネットワーク内のすべてのルール・エンジンと共有される）、または分散化されたデータベース（それぞれのルール・エンジンはそれ専用のデータベースを備える）とすることができるか、または一元化されたデータベースと分散化されたデータベースの組み合わせを使用することができる。例えば、特定のネットワークにおいて、高速ルール・エンジンをすべて、分散化し、すべてのディープ・プロセス・ルール・エンジンが１つの一元化されたデータベースを共有するようにすると、人間のアナリストは、スパム推奨および更新ルールのためにルール・エンジンおよびデータベースに容易にアクセスできる。図１のシステムでは、アプリケーションは、ヘッダおよび内容情報を抽出し、その両方をデータベース内のデータと比較し、着信メッセージのスパム・チェックを実行する（高速プロセス・システム５０内への遷移１）。その後、高速プロセスは、ルール・エンジンを呼び出してバッファリングされたメッセージの解析を要求する（プロセス５１への工程２）。プロセス５１は、フィルタ・ベースのルール・プロセスであり、データは、そのようなプロセスをサポートする。プロセス５１は、ブラック／ホワイト・リスト、送信者／受信者アドレス、ネットワークＩＤ、所定の期間内に受信された類似メッセージの件数、所定の期間内に１つの送信源により送信された類似メッセージの件数などのフィルタ・データに作用するルールに基づくファンクションを実行する。ルール・エンジン５１からの応答は、工程３で、高速プロセスに送り返される。工程４は、内部プロセス、つまり、遷移を持たないプロセスであり、工程３で受け取ったメッセージに応答して実行される。工程４で、高速プロセスは、サスペクト・レベルをルール・エンジン５１によりフラグが立てられたメッセージに割り当てる。メッセージにフラグが立っていない場合、高速プロセスは、宛先への転送のため工程５でネットワーク中継メッセージ要素５２に転送する。中継メッセージ要素は、スパム防止アプリケーション内部または外部に配置することができる。

メッセージに割り当てられた集計サスペクト・レベルが定義済みしきい値を横切った場合、合法的処理を期待して、法的権限のある機関が使用できるように、高速プロセスはそれをスパム・データベース５３に送って保存する。工程６で高速プロセスはこのメッセージを送る。工程７で、高速プロセスは、解析しなければならない新しいメッセージおよび残留メッセージの件数を更新するための情報をフィルタ・ベースのルール・プロセス５１に送る。

高速プロセスは、集計サスペクト・レベルを、定義済みしきい値を横切らないメッセージに割り当てた場合、工程８でサスペクト・メッセージへのポインタにそのメッセージを送ることによりディープ解析プロセス５４に警告を与える。ディープ・プロセス５４は、バッファ５３から相関性のある識別とともにメッセージを抽出し、さらにスパム・チェックを実行する要求を解析ベースのルール・エンジン５５に送る（工程９）。ディープ処理を実行するルール・エンジンは、ほとんどメッセージ・タイプおよび内容に基づいてディープ解析を実行し、工程１０でその結果をディープ・プロセス５４に送り返す。その後、ディープ・プロセス５４は、内部工程１１で、このメッセージがスパム・メッセージであるかどうかを判定する。メッセージがクリーンであるとみなされた場合、ディープ・プロセスは、そのメッセージを中継メッセージ要素５２に転送する（工程１２）。メッセージがスパムであるとみなされた場合、工程１３でそのスパムをスパム記憶領域５３に送る。

高速プロセスのフィルタ・データを更新する必要があると判断された場合、ディープ・プロセスは、更新要求とともにコマンドを高速プロセス・データベースに送り（工程１４）、および／または、ディープ・プロセス・フィルタ・データを更新する必要があると判断した場合、更新要求とともにコマンドを解析ベースのルール・プロセスおよびデータ・ファンクション５５に送る（工程１５）。ディープ・プロセス・ファンクションが決定を下せない場合、サスペクト・メッセージまたは関連付けられているインデックス情報（プライバシー保護用）が、ディープ・プロセスへの推奨のため人間のアナリスト５６に送られる（工程１６）。人間のアナリストは、メッセージまたはインデックス情報を調べて、ディープ・プロセス５４への推奨を行う（工程１９）。人間のアナリストの推奨を受け取った後、ディープ・プロセスは、さらに、ディープ・プロセス５４内部のスパム・チェック（工程２０）を処理する。メッセージは、クリアされると、中継メッセージ要素に送られる（工程２１）。スパム・メッセージであるとみなされた場合、メッセージは保管データベース５３に送られる（工程２２）。中継メッセージは、クリアされたメッセージを相互作用ネットワーク要素に送り、その後、最終終端アドレスに送り（工程２３）、受領確認をメッセージ発信者ノードに返す。

ここであっても、メッセージがスパムであるかどうかを判定するためにさらにメッセージのテストを行うことが可能ないくつかの決定点があることに注意されたい。この初期テストはテスト４であるが、その後のテストは、テスト１１およびテスト２０を含む。その解析の実行後の人間の監督が追加入力を送り、フィルタ・ベースのルール・プロセス５１および／または解析ベースのルール・プロセス５５をデータベースで使用するようにできる。

図２は、出願者の発明のオペレーションを例示するさらに詳細な流れ図およびブロック図である。図２は、ショート・メッセージ・サービス・アプリケーションを特に対象としている。図２は、スパム防止コントロール・ファンクション２０１、スパム防止データ・ファンクション２０２、およびスパム防止管理ファンクション２０３の３つの主要ブロックを持つ。以下に示すように、メッセージは、これらのユニット間を流れる。着信メッセージは、Ｓｉｇｎａｌｉｎｇ Ｓｙｓｔｅｍ ７ネットワーク（公衆交換電話網および携帯電話網を含む）のメッセージおよびインターネット・プロトコル・メッセージだけでなく、ショート・メッセージのピアツーピア・プロトコル・メッセージをも含む。これらのメッセージはすべて、非ＳＭＳメッセージを除去し、それらのメッセージを中継ユニット２１２に送る着信メッセージ・フィルタ２１１に入る。中継ユニットは、ＳＳ７ネットワーク用のメッセージをそのネットワーク２１３に転送し、インターネット・プロトコル・メッセージをＩＰネットワーク２１４に転送する。

残りのＳＭＳメッセージは、スパム・チェック・ユニット２２１に送られる。このユニットは、ディープ解析を実行するスパム防止データ・ファンクション・ユニット２０２が過負荷にならないように非常に高速に実行することができるすべてのチェックを実行する。スパム・ルール・エンジン２３１により実行されるチェックのうち、送信元送信先ペアがメッセージを許可すべきであるペア、またはブロックすべきであるペア、または疑わしいメッセージであるペアを表すかどうかを判定するチェックがある。さらに、スパム・ルール・エンジン２３１は、１つの送信元が同じメッセージを数百または数千もの宛先に送信する大量スパムの場合を除去するために使用することもできる。スパム・チェック・ユニットは、スパム・ルール・エンジン２３１を使用し、カウンタ・テーブルおよびルール集合内に格納されている送信元送信先、許可／ブロック・テーブルなどのスパム・メッセージおよびデータを検出するためのルールと突き合わせて発生しうるスパム・メッセージをフィルタ処理する（ブロック２３３）。カウンタ・テーブルおよびルール集合ブロックは、一部、管理システムおよび／またはスパム防止データ・ファンクション、ディープ解析ユニットにより識別された新しく発見されたスパム・タイプが書き込まれる。例えば、これらのユニットのいずれかで、偽の宝くじレポートでメッセージの受信者を騙そうとする件名「ｌｏｔｔｅｒｙ」を持つメッセージのいきなりの噴出を検出することができる。

上で示したように、スパム防止コントロール・ファンクション・ユニットで実行されるテストのタイプに対する主要な判定基準は、これらのファンクションが実行可能な速度である。特定のメッセージがスパムであるか、許容可能なメッセージであるかを判定するために何回もの解析を必要とするファンクションは、このユニットがトラフィックに対し非常に敏感であるためスパム防止コントロール・ファンクションでは実行できず、そのようなファンクションは、スパム防止データ・ファンクション２０２で実行しなければならないか、さもなければメッセージはブロックされるかまたは通される。スパム・チェック・ユニット２２１により、メッセージを送信できるという決定が下された場合、メッセージは、ショート・メッセージ・サービス中継２２３に送信され、そこで、メッセージがショート・メッセージ・サービス・センター２２５に渡され、そこからメッセージが宛先に送信されるようにできる。

スパム・チェック・ユニット２２１が、メッセージが疑わしいので、メッセージをさらにスパム防止データ・ファンクション・ユニット２０２による解析に任せるべきであると決定した場合、メッセージはバッファ２１４に送られる。メッセージがスパム・メッセージであると識別された場合、さらに、直接メッセージ記憶ユニット２４９に渡される。

疑わしいメッセージは、スパム解析エンジン２４３に渡され、そこで、情報モデル２４５と比較される。情報モデルは、データおよびルール集合２４７のデータベースにアクセスし、受信されたメッセージがスパム・メッセージであるかどうかを判定する。スパム解析エンジン２４３が、そのメッセージがスパム・メッセージでないと判断した場合、そのメッセージが格納されているバッファ２４１の内容は中継ユニット２２３に送り返され、そこから、メッセージは、ショート・メッセージ・サービス・センター２２５または電子メール・サーバ（図には示されていない）に送られ、それから宛先に送信される。スパム解析エンジンで、そのメッセージがスパム・メッセージであると判定した場合、そのメッセージは、管理ユニット２０３により解析可能なようにメッセージ記憶領域２４９に送られる。メッセージ記憶ユニット２４９は、管理局の記憶域マネージャ２５１と通信して、適切なメッセージが解析を行う人間のアナリストの注意を引くようにし（ブロック２５３）、メッセージを保持しておく価値がなくなった場合には、メッセージ記憶域２４９に対しメッセージをクリアさせることができる。人間による解析（ブロック２５３）で人間のアナリストは、新しいクラスのスパム・メッセージが見つかった、または以前には無視されていた旧いクラスがいきなり再び現れる状況を検出することができる。いずれの場合も、データ提供（ブロック２５５）では、データおよびルール集合データベース２４７内の他のルール集合を初期化し、適宜、さらに、カウンタ・テーブルおよびルール集合２３３内のルール集合も初期化する。

新しいスパム検出ルールを教示することが、出願者の発明の目的ではない。むしろ、スパム検出ルールを最も効果的に実装して、ほとんどのスパム・メッセージをブロックし、非スパム・メッセージを迅速に送信し、新しいスパム状況を直ちに検出するといういくぶん相容れない目標を達成することができる方法を教示することが、出願者の発明の目的である。

メッセージ遅延を最小限に抑えるためスパム防止コントロール・ファンクションをできる限り高速化するという出願者の目標を達成するために、出願者の好ましい実施形態では、以下のファンクションがスパム防止コントロール・ファンクション（高速プロセス）において実行される。

許可（ホワイト・リスト）およびブロック（ブラック・リスト）が送信元と突き合わせてチェックされる。送信元／送信先ペアも、チェックすることができるが、送信元のチェックが最も効果的である。送信元は、送信元のネットワーク・アドレス情報と突き合わせて検証される。メッセージの件数がその送信元に対する制限を超えているか調べるチェックが行われる。これは、個々の送信元からのメッセージの件数のカウンタを更新することと、スパム防止ファンクション・コントロールに格納されている限界値と突き合わせて比較することを含む。スパム・パターン、例えば、多数のメッセージが隣接する終端側に送られるパターンを示すメッセージ・バーストを検出するためチェックが行われる。アダルト・コンテンツなどのパターンを示す特定のキー・ワードまたはフレーズについて簡単なチェックが行われる。個々の顧客は、そのアプリケーションに合わせて手直しされた特定のスパム・ルールを用意することができる。スパム防止コントロール・ファンクションは、良いメッセージを宛先に中継し、スパム・メッセージをスパム・データベースに転送し、疑わしいメッセージをスパム防止ベータ・ファンクションに転送する。

スパム防止データ・ファンクションは、疑わしいメッセージをバッファリングし、それらのメッセージを解析してそれぞれのメッセージのスコアを累計する。特定のしきい値を超えるスコアは、スパムとして取り扱われ、そのようなしきい値よりも下のスコアは、良いメッセージとして取り扱われ、宛先に転送される。さらに、不確かな疑わしいメッセージは、人間による解析のため管理局に転送される。

スパム防止データ・ファンクションは、さらに、自己学習機能を備える。スパム・メッセージを格納するために、大きな記憶域が利用可能である。これらのメッセージをパターンについて解析して、ルールの精緻化を試みることができる。例えば、テキスト内に特定のパターンを含むｎ件を超えるスパム・メッセージがｈ時間の期間内に出現した場合、そのようなメッセージを検出するルールは、スパム防止データ・ファンクションのルール・データベース内に自動的に挿入できる。ｐを超える出現回数のパターンが検出された場合、ルールは、スパム防止コントロール・ファンクション内に挿入できる。このような自己学習ルールの追加は、管理ファンクションでのオペレータによる受け入れを前提条件とすることができる。

図３は、出願者の発明の好ましい一実施形態を例示するブロック図である。スパム防止コントロール・ファンクション・ユニットの集合３１０、３１１、３１２、３１３、．．．、３１４は、インターネット・プロトコル・ネットワーク３０１およびＳＳ７ネットワーク３０３の両方からメッセージを受信し、メッセージをその両方に送信する。これらのユニットは、インターネット・プロトコル接続により、信頼性のためにペア３２１、３２２として配列された、スパム防止データ・ファンクション・ユニット３２０に接続される。スパム防止データ・ファンクション・ユニットは、人間のオペレータによりさらに解析を行うためにサービス局３３０に接続される。スパム防止コントロール・ファンクション・ユニットは、高速なスパム防止チェックを実行し、非ＳＭＳメッセージおよびクリアされたＳＭＳメッセージをシグナリング７またはインターネット・プロトコル・ネットワークに送り返し、これはメッセージ宛先に転送される。最大Ｋ個までのスパム防止コントロール・ファンクション・ユニットが失敗した場合でもシステムはまだ動作可能なように十分なスパム防止コントロール・ファンクション・ユニットが用意される。スパム防止データ・ファンクションの信頼性は、単純な複製により実現される。

スパム防止データ・ファンクションによるスパム内容解析では、スパム防止データ・ファンクション内の解析情報モデルを更新し、スパム防止コントロール・ファンクションにより使用できるようにルールおよびカウンタを更新するため良いメッセージとスパム・メッセージの両方を解析する。これらの更新されたルールおよびカウンタは、さまざまなスパム防止コントロール・ファンクションに分配される。したがって、スパム防止データ・ファンクションでオペレータによりルールおよびカウンタに変更が加えられるほかに、システムは自己学習システムになるのである。

上記の説明は、出願者の発明の好ましい一実施形態の説明である。他の実施形態は、本発明の範囲から逸脱することなく当業者には明らかであろう。本発明は、添付の特許請求の範囲によってのみ限定される。

出願者の発明のオペレーションを例示する状態および状態遷移図を示す図である。 ネットワーク・レベルのスパム防止アプリケーションの構造を示す図である。 高速なプロセスおよび深いプロセス・ユニット間の相互接続を示す図である。

Claims (8)

1. 電気通信ネットワークにおいて、
   複数のメッセージをスパム検出システムに送信する工程と、
   前記スパム検出システムの高速プロセス・システムでメッセージを受信し、前記高速プロセス・システムはルールおよびデータ・テーブルを使用して前記メッセージがスパムであるか、または非スパムであるかを判定する工程と、
   前記高速プロセス・システムで前記メッセージが非スパムであると判定された場合に、前記メッセージを宛先に向けて送る工程と、
   前記高速プロセス・システムで前記メッセージがスパムかもしれないと判定された場合に、前記メッセージをメッセージ内容を解析するためにディープ・プロセスに送る工程と、
   前記メッセージ内容の前記ディープ・プロセスによる解析に基づき、前記メッセージがスパムであるかどうかを判定する工程と、
   前記メッセージがスパムかもしれない場合に、前記メッセージを宛先に向けて送信されないようにブロックする工程とを含む迷惑メッセージを検出する方法。
2. 前記ディープ・プロセス・システムは、さらに、
   スパム・メッセージの新しいパターンを検出する工程と、
   前記検出する工程に応答して、前記プロセスのルールを更新する工程とを実行する請求項１に記載の方法。
3. さらに、
   前記ディープ・プロセス・システムがメッセージがスパムであるかどうかを判定できない場合、人間のオペレータによる解析に任せるために前記メッセージをサービス局に転送する工程を含む請求項１に記載の方法。
4. さらに、
   前記人間のオペレータが前記高速プロセスのルールを修正する工程を含む請求項３に記載の方法。
5. 電気通信ネットワークにおいて、
   複数のメッセージをスパム検出システムに送信する手段と、
   前記スパム検出システムの高速プロセス・システムでメッセージを受信し、前記高速プロセス・システムはルールおよびデータ・テーブルを使用して前記メッセージがスパムであるか、または非スパムであるかを判定する手段と、
   前記高速プロセス・システムで前記メッセージが非スパムであると判定し、前記メッセージを宛先に向けて送るための手段と、
   前記高速プロセス・システムにおいて、前記メッセージがスパムかもしれないと判定し、前記メッセージをメッセージ内容を解析するためにディープ・プロセスに送る手段と、
   前記メッセージ内容の前記ディープ・プロセスによる解析に基づき、前記メッセージがスパムであるかどうかを判定する手段と、
   前記メッセージがスパムかもしれない場合に、前記メッセージを宛先に向けて送信されないようにブロックする手段とを含む迷惑メッセージを検出する装置。
6. 前記ディープ・プロセス・システムは、さらに、
   スパム・メッセージの新しいパターンを検出するファンクションと、
   前記検出するファンクションに応答して、前記プロセスのルールを更新するファンクションとを実行する請求項５に記載の装置。
7. さらに、
   前記ディープ・プロセス・システムがメッセージがスパムであるかどうかを判定できない場合、人間のオペレータによる解析に任せるために前記メッセージをサービス局に転送する手段を備える請求項５に記載の装置。
8. さらに、
   前記人間のオペレータが前記高速プロセスのルールを修正できるようにする手段を備える請求項７に記載の装置。
   

Images