JP2007526726A - 統計学的モデルを使用して電子通信を分類する方法及び装置 - Google Patents

Abstract

統計学的なモデルを使用して電子通信を分類するための方法及び装置が開示される。一実施形態において、到来する電子通信が、予め公式化された統計学的モデルの観点で分析されて、その通信を、少なくとも１つの所定のカテゴリー内で分類すべきかどうか決定する。一実施形態において、統計学的モデルは、電子通信に関連した１組の特徴を含む。

Description

本発明は、統計学的モデルを使用して電子通信を分類するための方法及び装置に係る。

本出願は、参考としてここに援用する２００４年３月２日に出願された「A METHOD AND APPARATUS TO USE A STATISTICAL MODEL TO CLASSIFY ELECTRONIC COMMUNICATIONS」と題する出願中の米国プロビジョナル特許出願第６０／５４９，８９５号（代理人ドケットNo.６７４７.Ｐ００２Ｚ）の利益を請求する。

ここで使用する「スパム」という語は、要求されない及び／又は非合意の電子通信を指す。又、「求められていない商業的ｅメール」（ＵＣＥ、「求められていないバルクｅメール」（ＵＢＥ）、「グレーメール」及び単に平易に「ジャンクメール」としても知られているスパムは、通常、製品を広告するのに使用される。ここで使用する「電子通信」という語は、ボイスメール通信、ショートメッセージサービス（ＳＭＳ）通信、マルチメディアメッセージングサービス（ＭＭＳ）通信、ファクシミリ通信、等を含むいかなる形式の電子通信又はメッセージも包含するように広く解釈されるべきである。

スパムを使用して電子メールユーザに広告を送信することが益々普及してきている。文書に基づく対応物であるジャンクメールと同様に、スパムを受け取ることは、ほとんどの場合、望ましからぬことである。

それ故、スパムがユーザのインボックスに到着する前にそれをフィルタリングする問題に関して著しい努力が払われている。

現在、スパムをフィルタするために書かれたルールを使用するルールベースのフィルタリングシステムを入手することができる。ルールの一例として、次のルールが考えられる。
（ａ）「主題の行に“make money fast（早くお金になる）”というフレーズがある場合には、スパムとマークする」、及び
（ｂ）「送信者のファイルがブランクである場合には、スパムとマークする」

通常、ルールベースのフィルタリングシステムがスパムをフィルタリングするのに有効であるためには、何千ものこのような特殊なルールが必要となる。これらルールの各々は、通常、人間により書かれ、これは、ルールベースのフィルタリングシステムのコストを高める。

別の問題は、スパムの送信者（スパマー(spammer)）が、ルールを無効にするようにスパムを巧みに変更することである。例えば、前記ルール（ａ）について考える。スパマーは、主題の行に“make money fast”をもつスパムが阻止されることを観察し、そして例えば、スパムの主題の行を“make money quickly”と読むように変更することができる。主題の行のこの変更は、ルール（ａ）を無効にする。従って、主題の行に“make money quickly”をもつスパムをフィルタリングするように新たなルールを書くことが必要になる。更に、古いルール（ａ）は、システムにより依然として保持されねばならない。

ルールベースのフィルタリングシステムでは、到来する各電子通信を、何千もの有効なルールに対してチェックしなければならない。それ故、ルールベースのフィルタリングシステムは、到来する各電子通信を何千もの有効なルールに対してチェックしなければならないという過酷な計算負荷をサポートするために非常に高価なハードウェアを必要とする。更に、ルールを書くという過酷な性質も、ルールベースシステムのコストを増大する。

スパムと戦う別の解決策は、統計学的なクラシファイアを使用して、到来する電子通信をスパムとして分類するか又は正当な電子通信として分類することを含む。この解決策は、ルールを使用するものではなく、むしろ、到来する通信がスパムであるかどうかを、スパムに頻繁に生じるワードの分析に基づいて予想するように、統計学的クラシファイアが同調される。統計学的クラシファイアの使用は、ルールベースのフィルタリングシステムに勝る改良をもたらすが、統計学的クラシファイアを使用するシステムは、スパムを正当な通信として誤って分類するように騙されることがある。例えば、スパマーは、電子通信の本文を中間の非包括的形態でエンコードすることがある。このエンコードの結果として、統計学的クラシファイアは、電子通信の本文内のワードを分析することができず、その電子通信を正当な電子通信として誤って分類してしまう。電子通信をワードの分析に基づいてスパムとして分類するシステムに伴う別の問題は、スパムに共通に見られるワードが正当な電子通信にも使用される場合には正当な電子通信が誤ってスパムとして分類され得ることである。

統計学的なモデルを使用して電子通信を分類するための方法及び装置が開示される。一実施形態において、到来する電子通信が、予め公式化された統計学的モデルの観点で分析されて、その通信を、少なくとも１つの所定のカテゴリー内で分類すべきかどうか決定する。一実施形態において、統計学的モデルは、電子通信に関連した１組の特徴を含む。

本発明の実施形態は、統計学的モデルを使用して電子通信を分類する方法及び装置を提供する。一実施形態では、統計学的クラシファイア内の統計学的モデルを使用して、到来する電子通信を、通信の構造に関係した１組の特徴に基づいて、スパムとして分類するか、又は正当な電子通信として分類する。

以下の説明では、本発明を完全に理解するために、説明上、多数の特定の細部を示す。しかしながら、当業者であれば、本発明は、これら特定の細部を伴わずに実施できることが明らかであろう。他の点については、本発明を不明瞭にしないために、構造及び装置をブロック図形態で示す。

本明細書において、「一実施形態」又は「実施形態」を言及するときには、その実施形態に関連して説明する特定の特徴、構造又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書の種々の場所で「一実施形態において」というフレーズが出てきたときには、必ずしも全て同じ実施形態を指すものでもないし、他の実施形態と相互排他的な個別の又は代替的な実施形態でもない。更に、ある実施形態では示されるが、他の実施形態では示されない種々の特徴も説明する。同様に、ある実施形態では要求されるが、他の実施形態では要求されない種々の要件についても説明する。

図１は、一実施形態により、クラシファイアにおける統計学的モデルを使用して、電子通信を少なくとも１つの所定のカテゴリーに分類するプロセスを示すフローチャートである。プロセス１０２において、電子通信が受け取られる。メールサーバー又は同様のユニットのような電子通信転送ユニットが、通信を受け取ることができる。

プロセス１０４において、クラシファイアが、予め公式化された統計学的モデルと比較して通信を分析する。一実施形態では、統計学的モデルは、予め公式化された１組の電子通信構造的特徴を含み、これらは、通信を、スパム又は正当なもののような所定のカテゴリーに分類するのに使用される。例えば、一実施形態では、所定の特徴は、電子通信の構造（例えば、電子通信のヘッダ、及び／又は電子通信の本文）に対する変化又は変異に関係している。一実施形態において、これら特徴は、電子通信のコンテンツにおける個々のワードではなく、電子通信の構造に関係している。

１つ以上の所定の特徴の存在は、通信がおそらく特定の所定のカテゴリー（例えば、スパム又は正当なもの）であることを指示することができる。一実施形態では、統計学的モデルの特徴は、１つ以上の所定のカテゴリーに対応する所定の関連値を有する。例えば、通信において特徴Ｘが検出された場合には、その特徴は、スパムに対して２５％の関連値を有し、そして正当な通信に対して５％の値を有することがある（即ち、Ｘの関連値は、特徴Ｘがスパムにおいてより頻繁に見つかることを示している）。

一実施形態において、統計学的モデルには多数の特徴があり、特徴の実際の数、値、及び特定の特徴は、本発明の範囲内で変化し得る。統計学的モデルを作成する一例が、本出願人に譲渡された、参考としてここに援用する「Method and Apparatus To Use A Generic Algorithm To Generate A Statistical Model」と題する出願中の特許出願に見ることができる。

プロセス１０６において、クラシファイアは、統計学的モデルに対する通信の分析に基づいて、通信に対する少なくとも１つの値を評価する。一実施形態において、通信を、スパム及び正当な通信のような多数のカテゴリーの１つに分類する場合には、多数の値が評価されてもよい。

プロセス１０８において、クラシファイアは、評価された値に基づいて通信を分類する。例えば、一実施形態では、通信を多数のカテゴリーの１つに分類する場合には、最も高い値（又は、実施によっては、おそらく最も低い値）を有するカテゴリーに通信が分類される。別の実施形態では、通信を単一のカテゴリーに分類すべきかどうか決定する場合に、クラシファイアは、評価された値を所定のスレッシュホールドと比較し、通信を所定のカテゴリー（例えば、スパム）に分類すべきかどうか決定する。更に別の実施形態では、本発明から逸脱せずに、別のプロセスが、評価された値（１つ又は複数）を他の仕方で使用して、通信を分類することができる。

プロセス１１０では、一実施形態において、プロセス１０８で通信を分類するのに使用した評価された値を使用して、信頼性レベル（即ち、通信の分類の確実性の指示子）を与える。この信頼性レベルを使用して、以下に詳細に述べるように、通信についての１組の所定の処理の１つを開始することができる。

より詳細には、一実施形態において、クラシファイアは、通信の信頼性レベルに基づいて電子通信の所定のアクション／処理を定義する能力をユーザ（システムアドミニストレータのような）に与えるように構成することができる。例えば、一実施形態では、所定のアクションは、到来する電子通信を拒絶し、ドロップし、又はそれにタグ付けすることを含んでもよい。到来する電子通信を拒絶するときには、意図された受信者へのその配送が拒否され、そして到来する電子通信の送信者へエラーメッセージが返送される。到来する電子通信をドロップするときには、その配送が拒否されるが、到来する電子通信の送信者へエラーメッセージが返送されない。到来する電子通信にタグ付けすることは、到来する電子通信がおそらく特定カテゴリーのものであることを指示するために、到来する電子通信を、例えば、プレフィックスで変更することを含む。

図２は、信頼性レベルに基づいて電子通信についての所定のアクション／処理を定義する能力をユーザに与えるプロセスの実施形態を示すフローチャートである。プロセス２０２において、上述したようにプロセス１１０で発生された信頼性レベルが第１の所定のスレッシュホールドと比較される。信頼性レベルが第１の所定のスレッシュホールドに等しいか又はそれを越える場合には、プロセス２０４において、意図された受信者への電子通信の配送が拒絶され、そして配送が拒絶されたことを指示するために電子通信の送信者へエラーレポートが送信される。

信頼性レベルが第１の所定のスレッシュホールドより低い場合には、プロセス２０６において、信頼性レベルが第２の所定のスレッシュホールドと比較される。信頼性レベルが第２の所定のスレッシュホールド以上である場合には、プロセス２０８において、意図された受信者への電子通信の配送が拒絶されるが、配送が拒絶されたことを指示するためのエラーレポートは、電子通信の送信者へ送信されない。

信頼性レベルが第１及び第２の所定のスレッシュホールドより低い場合には、プロセス２１０において、信頼性レベルが第３の所定のスレッシュホールドと比較される。信頼性レベルが第３の所定のスレッシュホールド以上である場合には、プロセス２１２において、電子通信は、その通信が規定のカテゴリーのメンバーとして分類されたことを指示するように変更され、そして意図された受信者へ変更として配送される。別の実施形態では、本発明の範囲から逸脱せずに、より多数の又はより少数のスレッシュホールドを使用して、通信に対して実行されるべきより多数の又はより少数のアクション及び／又は処理を定義することができる。

図３を参照すれば、参照番号３００は、一実施形態による電子通信転送エージェントサーバーを具現化するのに使用できるハードウェアを一般的に示す。このハードウェア３００は、通常、メモリ３０４に結合された少なくとも１つのプロセッサ３０２を備えている。プロセッサ３０２は、１つ以上のプロセッサ（例えば、マイクロプロセッサ）を表わしてもよく、そしてメモリ３０４は、ハードウェア３００のメイン記憶装置を構成するランダムアクセスメモリ（ＲＡＭ）、並びに補足的レベルのメモリ、例えば、キャッシュメモリ、不揮発性又はバックアップメモリ（例えば、プログラム可能な又はフラッシュメモリ）、リードオンリメモリ、等を表わしてもよい。更に、メモリ３０４は、ハードウェア３００のどこかに物理的に配置されるメモリ記憶装置、例えば、プロセッサ３０２のキャッシュメモリ、並びに仮想メモリとして使用され、例えば、大量記憶装置３１０に記憶される記憶能力を含むと考えられてもよい。

又、ハードウェア３００は、通常、外部と情報を通信するために多数の入力及び出力を受け取る。ユーザ又はオペレータとインターフェイスするために、ハードウェア３００は、１つ以上のユーザ入力装置３０６（例えば、キーボード、マウス、等）、及びディスプレイ３０８（例えば、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤ）パネル）を備えてもよい。

又、付加的な記憶装置として、ハードウェア３００は、１つ以上の大量記憶装置３１０、例えば、とりわけ、フロッピー又は他の除去可能なディスクドライブ、ハードディスクドライブ、直接アクセス記憶装置（ＤＡＳＤ）、光学ドライブ（例えば、コンパクトディスク（ＣＤ）ドライブ、デジタル多様性ディスク（ＤＶＤ）ドライブ、等）、及び／又はテープドライブを含んでもよい。更に、ハードウェア３００は、１つ以上のネットワーク３１２（例えば、とりわけ、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスネットワーク、及び／又はインターネット）とのインターフェイスを含み、それらネットワークに結合された他のコンピュータと情報を通信することもできる。

上述したプロセスは、コンピュータシステムのメモリに、実行されるべき１組のインストラクションとして記憶することができる。更に、上述したプロセスを遂行するためのインストラクションは、磁気及び光学ディスクを含む他の形態のマシン読み取り可能な媒体に記憶することもできる。例えば、上述したプロセスは、ディスクドライブ（又はコンピュータ読み取り可能な媒体ドライブ）を経てアクセスできる磁気ディスク又は光学ディスクのようなマシン読み取り可能な媒体に記憶することができる。更に、インストラクションは、コンパイルされそしてリンクされたバージョンの形態でデータネットワークを経て計算装置へダウンロードすることもできる。

或いは又、上述したプロセスを遂行するためのロジックは、付加的なコンピュータ及び／又はマシン読み取り可能な媒体、例えば、個別ハードウェアコンポーネント、例えば、大規模集積回路（ＬＳＩ）、特定用途向け集積回路（ＡＳＩＣ）、ファームウェア、例えば、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、並びに電気的、光学的、音響的及び他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号、等）、等々において実施することができる。

以上、特定の実施形態を参照して本発明を説明したが、特許請求の範囲に記載した本発明の広い精神から逸脱せずに、これらの実施形態に対して種々の変更や修正がなされ得ることが明らかであろう。従って、本明細書及び添付図面は、本発明を単に例示するもので、本発明をそれに限定するものではない。

本発明の一実施形態により統計学的モデルを使用して電子通信を分類するプロセスを示すフローチャートである。 信頼性レベルに基づいて電子通信に対して実行されるべき所定のアクション／処理を定義する能力をユーザに与えるフローチャートである。 本発明の一実施形態を具現化することのできるハードウェアの高レベルブロック図である。

Claims (24)

1. 電子通信の特性を含む１組の１つ以上の特徴を定義し、
   １つ以上の前記特徴で構成される統計学的モデルを定義し、
   １つ以上の所定のカテゴリーに基づき、前記１つ以上の特徴の各々に対し、重み付けされた確率で前記統計学的モデルをポピュレートし、
   前記統計学的モデルに基づき、電子通信を前記特徴の対応表示へと減少し、そして
   前記電子通信を、前記統計学的モデルにより表わした前記１つ以上のカテゴリーの１つへと分類する、
   という段階を備えた方法。
2. 電子通信の前記特性は構造要素である、請求項１に記載の方法。
3. 前記構造要素は、前記電子通信に関連したフォーマッティング、ルーティング又はレンダリング制御を含む、請求項２に記載の方法。
4. 前記構造要素は通信ルーティング要素である、請求項１に記載の方法。
5. 前記ルーティング要素は、前記電子通信に関連したＲＦＣ８２２ｅメールヘッダである、請求項４に記載の方法。
6. 前記構造要素は文法上の言語構造である、請求項２に記載の方法。
7. 前記構造要素はユニバーサルリソース識別子（ＵＲＩ）である請求項２に記載の方法。
8. 前記構造要素はコンテンツエンコードフォーマットである、請求項２に記載の方法。
9. 前記構造要素は通信構造制御である、請求項２に記載の方法。
10. 前記構造要素はコンテンツパッケージングフォーマットである請求項２に記載の方法。
11. 前記特性は前記電子通信の構造異常である、請求項１に記載の方法。
12. 前記構造異常は、前記電子通信に適用可能な適用ＲＦＣ規格の違反である、請求項１１に記載の方法。
13. 前記構造異常は、前記電子通信の予想されるレンダリングを変化させるメソッドである、請求項１１に記載の方法。
14. 電子通信を特徴の対応表示へと減少させる前記段階は、前記電子通信に存在する前記統計学的モデルからの特徴を決定することを含む、請求項１に記載の方法。
15. 前記電子通信に存在する１つ以上の特徴は、１つ以上の予め構成された統計学的確率に関連付けられると共に、１つ以上の所定のカテゴリーに関連付けられる、請求項１４に記載の方法。
16. 前記電子通信に存在する特徴の統計学的確率に基づいて通信のための信頼性レベルを発生する段階を更に備えた、請求項１５に記載の方法。
17. 前記信頼性レベルは、前記統計学的モデルで表わされた１つ以上のカテゴリーにおいて前記電子通信を分類するのに使用される、請求項１６に記載の方法。
18. 前記発生された信頼性レベルに基づき前記電子通信に対してとるべき少なくとも１つの所定のアクションを関連付ける能力をユーザに与える段階を更に備えた、請求項１７に記載の方法。
19. 前記電子通信は電子ドキュメントである、請求項１に記載の方法。
20. 前記電子通信はｅメールである、請求項１に記載の方法。
21. 前記電子通信は１人以上の当事者間の電子的会話である、請求項１に記載の方法。
22. 前記電子通信は映像である、請求項１に記載の方法。
23. 実行されたときに、システムが、
    電子通信の特性を含む１組の１つ以上の特徴を定義し、
    １つ以上の前記特徴で構成される統計学的モデルを定義し、
    １つ以上の所定のカテゴリーに基づき、前記１つ以上の特徴の各々に対し、重み付けされた確率で前記統計学的モデルをポピュレートし、
    前記統計学的モデルに基づき、電子通信を前記特徴の対応表示へと減少し、そして
    前記電子通信を、前記統計学的モデルにより表わされた前記１つ以上のカテゴリーの１つへと分類する、
    という段階を備えた方法を実行するようにさせる１組のインストラクションが記憶されたマシン読み取り可能な媒体。
24. プロセッサと、
    前記プロセッサに結合されたネットワークインターフェイスと、
    電子通信の特性を含む１組の１つ以上の特徴を定義する手段と、
    １つ以上の前記特徴で構成される統計学的モデルを定義する手段と、
    １つ以上の所定のカテゴリーに基づき、前記１つ以上の特徴の各々に対し、重み付けされた確率で前記統計学的モデルをポピュレートする手段と、
    前記統計学的モデルに基づき、電子通信を前記特徴の対応表示へと減少する手段と、
    前記電子通信を、前記統計学的モデルにより表わされた前記１つ以上のカテゴリーの１つへと分類する手段と、
    を備えたシステム。

Images