JP2009543163A - ソフトウェア脆弱性悪用防止シールド - Google Patents

Abstract

【解決手段】 本明細書は、コンピュータにインストールされたソフトウェアの脆弱性の悪用を最小限にする機構を説明する。トランスポート層（例：ＴＣＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌ）ソケット層）において、標的コンピュータにインストールされたセキュリティ・コンポーネントを用いて、ネットワーク・トラフィックを監視する。コンピューティング・システムを宛先とするメッセージを受信すると、そのメッセージに含まれるデータを、悪意コードを特定するために用いる悪用エビデンスと比較する。悪用エビデンスは、悪意コードに関する情報を収集するセキュリティ・サービスにより、セキュリティ・コンポーネントに提供される。メッセージ中のデータと悪用エビデンスとの比較結果に基づいて、受取ったメッセージに妥当な対策を行うようセキュリティ・コンポーネントに命令するルールが特定される。
【選択図】 なし

Description

本出願は、２００６年３月２４日付で出願された「ソフトウェア悪用防止シールド（ＳＯＦＴＷＡＲＥ ＶＵＬＮＥＲＡＢＩＬＩＴＹ ＥＸＰＬＯＩＴＡＴＩＯＮ ＳＨＩＥＬＤ）」と題する米国仮特許出願第６０／７８５，７２３号に対する優先権および利益を主張するものである。当該米国仮特許出願はこの参照によりその全体が本明細書に組み込まれる。

インターネットは、何億ものコンピュータやユーザに開かれた巨大なコンピューティング・ネットワークである。インターネットのユーザのコミュニティは、コンピュータ・セキュリティ上の脆弱性について絶え間なく研究、革新、および対話を行っている。

脆弱性とは、（「悪意コード」）により悪用される可能性のある、一つのソフトウェアに内在する弱さのことである。ユーザの一部（犯罪者）は、悪意コードを用いて脆弱性を利用しようとする。しかし、悪意コードの作成は容易ではない。通常、非常に才能のあるプログラマーのみが、所定の脆弱性を効果的に利用する悪意コードを書くことができ、通常、そのプログラマーは長時間骨折って単調な作業をしなければ力のある悪意コードを作成することができない。

才能のあるプログラマーが悪意コードの例を作成した時、この者はインターネット上で公にこれを掲示することが多い。犯罪者を含む他者がこれをチェック、テスト、批評、および使用できるようにするためである。インターネットユーザのコミュニティ内では通常、特定の脆弱性を効果的に利用する悪意コードの例は少ない。悪意コードの一例を大勢の様々な犯罪者が借用・利用して、画像ファイルや「ドライブ・バイ・ダウンロード」を実行するように構成されたウェブサイトなど、多数で多様なパッケージに折込む（例えば「カット&ペースト」する）のが一般的である。ルートキットやキーストローク・ロガーなど、多数で多様なペイロードにバンドルすることもある。

理論的には、オペレーティングシステム（例：Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎが発行するＷｉｎｄｏｗｓ（登録商標））など、大抵の複雑なソフトウェア製品には数多くの脆弱点が存在する。しかし、特定の脆弱点は、研究者が発見するまでは未知である。これにも関わらず、特定の脆弱点を発見次第、研究者は話すことにより、または公に監視できる形で利用しようとすることにより、その発見を公に発表する自然の傾向がある。特定の脆弱点の発見が長時間秘密にされることは稀である。ニュースが広がり、インターネット掲示板やチャットルームで、また、公による新たな悪用の監視からわかるようになる。

典型的には、影響を受けたソフトウェア製品の発行者が脆弱性についていったん知ると、この既知となった脆弱点を塞ぐソフトウェア「パッチ」の設計、書込み、テスト、およびリリースに取りかかる。しかし、このパッチ作成プロセスは遅れが伴うものであり、従って、「リスク期間」が発生する。

例えば、パッチがリリースされると、発行者はインターネット経由のダウンロード、またはその他の配布方法でこれがコンピュータ所有者の手に入るようにし、コンピュータ所有者がこれを自分のコンピュータにインストールできるようにする。脆弱性のあるソフトウェアを動作させているコンピュータの所有者にとって、パッチの準備、配布、およびインストールは苦痛なほど遅く困難なプロセスである。例えば、ソフトウェア発行者がパッチ作業をする間も時間が経過する。次に、パッチをインストールするには所有者が手動で作業をしなければならず、これは何百台、または何千台ものコンピュータを所有する企業にとって負担となる。さらに、企業などの所有者は、多数の自社コンピュータにインストールする前にパッチをテストしなければならないことが多く、パッチが他のアプリケーションの好ましい機能と干渉する場合もある。発行者がパッチをリリースした後に、これが不良であり、リコール、改訂、および再発行を要することを発見した場合、さらに時間が経過する。

脆弱性がコミュニティに知られるようになると、特定のコンピュータに感染する力がある、うまく作成された悪意コードが開発され、そのコンピュータ上のソフトウェアにパッチが当てられる前に展開されてしまう。犯罪者はこのリスク期間中にわたって侵入しようとし、一部のプログラマーはその支援をしようとする。従って、脆弱性が知られるようになると、才能のあるプログラマーたちは競って悪意コードを作成・発行し、リスク期間内の時間を最大限に利用しようとするのが典型的である。

現在に至るまで、アンチウィルス・ソフトウェアなど種々のセキュリティ・ソフトウェアが悪意コードの特定の例を阻止しようとしてきた。これは、特定例の中のプログラミングコードの構成を特定的に識別する、バイナリファイル中のバイト列（すなわちシグネチャ）を探すことにより行われる。典型的に、このようなファイルやその他のコードの検証は、オープン・システム・インターコネクション（Ｏｐｅｎ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ：ＯＳＩ）モデルのアプリケーション層で行われる。より具体的には、ファイルシステムに保存後、またはコンピューティング・システム上のメモリに保持中に、ファイル上でウィルスのスキャンを行う。これらのシステムは大抵のウィルスに対してうまく作用するが、脆弱性の悪用により、標的とされるコンピュータのアプリケーション層よりも深いレベルに悪意コードが侵入する可能性がある。従って、このようなソフトウェアの脆弱性を利用する犯罪者は、典型的なセキュリティ・ソフトウェアが悪意コードを検出し、対策をとる前にその悪意コードを実行させる可能性がある。

前述した現在のソフトウェア・セキュリティ・システムの欠点は、本発明の例示的な実施形態により克服される。例えば、本明細書に記載した実施形態は、悪意コードがないかトランスポート層で監視することにより、犯罪者の標的となる可能性のあるコンピュータのリスク期間を狭める。本要約は、選択された諸概念を簡略化した形で紹介するために設けており、以下の詳細な説明でさらに詳しく説明するので、注意されたい。本要約は、請求内容の主要な特徴や基本的特徴を特定することを目的としておらず、また、請求範囲の特定に当たって補助として用いることを目的としていない。

一実施形態は、ネットワーク上のソフトウェアへのトラフィックを検証し、悪意コードが実行および／またはインストールされる前に検出する形で、コンピュータにインストールされたソフトウェアの脆弱性の悪用を最小限にする機構を提供する。トランスポート層（例：ＴＣＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌ）ソケット層）において、そこにインストールされたセキュリティ・コンポーネントを用いてネットワーク・トラフィックを監視する。コンピューティング・システムを宛先とするメッセージを受信すると、そのメッセージに含まれるデータを、悪意コードを特定するために用いる悪用エビデンスと比較する。悪用エビデンスは、悪意コードに関する情報を収集するセキュリティ・サービスにより、セキュリティ・コンポーネントに提供される。このような悪用エビデンスとしては、コードのシグネチャ、コードと関連付けられたＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス、悪意コードを出しているとわかっているウェブサイトのＵＲＬ（ｕｎｉｑｕｅ ｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ）、およびその他の要因などがある。

メッセージ中のデータと悪用エビデンスとの比較結果に基づいて、受取ったメッセージに対策を行うようセキュリティ・コンポーネントに命令するルールが特定される。例えば、メッセージが悪意コードを含んでいるか、含んでいる可能性があることが比較によりわかった場合、セキュリティ・コンポーネントは受取ったメッセージがコンピューティング・システムに侵入するのを阻止する一方で、他のトラフィックの流入は許可する。代替として、あるいはこれに加えて、メッセージが悪意コードを含んでいる可能性があるリスクについてセキュリティ・コンポーネントがユーザに（例えばユーザ・インターフェースを通して）通知することにより、ユーザが適切な対策を行えるようにしても良い。別の実施形態においては、セキュリティ・コンポーネントが悪意コードの危険な機能を全て無効にすることができる。他方、トランスポート層でメッセージを悪用エビデンスと比較した結果、メッセージが悪意コードを含んでいないなど、悪意コードと関連がないことがわかった場合、そのメッセージはコンピューティング・システムへの通過を許可される。

本発明の追加的特徴および効果を以下に説明するが、その一部はこの説明から自明であろうし、また、本発明の実施により理解できるようになろう。本発明の特徴および効果は、付属の請求項で特に指摘した手段と組合せにより実現・達成できる。本発明のこれらの特徴やその他の特徴は、以下の説明と付属の請求項からより明らかとなろうし、以下に説明した本発明の実施により理解できるようになろう。

本発明は、悪意コードをトランスポート層で監視することにより、犯罪者の標的となる可能性のあるコンピュータのリスク期間を狭めるための方法、システム、およびコンピュータ・プログラム製品に関する。本発明の実施形態は、様々なコンピュータ・ハードウェアまたはモジュールを含む、特定目的用または汎用コンピュータで構成することができ、詳細は以下に説明する。

前述のように、本発明の実施形態は、犯罪者の標的となる可能性のあるコンピュータのリスク期間を狭めることにより、前述したセキュリティ・システムの欠点を克服する。本実施形態では、標的となるコンピュータの所有者は、脆弱性の新発見や悪意コードの新しい例に関してインターネットやその他の場所でニュース、ディスカッション、技術開発、およびその他の情報を監視する、継続的なセキュリティ・サービスのセキュリティ・コンポーネントをインストールする。セキュリティ・サービスが悪意コードの例を発見すると、適切に特定するために、その悪意コードに関する情報を収集する。例えば、セキュリティ・サービスはシグネチャを確認しようとして、そのデータ構造を検証する。さらに、セキュリティ・サービスはＩＰアドレス、ＵＲＬ、またはその他の電子アドレスを特定することにより悪意コードのソースを調べることができる。実際、悪意コードを特定するためにセキュリティ・サービスが用いることができる情報は大量にある。

悪意コードに関する情報がいったん収集されると、この情報を用いて、悪用エビデンスおよびセキュリティ・コマンドを含むセキュリティ・アップデートが作成され、これがセキュリティ・コンポーネントをインストールした場所に配布される。各セキュリティ・コンポーネントは、悪用エビデンスおよびセキュリティ・コマンドを用いて、コンピュータに流れ込むインターネットまたはネットワーク・データ・トラフィックをトランスポート層（例：ＴＣＰソケットレベル）で検証し、悪用エビデンスと合致するメッセージを探す。セキュリティ・コンポーネントは、トランスポート・レベルでデータを検証することにより、コンピュータ上のアプリケーションまたはその他のソフトウェアが悪意コードを実行したりインストールする前に悪意コードを見つけることができる。さらに、セキュリティ・コンポーネントは、コンピューティング・システムにインストールされたほとんどのアプリケーションのソフトウェア脆弱性を悪用するように構成された悪意コードを監視・特定することができる。

セキュリティ・コンポーネントが悪用エビデンスと合致するデータ送信を見つけると、多数の保護策のうちどれでも実行することができる。例えば、特定の送信物がコンピュータに侵入するのを阻止する一方で、他の送信物の通過は許可し、および／またはコンピュータ・ユーザにその送信について通知することにより、ユーザが適切な対策を行えるようにすることができよう。危険な機能が全て無効となるよう送信物を修正することもできる。

セキュリティ・コンポーネントは、インストールされてから時間が経過するにつれ、扱いにくくなることがある。あまりにも多くのシグネチャ、電子アドレス、またはその他の悪用エビデンスを探しているため、セキュリティ・コンポーネントをインストールしているコンピュータの性能速度が落ち、好ましい機能や送信物と干渉する可能性がある。従って、この問題を最小限にするため、本明細書で後述する別の各例示的な実施形態が、監視を制限する様々な選択肢を提供する。

前述した実施形態は典型的なファイヤウォール・システムやウェブ・コンテンツ・フィルタとは大幅に異なることに注意されたい。例えば、ファイヤウォールはパケット検証のみを行ってプロトコル、ソース、および宛先を見、そのようなトラフィックを許可するかしないかについて二分決定をする。同様に、ウェブ・コンテンツ・フィルタは典型的に、パケットを通過させるかさせないかについてIPアドレスまたはURLのホワイトリスト／ブラックリストに焦点を合わせるものであり、本明細書中の実施形態はこれにも対応する。しかし、本明細書中の実施形態は、悪意コードがないか継続的に監視するセキュリティ・サービスにより生成されたセキュリティ上のエビデンス、コマンド、およびルールに基づいてソフトウェア中の脆弱性を標的とする悪意コードを探すことにより、メッセージの内容を検証する。換言すれば、本明細書中の実施形態は、パケットのソースを単に見て、これに基づいて二分決定をするのではなく、むしろ、悪意コードの形成を継続的に監視し、動的に変化でき、さらに詳しく後述する様々な方法でそのような内容を適切に取り扱うことができるエビデンス、コマンド、およびルールを生成することができる、よりロバストなシステムを提供する。

効果的な特徴についてのより具体的な説明を図面に関してより詳しく後述するが、本発明の請求範囲内の実施形態は、コンピュータで実行可能な命令を保持または保有する、コンピュータで読取り可能な媒体、またはこれに保存されたデータ構造も含む。このようなコンピュータで読取り可能な媒体は、汎用または特定目的用コンピュータによってアクセス可能な市販の媒体であればどのようなものでも良い。例として（これに限定されるものではないが）、このようなコンピュータで読取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ?ＲＯＭ、またはその他の光ディスク・ストレージ、磁気ディスク・ストレージまたはその他の磁気ストレージ・デバイス、または、好ましいプログラム・コード手段をコンピュータで実行可能な命令またはデータ構造の形式で保有または保存するために用いることができ、汎用または特定目的用コンピュータによってアクセス可能なその他の媒体を含むことができよう。ネットワークまたはその他の通信用接続（配線あり、ワイヤレス、または、配線ありとワイヤレスの組合せ）を経由して情報がコンピュータに伝達または供給されると、そのコンピュータは、その接続がコンピュータで読取り可能な媒体である、と正しく見なす。従って、このような接続は全てコンピュータで読取り可能な媒体である、と称するのが正しい。前記の組合せも、コンピュータで読取り可能な媒体の範囲内に含まれる。

コンピュータで実行可能な命令は、例えば、汎用コンピュータ、特定目的用コンピュータ、または特定目的用プロセッシング・デバイスに働きかけて一定の機能または機能群を実行させる命令およびデータを含む。本発明の内容を構造的特徴および／または方法的行為について具体的な言葉で説明したが、添付した特許請求の範囲で定義した内容は必ずしも上記の具体的な特徴や行為に制限されないことを理解されたい。むしろ、本明細書に記載した具体的な特徴や行為は特許請求の範囲の例示的な実施形態として開示する。

本明細書で用いられているように、「モジュール」または「コンポーネント」の語は、コンピューティング・システム上で実行するソフトウェア・オブジェクトまたはルーチンを指す。本明細書に記載した様々なコンポーネント、モジュール、エンジン、およびサービスは、コンピューティング・システム上で実行するオブジェクトまたはプロセス（例：別個のスレッド）として実施することができる。本明細書に記載したシステムおよび方法は好ましくはソフトウェア内で実施するが、ハードウェア内、またはソフトウェアとハードウェアの組合せ内での実施も可能であり、企図する。この詳細な説明の項において、「コンピューティング・エンティティ」とは、本明細書で既に定義したコンピューティング・システム、またはコンピューティング・システム上で動作するモジュールまたはモジュールの組合せであればどのようなものでも良い。

図１は、犯罪者の標的となる可能性のあるコンピュータのリスク期間を狭めることにより、前述した現在のセキュリティ・システムの欠点を克服するように構成されたコンピューティング・ネットワーク１００を示す図である。図示したように、標的となるコンピューティング・システムには、継続的なセキュリティ・サービス１１０と連動した特別なセキュリティ・コンポーネント１０５がインストールされている。セキュリティ・サービス１１０は継続的および／または定期的に、脆弱性の新発見や悪意コードの新しい例に関してインターネットやその他の場所でニュース１１５、ディスカッション１５０、技術開発またはレポート１２０、およびその他の情報（ネットワーク・トラフィック１２５など）などを監視する。もちろん、悪意コードの可能性に関する情報の収集に用いるソースは様々であり、縦に並べた点々１２４で示したように、公知の形式のものであればどのようなものでも含む。

さらに、この監視は様々な形態で行うことができ、インターネットまたはその他の場所でのディスカッション１５０の手動検索および／または読出し、または、既知の、あるいは潜在的な犯罪者のコミュニティや、犯罪者の挙動、ツール、実験などの記録された例から関連付けられたステートメントおよびコードを拾い出すプローブ、ハニーポット、サーチボットなどによる情報の自動収集を含む。もちろん、情報のソースと同様、悪意コードに関する情報１５５の収集に用いる機構は、本明細書では説明する目的のみで用いているのであり、明確に請求していない限り、本明細書の実施形態を制限したり狭めるものではない。

セキュリティ・サービス１１０が悪意コードに関する情報を発見すると、そのデータを悪意コード・データ１５５として保存する。理解していただけるであろうが、悪意コード・データ１５５は様々なソースや機構から収集されるため、多様な形態をとる。例えば、悪意コード・データ１５５は、悪意コードのデータ構造１６５に関する情報を含む。より具体的には、セキュリティ・サービス１１０はシグネチャまたはその他、悪意コードであることの表示物などを確認しようとして、悪意コードのデータ構造を検証する。悪意コードの各例は、固有のデータ構造１６５またはデータ列を中に有する。この独特のデータは、（後述のように）悪意コードの例の特定に用いることができる。

シグネチャ、または悪意コードであることを特定できる表示物は、数多くの公知の形態をとり得ることに注意されたい。例えば、シグネチャはコード全体であるか、その一部に限る（例：バイト列またはバイナリ列）場合もある。さらに、シグネチャはコードまたはその一部の寄せ集めである場合もある。実際、犯罪者はコードの一部を暗号化し、その変形を数多く作り、または他のずる賢い機構を幾つでも用いてセキュリティ・システムをごまかそうとすることが多い。従って、本明細書で用いる「シグネチャ」の語は、悪意コードであることの表示に用いられる固有のデータ構造または識別子を広く意味する。

別の実施形態においては、セキュリティ・サービス１１０は、既知の脆弱性を悪用しようとする試みに関連付けられたＩＰ／ＵＲＬアドレス１７５も監視する。そのようなＩＰ／ＵＲＬアドレスを実際に特定すると、これは悪意コード・データ１５５として加えられ、後述のように、そのようなソースから受取ったデータは（例えばブラックリスト化により）阻止するよう、セキュリティ・コンポーネント１９５に通知する。もちろん、以下により詳しく説明したように、集めることができる悪意コード・データ１５５は他１７０にもある。

悪意コード・データ１５５を用いてセキュリティ・アップデート１３０が作成され、これをセキュリティ・サービス１１０がセキュリティ・コンポーネント１９５のインストール場所へ配布して、悪意コードを探すことができるようにする。図示したように、セキュリティ・アップデート１３０は複数の情報およびコードを含むことができる。例えば、セキュリティ・アップデートは、以下により詳しく説明したように、メッセージやその一部と比較することができる悪用エビデンス１３５を含むことができる。悪用エビデンス１３５は、データ構造１６５のシグネチャ、ＩＰ／ＵＲＬアドレスまたはその他の電子アドレス１７５、またはセキュリティ・サービス１１０から収集することができるその他の情報などを含む。セキュリティ・アップデート１３０もまた、以下により詳しく説明したように、セキュリティ・コンポーネント１９５が悪用エビデンス１３５の用い方や、悪意コードがいったん特定された時にとる対策を決定するために用いるセキュリティ・コマンド１４５およびルール１４０を含む。

セキュリティ・コンポーネント１９５は、セキュリティ・サービス１１０からセキュリティ・アップデート１３０を受取り、これに応じてライブラリを修正する。次いで、セキュリティ・コンポーネント１９５は、コンピュータ１０５に流れ込むインターネットまたはネットワーク・データ・トラフィックを検証する。実施形態は、ＯＳＩモデルでネットワーク層１８５と、ファイルシステム層１１８を含むアプリケーション層１２２との間に常駐するトランスポート層１９０でこのようなトラフィックの検査を行えるようにする。ＯＳＩモデルには他にも多数の層があり、通信チャネルを代表表示するその他の抽象的モデルを用いることができるが、簡略化するためのみに、ここに図示したものを用いる。しかしながら、本明細書に記載した実施形態で用いることができるその他の層またはその他のモデルもあり得る。

トランスポート層１９０の例としてはＴＣＰソケットレベルがあり、これは、標的となるコンピュータ１０５において、ＴＣＰネットワーク上で動作する二つのプログラム間の２方向通信リンクの終点である。セキュリティ・コンポーネント１９５は、トランスポート層１９０でデータを検証することにより、コンピュータ上のアプリケーションまたはその他のソフトウェアがメモリ内やファイルシステム層１１８で悪意コードを実行したりインストールする前に悪意コードを見つけることができる。さらに、アプリケーションのネットワーク・トラフィックの全てとは行かなくとも、ほとんどはトランスポート層１９０経由で流れるため、セキュリティ・コンポーネント１９５は、標的コンピューティング・システム１０５にインストールされたほとんどのアプリケーションのソフトウェア脆弱性を悪用するように構成された悪意コードを監視・特定することができる。

例えば、トランスポート層１９０でメッセージ１８０を受信すると、セキュリティ・コンポーネント１９５はセキュリティ・コンパレータ・モジュール１０２と、選択的にはセキュリティ・コマンド１１２も用いて、メッセージ１８０の一部を悪用エビデンス１０６と比較する。悪用エビデンス１０６と合致するか、セキュリティ・コマンド１１２で定義されたポリシーに違反するデータ送信物をコンパレータ・モジュール１０２が見つけると、セキュリティ・コンポーネント１９５はルール１０８で定義できる任意の数の保護策を実行する。例えば、メッセージ１８０が悪用エビデンス１０６で定義されたシグネチャ、電子アドレス、またはその他、悪意コードであることの表示物を含む、とセキュリティ・コンパレータ・モジュールが特定した場合、セキュリティ・コンポーネント１９５はルール１０８で定義された妥当な対策をとることができる。

一実施形態では、ルール１０８はセキュリティ・コンポーネント１９５に命じて、その特定の送信物またはメッセージ１８０が標的コンピュータ１０５に侵入するのを阻止する一方で、良好な送信物の通過は許可させる。代替の実施形態では、ルール１０８は、セキュリティ・コンポーネント１９５がコンピュータ１０５のユーザにそのデータ送信について通知することにより、ユーザが適切な対策を行えるよう定義される。このような通知は、メッセージについての情報（ソース、違反、リスクの可能性など）と、とるべきアクション（削除、許可、検疫、保留など）の選択肢をユーザに提供するユーザ・インターフェースの形式とすることができる。さらに別の実施形態では、ルール１０８は、セキュリティ・コンポーネント１９５に命じて、危険な機能を全て無効化するなどの形で排除できるよう、送信物またはメッセージ１８０の修正を行わせる。例えば、セキュリティ・コンポーネント１９５は、悪意コードを含むメッセージ部分を自動的に削除したり、コード自体の中の有害機能を無効化することができる。

もちろん、ルール１０８で定義された組合せで幾つでもアクションをとることができる。例えば、ルール１０８で、まずメッセージ１８０の有害機能を取除くか無効化してから、ユーザにその送信１０８について通知することができる。さらに、ルール１０８は、標的システム１０５のユーザが設定または修正したり、セキュリティ・サービス１１０が設定または修正したり、セキュリティ・コンポーネント１９５上でデフォルト・プログラミングとしたり、任意の公知の方式で設定または修正できるようにすることができる。従って、具体的にとるアクションや、アクションの設定または適用方法は、本明細書では説明する目的のみで用いているのであり、明確に請求していない限り、記載した実施形態の範囲を制限したり狭めるものではない。

前述のように、セキュリティ・コンポーネント１９５は、インストールされてから時間が経過するにつれ、扱いにくくなることがある。あまりにも多くのシグネチャ、電子アドレス、またはその他の悪用エビデンス１０６を探しているため、セキュリティ・コンポーネントをインストールしているコンピュータ１０５の性能速度が落ち、好ましい機能や送信物と干渉する可能性がある。従って、この問題を最小限にするため、本明細書に記載する各例示的な実施形態で様々な選択肢を提供する。

一実施形態は、特に厄介な悪意コードについての悪用エビデンス１０６のみに注意を傾けられるようにする。セキュリティ・サービス１１０は、発見された悪意コードの例を評価し、これが標的コンピュータに対して重度の脅威となる可能性を調べる。この評価は、関連する脆弱性の性質および範囲、そのコード例を書く際に用いられている技量の質、などの検討を含むことができる。次にサービス１１０は、セキュリティ・アップデート１３０中の脅威度評価１６０、および／またはセキュリティ・サービス１１０が最も危険と判断するコード例のみの悪用エビデンス１０６を探すための必要コマンド１４５を作成し、配布する。例えば、悪用エビデンス１３５をセキュリティ・アップデート１３０に含めるか含めないかを決定するために、閾値の脅威度評価１６０を用いることができる。もちろん、どのような悪用エビデンス１３５、セキュリティ・コマンド１１２、またはルール１４０をセキュリティ・アップデート１３０に含めるべきか、それともこれらから除外するべきかをこのような脅威度評価１６０に基づいて判断する方法は幾つもあろう。

別の実施形態は、関連のリスク期間が終了した後や、脅威度評価１６０が設定された閾値を下回った場合に、セキュリティ・コンポーネント１９５上の悪用エビデンス１０６、セキュリティ・コマンド１１２、および／またはルール１０８のキャンセル、削除、一時停止、または同様なアクションの実行ができるようにする。例えば、力があり、信頼できるパッチを広く配布した結果、リスク期間が終了するかもしれない。あるいは、経験上、関連の悪意コードの例が無害とわかったため、リスク期間が終了する場合もあろう。よって、セキュリティ・サービス１１０は、セキュリティ・コンポーネント１９５のインストール場所へセキュリティ・アップデート１３０を発行した後、インターネット・コミュニティ内で関連の脆弱性および悪意コードの存続の監視を継続する。リスク期間が短いか存在しない、とサービス１１０が判断すると、サービス１１０は、もはや悪用エビデンス１０６を監視しないよう、セキュリティ・コンポーネント１９５のインストール場所にコマンド１４５を送るために用いることができる脅威度評価１６０を発行する。もちろん、シグネチャ、電子アドレス、またはその他の悪意コード・データ１５５の中には、リスク期間が決して終了しないものもあり、その場合、セキュリティ・サービス１１０はその悪用エビデンス１０６の監視を決してキャンセルしないように選択することができる。

もちろん、セキュリティ・コンポーネント１９５の性能を向上させる機構は他にも数多くあろう。例えば、セキュリティ・サービス１１０は、イベントの発生に基づいて悪用エビデンス１０６および／またはこれと関連したセキュリティ・コマンド１１２またはルール１０８の削除、キャンセル、保留、またはその他のアクションを実行するよう命じるセキュリティ・コマンド１４５およびルール１４０をセキュリティ・コンポーネント１９５に送る。このように、セキュリティ・コンポーネント１９５は、そのようなイベントの発生がないかシステムを監視し、コマンド１４５および／またはルール１４０で定義された妥当なアクションをとる。そのようなイベントは、有効期限に基づくようにしたり、悪用エビデンス１０６またはこれと関連付けられた悪意コードの脅威度評価１６０が低いとセキュリティ・コンポーネント１９５が判断した時などに基づくようにすることができる。実際、セキュリティ・コンポーネント１９５の性能を向上させるためのアクションの実行に用いることができるイベントは幾つでもあろう。さらに、イベントが発生した時に行う削除、キャンセル、一時停止、保留などのアクションも幾つでもあろう。従って、本明細書に記載した具体的なイベントおよび／またはとるべきアクションは、説明する目的のみで用いているのであり、明確に請求していない限り、記載した実施形態を制限したり狭めるものではない。

以下は、例示的な実施形態に基づいて用いることができる様々な実施の具体例の説明である。これらの実施は、ソリューションの応用方法の例に過ぎない。これらは唯一の可能な例や実施ではなく、従って、明確に記載していない限り、本明細書に記載した実施形態の範囲を制限したり狭めるものではない。

セキュリティ・コンポーネント１９５は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ ＸＰ（登録商標）オペレーティングシステムを動作させているユーザのパーソナルコンピュータ１０５上にインストールされている。セキュリティ・サービス１１０は、アップデート１３０をセキュアにセキュリティ・コンポーネント１９５へ送ることを許可されている。研究者がそれまでは未知であったＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ ＸＰ（登録商標）の脆弱性の発見についてインターネット上で発表すると、セキュリティ・サービス１１０は、インターネット上でのこれに関するプログラマー／ハッカー間のディスカッションを読む。サービス１１０は、あるプログラマーが脆弱性を悪用するコードを掲示しているのを見つけた。よって、セキュリティ・サービス１１０はこのコードをテストし、Ｗｉｎｄｏｗｓ（登録商標）を動作させているコンピュータに対して脅威的である可能性があると思われる、と判断した。

このコードから、セキュリティ・サービス１１０はシグネチャ、すなわちコードを特定する独特のデータ構造を確認する。セキュリティ・サービス１１０は、悪用エビデンス１３５、ルール１４０、およびコマンド１４５を、ユーザのコンピュータ上にインストールされたセキュリティ・コンポーネント１９５に送り、シグネチャを監視できるようにする。セキュリティ・コンポーネント１９５は、ユーザのコンピュータに送られたインターネット・データ・トラフィック中のシグネチャを探す。トランスポート層１９０（例：ＴＣＰソケットレベル）でデータ・トラフィックを探す時、コンポーネント１９５は内在するデータ・パッケージや保持しているペイロードとは無関係にシグネチャを探す。セキュリティ・コンポーネント１９５は、入ってくるＥメール・データ・トラフィック１８０中に、ルートキットの付いたペイロードと共に、シグネチャを見つける。セキュリティ・コンポーネント１９５は、シグネチャを含むデータユニットを阻止する。データは、ユーザのコンピュータ上のソフトウェアがルートキットを実行またはインストールする前に阻止される。

別の例として、あるユーザは、Ｍｏｚｉｌｌａ Ｆｉｒｅｆｏｘ（登録商標）Ｉｎｔｅｒｎｅｔ Ｂｒｏｗｓｅｒ ｖｅｒｓｉｏｎ １．５．０．１ ｆｏｒ Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）（「該ブラウザ」と称する）を動作させているパーソナルコンピュータ上にセキュリティ・コンポーネント１９５をインストールした。セキュリティ・サービス１１０は、アップデート１３０をセキュアにセキュリティ・コンポーネント１９５へ送ることを許可されている。サービス１１０は、悪意コードの例を収集し、そのようなコードのソースおよびその他の情報を知るために、様々な自動化されたハニーポット、プローブ、およびその他のコンピュータをインターネット上に仕掛け、維持管理する。該ブラウザと一緒にインストールしたプローブの中には、悪意コードを探しに自動的に数多くのウェブサイトを訪れるものもある。

研究者が該ブラウザの特定の脆弱性の発見について発表したすぐ後、特定のＩＰアドレス（「該不良アドレス」と称する）のサーバが、セキュリティ・サービスの幾つかのプローブへ、この脆弱性を悪用した悪意コードにトロイの木馬をバンドルして送ってきた。これに応答して、セキュリティ・サービス１１０は、悪用エビデンス１３５およびコマンド１４５を含むセキュリティ・アップデート１３０を、ユーザのコンピュータ１０５上にインストールされたセキュリティ・コンポーネント１９５に送り、ユーザのコンピュータ１０５に送信されているデータのソースとして該不良アドレスを監視できるようにした。セキュリティ・コンポーネント１９５は、標的コンピュータ１０５に送られたインターネット・データ・トラフィック１８０中の該不良アドレスをＴＣＰソケットレベル１９０で探した。該ブラウザの発行者は、関連する脆弱性を塞ぐパッチを発行した。セキュリティ・サービス１１０は、該不良アドレスが該ブラウザを動作させているコンピュータにとってもはや脅威的でないと判断し、該不良アドレスの探索を止めるよう、セキュリティ・アップデート１３０をセキュリティ・コンポーネント１９５に送った。

本発明は、機能的な工程および／または非機能的な行為を含む方法について説明することができる。以下は、本発明の実施に当たって行うことができる工程および／または行為の説明である。通常、機能的工程は、実現される結果について発明を説明し、非機能的行為は、特定の結果を実現するためのより具体的な行為を説明するものである。機能的な工程および／または非機能的な行為は特定の順序で説明または請求することができるが、本発明は必ずしも特定の順序や、行為および／または行為の組合せに制限されない。さらに、請求項の記載に当たって、また、図２のフロー図についての以下の説明の中で工程および／または行為を使用しているのは、そのような好ましい条件の具体的使用を示すためである。

前述のように、図２は本発明の様々な例示的な実施形態についてのフロー図である。図２についての以下の説明は時々、対応する図１の構成要素に言及する。この図面の具体的な構成要素に言及するが、そのような言及は、説明する目的のみで用いているのであり、明確に記載していない限り、記載した実施形態の範囲を制限したり狭めるものではない。

図２は、犯罪者の標的となる可能性のあるコンピュータのリスク期間を狭める方法２３０のフロー図である。セキュリティ・サービス２００において、方法２３０は、悪意コードの例に関する情報の収集行為２０５を含む。例えば、セキュリティ・サービス１１０は、新規の（または古い）脆弱性の発見および／または新規の（または古い）悪意コードの例について、インターネットやその他の場所からニュース１１５、ディスカッション１５０、技術開発１２０、ネットワーク・トラフィック１２５、またはその他の情報を監視し、収集することができる。前述のように、この情報の収集は様々な形態で行うことができ、インターネット上のディスカッションの手動検索および読出し、または、既知の、あるいは疑わしい犯罪者や、犯罪者の挙動、ツールや、実験の記録された例から関連付けられたステートメントおよびソフトウェアを拾い出すプローブ、ハニーポット、サーチボットなどによる情報の自動収集を含む。

方法２３０は、収集した情報に基づいてセキュリティ・アップデートを生成する行為２１０をさらに含む。例えば、セキュリティ・サービス１１０は、悪意コード・データ１５５を用いてセキュリティ・アップデート１３０を生成することができる。このようなセキュリティ・アップデート１３０は、悪用エビデンス１３５、ルール１４０、および／またはセキュリティ・コマンド１４５を含み、これらはシグネチャ、電子アドレス、またはその他の悪意コードに関する情報を特定し、妥当なアクションをとるために用いられる。

方法２３０は、セキュリティ・アップデートをセキュリティ加入者に送る行為２１５も含む。セキュリティ・コンポーネント２５０側では、方法２３０はセキュリティ・アップデートを受信する行為２２０をさらに含む。方法２３０は、セキュリティ・アップデートに基づいてセキュリティ・コンポーネント２５０を修正する行為２２５を含む。例えば、セキュリティ・サービス１１０はセキュリティ・アップデート１３０を標的コンピュータシステム１０５に送り、標的コンピュータシステム１０５はセキュリティ・コンポーネント１９５のライブラリ１０４を妥当な悪用エビデンス１０６、ルール１０８、およびセキュリティ・コマンド１１２で更新する。

方法２３０は、トランスポート層でネットワーク・トラフィックを監視する行為２３５をさらに含む。例えば、セキュリティ・アップデート１３０の受取り前、受取り後、または受取り中に、セキュリティ・コンポーネント１９５は、標的となるコンピュータ１０５において、ネットワーク上で動作する二つのプログラム間の２方向通信リンクの終点であるトランスポート層１９０（例：ＴＣＰソケットレベル）でネットワーク・トラフィック１２５を監視することができる。セキュリティ・コンポーネント１９５は、トランスポート層１９０でデータを検証することにより、コンピュータ上のアプリケーションまたはその他のソフトウェアがメモリ内やファイルシステム層１１８で悪意コードを実行したりインストールする前に悪意コードを見つけることができる。さらに、アプリケーションのネットワーク・トラフィックの全てとは行かなくとも、ほとんどはトランスポート層１９０経由で流れるため、セキュリティ・コンポーネント１９５は、標的コンピューティング・システム１０５にインストールされたほとんどのアプリケーションのソフトウェア脆弱性を悪用するように構成された悪意コードを監視・特定することができる。

方法２３０は、セキュリティ・アップデートからの悪用エビデンスに基づいてメッセージと悪意コードとの関係を特定する工程２４０も含む。例えば、セキュリティ・コンポーネント１９５は、トランスポート層１９０でメッセージ１８０を受信する行為をし、セキュリティ比較モジュール１０２を用いてメッセージ１８０内のデータを悪用エビデンス１０６と比較する行為をすることができる。方法２３０は次に、この比較に基づいて、一群のルールによりアクションをとる工程を含む。例えば、セキュリティ・コンポーネント１９５が、このメッセージ１８０が悪意コードに対応する旨の特定行為をすると、ルール１０８はこれに命じて、その特定の送信物またはメッセージ１８０が標的コンピュータ１０５に侵入するのを阻止させる。ルール１０８はそのようなメッセージ１８０を阻止するが、他の良好な送信物の通過は許可することができる。代替の実施形態では、セキュリティ・コンポーネント１９５がコンピュータ１０５のユーザにそのデータ送信について通知することにより、ユーザが適切な対策を行えるようなルール１０８を提供する。さらに別の実施形態では、ルール１０８は、セキュリティ・コンポーネント１９５に命じて、危険な機能を全て無効化するなどの形で排除できるよう、送信物またはメッセージ１８０を修正を行わせる。

セキュリティ・コンポーネント１９５の性能を向上させるためには、他の実施形態が必要である。よって、一実施形態は、特定の悪意コードがどれほど危険なものか決定する脅威度評価１６０を超える悪意コードについての悪用エビデンス１０６のみに注意を傾けられるようにする。別の実施形態は、関連のリスク期間が終了した後や、脅威度評価１６０が設定された閾値を下回った場合に、セキュリティ・コンポーネント１９５上の悪用エビデンス１０６、セキュリティ・コマンド１１２、および／またはルール１０８のキャンセル、削除、保留、またはその他のアクションの実行ができるようにする。

さらに別の実施形態では、セキュリティ・コンポーネント１９５は、イベントの発生に基づいて悪用エビデンス１０６および／またはこれと関連したセキュリティ・コマンド１１２またはルール１０８の削除、キャンセル、またはその他のアクションを実行するよう命じるセキュリティ・コマンド１４５および／またはルール１４０を受信することができる。このように、好ましいイベントの発生時に、セキュリティ・コンポーネント１９５は、悪用エビデンス１０６、これと関連したセキュリティ・コマンド１１２およびルール１０８を削除する、キャンセルする、一時停止する、など妥当なアクションをとることができる。

本発明は、その趣旨や基本的特徴から逸脱しない範囲であれば、他の特定の形態で実施しても良い。記載した実施形態は全ての点で説明的なものに過ぎず、制限するものとは見なされない。従って、本発明の範囲は、上述した説明によってではなく、添付の特許請求の範囲により示される。特許請求の範囲の均等物の意味と範囲内での修正は全て、当該特許請求の範囲内に包含される。

本発明の前述した、またその他の効果的な特徴を実現できる方法を説明するために、簡単に前述した本発明をより特定化した説明を、付属の図面に図示した具体的な実施形態を参照しながら行う。これらの図面は本発明の典型的な実施形態を図示しているに過ぎず、従って、特許請求の範囲を限定するとは見なされないことを理解の上、添付図面を利用しながら本発明をより具体的かつ詳細に説明する。
図１は、実施例による、ソフトウェア脆弱性の悪用を最小限にするために用いるセキュリティ・サービスおよびセキュリティ・コンポーネントを有するコンピュータ・ネットワークを示す図である。 図２は、実施例による、犯罪者の標的となる可能性のあるコンピュータのリスク期間を狭める方法の実行のフロー図である。

Claims (20)

1. ネットワーク・コンピューティング環境中のコンピューティング・システムにおいて、当該コンピューティング・システムに対する着信ネットワーク・トラフィックを検証し、悪意コードが実行および／またはインストールされる前に当該悪意コードを特定することにより、当該コンピューティング・システムにインストールされたソフトウェアの脆弱性の悪用を最小限にする方法であって、
   前記コンピューティング・システムにインストールされたセキュリティ・コンポーネントを用いて、トランスポート層において当該コンピューティング・システムに着信するネットワーク・トラフィックを監視する工程と、
   前記ネットワーク・トラフィックの一部として、前記コンピューティング・システムを宛先とすると特定されたメッセージを前記トランスポート層において受信する工程と、
   前記受信メッセージに含まれるデータの少なくとも一部と悪意コードを特定するために用いられる悪用エビデンスとを比較する工程であって、前記悪用エビデンスは前記悪意コードに関する情報を収集するセキュリティ・サービスにより前記セキュリティ・コンポーネントに提供されるものである、前記比較する工程と、
   前記悪用エビデンスとの比較に基づいて、前記受信メッセージに１若しくはそれ以上のアクションを実行するよう前記セキュリティ・コンポーネントに命令するための１若しくはそれ以上のルールを特定する工程と
   を有する方法。
2. 請求項１記載の方法において、前記トランスポート層は１若しくはそれ以上のＴＣＰソケットレベルである。
3. 請求項１記載の方法において、前記比較する工程によりデータの少なくとも一部が悪意コードに相当すると同定され、前記１若しくはそれ以上のルールは、
   前記受信メッセージが前記コンピューティング・システムに侵入するのを阻止する工程と、
   前記メッセージが前記悪意コードに相当することについて前記コンピューティング・システムのユーザに通知することにより、前記ユーザが適切な対策を行えるようにする工程と、
   前記悪意コードの有害機能を無効化するよう前記メッセージを修正する工程と
   のうちの１若しくはそれ以上を前記セキュリティ・コンポーネントに命令して実行させるものである。
4. 請求項３記載の方法において、前記１若しくはそれ以上のルールは、前記受信メッセージを阻止する一方で、他の良好なメッセージの前記コンピューティング・システムへの通過を許可するものである。
5. 請求項３記載の方法において、前記１若しくはそれ以上のルールは、前記メッセージの相当についてユーザ・インターフェースを用いて前記コンピューティング・システムのユーザに通知することにより、前記ユーザが前記メッセージを受入れるか却下できるようにするものである。
6. 請求項１記載の方法において、前記悪用エビデンスは、悪意コードに関連付けられた既知の電子アドレスのリストを含むものである。
7. 請求項６記載の方法において、前記電子アドレスのリストはＩＰアドレスまたはウェブサイトのＵＲＬを含み、前記メッセージのソースのＩＰアドレスまたはＵＲＬは、悪意コードに関連付けられた既知の電子アドレスのリストと比較されるものである。
8. 請求項１記載の方法において、前記悪用エビデンスは前記悪意コードの１若しくはそれ以上のシグネチャを含み、このシグネチャは前記悪意コードであることを示す固有のデータ構造である。
9. 請求項１記載の方法において、この方法は、さらに、
   悪意コードを特定するために用られる前記悪用エビデンスが１若しくはそれ以上のイベントに基づいて失効するべきことを示すコマンドをセキュリティ・サービスから受信する工程と、
   前記１若しくはそれ以上のイベントの発生時に、１若しくはそれ以上のルールの定義に従って前記悪用エビデンスにアクションを実行する工程と
   を有するものである。
10. 請求項９記載の方法において、前記イベントは、リスク期間が終了したこと、または前記悪意コードが特定の脅威度評価の閾値を下回っていることを判断する１若しくはそれ以上の工程であり、前記悪用エビデンスに実行するアクションは、前記悪用エビデンスを比較する工程をキャンセルする工程と、前記悪用エビデンスを前記セキュリティ・コンポーネントから削除する工程と、前記悪用エビデンスを比較する工程を一時停止する工程のうちの１若しくはそれ以上の工程を含むものである。
11. ネットワーク・コンピューティング環境中のコンピューティング・システムにおける、コンピュータで読取り可能なエンコードされた命令を有するコンピュータで読取り可能な記憶媒体を有するコンピュータ・プログラム製品であって、前記命令はコンピューティング環境で実行されたとき、
    前記コンピューティング・システムにインストールされたセキュリティ・コンポーネントを用いて、トランスポート層において当該コンピューティング・システムに着信するネットワーク・トラフィックを監視する工程と、
    前記ネットワーク・トラフィックの一部として、前記コンピューティング・システムを宛先とすると特定されたメッセージを前記トランスポート層において受信する工程と、
    前記受信メッセージに含まれるデータの少なくとも一部と悪意コードを特定するために用いられる悪用エビデンスとを比較する工程であって、前記悪用エビデンスは前記悪意コードに関する情報を収集するセキュリティ・サービスにより前記セキュリティ・コンポーネントに提供されるものである、前記比較する工程と、
    前記悪用エビデンスとの比較に基づいて、前記受信メッセージに１若しくはそれ以上のアクションを実行するよう前記セキュリティ・コンポーネントに命令するための１若しくはそれ以上のルールを特定する工程と
    を有する方法を実行するものである
    コンピュータ・プログラム製品。
12. 請求項１１記載のコンピュータ・プログラム製品において、前記トランスポート層は１若しくはそれ以上のＴＣＰソケットレベルである。
13. 請求項１１記載のコンピュータ・プログラム製品において、前記比較する工程によりデータの少なくとも一部が悪意コードに相当すると同定され、前記１若しくはそれ以上のルールは、
    前記受信メッセージが前記コンピューティング・システムに侵入するのを阻止する工程と、
    前記メッセージが前記悪意に相当することについて前記コンピューティング・システムのユーザに通知することにより、前記ユーザが適切な対策を行えるようにする工程と、
    前記悪意コードの有害機能を無効化するよう前記メッセージを修正する工程
    のうちの１若くはそれ以上を前記セキュリティ・コンポーネントに命令して実行させるものである。
14. 請求項１３記載のコンピュータ・プログラム製品において、前記１若しくはそれ以上のルールは、前記受信メッセージを阻止する一方で、他の良好なメッセージの前記コンピューティング・システムへの通過を許可するものである。
15. 請求項１３記載のコンピュータ・プログラム製品において、前記１若しくはそれ以上のルールは、前記メッセージの相当についてユーザ・インターフェースを用いて前記コンピューティング・システムのユーザに通知することにより、前記ユーザが前記メッセージを受入れるか却下できるようにするものである。
16. 請求項１１記載のコンピュータ・プログラム製品において、前記悪用エビデンスは、悪意コードに関連付けられた既知の電子アドレスのリストを含むものである。
17. 請求項１６記載のコンピュータ・プログラム製品において、前記電子アドレスのリストはＩＰアドレスまたはウェブサイトのＵＲＬを含み、前記メッセージのソースのＩＰアドレスまたはＵＲＬは、前記悪意コードに関連付けられた既知の電子アドレスのリストと比較されるものである。
18. 請求項１１記載のコンピュータ・プログラム製品において、前記悪用エビデンスは前記悪意コードの１若しくはそれ以上のシグネチャを含み、このシグネチャは前記悪意コードであることを示す固有のデータ構造である。
19. 請求項１１記載のコンピュータ・プログラム製品において、このコンピュータ・プログラム製品は、さらに、
    悪意コードを特定するために用いられる悪用エビデンスが１若しくはそれ以上のイベントに基づいて失効するべきことを示すコマンドをセキュリティ・サービスから受信する工程と、
    前記１若しくはそれ以上のイベントの発生時に、１若しくはそれ以上のルールの定義に従って前記悪用エビデンスにアクションを実行する工程と
    を有するものである。
20. 請求項１９記載のコンピュータ・プログラム製品において、前記イベントは、リスク期間が終了したこと、前記悪意コードが何らかの脅威度評価の閾値を下回っていることを判断する１若しくはそれ以上の工程であり、前記悪用エビデンスに実行するアクションは、前記悪用エビデンスを比較する工程をキャンセルする工程と、前記悪用エビデンスを前記セキュリティ・コンポーネントから削除する工程と、前記悪用エビデンスを比較する工程を一時停止する工程のうちの１若しくはそれ以上の工程を含むものである。

Images