JP2011154557A

JP2011154557A - 有害文書判定方法及び装置

Info

Publication number: JP2011154557A
Application number: JP2010015961A
Authority: JP
Inventors: Iori Nishida; 衣織西田; Shigeru Takeuchi; 茂竹内; Masahiro Hiyoshi; 真大日吉
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2010-01-27
Filing date: 2010-01-27
Publication date: 2011-08-11
Anticipated expiration: 2030-01-27
Also published as: JP5165704B2

Abstract

【課題】ＵＲＬ内のテキストの検索を効率的に行い端末側のレスポンスを考慮した有害文書判定方法及び装置を提供する。
【解決手段】有害文書判定装置１は、文書を解析して文書が有害であるか否かを判定する文書有害判定手段１３と、文書にＵＲＬが記載されている場合にＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に、文書有害判定手段１３において有害ではないと判定した場合においても、文書が有害であると判定する有害ＵＲＬ判定手段１５と、ＵＲＬが登録されていないと判定したことに応じて判定したＵＲＬが示す文書について有害であるか否かをさらに判定し、ＵＲＬが示す文書が有害である場合に文書が有害であると判定する総合判定手段１８とを備える。
【選択図】図１

Description

本発明は、有害文書判定方法及び装置に関する。

従来、インターネット上のＷｅｂページや、電子メールの本文のテキスト等のコンテンツには、誹謗中傷や卑猥な文言等のユーザに有害な情報が掲載されたものが存在する。このような有害な情報が含まれているページを表示させないようにするネットワーク上のフィルタリング装置が開示されている（例えば、特許文献１）。

特許文献１に記載のフィルタリング装置は、端末からＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）等の指定があった場合に、そのＵＲＬ内のテキストを検索する。そして、フィルタリング対象の文字列を見つけた場合には、フィルタリング装置は、ＵＲＬが示すＷｅｂページをフィルタリングすることで有害な情報を表示しない。

特開２００２−１４９９１号公報

しかし、特許文献１に記載のフィルタリング装置は、端末からＵＲＬの指定があった場合に、その都度ＵＲＬ内のテキストを検索するものである。フィルタリング装置は、同じＵＲＬの指定でも、その都度毎回検索処理を行うため、処理が煩雑である。また、フィルタリング装置は、端末からＵＲＬの指定があるごとに判定をするので、端末側でのレスポンスの悪化が懸念される。

本発明は、ＵＲＬ内のテキストの検索を効率的に行い端末側のレスポンスを考慮した有害文書判定方法及び装置を提供することを目的とする。

本発明者らは、有害な情報が含まれるＷｅｂページのＵＲＬをリスト化し、さらにＵＲＬの階層を辿って有害な情報がＷｅｂページに含まれるか否かをチェックする方法を見出し、本発明を完成するに至った。本発明は、具体的には次のようなものを提供する。

（１）コンピュータによって文書が有害であるか否かを判定する有害文書判定方法であって、コンピュータが、前記文書を解析して前記文書が有害であるか否かを判定する文書有害判定ステップと、コンピュータが、前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に、前記文書有害判定ステップにおいて有害ではないと判定した場合においても、前記文書が有害であると判定する有害ＵＲＬ判定ステップと、コンピュータが、前記有害ＵＲＬ判定ステップにより前記ＵＲＬが登録されていないと判定したことに応じて、判定した前記ＵＲＬが示す文書について有害であるか否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、前記文書が有害であると判定する総合判定ステップと、を含む、有害文書判定方法。

本発明のこのような構成によれば、有害文書判定方法は、文書が有害であるか否かの判定を、文書を解析して、例えば、文書に含まれる語句の評価により、文書に含むＵＲＬが有害ＵＲＬデータベースに記憶されているか否か、文書が有害ＵＲＬデータベースに記憶されていないＵＲＬを含む場合に、そのＵＲＬが示す文書を解析することによって、文書が有害であるか否かを判定する。よって、有害文書判定方法は、文書に含むＵＲＬが有害ＵＲＬデータベースに記憶されている場合には、ＵＲＬが示す文書の検索を行わないので、効率的に処理をすることができる。また、有害文書判定方法は、文書に未知のＵＲＬが含まれる場合であっても、そのＵＲＬが示す文書が有害であるか否かまでを判断して、文書が有害であるか否かを判定するので、ユーザが有害な文書にふれる機会を減らすことができる。

（２）コンピュータによって文書が有害であるか否かを判定する有害文書判定方法であって、文書有害判定ステップと、有害ＵＲＬ判定ステップと、再帰実行ステップと、総合判定ステップとを含み、前記文書有害判定ステップにおいて、前記コンピュータが、前記文書を解析し、前記文書が有害であるか否かを判定し、前記有害ＵＲＬ判定ステップにおいて、前記コンピュータが、前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に前記文書が有害であると判定し、前記再帰実行ステップにおいて、前記コンピュータが、前記有害ＵＲＬ判定ステップにおいて前記文書が有害ではないと判定した場合に、前記有害ＵＲＬ判定ステップが判定した前記ＵＲＬが示す文書を前記有害文書判定方法の処理対象の文書として、前記有害文書判定方法に含まれる全てのステップを再帰的に実行し、前記総合判定ステップにおいて、前記コンピュータが、前記文書有害判定ステップ若しくは前記有害ＵＲＬ判定ステップ又は前記再帰実行ステップにおいて実行した前記総合判定ステップにおいて対象文書を有害であると判定した場合に、前記文書を有害であると判定する、有害文書判定方法。

本発明のこのような構成によれば、文書が有害であるか否かの判定を、文書を解析して、例えば、文書に含まれる語句の評価によって、若しくは文書に記載されたＵＲＬが有害ＵＲＬデータベースに登録されているか否かによって、又は文書が有害ＵＲＬデータベースに記憶されていないＵＲＬを含む場合に、そのＵＲＬが示す文書を有害文書判定方法の処理対象にして再帰実行することによって行う。よって、ＵＲＬ内のテキスト等の文書に含むＵＲＬが有害ＵＲＬデータベースに登録されている場合には、ＵＲＬが示す文書に関する処理を行わないので、文書が有害であるか否かの判定を効率的に行うことができる。また、文書に未知のＵＲＬが含まれる場合であっても、そのＵＲＬが示す文書が有害であるか否かを再帰実行することで判断して、文書が有害であるか否かを判定するので、ユーザが有害な文書に直面する機会をさらに減らすことができる。

また、本発明のこのような構成によれば、有害文書判定方法は、当該有害文書判定方法の処理を再帰実行する構成にすることにより、文書にＵＲＬを含む場合に、繰り返し行う総合判定ステップによる判定処理をよりシンプルなプログラムコードに基づいて効果的に実行することができる。

（３）前記コンピュータが、前記総合判定ステップにおいて有害であると判定した前記ＵＲＬが示す文書又は前記対象文書がＷｅｂページである場合に、そのＷｅｂページのＵＲＬを前記有害ＵＲＬデータベースに登録する有害ＵＲＬ登録ステップを含む、（１）又は（２）に記載の有害文書判定方法。

本発明のこのような構成によれば、有害と判定した文書がＷｅｂページである場合に、そのＷｅｂページのＵＲＬを有害ＵＲＬデータベースに登録するので、未知のＵＲＬに対して効率的に有害ＵＲＬデータベースを更新することができ、次回以降に同一のＵＲＬに対する有害文書判定が生じた場合において、コンピュータの処理負担を少なくすることができる。

（４）前記コンピュータが、判定の対象となる文書を受け付ける文書受付ステップと、前記コンピュータが、前記総合判定ステップによる判定結果を出力する判定結果出力ステップと、をさらに含む、（１）から（３）までのいずれかに記載の有害文書判定方法。

本発明のこのような構成によれば、判定の対象となる文書を受け付けて、判定結果を出力することができる。

（５）前記総合判定ステップは、前記有害ＵＲＬ判定ステップにより前記ＵＲＬが登録されていないと判定したことに応じて、前記ＵＲＬをクロール先リストに登録し、登録された前記クロール先リストの前記ＵＲＬを読み出して、読み出した前記ＵＲＬが示す文書を取得し、取得した前記文書がＵＲＬを含み、そのＵＲＬが前記有害ＵＲＬデータベースに含まれておらず、かつ、前記ＵＲＬが示す文書が有害か否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、取得した前記文書のＵＲＬを前記有害ＵＲＬデータベースに登録する、（１）に記載の有害文書判定方法。

本発明のこのような構成によれば、有害ＵＲＬデータベースに記憶されていない未知のＵＲＬをクロール先リストに登録して、クロール処理を行うことでＵＲＬに対応する文書を取得して、その文書が有害である場合にＵＲＬを有害ＵＲＬデータベースに登録するので、文書を取得して判定する時間のかかる処理を別処理とすることで、端末側のレスポンスを考慮してクロール処理による文書の有害判定を待つことなく有害判定を行いつつ、当該クロール処理により確実に次回以降の同一ＵＲＬの有害判定を、より処理負担の小さい方法によって行うことができる。

（６）文書が有害であるか否かを判定する有害文書判定装置であって、前記文書を解析して前記文書が有害であるか否かを判定する文書有害判定手段と、前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に、前記文書有害判定手段において有害ではないと判定した場合においても、前記文書が有害であると判定する有害ＵＲＬ判定手段と、前記有害ＵＲＬ判定手段により前記ＵＲＬが登録されていないと判定したことに応じて、判定した前記ＵＲＬが示す文書について有害であるか否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、前記文書が有害であると判定する総合判定手段と、を備える、有害文書判定装置。

（７）文書が有害であるか否かを判定する有害文書判定装置であって、文書有害判定手段と、有害ＵＲＬ判定手段と、再帰実行手段と、総合判定手段とを備え、前記文書有害判定手段は、前記文書を解析し、前記文書が有害であるか否かを判定し、前記有害ＵＲＬ判定手段は、前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に前記文書が有害であると判定し、前記再帰実行手段は、前記有害ＵＲＬ判定手段により前記文書が有害ではないと判定した場合に、前記有害ＵＲＬ判定手段が判定した前記ＵＲＬが示す文書を前記有害文書判定装置による処理対象の文書として、前記有害文書判定装置が備える全ての手段を再帰的に実行し、前記総合判定手段は、前記文書有害判定手段若しくは前記有害ＵＲＬ判定手段又は前記再帰実行手段により実行した前記総合判定手段により対象文書を有害であると判定した場合に、前記文書を有害であると判定する、有害文書判定装置。

（８）前記総合判定手段は、前記有害ＵＲＬ判定手段により前記ＵＲＬが登録されていないと判定したことに応じて、前記ＵＲＬをクロール先リストに登録するクロール先登録手段と、前記クロール先登録手段により登録された前記クロール先リストの前記ＵＲＬを読み出して、読み出した前記ＵＲＬが示す文書を取得するクロール手段と、前記クロール手段により取得した前記文書がＵＲＬを含み、そのＵＲＬが前記有害ＵＲＬデータベースに含まれておらず、かつ、前記ＵＲＬが示す文書が有害か否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、取得した前記文書のＵＲＬを前記有害ＵＲＬデータベースに登録する有害ＵＲＬ登録手段と、を有する、（６）に記載の有害文書判定装置。

本発明によれば、文書が有害であるか否かの判定を、文書を解析して、例えば、文書に含まれる語句の評価により、文書に含むＵＲＬが有害ＵＲＬデータベースに記憶されているか否か、文書が有害ＵＲＬデータベースに記憶されていないＵＲＬを含む場合に、そのＵＲＬが示す文書を解析することによって、文書が有害であるか否かを判定することができる。

第１実施形態に係る有害文書判定システムの全体構成及び有害文書判定装置の機能構成を示す図である。第１実施形態に係るＷｅｂページ及び電子メール本文の例を示す図である。第１実施形態に係る有害ＵＲＬＤＢの例を示す図である。第１実施形態に係る有害文書判定装置のメイン処理のフローチャートである。第２実施形態に係る有害文書判定システムの全体構成及び有害文書判定装置の機能構成を示す図である。第２実施形態に係る有害文書判定装置のオンライン処理のフローチャートである。第２実施形態に係る有害文書判定装置のバッチ処理のフローチャートである。第２実施形態に係る有害文書判定装置の他のバッチ処理のフローチャートである。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

（第１実施形態）
［有害文書判定システム１００の全体構成及び有害文書判定装置１の機能構成］
図１は、第１実施形態に係る有害文書判定システム１００の全体構成及び有害文書判定装置１の機能構成を示す図である。図２は、第１実施形態に係るＷｅｂページ４０及び電子メール本文４５の例を示す図である。図３は、第１実施形態に係る有害ＵＲＬＤＢ３１の例を示す図である。

図１に示す有害文書判定システム１００は、有害文書判定装置１と、ユーザ端末４と、通信ネットワーク９とにより構成される。

有害文書判定装置１は、ユーザ端末４の利用者が閲覧したいＷｅｂページ（文書）が有害なものであるか否かを判定するサーバである。そして、有害文書判定装置１は、ユーザ端末４の利用者に有害なＷｅｂページを見せないようにするサーバである。Ｗｅｂブラウザに表示されたＷｅｂページにリンクされたＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）をユーザ端末４の利用者が指定したり、電子メールに掲載されたハイパーテキストをユーザ端末４の利用者が選択したりすることで、有害文書判定装置１は、閲覧対象のＷｅｂページを受け付けて処理を行う。そして、そのＷｅｂページが有害なものでなければ、有害文書判定装置１は、そのＷｅｂページをユーザ端末４に送信する。有害文書判定装置１は、制御部１０と、記憶部３０とを備える。

制御部１０は、文書受付手段１１と、文書有害判定手段１３と、有害ＵＲＬ判定手段１５と、総合判定手段１８と、有害ＵＲＬ登録手段２３と、判定結果出力手段２７とを備える。また、総合判定手段１８は、文書有害判定手段１３及び有害ＵＲＬ判定手段１５を含む再帰実行手段１７を備える。

文書受付手段１１は、ユーザ端末４から送信された有害判定の対象の文書を受け付ける制御部である。文書は、例えば、Ｗｅｂページや、電子メールの本文等である。文書は、その他Ｗｅｂページに投稿する一部のテキストであってもよい。

図２に文書の例を示す。図２（ａ）はＷｅｂページ４０の例である。Ｗｅｂページ４０は、本文の他に、他のＷｅｂページへのリンクであるＵＲＬ４１を含む。Ｗｅｂページ４０は、有害な語句である用語４３を含む。例えば、Ｗｅｂページ４０に含む有害な語句は、用語４３の１つのみであるので、Ｗｅｂページ４０が有害ではないと判定される場合であっても、ＵＲＬ４１が示すＷｅｂページが有害な語句を含んで有害であると判定される場合がある。また、図２（ｂ）は、電子メール本文４５の例である。電子メール本文４５にも、ＷｅｂページへのリンクであるＵＲＬ４６を含む。そして、ＵＲＬ４６が示すＷｅｂページが、例えば、正規の電子メールを装って情報を詐取するフィッシングサイトである場合がある。

図１に戻り、文書有害判定手段１３は、文書を、例えば、文書に含まれる語句の評価に基づいて解析し、文書が有害であるか否かを判定する制御部である。文書有害判定手段１３は、例えば、有害なキーワードを記憶した有害キーワードＤＢ３２（ＤＢ：データベース）に基づいて、例えば、文書に有害なキーワードが所定数以上含まれることによって、その文書が有害であると判定できる。

有害ＵＲＬ判定手段１５は、文書がＵＲＬを含む場合に、そのＵＲＬが有害ＵＲＬＤＢ３１に記憶されているか否かを確認して、記憶されている場合にそのＵＲＬを含む文書を有害であると判定する制御部である。文書自体が有害なキーワード等を所定数以上有していない場合でも、その文書に掲載されたＵＲＬが選択されることで、有害なＷｅｂページに遷移するので、有害ＵＲＬ判定手段１５は、その場合にも、文書が有害であると判定する。有害ＵＲＬＤＢ３１は、そのＵＲＬが示すＷｅｂページが有害なキーワードを所定数以上含むために有害であると判定された場合に、そのＷｅｂページのＵＲＬを記憶する。

図３に示す有害ＵＲＬＤＢ３１は、有害なＷｅｂページであると判定されたＷｅｂページのＵＲＬを格納するＵＲＬ３１ａと、有害ＵＲＬＤＢ３１にそのＵＲＬを登録した登録日３１ｂとからなる。

図１に戻り、再帰実行手段１７は、有害ＵＲＬ判定手段１５によりＵＲＬが有害ＵＲＬＤＢ３１に記憶されていないと判定された場合に、そのＵＲＬが示すＷｅｂページについて語句の評価を行って有害であるか否かを判定する制御部である。また、再帰実行手段１７は、ＷｅｂページにＵＲＬを含む場合に、ＵＲＬが示すＷｅｂページに対して文書有害判定手段１３と、有害ＵＲＬ判定手段１５とを実行し、ＷｅｂページにＵＲＬを含まなくなった場合又は文書が有害であると判定された場合のいずれかを満たすまで再帰実行をする制御部である。再帰実行手段１７により、ＷｅｂページにＵＲＬを含む限りにおいて有害な文書が検索されるまで、ＵＲＬの階層を辿ることができる。

総合判定手段１８は、ＵＲＬが示すＷｅｂページを有害であると判定した場合に、そのＵＲＬを含む文書を有害であると判定する制御部である。また、総合判定手段１８は、再帰実行手段１７を含み、文書が有害であるか否かを判定する。また、総合判定手段１８は、再帰実行手段１７による処理が終了したことに応じて、その回の再帰実行において文書が有害であると判定した場合に、その前に実行した処理において有害ではないと判定した場合においても、その前回の文書が有害であると判定する制御部である。

有害ＵＲＬ登録手段２３は、有害であると判定された文書がＷｅｂページである場合に、そのＷｅｂページを示すＵＲＬを有害ＵＲＬＤＢ３１に登録する制御部である。

判定結果出力手段２７は、文書が有害であるか否かの判定結果を、有害である判定を優先させて出力する制御部である。

記憶部３０は、有害ＵＲＬＤＢ３１と、有害キーワードＤＢ３２とを備える。

有害ＵＲＬＤＢ３１は、上述の図３で説明したように、有害なＷｅｂページを示すＵＲＬを記憶するＤＢである。また、有害キーワードＤＢ３２は、有害なキーワードを記憶するＤＢである。有害なキーワードとは、例えば、アダルト表現、出会い系、交際誘引、誹謗中傷、差別、自殺や暴力、薬物、射幸心を煽るもの等に関する語句をいい、予め有害キーワードＤＢ３２に登録されている。有害キーワードＤＢ３２は、文書に含まれる語句が有害なキーワードを含むか否かを判定するために用いる。

第１実施形態の有害文書判定装置１のハードウェアは、一般的なコンピュータによって構成してもよい。一般的なコンピュータは、例えば、制御部１０として、中央処理装置（ＣＰＵ）を備える他、記憶部３０として、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク（ＨＤＤ）及び光ディスク（ＣＤ、ＤＶＤ等）を、ネットワーク通信装置として、各種有線及び無線ＬＡＮ装置を、表示装置として、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイを、入力装置として、例えば、キーボード及びポインティング・デバイス（マウス、トラッキングボール等）を適宜備え、これらはバスラインにより接続されている。このような一般的なコンピュータにおいて、ＣＰＵは、有害文書判定装置１を統括的に制御し、各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

ユーザ端末４は、例えば、パーソナルコンピュータ（ＰＣ）や、携帯電話機等の携帯端末である。ユーザ端末４は、通信機能を有し、Ｗｅｂブラウザを搭載してＷｅｂページが閲覧できる端末であれば、どのような装置でもよい。

通信ネットワーク９は、有害文書判定装置１と、ユーザ端末４との間で通信を行うための、例えば、インターネット等の通信回線である。通信ネットワーク９は、有線であってもよいし、その一部又は全部が無線であってもよい。

［有害文書判定装置１の処理］
次に、有害文書判定装置１での処理について説明する。図４は、第１実施形態に係る有害文書判定装置１のメイン処理のフローチャートである。

Ｓ１：制御部１０（文書受付手段１１）は、ユーザ端末４から送信された文書を受け付ける文書の受付処理を行う。

Ｓ２：制御部１０（文書有害判定手段１３）は、有害キーワードＤＢ３２を参照して文書に有害な語句を所定数以上含み、文書が有害であるか否かを判断する。文書が有害であると判断した場合（Ｓ２：ＹＥＳ）には、制御部１０は、処理をＳ９に移す。他方、文書が有害ではないと判断した場合（Ｓ２：ＮＯ）には、制御部１０は、処理をＳ３に移す。

Ｓ３：制御部１０（有害ＵＲＬ判定手段１５）は、文書がＵＲＬを含むか否かを判断する。文書がＵＲＬを含む場合（Ｓ３：ＹＥＳ）には、制御部１０は、処理をＳ４に移す。他方、文書がＵＲＬを含まない場合（Ｓ３：ＮＯ）には、制御部１０は、処理をＳ９に移す。文書がＵＲＬを含まない場合は、文書自体が有害ではなく、その文書にはＵＲＬを含まないので、文書は有害ではない、という判定結果になる。

Ｓ４：制御部１０（有害ＵＲＬ判定手段１５）は、文書に含まれるＵＲＬが有害ＵＲＬＤＢ３１に存在するか否かを判断する。ＵＲＬが有害ＵＲＬＤＢ３１に存在する場合（Ｓ４：ＹＥＳ）には、制御部１０は、処理をＳ５に移し、Ｓ５において有害ＵＲＬ判定手段１５は、文書を有害と判定して処理をＳ９に移す。他方、ＵＲＬが有害ＵＲＬＤＢ３１に存在しない場合（Ｓ４：ＮＯ）には、制御部１０は、処理をＳ６に移す。

Ｓ６：制御部１０（再帰実行手段１７）は、ＵＲＬが示すＷｅｂページを取得し、そのＷｅｂページを処理対象の文書とする。

Ｓ７：制御部１０（再帰実行手段１７）は、Ｓ６で文書としたＷｅｂページが有害な語句を所定数以上含むために文書が有害であるか否かを判断する。文書が有害であると判断した場合（Ｓ７：ＹＥＳ）には、制御部１０は、再帰処理を終了して処理をＳ８に移す。他方、文書が有害ではないと判断した場合（Ｓ７：ＮＯ）には、制御部１０は、処理をＳ３に移す。以降、再帰実行手段１７は、文書がＵＲＬを含まなくなった場合又は文書を有害と判定した場合のいずれかを満たすまで、処理を繰返す再帰処理を行う。

Ｓ８：制御部１０（有害ＵＲＬ登録手段２３）は、有害と判断された文書が示すＷｅｂページのＵＲＬを有害ＵＲＬＤＢ３１に登録する。

Ｓ９：制御部１０（総合判定手段１８、判定結果出力手段２７）は、判定結果を出力する。判定結果の出力は、例えば、文書が有害ではないとの判定結果の場合には、ユーザ端末４が要求した文書を、文書が有害であるとの判定結果の場合には、有害な文書である旨を、それぞれユーザ端末４に対して送信する。このとき、制御部１０（総合判定手段１８）は、文書がＵＲＬを含まなくなった場合又は文書を有害と判定した場合のいずれかを満たしたことにより、制御部１０（再帰実行手段１７）の処理が終了した際に、最後の再帰実行における判定結果が有害である場合には、それ以前の再帰実行の判定結果が無害であっても、有害に変更してユーザ端末４に有害である旨を送信する。その後、制御部１０は、本処理を終了する。

このように、有害文書判定装置１は、文書にＵＲＬを含む場合に、ＵＲＬが示すＷｅｂページを取得して、有害な語句を含むか否か、そのＷｅｂページにさらにＵＲＬが存在して、そのＵＲＬが有害ＵＲＬＤＢ３１に記憶されたものであるか、という処理を再帰実行することで、ＵＲＬが示すＷｅｂページを順に辿って有害なＷｅｂページが存在するか否かを判定することができる。また、有害文書判定装置１は、有害と判定されたＷｅｂページのＵＲＬを有害ＵＲＬＤＢ３１に登録するので、未知のＵＲＬに対して効率的に有害ＵＲＬＤＢ３１を更新することができる。

（第２実施形態）
次に、本発明を適用した第２実施形態について説明する。第２実施形態は、オンライン処理とバッチ処理とに分けて、即時に行える簡易な判定をオンライン処理で行うことでユーザ端末に即時に結果を送信し、ＵＲＬが示すＷｅｂページを取得して判定を行う処理をバッチ処理にて行うものである。なお、以下の説明及び図面において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。

［有害文書判定システム２００の全体構成及び有害文書判定装置２０１の機能構成］
図５は、第２実施形態に係る有害文書判定システム２００の全体構成及び有害文書判定装置２０１の機能構成を示す図である。

有害文書判定装置２０１の制御部２１０は、文書受付手段１１と、文書有害判定手段１３と、有害ＵＲＬ判定手段１５と、判定結果出力手段２７（総合判定手段）とを備える他に、総合判定手段２１８を備える。

総合判定手段２１８は、クロール先登録手段２２１と、クロール手段２２２と、有害ＵＲＬ登録手段２２３とを備える。

クロール先登録手段２２１は、有害ＵＲＬ判定手段１５によりＵＲＬが有害ＵＲＬＤＢ３１に記憶されていないと判定した場合に、そのＵＲＬが示すＷｅｂページをクロール先リスト２３３に登録する制御部である。

クロール手段２２２は、クロール先リスト２３３に登録されたＵＲＬが示すＷｅｂページを、通信ネットワーク９を介して接続された外部のＷｅｂサーバ等のＷｅｂページが記憶されている装置から取得する制御部である。

有害ＵＲＬ登録手段２２３は、クロール手段２２２によって取得したＷｅｂページがＵＲＬを含み、そのＵＲＬが有害ＵＲＬＤＢ３１に記憶されておらず、かつ、Ｗｅｂページが有害か否かを判定した結果、Ｗｅｂページが有害と判定された場合に、そのＷｅｂページのＵＲＬを有害ＵＲＬＤＢ３１に登録する制御部である。

有害文書判定装置２０１の記憶部２３０は、有害ＵＲＬＤＢ３１と、有害キーワードＤＢ３２とを備える他、クロール先リスト２３３を備える。

クロール先リスト２３３は、クロール先登録手段２２１によって、有害ＵＲＬＤＢ３１に記憶されていないＵＲＬを登録する記憶領域である。

［有害文書判定装置２０１の処理］
次に、有害文書判定装置２０１での処理について説明する。図６は、第２実施形態に係る有害文書判定装置２０１のオンライン処理のフローチャートである。図７は、第２実施形態に係る有害文書判定装置２０１のバッチ処理のフローチャートである。図８は、第２実施形態に係る有害文書判定装置２０１の他のバッチ処理のフローチャートである。

図６のＳ２１〜Ｓ２３：図４のＳ１〜Ｓ３と同様である。

Ｓ２４：制御部２１０（有害ＵＲＬ判定手段１５）は、文書に含まれるＵＲＬが有害ＵＲＬＤＢ３１に存在するか否かを判断する。ＵＲＬが有害ＵＲＬＤＢ３１に存在する場合（Ｓ２４：ＹＥＳ）には、制御部２１０は、処理をＳ２５に移し、Ｓ２５において有害ＵＲＬ判定手段１５は、文書を有害と判定して処理をＳ２６に移す。他方、ＵＲＬが有害ＵＲＬＤＢ３１に存在しない場合（Ｓ２４：ＮＯ）には、制御部２１０は、処理をＳ２７に移す。

Ｓ２６：制御部２１０（判定結果出力手段２７）は、判定結果を出力する。その後、制御部２１０は、本処理を終了する。

Ｓ２７：制御部２１０（総合判定手段２１８、クロール先登録手段２２１）は、ＵＲＬをクロール先リスト２３３に登録する。その後、制御部２１０は、本処理を終了する。

図７のＳ３１：制御部２１０（総合判定手段２１８、クロール手段２２２）は、クロール先リスト２３３に登録されたＵＲＬに基づき、そのＵＲＬが示すＷｅｂページを取得するクロール処理を行う。

Ｓ３２：制御部２１０（総合判定手段２１８、有害ＵＲＬ登録手段２２３）は、取得したＷｅｂページに含まれるＵＲＬが有害ＵＲＬＤＢ３１に登録されていないか否かを判断する。ＵＲＬが登録されていない場合（Ｓ３２：ＹＥＳ）には、制御部２１０は、処理をＳ３３に移す。他方、ＵＲＬが登録されている場合（Ｓ３２：ＮＯ）には、制御部２１０は、本処理を終了する。

Ｓ３３：制御部２１０（総合判定手段２１８、有害ＵＲＬ登録手段２２３）は、ＵＲＬが示すＷｅｂページが有害であるか否かを判断する。Ｗｅｂページが有害であるか否かは、Ｗｅｂページに有害キーワードＤＢ３２の語句が所定数以上含まれるか否かにより、そのＷｅｂページが有害であるか否かを判断する。ＵＲＬが示すＷｅｂページが有害であると判断した場合（Ｓ３３：ＹＥＳ）には、制御部２１０は、処理をＳ３４に移す。他方、ＵＲＬが示すＷｅｂページが有害ではないと判断した場合（Ｓ３３：ＮＯ）には、制御部２１０は、本処理を終了する。

なお、図８に示す他のバッチ処理の実施形態においては、ＵＲＬが示すＷｅｂページが有害ではないと判断した場合（Ｓ３３：ＮＯ）に、当該ＷｅｂページがさらにＵＲＬを含むか否かを判断し（Ｓ３５）、さらにＵＲＬを含む場合（Ｓ３５：ＹＥＳ）に、制御部２１０（再帰実行手段）は、Ｓ３２に処理を戻し、当該ＵＲＬが示すＷｅｂページを取得して、そのＷｅｂページが有害であるか否かを判断し、当該ＷｅｂページがさらにＵＲＬを含まなくなるまでＳ３２、Ｓ３３及びＳ３５を繰り返し実施してもよい。

Ｓ３４：制御部２１０（総合判定手段２１８、有害ＵＲＬ登録手段２２３）は、有害であると判断したＷｅｂページを示すＵＲＬを有害ＵＲＬＤＢ３１に登録する。その後、制御部２１０は、本処理を終了する。

なお、上記で示した図８に示す他のバッチ処理の実施形態においては、最後の繰り返しにおいて当該ＵＲＬが示すＷｅｂページが有害である場合、制御部２１０（総合判定手段２１８、有害ＵＲＬ登録手段２２３）は、当該最後の繰り返しにおいて有害と判断したＷｅｂページを示すＵＲＬを有害ＵＲＬＤＢ３１に登録する（Ｓ３４）と共に、それまでの繰り返しにおいて有害判断したＷｅｂページを示すＵＲＬの全てを有害ＵＲＬＤＢ３１に登録してもよい。

このように、有害文書判定装置２０１は、有害ＵＲＬＤＢ３１に記憶されていない未知のＵＲＬをクロール先リスト２３３に登録して、クロール処理を行うことでＵＲＬに対応するＷｅｂページを取得して、そのＷｅｂページが有害である場合にＵＲＬを有害ＵＲＬＤＢ３１に登録する。よって、Ｗｅｂページを取得して判定する時間のかかる処理を別処理とすることで、ユーザ端末４のレスポンスを考慮してクロール処理によるＷｅｂページの有害判定を待つことなく有害判定を行いつつ、当該クロール処理により確実に次回以降の同一ＵＲＬの有害判定を、より処理負担の小さい有害ＵＲＬ判定手段１５により行うことができる。

（変形形態）
各実施形態は、有害文書判定システムとして、ユーザ端末から有害文書判定装置が直接データの送受信を行うものとして説明したが、これに限らない。例えば、ユーザ端末と有害文書判定装置との間に投稿サーバを設け、投稿サーバが、ユーザ端末と有害文書判定装置との間で処理を行ってもよい。

各実施形態は、受け付けた文書が有害な語句を有する有害な文書である場合に、有害であると判定して判定結果を出力するものであった。しかし、これに限らず、判定結果を出力する前に、受け付けた文書がＷｅｂページであるか否かを判断し、Ｗｅｂページである場合には、そのＷｅｂページのＵＲＬを有害ＵＲＬＤＢに登録してもよい。これにより、有害と判断されたＷｅｂページを全て有害ＵＲＬＤＢに登録することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１，２０１有害文書判定装置
４ユーザ端末
１０，２１０制御部
１１文書受付手段
１３文書有害判定手段
１５有害ＵＲＬ判定手段
１７再帰実行手段
１８，２１８有害判定手段
２３，２２３有害ＵＲＬ登録手段
２７判定結果出力手段
３０，２３０記憶部
３１有害ＵＲＬＤＢ
３２有害キーワードＤＢ
１００，２００有害文書判定システム
２２１クロール先登録手段
２２２クロール手段
２３３クロール先リスト

Claims

コンピュータによって文書が有害であるか否かを判定する有害文書判定方法であって、
コンピュータが、前記文書を解析して前記文書が有害であるか否かを判定する文書有害判定ステップと、
コンピュータが、前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に、前記文書有害判定ステップにおいて有害ではないと判定した場合においても、前記文書が有害であると判定する有害ＵＲＬ判定ステップと、
コンピュータが、前記有害ＵＲＬ判定ステップにより前記ＵＲＬが登録されていないと判定したことに応じて、判定した前記ＵＲＬが示す文書について有害であるか否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、前記文書が有害であると判定する総合判定ステップと、
を含む、
有害文書判定方法。
コンピュータによって文書が有害であるか否かを判定する有害文書判定方法であって、
文書有害判定ステップと、有害ＵＲＬ判定ステップと、再帰実行ステップと、総合判定ステップとを含み、
前記文書有害判定ステップにおいて、前記コンピュータが、前記文書を解析し、前記文書が有害であるか否かを判定し、
前記有害ＵＲＬ判定ステップにおいて、前記コンピュータが、前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に前記文書が有害であると判定し、
前記再帰実行ステップにおいて、前記コンピュータが、前記有害ＵＲＬ判定ステップにおいて前記文書が有害ではないと判定した場合に、前記有害ＵＲＬ判定ステップが判定した前記ＵＲＬが示す文書を前記有害文書判定方法の処理対象の文書として、前記有害文書判定方法に含まれる全てのステップを再帰的に実行し、
前記総合判定ステップにおいて、前記コンピュータが、前記文書有害判定ステップ若しくは前記有害ＵＲＬ判定ステップ又は前記再帰実行ステップにおいて実行した前記総合判定ステップにおいて対象文書を有害であると判定した場合に、前記文書を有害であると判定する、
有害文書判定方法。
前記コンピュータが、前記総合判定ステップにおいて有害であると判定した前記ＵＲＬが示す文書又は前記対象文書がＷｅｂページである場合に、そのＷｅｂページのＵＲＬを前記有害ＵＲＬデータベースに登録する有害ＵＲＬ登録ステップを含む、
請求項１又は請求項２に記載の有害文書判定方法。
前記コンピュータが、判定の対象となる文書を受け付ける文書受付ステップと、
前記コンピュータが、前記総合判定ステップによる判定結果を出力する判定結果出力ステップと、
をさらに含む、
請求項１から請求項３までのいずれかに記載の有害文書判定方法。
前記総合判定ステップは、
前記有害ＵＲＬ判定ステップにより前記ＵＲＬが登録されていないと判定したことに応じて、前記ＵＲＬをクロール先リストに登録し、
登録された前記クロール先リストの前記ＵＲＬを読み出して、読み出した前記ＵＲＬが示す文書を取得し、
取得した前記文書がＵＲＬを含み、そのＵＲＬが前記有害ＵＲＬデータベースに含まれておらず、かつ、前記ＵＲＬが示す文書が有害か否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、取得した前記文書のＵＲＬを前記有害ＵＲＬデータベースに登録する、
請求項１に記載の有害文書判定方法。
文書が有害であるか否かを判定する有害文書判定装置であって、
前記文書を解析して前記文書が有害であるか否かを判定する文書有害判定手段と、
前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に、前記文書有害判定手段において有害ではないと判定した場合においても、前記文書が有害であると判定する有害ＵＲＬ判定手段と、
前記有害ＵＲＬ判定手段により前記ＵＲＬが登録されていないと判定したことに応じて、判定した前記ＵＲＬが示す文書について有害であるか否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、前記文書が有害であると判定する総合判定手段と、
を備える、
有害文書判定装置。
文書が有害であるか否かを判定する有害文書判定装置であって、
文書有害判定手段と、有害ＵＲＬ判定手段と、再帰実行手段と、総合判定手段とを備え、
前記文書有害判定手段は、前記文書を解析し、前記文書が有害であるか否かを判定し、
前記有害ＵＲＬ判定手段は、前記文書にＵＲＬが記載されている場合に、前記ＵＲＬが有害ＵＲＬデータベースに登録されていることを条件に前記文書が有害であると判定し、
前記再帰実行手段は、前記有害ＵＲＬ判定手段により前記文書が有害ではないと判定した場合に、前記有害ＵＲＬ判定手段が判定した前記ＵＲＬが示す文書を前記有害文書判定装置による処理対象の文書として、前記有害文書判定装置が備える全ての手段を再帰的に実行し、
前記総合判定手段は、前記文書有害判定手段若しくは前記有害ＵＲＬ判定手段又は前記再帰実行手段により実行した前記総合判定手段により対象文書を有害であると判定した場合に、前記文書を有害であると判定する、
有害文書判定装置。
前記総合判定手段は、
前記有害ＵＲＬ判定手段により前記ＵＲＬが登録されていないと判定したことに応じて、前記ＵＲＬをクロール先リストに登録するクロール先登録手段と、
前記クロール先登録手段により登録された前記クロール先リストの前記ＵＲＬを読み出して、読み出した前記ＵＲＬが示す文書を取得するクロール手段と、
前記クロール手段により取得した前記文書がＵＲＬを含み、そのＵＲＬが前記有害ＵＲＬデータベースに含まれておらず、かつ、前記ＵＲＬが示す文書が有害か否かをさらに判定し、前記ＵＲＬが示す文書が有害である場合に、取得した前記文書のＵＲＬを前記有害ＵＲＬデータベースに登録する有害ＵＲＬ登録手段と、
を有する、
請求項６に記載の有害文書判定装置。