JP2009037420A - 有害コンテンツの評価付与装置、プログラム及び方法 - Google Patents

Abstract

【課題】従来手作業で行っていた、新しいキーワードやウェブサイトの抽出を自動で行い、より高精度に有害サイトのフィルタリングを提供すること。
【解決手段】予め定義された有害サイトのＵＲＬリストを入力とし、インターネット上の様々な有害サイトを自動的に探索（クロール）するクローラ部を備える。そして、探索したＵＲＬのコンテンツのデータをコンテンツ・リポジトリ部（データベース）に蓄積、格納する。さらに、コンテンツ・リポジトリ部からコンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算する語彙有害評価付与部を備える。さらに、語彙有害評価付与部が計算した語彙の有害度数から前記コンテンツの有害度数を計算するコンテンツ有害評価付与部を備えている。
【選択図】図１

Description

本発明は、インターネット上のサイトから有害語彙の検出と評価を行う評価付与装置、処理プログラム、及び処理方法に関する。

インターネット上の情報を検索するためにサーチエンジンが利用されている。サーチエンジンは一般的にウェブページのリンクを解析してページまたはサイトにスコア付けを行い、検索結果のランキングを表示している。インターネット上にはジャンルを問わず膨大な数のウェブサイトが存在し、その中にはアダルトコンテンツや暴力的表現を含むものが多数存在する。従来の検索エンジンは上記のとおり、リンク解析によって、検索結果を決定しているため、入力するキーワードによっては、アダルトコンテンツが検索結果の上位に表示されることも多かった。

特に、子供がインターネット検索をする際にこれらのサイトが表示されないよう、ペアレンタル・コントロールと呼ばれるフィルタリング・システムを導入することが増えている。これらは一般的にキーワードや登録したＵＲＬに基づいてサイトをフィルタリングして、検索結果に表示すべきでないページを決定している。そのため、新しいキーワードやＵＲＬを常に発見し、更新しなければならない。従来、これらの更新作業は人手で行っていたが、ウェブサイトの爆発的な増加に対応するのが難しく非効率であった。そのため、例えば、特許文献１、２や非特許文献１のような技術が開示されている。

特許文献１に記載の技術では、専門用語を抽出する対象ドキュメントが既にデータベースに保存されており、かつ専門用語と関連する分野のドキュメントであることを前提としている。そのため、対象とするドキュメント数が限定されて、高精度で専門用語を抽出することができた。しかし、対象をウェブサイト全体に広げた場合、ウェブドキュメントは分野ごとに分類されていないという問題があり、専門用語を抽出する前に、まず対象とするウェブドキュメントをウェブ上から収集する必要がある。また、ウェブサイトは日々更新されるという特徴があり、さらに企業や官公庁だけでなく、個人の趣味・嗜好の基に作成されるものも多く存在するため、学術論文などにくらべてノイズとなる情報がドキュメント中に多く含まれている可能性が高く、上記の技術とは別の視点が必要となる。

特許文献２に記載の技術では、カテゴリーごとに分類されたコンテンツ・データベースを有し、検索要求に基づいて検索した結果のウェブページをコンテンツ・データベースと比較し、コンテンツ・データベースに含まれるウェブサイトを検索結果から削除する方法について記載されている。この技術では、カテゴリーごとに分類されたコンテンツ・データベースを作成する必要があり、これは従来技術で述べたとおり、作成に非常に手間がかかるという問題があるが、その問題の解決手段については開示されていない。

非特許文献１には、自動車や映画のレビューを解析し、“ｅｘｃｅｌｌｅｎｔ”と共起する語が多い場合はポジティブなレビュー、“ｐｏｏｒ”と共起するフレーズが多い場合はネガティブなレビューが多いことを発見したことが開示されている。この方法では、相互情報量を利用してレビューのＰ／Ｎ（ポジティブ／ネガティブ）を判定している。しかし、本技術では、ウェブページの記載内容がポジティブなものかネガティブなものかを判別することを目的としており、この技術をコンテンツの有害度の計算にあてはめようとすると、ブラック（有害）かホワイト（無害）かの判定になり、クレー（中間）の判定することはできない。

特開２００５−２２２２６３号公報 特開２００７−１２８１１９号公報 Ｐｅｔｅｒ Ｄ． Ｔｕｒｎｅｙ，"Ｔｈｕｍｂｓ Ｕｐ ｏｒ Ｔｈｕｍｂｓ Ｄｏｗｎ？ Ｓｅｍａｎｔｉｃ Ｏｒｉｅｎｔａｔｉｏｎ Ａｐｐｌｉｅｄ ｔｏ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｃｌａｓｉｆｉｃａｔｉｏｎ ｏｆ Ｒｅｖｉｅｗｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４０ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ （ＡＣＬ’０２）， Ｐｈｉｌａｄｅｌｐｈｉａ， Ｐｅｎｎｓｙｌｖａｎｉａ， ＵＳＡ， Ｊｕｌｙ ８−１０， ２００２， ｐｐ４１７−４２４， ＮＲＣ４４９４６．

本発明では、従来手作業で行っていた、新しいキーワードやウェブサイトの抽出を自動で行い、より高精度に有害サイトのフィルタリングを行うことを課題とする。また、それをペアレンタル・コントロールや検索結果のランク付けに応用することで、意図しないユーザにアダルトや暴力表現を含んだウェブページを表示しないことを課題とする。

本発明の背景としては、検索結果のランキングにおいて、有害度の高いページの順位を下げて、そうでないページを積極的に上位に露出させたいという要求がある。しかしながら、一般的な検索エンジンは、リンク解析のみでコンテンツまで見ていないので、有害度が高いページも上位にランクされてしまうという問題点があった。ここで、有害度とは、子供に悪影響を及ぼす語彙を含んでいる度合いの意であり、例えば、アダルトサイト→有害度が高い、官公庁のトップページ→有害度が低い、といったものである。したがって、本発明の目的は、コンテンツ（ページ）に有害度を付与することである。ただし、本明細書では、「有害」または「有害度」の用語は、猥褻的、暴力的、中傷的な表現のみならず、ウェブページに掲載するには不適切な表現もしくはそれを測る度数を含むものとする。

本発明では、上記課題に鑑み、以下のような解決手段を提供する。

（１） インターネット上のサイトの有害語彙及び有害コンテンツの評価付与を行う評価付与装置であって、
所定の有害ＵＲＬリストを取得し、該有害ＵＲＬリストに含まれるＵＲＬを随時アクセスして該ＵＲＬサイトのコンテンツを収集するクローラ部と、
前記コンテンツのデータを格納するコンテンツ・リポジトリ部と、
前記コンテンツ・リポジトリ部から前記コンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算する語彙有害評価付与部と、
前記語彙有害評価付与部が計算した前記語彙の有害度数から前記コンテンツの有害度数を計算するコンテンツ有害評価付与部と、
を備えたことを特徴とする、評価付与装置。

本評価付与装置は、予め定義された有害サイトのＵＲＬリストを入力とし、インターネット上の様々な有害サイトを自動的に探索（クロール）するクローラ部を備える。そして、探索したＵＲＬのコンテンツのデータをコンテンツ・リポジトリ部（データベース）に蓄積、格納する。さらに、コンテンツ・リポジトリ部からコンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算する語彙有害評価付与部を備える。さらに、語彙有害評価付与部が計算した語彙の有害度数から前記コンテンツの有害度数を計算するコンテンツ有害評価付与部を備えている。なお、評価付与（レイティング）とは、対象となる物事に対して、ある基準を適用して、等級分けをしたり、度合いを測ることをいう。

このような構成を備えることによって、インターネット上の膨大なウェブサイトに含まれるデータから、その語彙（単語、またはフレーズ）を自動的に集めて、その語彙ごとに所定の「ブラック度数」と所定の「グレー度数」を計算して、その値を用いて語彙の有害度数（語彙有害評価付与度）を定量的に計算することができる。さらに、その語彙を含んだコンテンツの有害度（コンテンツ有害評価付与度）も定量的に計算することができる。

この評価付与装置を作動させることによって、これまで目視で確認して分類していた有害用語や有害ウェブサイトを自動で収集することができる。さらに、上記で収集した用語やウェブサイト情報に基づいて、ペアレンタル・コントロールを行うことで、高精度にフィルタリングを行うことができる。

また、本評価付与装置は、語彙有害評価付与部に下記の（２）〜（５）に記載の計算式を用いて、計算する演算手段を構成として備えることで、ブラック度数やグレー度数から語彙ｔの有害度数であるＳＯ（ｔ）（Ｓｅｍａｎｔｉｃ Ｏｒｉｅｎｔａｔｉｏｎの略）を定量的に求めることができる。もちろん、計算式はこれに限定されるものでなく、他の公知の計算、例えば、非特許文献１に記載の計算方法を応用することも可能である。すなわち、この演算手段部分は他の計算式を用いたものと交換可能である。

（２） 前記所定のブラック度数であるＡＶＧ＿Ｂｌａｃｋ（ｔ）は、下記数１式によって計算することを特徴とする、（１）に記載の評価付与装置。

ｔ：単語またはフレーズ（形態素）
Ｂｌａｃｋ_ｉ： ｉ番目のブラック・ワード
Ｒ（Ｘ，Ｙ）：単語またはフレーズＸと単語またはフレーズＹのシンプソン係数
ｍ：ブラック・ワードの数

（３） 前記所定のグレー度数であるＡＶＧ＿Ｇｒａｙ（ｔ）は、下記数２式によって計算することを特徴とする、（１）または（２）に記載の評価付与装置。

Ｇｒａｙ_ｊ： ｊ番目のグレー・ワード
ｎ：グレー・ワードの数

（４） 前記語彙の有害度数であるＳＯ（ｔ）は、下記数３式によって計算することを特徴とする、（１）乃至（３）に記載の評価付与装置。

α、β：閾値

さらに、本装置は、下記（５）に記載の計算式を用いた演算手段を備えることによって、コンテンツの有害度数ＳＯ（ｃ）を定量的に求めることができる。この演算手段部分は他の計算式を用いたものと交換可能とする。

（５） 前記コンテンツの有害度数ＳＯ（ｃ）は、下記数４式によって計算することを特徴とする、（１）乃至（４）に記載の評価付与装置。

ｃ：コンテンツ
γ：総単語またはフレーズに占めるＳＯ（ｔ）＞０の単語またはフレーズの比率
ｌ：コンテンツ内のＳＯ（ｔ）＞０の単語またはフレーズ数

（６） 前記ブラック・ワードは、複数のブラック・ワード候補の語彙に対して、操作員の目視判定結果と、該ブラック・ワード候補の語彙を含むサイトのＵＲＬをフィルタリングするツールの判定結果と、有害語辞書による判定結果を、それぞれ組み合わせることによって選別して、ブラック・ワードリストとして入力されることを特徴とする、（２）に記載の評価付与装置。

このような構成によれば、ブラック・ワード（単語だけでなくフレーズも含む）は、人間の目視判定結果、すなわち、例えば、５人中４人以上がブラックであると判定した結果を判定データとして取り込み、さらに、既存のＵＲＬフィルタリング・ツールを用いた判定データ、及び、既存の有害辞書を用いた判定データを取り込み、それらの判定データを組み合わせて、あるいは順次判定処理を行わせることによって絞り込みブラック・ワードの選別を行う。このように選別されたブラック・ワードに対して、本評価付与装置の有害度の評価付与を行うことで、さらに精度の向上が期待できる。

以上の説明は、解決手段を評価付与装置として実現する態様で行ったが、下記（７）または（８）の態様のように、本発明は、上記の機能をコンピュータに実行させるコンピュータ・プログラム（ソフトウェア）、または、その処理方法として捉えることができる。

（７） 前記グレー・ワードは、複数のグレー・ワード候補の語彙に対して、操作員のブラックでないという目視判定結果と、該グレー・ワード候補の語彙を含むサイトのＵＲＬをフィルタリングするツールのブラックでないという判定結果と、有害語辞書によるブラックでないという判定結果をそれぞれ組み合わせることによって選別して、グレー・ワードリストとして入力されることを特徴とする、（３）に記載の評価付与装置。

このような構成によれば、（６）のブラック・ワードの選別と同様に、グレー・ワード（単語だけでなくフレーズも含む）についても同様な処理を行う。例えば、５人中１人以上がブラック・ワードと判定した語をグレー・ワード候補とし、次に、既存のＵＲＬフィルタリング・ツールや有害辞書によるフィルタリングがブラックでないと判定した結果を加えていき、グレー・ワードの選別を絞り込んでいくことができる。このように選別されたグレー・ワードに対して、本評価付与装置の有害評価付与を行うことで、さらに精度の向上が期待できる。

（８） ウェブページにおける検索結果のリストから有害と判定されたウェブサイトを下位に表示するか、または削除して前記検索結果の画面に表示する、（１）乃至（７）に記載の評価付与装置。

以上の（１）〜（８）の説明は、本発明の解決手段を、評価付与装置として実現する態様であるが、下記（９）または（１０）の態様のように、本発明は、上記の機能をコンピュータに実行させるコンピュータ・プログラム（ソフトウェア）、または、その処理方法として捉えることができる。このような態様によって、（１）と同様な作用効果を得ることができる。

（９） インターネット上のサイトの有害語彙及び有害コンテンツの評価付与を行うためのコンピュータ・プログラムであって、
コンピュータに、
所定の有害ＵＲＬリストを取得し、該有害ＵＲＬリストに含まれるＵＲＬを随時アクセスして該ＵＲＬサイトのコンテンツを収集するステップと、
前記コンテンツのデータを格納するステップと、
前記格納されたデータから前記コンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算するステップと、
前記計算した前記語彙の有害度数から前記コンテンツの有害度数を計算するステップと、
を実行させることを特徴とする、コンピュータ・プログラム。

（１０） インターネット上のサイトの有害語彙及び有害コンテンツの評価付与を行うための方法であって、
所定の有害ＵＲＬリストを取得し、該有害ＵＲＬリストに含まれるＵＲＬを随時アクセスして該ＵＲＬサイトのコンテンツを収集するステップと、
前記コンテンツのデータを格納するステップと、
前記格納されたデータから前記コンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算するステップと、
前記計算した前記語彙の有害度数から前記コンテンツの有害度数を計算するステップと、
を含むことを特徴とする、方法。

本発明によれば、今まで目視で確認して分類していた有害用語や有害ウェブサイトを自動で収集することができる。さらに、上記で収集した用語やウェブサイト情報に基づいて、ペアレンタル・コントロールを行うことで、漏れなくフィルタリングを行うことができる。

以下、本発明の実施形態について図を参照しながら説明する。

［評価付与装置の構成、処理フロー］
図１は、評価付与装置１０の機能ブロックの概略を示す図である。本装置は、入力部１１、クローラ部１２、コンテンツ・リポジトリ部１３、語彙有害評価付与部１４、コンテンツ有害評価付与部１５、出力部１６を含んで構成される。

有害ＵＲＬリスト２０は、それを予め所有するサイトやデータベースからのデータを、入力部１１を介して本装置に入力されるものとする。クローラ部１２は、この有害ＵＲＬリスト２０に基づいて、リストに含まれるＵＲＬの各サイトに順次アクセスし、そのサイトの内容（コンテンツ）を自動的に収集する。収集されたコンテンツのデータは、コンテンツ・リポジトリ部１３に格納される。コンテンツ・リポジトリ部１３は、一般にはデータベースであり、ＵＲＬ名、サイトアドレス、収集日時などと関連付けてコンテンツの内容が記録される。なお、クロール方法自体は、公知の手法を用いてよい。

語彙有害評価付与部１４は、コンテンツ・リポジトリ部１３からコンテンツの文字データを取り出し、形態素解析を行って、単語またはフレーズ（語彙）に分解する。ここで、形態素解析は公知の様々な方法を利用してよい。そして、得られた語彙それぞれに対して、有害評価付与処理を行って、語彙の有害評価付与（以後、これをＳＯ（ｔ）で表す）計算を行う。語彙の有害評価付与の方式の詳細は後述する。

コンテンツ有害評価付与部１５は、語彙有害評価付与部１４によって、計算された語彙の有害評価付与を基に、コンテンツの有害評価付与（以後、これをＳＯ（ｃ）で表す）計算を行う。語彙の有害評価付与の詳細は後述する。計算された語彙の有害評価付与は出力部１６を介して外部に出力され、ＵＲＬの有害度数として、サイトのフィルタリングやＵＲＬ検索結果の表示などに利用される。

図２は、上記の装置が行うコンテンツの有害評価付与の処理フローをまとめた図である。すなわち、評価付与装置１０は以下の処理を行う。
（１）外部サイトなどから有害ＵＲＬリストをクローラ部が取り込む。
（２）クローラ部はインターネット上にＵＲＬへのリクエストを発行する。
（３）（有害）コンテンツを取得する。
（４）（有害）コンテンツをコンテンツ・リポジトリに格納する。
（５）語彙の有害評価付与処理を行う。
（６）コンテンツの有害評価付与処理を行う。

［評価付与方式の詳細］
図３は、コンテンツの有害評価付与のイメージを示す図である。まず、クローラ部１２によって収集された有害ＵＲＬコンテンツ３０は、形態素解析（品詞フィルタリング）処理を行って、形態素解析済み語彙リスト４０を生成する。次に、語彙の有害評価付与計算では、予め定義されたブラック・ワードリスト５０、グレー・ワードリスト６０を用いる。ここで、グレー・ワードリストとは、ブラックかどうかの判定が難しい語を意味する。

＜有害評価付与の仮定＞
本方式では以下の２つの仮定を前提としている。
（仮定１）ブラック・ワードが出現するコンテンツでは、異なるブラック・ワードも出現しやすい。
例えば、ＵＲＬ、ｈｔｔｐ：／／ｗｗｗ．△△△△．ｃｏｍ／ｄｅｒａ／○○○○．ｈｔｍｌのコンテンツは、以下のような内容を含んでいる。

“「愛しのフ○○ラチーオ」シリーズ第５弾！ 今回ももちろんデジタルモザイクだから、見たい部分がはっきり、くっきり、すっきりですよ！ フ○○チオ大好きな１７人のギャルが自慢のフ○○テクでザー○ン味くらべ。”

これを、ある検索エンジンによる共起ヒット数を調べると下記のようになった。
「フ○○ラチオ」と「フ○○ラテク」の共起ヒット数→５１，７００件
「フ○○ラチオ」と「ザー○メン」の共起ヒット数→５１３，０００件
「フ○○ラテク」と「ザー○メン」の共起ヒット数→５４，３００件

（仮定２）グレー・ワードが出現するコンテンツでは、異なるグレー・ワードも出現しやすい。
例えば、ＵＲＬ、ｈｔｔｐ：／／ｂｌｏｇｓ．▲▲▲▲．ｃｏ．ｊｐ／■■■■．ｈｔｍｌのコンテンツは以下のような内容を含んでいる。

“．．．これＲ−指定かかるシーンまであるｗｗｗ、まぁ原作がなにぶんエロゲーなのでしょうがないといえばしょうがないのですが、じゃあ１８禁とかちゃんと書いといてくださいよ、いやもしそうでも買いますけども．．．”

これを、ある検索エンジンによる共起ヒット数を調べると、「エロゲー」と「１８禁」の共起ヒット数→８５８，０００件となった。したがって、アプローチとしては、コーパスから共起情報を獲得し、ブラック・ワードとグレー・ワードのどちらと共起しやすいかをモデル化する方式をとった。

＜語彙の有害評価付与度＞
具体的には、語彙有害評価付与部１４の演算手段は、下記数５〜７式によって、語彙の有害評価付与度を求める。

ここで、
ｔ：単語またはフレーズ（形態素）
α、β：閾値
Ｂｌａｃｋ_ｉ： ｉ番目のブラック・ワード
Ｒ（Ｘ，Ｙ）：数８式で表される単語またはフレーズＸと単語またはフレーズＹのシンプソン係数（１に近いほど関連性が高い）。
ＳＯ（ｔ）：ｔの有害度（０〜１の範囲）。１に近いほどブラック度が高い。

図４は、語彙の有害評価付与方式のイメージを示す図である。

ここで、ＳＯ（ｔ）の特徴としては、
・Ｂｌａｃｋ軸に寄っているほどスコアが高い。（Ｂによる影響）
・ＡＶＧ＿Ｂｌａｃｋ（ｔ）が大きいほどスコアが高い。（Ａによる影響）
が挙げられる。

また、図中のＢによる影響としては、
・Ｂｌａｃｋ軸に寄っているほど、ＳＯ（ｔ）は大きくなる。
例えば、（ＡＶＧ＿Ｂｌａｃｋ（ｔ），ＡＶＧ＿Ｇｒａｙ（ｔ））＝（０．９，０．３）の場合は、ＳＯ（ｔ）は０．８５３８となり、同様に、（０．３，０．９）の場合は、０．０９４８となる。
・ＡＶＧ＿Ｂｌａｃｋ（ｔ）が大きいほど、ＳＯ（ｔ）は大きくなる。
例えば、（０．９，０．３）→０．８５３８、（０．５，０．３）→０．４２８７となる。
・ＡＶＧ＿Ｇｒａｙ（ｔ）が小さいほど、ＳＯ（ｔ）は大きくなる。
例えば、（０．９，０．３）→０．８５３８、（０．９，０．１）→０．８９４４となる。

また、図中のＡによる影響としては、
・角度θが同じ場合、ＡＶＧ＿Ｂｌａｃｋ（ｔ）が大きいほど、ＳＯ（ｔ）は大きくなる。
例えば、（１．０，１．０）→０．７０７１、（０．５，０．５）→０．３５３５となる。

＜ブラック・ワードとグレー・ワード用のデータ収集方法＞
データとしては、一般有害用語辞書（例えば、アダルト、グラビア、出会い系）や有害検索キーワードを母集団とする。語彙の選別方法としては、
・形態素解析
・日本語の単語またはフレーズ（Ａｌｐｈａｂｅｔ以外）の抽出
・「バスト」、「ソープ」など、ダイエットやファッションの用途で使われている場合がほとんどである語の除去
以上の選別によって、今回収集できた語彙数は４４１語であった。

＜ブラック・ワードの選別方法＞
まず、目視チェックによって、５人中４人以上がブラックと判定し、次に、ＵＲＬフィルタリング判定（対象語のＷｅｂ検索結果ＵＲＬに対するチェック）やワードフィルタリング判定などのツールによるブラック判定を行った。その結果、今回収集できた語彙数は２２語となった。このようにして、生成されたブラック・ワードリストは評価付与装置１０の語彙有害評価付与部１４の入力として用いられる。なお、上記の判定の順序は入れ替えて行ってもよい。

ここで、ＵＲＬフィルタリング判定（対象語のウェブ検索結果ＵＲＬに対するチェック）は、次のステップにより実行される。
（１） 有害ＵＲＬを収集する。
（２） 対象語のウェブ検索結果のＵＲＬをチェックし、（１）で収集したＵＲＬが含まれているかチェックする。
（３） （２）でＵＲＬが含まれていればブラックとする。

また、ワードフィルタリング判定は、次のステップにより実行される。
（１） 有害ワードを収集する。
（２） 対象語が（１）に含まれているかをチェックする。
（３） （２）で含まれていればブラックとする。

＜グレー・ワードの選別方法＞
まず、目視チェックとして、５人中１人以上がブラックと判定し、次に、ＵＲＬフィルタリング判定（対象語のＷｅｂ検索結果ＵＲＬに対するチェック）やワードフィルタリング判定などのツールによるブラックでない判定を行った。その結果、今回収集できた語彙数は２９３語となった。このようにして、生成されたグレー・ワードリストは評価付与装置１０の語彙有害評価付与部１４の入力として用いられる。ＵＲＬフィルタリング判定、ワードフィルタリング判定については、前述のステップと同様である。なお、上記の判定の順序は入れ替えて行ってもよい。

＜コンテンツの有害評価付与方式＞
具体的には、コンテンツ有害評価付与部１５の演算手段は、コンテンツｃの有害評価付与度ＳＯ（ｃ）を下記の数９式で求める。

ｔ：単語またはフレーズ（形態素）
ｃ：コンテンツ
γ：総単語またはフレーズに占めるＳＯ（ｔ）＞０の単語またはフレーズの比率、または０≦γ≦１の任意の値で調整可能
ｌ：コンテンツ内のＳＯ（ｔ）＞０の単語またはフレーズ数
ＳＯ（ｔ）：ｔの有害度（０〜１の範囲）。１に近いほどブラック性が高い。
ＳＯ（ｃ）：ｃの有害度（０〜１の範囲）。１に近いほどブラック性が高い。

［具体的計算例］
図５、図６、図７は、実際のＵＲＬサンプルの評価付与計算例を示した図である。なお、以降の記載では、固有名詞、及び記載するのに差しさわりのある用語は、一部を伏せ字に置き換えている。

ここでは、例として、ＵＲＬ、ｈｔｔｐ：／／ｗｗｗ．▲▲▲▲．ｃｏｍ／ｄｅｒａ／●●●●●●．ｈｔｍｌのコンテンツとして以下の記述を調べた。

“「愛しのフ○○チーオ」シリーズ第５弾！ 今回ももちろんデジタルモザイクだから、見たい部分がはっきり、くっきり、すっきりですよ！ フ○○チオ大好きな１７人のギャルが自慢のフ○○テクでザー○ン味くらべ。”

図８、図９は、別のＵＲＬサンプルの評価付与計算例を示す図である。ここでは、ＵＲＬ、ｈｔｔｐ：／／△△△△．ｃｏ．ｊｐ／○○○○○／ＸＸＸＸＸＸ．ｈｔｍｌのコンテンツとして以下の記述を調べた。

“．．．これＲ−指定かかるシーンまであるｗｗｗ まぁ原作がなにぶんエロゲーなのでしょうがないといえばしょうがないのですが じゃあ１８禁とかちゃんと書いといてくださいよ、いやもしそうでも買いますけども．．．”

以下に、実際のサンプル適用例を２つ示す。

［サンプル適用例１（「ランジェリー」でブログ検索した場合］
図１０は、サンプル適用例１として、「ランジェリー」で通常のブログ検索した場合の検索結果の画面を示す図である。この検索結果で図中のかっこ内の数値が求められたコンテンツの有害度であり、コンテンツのタイトル欄の横に表示されている。

［サンプル適用例２（「ランジェリー」でブログ検索した場合＋有害フィルタ）］
図１１は、サンプル適用例２として、「ランジェリー」で通常のブログ検索した結果に、更に有害フィルタをかけた場合の検索結果の画面を示す図である。ここで、有害フィルタの閾値α、βとして０．０２を用いているが、この値は、管理者または利用者が変更可能とする。この検索結果では、図中のかっこ内の数値が求められたコンテンツの有害度であるが、閾値以上の有害度を示すコンテンツを持つページは、検索結果から削除されて表示されている。このように、有害度を単に検索結果に表示するだけでなく、所定の閾値を超えたページを自動的に表示させないことで、子供などの利用者にも安心して検索エンジンを使用させることができる。

［応用例］
なお、本発明は、以下のような応用（一部）も可能である。

（１）語彙の有害度を知りたい場合
・有害語彙の検知を行う。
文書分類やクラスタリングなどで、どの語が原因で有害と判定されたかの分析を行う。また、有害用語であるかどうか判断が難しい語彙の裏付けを行う。

（２）コンテンツ（ページ）の有害度を知りたい場合
・検索問題への適用
有害度の高いページの検索ランキングを低くしたり、排除したりする。また、有害度の低いページを積極的に上位に露出させる。あるいは、リンク解析技術と組み合わせて検索結果のランキングを行う。
・文書分類・クラスタリング問題への適用
有害か、そうでないかというような２値分類とは異なる分類を行う。または、有害ページの検知を行う。

［評価付与装置１０のハードウェア構成］
図１２は、本発明の好適な実施形態の一例に係る評価付与装置１０のハードウェア構成を示す図である。

評価付与装置１０は、制御部１３０を構成するＣＰＵ１３１（マルチプロセッサ構成ではＣＰＵ１３２など複数のＣＰＵが追加されてもよい）、バスライン１０５、通信Ｉ／Ｆ（Ｉ／Ｆ：インターフェイス）１２０、メインメモリ１７０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１８０、ＵＳＢポート１９０、Ｉ／Ｏコントローラ１６０、キーボード及びマウスなどの入力装置１１０、並びに表示装置１４０を備える。

Ｉ／Ｏコントローラ１６０には、テープドライブ１５１、ハードディスク１５３、光ディスクドライブ１５２、及び半導体メモリ１５４などの記憶装置１５０を接続することができる。

ＢＩＯＳ１８０は、評価付与装置１０の起動時にＣＰＵ１３１が実行するブートプログラムや、評価付与装置１０のハードウェアに依存するプログラムなどを格納する。

ハードディスク１５３は、評価付与装置１０として機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶する。

光ディスクドライブ１５２としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１５２１を使用する。光ディスク１５２１から光ディスクドライブ１５２によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１６０を介してメインメモリ１７０またはハードディスク１５３に提供することもできる。また、同様にテープドライブ１５１に対応したテープメディア１５１１を主としてバックアップのために使用することもできる。

評価付与装置１０に提供されるプログラムは、ハードディスク１５３、光ディスク１５２１、またはメモリカードなどの記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１６０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１２０を介してダウンロードされることによって、評価付与装置１０にインストールされ実行されてもよい。

上述のプログラムは、内部または外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、ハードディスク１５３、光ディスク１５２１、またはメモリカードの他に、ＭＤなどの光磁気記録媒体、テープメディア１５１１を用いることができる。また、専用通信回線やインターネットなどの通信回線に接続されたサーバシステムに設けたハードディスク１５３または光ディスクライブラリなどの記憶装置を記録媒体として使用し、通信ネットワークを介してプログラムを評価付与装置１０に提供してもよい。

ここで、表示装置１４０は、ユーザによるデータの入力を受け付ける画面を表示したり、評価付与装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）などのディスプレイ装置を含む。

ここで、入力装置１１０は、操作員による入力の受け付けを行うものであり、キーボード及びマウスなどにより構成してよい。

また、通信Ｉ／Ｆ１２０は、評価付与装置１０を専用ネットワークまたは公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１２０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。

以上の例は、評価付与装置１０のハードウェア構成について主に説明したが、一般的なコンピュータに、プログラムをインストールして、そのコンピュータを、評価付与装置１０として動作させ、上記で説明した機能を実現することもできる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。

評価付与装置１０の機能ブロックの概略を示す図である。 コンテンツの有害評価付与の処理フローを示す図である。 コンテンツの有害評価付与のイメージを示す図である。 語彙の有害評価付与方式のイメージを示す図である。 実際のＵＲＬサンプルの評価付与計算例（その１）示す図である。 実際のＵＲＬサンプルの評価付与計算例（その２）を示す図である。 実際のＵＲＬサンプルの評価付与計算例（その３）を示す図である。 別のＵＲＬサンプルの評価付与計算例（その１）を示す図である。 別のＵＲＬサンプルの評価付与計算例（その２）を示す図である。 サンプル適用例１（「ランジェリー」でブログ検索した場合の検索結果を示す図である。 サンプル適用例２（「ランジェリー」でブログ検索した場合＋有害フィルタ（閾値０．０２）の検索結果を示す図である。 評価付与装置１０のハードウェア構成を示す図である。

符号の説明

１０ 評価付与装置
１１ 入力部
１２ クローラ部
１３ コンテンツ・リポジトリ部
１４ 語彙有害評価付与部
１５ コンテンツ有害評価付与部
１６ 出力部
２０ 有害ＵＲＬリスト
３０ 有害ＵＲＬコンテンツ
４０ 形態素解析済み語彙リスト
５０ ブラック・ワードリスト
６０ グレー・ワードリスト

Claims (10)

1. インターネット上のサイトの有害語彙及び有害コンテンツの評価付与を行う評価付与装置であって、
   所定の有害ＵＲＬリストを取得し、該有害ＵＲＬリストに含まれるＵＲＬを随時アクセスして該ＵＲＬサイトのコンテンツを収集するクローラ部と、
   前記コンテンツのデータを格納するコンテンツ・リポジトリ部と、
   前記コンテンツ・リポジトリ部から前記コンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算する語彙有害評価付与部と、
   前記語彙有害評価付与部が計算した前記語彙の有害度数から前記コンテンツの有害度数を計算するコンテンツ有害評価付与部と、
   を備えたことを特徴とする、評価付与装置。
2. 前記所定のブラック度数であるＡＶＧ＿Ｂｌａｃｋ（ｔ）は、所定の選別されたブラック・ワードを基に、下記数１式によって計算することを特徴とする、請求項１に記載の評価付与装置。
   

   

   ｔ：単語またはフレーズ（形態素）
   Ｂｌａｃｋ_ｉ： ｉ番目のブラック・ワード
   Ｒ（Ｘ，Ｙ）：単語またはフレーズＸと単語またはフレーズＹのシンプソン係数
   ｍ：ブラック・ワードの数
3. 前記所定のグレー度数であるＡＶＧ＿Ｇｒａｙ（ｔ）は、所定の選別されたグレー・ワードを基に、下記数２式によって計算することを特徴とする、請求項１または２に記載の評価付与装置。
   

   

   Ｇｒａｙ_ｊ： ｊ番目のグレー・ワード
   ｎ：グレー・ワードの数
4. 前記語彙の有害度数であるＳＯ（ｔ）は、下記数３式によって計算することを特徴とする、請求項１乃至３に記載の評価付与装置。
   

   

   α、β：閾値
5. 前記コンテンツの有害度数ＳＯ（ｃ）は、下記数４式によって計算することを特徴とする、請求項１乃至４に記載の評価付与装置。
   

   

   ｃ：コンテンツ
   γ：総単語またはフレーズに占めるＳＯ（ｔ）＞０の単語またはフレーズの比率
   ｌ：コンテンツ内のＳＯ（ｔ）＞０の単語またはフレーズ数
6. 前記ブラック・ワードは、複数のブラック・ワード候補の語彙に対して、操作員の目視判定結果と、該ブラック・ワード候補の語彙を含むサイトのＵＲＬをフィルタリングするツールの判定結果と、有害語辞書による判定結果を、それぞれ組み合わせることによって選別して、ブラック・ワードリストとして入力されることを特徴とする、請求項２に記載の評価付与装置。
7. 前記グレー・ワードは、複数のグレー・ワード候補の語彙に対して、操作員のブラックでないという目視判定結果と、該グレー・ワード候補の語彙を含むサイトのＵＲＬをフィルタリングするツールのブラックでないという判定結果と、有害語辞書によるブラックでないという判定結果を、それぞれを組み合わせることによって選別して、グレー・ワードリストとして入力されることを特徴とする、請求項３に記載の評価付与装置。
8. ウェブページにおける検索結果のリストから有害と判定されたウェブサイトを下位に表示するか、または削除して前記検索結果の画面に表示する、請求項１乃至７に記載の評価付与装置。
9. インターネット上のサイトの有害語彙及び有害コンテンツの評価付与を行うためのコンピュータ・プログラムであって、
   コンピュータに、
   所定の有害ＵＲＬリストを取得し、該有害ＵＲＬリストに含まれるＵＲＬを随時アクセスして該ＵＲＬサイトのコンテンツを収集するステップと、
   前記コンテンツのデータを格納するステップと、
   前記格納されたデータから前記コンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算するステップと、
   前記計算した前記語彙の有害度数から前記コンテンツの有害度数を計算するステップと、
   を実行させることを特徴とする、コンピュータ・プログラム。
10. インターネット上のサイトの有害語彙及び有害コンテンツの評価付与を行うための方法であって、
    所定の有害ＵＲＬリストを取得し、該有害ＵＲＬリストに含まれるＵＲＬを随時アクセスして該ＵＲＬサイトのコンテンツを収集するステップと、
    前記コンテンツのデータを格納するステップと、
    前記格納されたデータから前記コンテンツの文字データに含まれる語彙を抽出し、該語彙の所定のブラック度数と所定のグレー度数を求めて、語彙の有害度数を計算するステップと、
    前記計算した前記語彙の有害度数から前記コンテンツの有害度数を計算するステップと、
    を含むことを特徴とする、方法。

Images