JP2010191710A - ジャンル判定辞書作成装置、ジャンル判定装置及び方法 - Google Patents

Abstract

【課題】Ｗｅｂページが属するジャンルを判定する精度を向上させるための辞書を作成する装置又は方法を提供すること。更に、作成した辞書を使用してＷｅｂページが属するジャンルを精度良く判定する装置又は方法を提供すること。
【解決手段】ジャンル判定辞書作成装置１０は、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析し、解析した形態素について、辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して生成した語句と、既知のジャンルとを対応付けて記憶し、ジャンル判定辞書３１を作成する。ジャンル判定装置２０は、ジャンル判定辞書作成装置１０が作成したジャンル判定辞書３１を備え、Ｗｅｂページを構成するテキストから形態素を再結合して語句を生成し、再結合して生成した語句がジャンル判定辞書３１に登録されているか否かを判定し、判定した結果を出力する。
【選択図】図１

Description

本発明は、ジャンル判定辞書を生成する装置、ジャンル判定辞書を使用してジャンルを判定する装置及び方法に関する。

近年、インターネットの普及により、インターネット上にはユーザが提供した多様な情報が存在し、その量は膨大である。このような膨大に存在する多様な情報の中から、求める情報を迅速的確に閲覧することができるようにする技術が工夫されている。更に、多様な情報の中から閲覧者にとって不適当な情報を自動的に規制できるようにする技術も工夫されている。

例えば、インターネット上に存在する多様な情報の閲覧をユーザに対し効果的に規制する方法を提供する特許文献１の発明が知られている。

すなわち、特許文献１の発明は、閲覧に適する度合いをスコアで表現し、ジャンル別に単語及びスコアのペアを記憶した規制ジャンル別辞書を備え、ネットワーク上の情報を自動収集し、規制ジャンル別辞書の内容を参照して、収集した情報に含まれる単語のスコアを算出し、算出したスコアに基づいて、収集した情報に対して閲覧を許可するか否かを判定している。

特開２００３−１６７９０４号公報

しかしながら、特許文献１の発明が判定するために参照する規制ジャンル別辞書のスコアは、単語がジャンルに適合する度合いを表すように設定する必要がある。そして、特許文献１には、どのように設定すれば、単語が閲覧に適する度合いをスコアで表現することができるのかについては、記載されていない。すなわち、規制ジャンル別辞書のような、判定するために参照することができる辞書を作成することは容易なことではない。

そこで、Ｗｅｂページが属するジャンルを判定する精度を向上させるための辞書を作成する装置が求められている。

本発明は、Ｗｅｂページが属するジャンルを判定する精度を向上させるための辞書を作成する装置又は方法を提供することを目的とする。更に、本発明は、作成した辞書を使用してＷｅｂページが属するジャンルを精度良く判定する装置又は方法を提供することを目的とする。

本発明では、以下のような解決手段を提供する。

（１） Ｗｅｂページが属するジャンルを判定するためのジャンル判定辞書を作成するジャンル判定辞書作成装置であって、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析する辞書作成用解析手段と、前記辞書作成用解析手段が解析した形態素について、前記辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成する辞書作成用再結合手段と、前記辞書作成用再結合手段が再結合して生成した語句と、前記Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、前記ジャンル判定辞書を作成する辞書作成手段と、を備えることを特徴とするジャンル判定辞書作成装置。

（１）の構成によれば、本発明に係るジャンル判定辞書作成装置は、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析し、解析した形態素について、辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成し、再結合して生成した語句と、Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、ジャンル判定辞書を作成する。

すなわち、本発明に係るジャンル判定辞書作成装置は、辞書作成用テキストを形態素解析し、互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して生成した語句と、ジャンルとを対応付けたジャンル判定辞書を作成する。よって、作成されたジャンル判定辞書は、再結合する前の語句では項目が細かくなりすぎて、必ずしも所定のジャンルに属するとは限らないページを該当する、と判定してしまう現象を緩和し判定の精度を向上させることができる。したがって、本発明に係るジャンル判定辞書作成装置は、Ｗｅｂページが属するジャンルを判定する精度を向上させるためのジャンル判定辞書を作成することができる。

（２） 前記辞書作成用再結合手段が再結合して生成した語句に基づいて前記ジャンルが既知のＷｅｂページを検索し、前記再結合して生成した語句が所定数以上含まれるときにのみ前記再結合して生成した語句を前記ジャンル判定辞書に登録する辞書登録手段を更に備えることを特徴とする（１）に記載のジャンル判定辞書作成装置。

（２）の構成によれば、（１）に記載のジャンル判定辞書作成装置は、再結合して生成した語句に基づいてジャンルが既知のＷｅｂページを検索し、再結合して生成した語句が所定数以上含まれるときにのみ再結合して生成した語句をジャンル判定辞書に登録する。したがって、ジャンル判定辞書作成装置は、作成したジャンル判定辞書において、再結合して生成した語句のうちＷｅｂページに所定数以上含まれる語句のみを登録するので、Ｗｅｂページが属するジャンルを判定する精度を向上させるための辞書を作成することができる。

（３） （１）又は（２）に記載のジャンル判定辞書を備え、Ｗｅｂページを構成するテキストを取得するテキスト取得手段と、前記テキスト取得手段が取得したテキストを形態素解析するテキスト解析手段と、前記テキスト解析手段が解析した形態素について、前記テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成する再結合手段と、前記再結合手段が再結合して生成した語句が前記ジャンル判定辞書に登録されているか否かを判定するジャンル判定手段と、前記ジャンル判定手段が判定した結果を出力する判定結果出力手段と、を更に備えることを特徴とするジャンル判定装置。

（３）の構成によれば、本発明に係るジャンル判定装置は、（１）又は（２）に記載のジャンル判定辞書を備え、Ｗｅｂページを構成するテキストを取得し、取得したテキストを形態素解析し、解析した形態素について、テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成し、再結合して生成した語句がジャンル判定辞書に登録されているか否かを判定し、判定した結果を出力する。

すなわち、本発明に係るジャンル判定装置は、属するジャンルが既知のＷｅｂページから形態素を再結合して生成した語句とジャンルとを記憶するジャンル判定辞書に、Ｗｅｂページを構成するテキストから形態素を再結合して生成した語句が、登録されているか否かを判定する。したがって、本発明に係るジャンル判定装置は、Ｗｅｂページが属するジャンルを精度良く判定することができる。

（４） Ｗｅｂページが属するジャンルを判定するためのジャンル判定辞書をコンピュータが作成するジャンル判定辞書作成方法であって、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析するステップと、前記形態素解析した形態素について、前記辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成するステップと、前記再結合して生成した語句と、前記Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、前記ジャンル判定辞書を作成するステップと、を備えることを特徴とするジャンル判定辞書作成方法。

（４）の構成によれば、本発明に係るジャンル判定辞書作成方法は、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析し、形態素解析した形態素について、辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成し、再結合して生成した語句と、Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、ジャンル判定辞書を作成する。したがって、本発明に係るジャンル判定辞書作成方法は、Ｗｅｂページが属するジャンルを判定する精度を向上させるためのジャンル判定辞書を作成することができる。

（５） （４）に記載のジャンル判定辞書を備えるコンピュータが、Ｗｅｂページが属するジャンルを判定するジャンル判定方法であって、Ｗｅｂページを構成するテキストを取得するステップと、前記取得したテキストを形態素解析するステップと、前記形態素解析した形態素について、前記テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成するステップと、前記再結合して生成した語句が前記ジャンル判定辞書に登録されているか否かを判定するステップと、前記判定した結果を出力するステップと、を更に備えることを特徴とするジャンル判定方法。

（５）の構成によれば、本発明に係るジャンル判定方法は、Ｗｅｂページを構成するテキストを取得し、取得したテキストを形態素解析し、形態素解析した形態素について、テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成し、再結合して生成した語句がジャンル判定辞書に登録されているか否かを判定し、判定した結果を出力する。したがって、本発明に係るジャンル判定方法は、Ｗｅｂページが属するジャンルを精度良く判定することができる。

本発明は、Ｗｅｂページが属するジャンルを判定する際に、再結合する前の語句では項目が細かくなりすぎて、必ずしも所定のジャンルに属するとは限らないページを該当する、と判定してしまう現象を緩和し判定の精度を向上させるためのジャンル判定辞書を作成することができる。

更に、本発明は、作成したジャンル判定辞書を使用してＷｅｂページが属するジャンルを精度良く判定する装置又は方法を提供することができる。

本発明の一実施形態に係るジャンル判定辞書作成装置１０の特徴を示すブロック図である。 本発明の一実施形態に係るジャンル判定辞書作成装置１０の機能を示す機能ブロック図である。 本発明の一実施形態に係るジャンル判定辞書作成装置１０又は後述するジャンル判定装置２０のハードウェア構成の一例を示す図である。 本発明の一実施形態に係る、ジャンルが既知のＷｅｂページを構成する辞書作成用テキストの例を示す図である。 本発明の一実施形態に係る再結合品詞ＤＢ４１を示す図である。 本発明の一実施形態に係るジャンル判定辞書作成装置１０におけるジャンル判定辞書３１の作成処理を示すフローチャートである。 本発明の一実施形態に係るジャンル判定辞書作成装置１０におけるジャンル判定辞書３１の登録処理を示すフローチャートである。 本発明の一実施形態に係るジャンル判定辞書３１を示す図である。 本発明の一実施形態に係るジャンル判定装置２０の機能を示す機能ブロック図である。 本発明の一実施形態に係るジャンル判定装置２０の処理内容を示すフローチャートである。 本発明の一実施形態に係る判定結果ＤＢ５１の一例を示す図である。

以下、本発明の実施形態について図を参照しながら説明する。

図１は、本発明の一実施形態に係るジャンル判定辞書作成装置１０の特徴を示すブロック図である。本発明の一実施形態に係るジャンル判定辞書作成装置１０は、辞書作成用解析手段として辞書作成用解析部１１と、辞書作成用再結合手段として辞書作成用再結合部１２と、辞書作成手段として辞書作成部１３と、を備えている。そして、ジャンル判定辞書作成装置１０は、辞書作成用テキストにおいて、形態素を再結合して生成した語句と、、既知のジャンルとを対応付けて記憶し、ジャンル判定辞書を作成する。

辞書作成用解析部１１は、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析する。例えば、Ｗｅｂページであって、アダルト、ブラック、ショッピングカート等のジャンルが既知のＷｅｂページを取得する。そして、取得した、ジャンルが既知であるＷｅｂページを構成するテキスト（後述する図４参照）を辞書作成用のテキストとして形態素解析する。

ここで、形態素解析とは自然言語で書かれた文章を形態素に分割することをいう。形態素（ｍｏｒｐｈｅｍｅ）とは、意味を持つ最小の言語単位のことで、自然言語で書かれた文章を分割する際に利用される言語単位である。例えば、「今日はいい天気です」は、「今日／は／いい／天気／です」の形態素に分割される。形態素を特徴づける素性としては、品詞、語形等がある。

すなわち、辞書作成用解析部１１は、辞書作成用テキストを形態素解析し、形態素と、品詞とを取得する。例えば、ジャンルをアダルトとしたＷｅｂページを構成する「このサイトはアダルト無料情報を提供しています。」という辞書作成用テキストは、形態素解析によって、「この／サイト／は／アダルト／無料情報／を／提供／して／います」の形態素に分割される。

辞書作成用再結合部１２は、辞書作成用解析部１１が解析した形態素について、辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成する。例えば、上述の辞書作成用テキストにおいて、再結合するための所定の品詞が名詞＋名詞である場合に、辞書作成用再結合部１２は、互いに隣接する名詞＋名詞の組合せに合致する「アダルト」（名詞）と、「無料情報」（名詞）とを再結合して「アダルト無料情報」を生成する。

辞書作成部１３は、辞書作成用再結合部１２が再結合して生成した語句と、Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、ジャンル判定辞書３１を作成する。例えば、上述の辞書作成用テキストにおいて、辞書作成部１３は、再結合して生成した「アダルト無料情報」と、既知のジャンルである「アダルト」とを対応付けて記憶し、ジャンル判定辞書３１を作成する。

図２は、本発明の一実施形態に係るジャンル判定辞書作成装置１０の機能を示す機能ブロック図である。本発明の一実施形態に係るジャンル判定辞書作成装置１０は、図１の特徴に加えて、更に、辞書登録手段として辞書登録部１４と、品詞組合せ受付手段として品詞組合せ受付部１５と、を備え、ジャンル判定辞書３１を作成する。

品詞組合せ受付部１５は、辞書作成用再結合部１２が再結合すべき所定の品詞の組合せを受け付ける。品詞組合せ受付部１５は、受け付けた品詞の組合せを再結合品詞ＤＢ４１（後述する図５参照）に記憶する。例えば、所定の品詞の組合せには、名詞と名詞との組合せ以外に、接頭辞と名詞との組合せ（真っ＋白＝真っ白）、名詞と接尾辞との組合せ（１８＋歳＝１８歳）等がある。品詞組合せ受付部１５は、これらの品詞の組合せを受け付ける。

辞書作成用再結合部１２は、辞書作成用解析部１１が解析した形態素について、辞書作成用テキストにおいて互いに隣接し、再結合品詞ＤＢ４１に記憶した品詞の組合せに合致する形態素を再結合して語句を生成する。

辞書登録部１４は、辞書作成用再結合部１２が再結合して生成した語句に基づいてジャンルが既知のＷｅｂページを検索し、再結合して生成した語句が所定数以上含まれるときにのみ再結合して生成した語句を、辞書作成部１３が作成したジャンル判定辞書３１に登録する。例えば、上述の辞書作成用テキストにおいて、辞書登録部１４は、再結合して生成した「アダルト無料情報」に基づいて、ジャンルが「アダルト」であるＷｅｂページを検索し、「アダルト無料情報」が所定数以上含まれるときにのみ「アダルト無料情報」をジャンル判定辞書３１に登録する。

図３は、本発明の一実施形態に係るジャンル判定辞書作成装置１０又は後述するジャンル判定装置２０のハードウェア構成の一例を示す図である。図中の符号ＸＸ００〜ＸＸ９０は、ジャンル判定辞書作成装置１０において１０００〜１０９０となることを表し、後述するジャンル判定装置２０において２０００〜２０９０となることを表している。

ジャンル判定辞書作成装置１０は、制御部１０００を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、Ｉ／Ｏコントローラ１０７０、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８、表示装置１０８０並びに入力装置１０９０を備える。

制御部１０００は、ジャンル判定辞書作成装置１０を統括的に制御する部分であり、ハードディスク１０７４に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

通信Ｉ／Ｆ１０４０は、ジャンル判定辞書作成装置１０を専用ネットワーク又は公共ネットワークを介して他のサーバ等と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。

ＢＩＯＳ１０６０は、ジャンル判定辞書作成装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、ジャンル判定辞書作成装置１０のハードウェアに依存するプログラム等を格納する。

Ｉ／Ｏコントローラ１０７０には、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８等の記憶手段を接続することができる。

ハードディスク１０７４は、ジャンル判定辞書作成装置１０が本発明の機能を実行するためのプログラムを記憶しており、ジャンル判定辞書３１、再結合品詞ＤＢ４１等のデータベース等を記憶している。

光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。

ジャンル判定辞書作成装置１０に提供されるプログラムは、ハードディスク１０７４、光ディスク１０７７、又はメモリカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、ジャンル判定辞書作成装置１０にインストールされ実行されてもよい。

表示装置１０８０は、ジャンル判定辞書作成装置１０による演算処理結果の画面等を表示するものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。

入力装置１０９０は、ジャンル判定辞書作成装置１０の利用者による入力の受け付けを行うものであり、キーボード及びマウス等で構成される。

図４は、本発明の一実施形態に係る、ジャンルが既知のＷｅｂページを構成する辞書作成用テキストの例を示す図である。本例は、Ｗｅｂページが存在するインターネット上の場所を示すＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）と、Ｗｅｂページが属するジャンルと、Ｗｅｂページを構成するテキストと、を対応付けた例である。Ｗｅｂページが属するジャンルは、Ｗｅｂページを目視することによって見分けたジャンルである。

ジャンル判定辞書作成装置１０は、本例のような、属するジャンルが既知のＷｅｂページを構成するテキストを形態素解析し、解析した形態素を再結合した語句と、既知のジャンルとを対応付けて、ジャンル判定辞書３１を作成する。

図５は、本発明の一実施形態に係る再結合品詞ＤＢ４１を示す図である。再結合品詞ＤＢ４１は、品詞の組合せを識別するＩＤと、品詞の組合せと、を対応付けて記憶している。

ジャンル判定辞書作成装置１０は、再結合すべき所定の品詞の組合せの指定を受け付け、再結合品詞ＤＢ４１に記憶する。そして、再結合品詞ＤＢ４１に記憶した品詞の組合せに合致する形態素を再結合して語句を生成する。

図６は、本発明の一実施形態に係るジャンル判定辞書作成装置１０におけるジャンル判定辞書３１の作成処理を示すフローチャートである。なお、本処理は、プログラム開始指令を受けて処理を開始し、プログラムの処理を実行して終了する。

ステップＳ１０１において、ＣＰＵ１０１０は、解析した形態素を再結合すべき所定の品詞の組合せを受け付ける。より具体的には、ＣＰＵ１０１０は、入力装置１０９０から品詞の組合せを受け付け、受け付けた組合せを再結合品詞ＤＢ４１に記憶する。その後、ＣＰＵ１０１０は、処理をステップＳ１０２に移す。

ステップＳ１０２において、ＣＰＵ１０１０は、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析する。より具体的には、ＣＰＵ１０１０は、属するジャンルが既知のＷｅｂページを取得し、取得したＷｅｂページの構成に基づいてＷｅｂページを構成するテキストを抽出し、抽出したテキストを形態素に分割する。その後、ＣＰＵ１０１０は、処理をステップＳ１０３に移す。

ステップＳ１０３において、ＣＰＵ１０１０は、分割した形態素を再結合する。より具体的には、ＣＰＵ１０１０は、分割した形態素について、互いに隣接する形態素を抽出し、隣接する形態素の組合せが、再結合品詞ＤＢ４１に記憶する組合せに合致する形態素の組合せを再結合して語句を生成する。その後、ＣＰＵ１０１０は、処理をステップＳ１０４に移す。

ステップＳ１０４において、ＣＰＵ１０１０は、再結合した語句と、Ｗｅｂページが属する既知のジャンルと、を対応付けて記憶しジャンル判定辞書３１を作成する。例えば、ＣＰＵ１０１０は、ジャンル判定辞書３１の再結合した語句に対応付けられたステータスを未登録状態とする（後述する図８参照）。その後、ＣＰＵ１０１０は、処理を終了する。

図７は、本発明の一実施形態に係るジャンル判定辞書作成装置１０におけるジャンル判定辞書３１の登録処理を示すフローチャートである。なお、本処理は、プログラム開始指令を受けて処理を開始し、プログラムの処理を実行して終了する。

ステップＳ１１１において、ステップＳ１０１と同様に、ＣＰＵ１０１０は、解析した形態素を再結合すべき所定の品詞の組合せを受け付ける。その後、ＣＰＵ１０１０は、処理をステップＳ１１２に移す。

ステップＳ１１２において、ステップＳ１０２と同様に、ＣＰＵ１０１０は、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析する。その後、ＣＰＵ１０１０は、処理をステップＳ１１３に移す。

ステップＳ１１３において、ステップＳ１０３と同様に、ＣＰＵ１０１０は、分割した形態素を再結合する。その後、ＣＰＵ１０１０は、処理をステップＳ１１４に移す。

ステップＳ１１４において、ＣＰＵ１０１０は、再結合して生成した語句によってジャンルが既知のＷｅｂページを検索する。より具体的には、ＣＰＵ１０１０は、ジャンルが既知のＷｅｂページを取得し、取得したＷｅｂページを、再結合して生成した語句によって検索する。その後、ＣＰＵ１０１０は、処理をステップＳ１１５に移す。

ステップＳ１１５において、ＣＰＵ１０１０は、再結合して生成した語句がＷｅｂページに所定数以上含まれるか否かを判断する。より具体的には、ＣＰＵ１０１０は、検索した語句の個数と、所定数とを比較し、検索した語句の個数が所定数以上か否かを判断する。この判断がＹＥＳの場合は処理をステップＳ１１６に移し、ＮＯの場合は処理を終了する。

ステップＳ１１６において、ＣＰＵ１０１０は、再結合した語句と、Ｗｅｂページが属する既知のジャンルと、を対応付けてジャンル判定辞書３１に登録する。例えば、ＣＰＵ１０１０は、ジャンル判定辞書３１の再結合した語句に対応付けられたステータスを登録状態とする（後述する図８参照）。その後、ＣＰＵ１０１０は、処理を終了する。

図８は、本発明の一実施形態に係るジャンル判定辞書３１を示す図である。

ジャンル判定辞書３１は、用語を識別するＩＤと、Ｗｅｂページが属するジャンルを判定するための用語と、ジャンルと、ステータスと、を対応付けて記憶している。

Ｗｅｂページが属するジャンルを判定するための用語は、ジャンル判定辞書作成装置１０が、辞書作成用テキストにより再結合して生成した語句である。ジャンルは、用語が使用されるテキストから構成されるＷｅｂページが属するジャンルである。ステータスは、その用語をジャンル判定辞書３１に記憶しただけの場合（例えば、図６のステップＳ１０４の場合）には未登録（例えば、−のマーク）とし、その用語を登録した場合（例えば、図７のステップＳ１１６の場合）には登録（図において◎のマークで示す）とする。

図９は、本発明の一実施形態に係るジャンル判定装置２０の機能を示す機能ブロック図である。本発明の一実施形態に係るジャンル判定装置２０は、テキスト取得部としてテキスト取得部２１と、テキスト解析手段としてテキスト解析部２２と、再結合手段として再結合部２３と、ジャンル判定手段としてジャンル判定部２４と、判定結果出力手段として判定結果出力部２５と、ジャンル判定辞書作成装置１０が作成したジャンル判定辞書３１と、を備えている。そして、ジャンル判定装置２０は、再結合して生成した語句によって、ジャンル判定辞書３１に基づいてＷｅｂページのジャンルを判定する。

テキスト取得部２１は、Ｗｅｂページを構成するテキストを取得する。例えば、Ｗｅｂページを構成するテキスト「１８歳未満の方のご入場を禁止します。」を取得する。

テキスト解析部２２は、テキスト取得部２１が取得したテキストを形態素解析する。例えば、上述のテキストは、「１８／歳／未満／の／方／の／ご／入場／を／禁止／し／ます」の形態素に分割される。

再結合部２３は、テキスト解析部２２が解析した形態素について、テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成する。すなわち、再結合部２３は、テキストにおいて互いに隣接し、ジャンル判定辞書作成装置１０が作成した再結合品詞ＤＢ４１に記憶した品詞の組合せに合致する形態素を再結合して語句を生成する。例えば、上述のテキストにおいて、再結合品詞ＤＢ４１に記憶した品詞の組合せが名詞＋接尾辞である場合に、再結合部２３は、互いに隣接する名詞＋接尾辞の組合せに合致する「１８」（名詞）と、「歳」（接尾辞）とを再結合して「１８歳」を生成する。あるいは、再結合品詞ＤＢ４１に記憶した品詞の組合せが名詞＋接尾辞＋接尾辞である場合に、再結合部２３は、再結合して「１８歳未満」を生成する。ジャンル判定辞書３１を作成するときにジャンル判定辞書作成装置１０が使用する再結合品詞ＤＢ４１を使用することにより、再結合部２３が再結合した語句と、ジャンル判定辞書３１に記憶する語句とで完全一致する語句が増え、判定精度が高まる。

ジャンル判定部２４は、再結合部２３が再結合して生成した語句がジャンル判定辞書３１に登録されているか否かを判定する。例えば、再結合した「１８歳未満」によりジャンル判定辞書３１を検索し、検索した「１８歳未満」のステータスが登録か否かを判断し、登録である場合に対応付けられたジャンルを記憶する。そして、再結合して生成した語句の全てについて判断し、例えば、判断した回数が所定の回数以上の中で最も判断回数の多いジャンルを当該ジャンルとして判定する。

判定結果出力部２５は、ジャンル判定部２４が判定した結果を出力する。例えば、ジャンル判定部２４が「１８歳未満」に対応付けられたジャンル「アダルト」を当該ジャンルとして判定すると、判定結果出力部２５は、Ｗｅｂページと、ジャンル「アダルト」とを対応付けて判定結果ＤＢ５１に記憶する。また、判定結果出力部２５は、当該ジャンルと判定した度合い（例えば、当該ジャンルと判断した回数を、当該ジャンルと判断した回数及び他のジャンルと判定した回数を加えた総回数で除算した値）をジャンルの判定度として判定結果ＤＢ５１に記憶する。

ジャンル判定装置２０のハードウェア構成の一例は、図３のハードウェア構成の一例を示す図と同様の図で表され、制御部２０００を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１０（マルチプロセッサ構成ではＣＰＵ２０１２等複数のＣＰＵが追加されてもよい）、バスライン２００５、通信Ｉ／Ｆ２０４０、メインメモリ２０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）２０６０、Ｉ／Ｏコントローラ２０７０、ハードディスク２０７４、光ディスクドライブ２０７６、半導体メモリ２０７８、表示装置２０８０並びに入力装置２０９０を備える。その機能は、ジャンル判定辞書作成装置１０における機能と同様であるので、説明を省略する。

図１０は、本発明の一実施形態に係るジャンル判定装置２０の処理内容を示すフローチャートである。なお、本処理は、プログラム開始指令を受けて処理を開始し、プログラムを実行し終了する。

ステップＳ２０１において、ＣＰＵ２０１０は、Ｗｅｂページを構成するテキストを取得する。より具体的には、ＣＰＵ２０１０は、Ｗｅｂページを取得し、取得したＷｅｂページの構成に基づいてＷｅｂページを構成するテキストを抽出し、取得する。その後、ＣＰＵ２０１０は、処理をステップＳ２０２に移す。

ステップＳ２０２において、ＣＰＵ２０１０は、取得したテキストを形態素解析し、形態素に分割する。その後、ＣＰＵ２０１０は、処理をステップＳ２０３に移す。

ステップＳ２０３において、ＣＰＵ２０１０は、分割した形態素を再結合する。より具体的には、ＣＰＵ２０１０は、分割した形態素について、互いに隣接する形態素を抽出し、隣接する形態素の組合せが、再結合品詞ＤＢ４１に記憶する組合せに合致する形態素の組合せを再結合して語句を生成する。そして、生成した語句の個数を記憶する。その後、ＣＰＵ２０１０は、処理をステップＳ２０４に移す。

ステップＳ２０４において、ＣＰＵ２０１０は、再結合した語句がジャンル判定辞書３１に記憶されているか否かを判断する。より具体的には、ＣＰＵ２０１０は、再結合した語句により、ジャンル判定辞書３１の用語を検索し、検索できたか否かを判断する。この判断がＹＥＳの場合は処理をステップＳ２０５に移し、ＮＯの場合は処理をステップＳ２０６に移す。

ステップＳ２０５において、ＣＰＵ２０１０は、再結合した語句に対応付けられたジャンルをカウントする。より具体的には、ＣＰＵ２０１０は、検索した用語に対応付けられたジャンルをカウントする。その後、ＣＰＵ２０１０は、処理をステップＳ２０６に移す。

ステップＳ２０６において、ＣＰＵ２０１０は、再結合した語句の全てについて処理が終了か否かを判断する。より具体的には、ＣＰＵ２０１０は、ステップＳ２０３で記憶した生成した語句の個数を１減算し０になったか否かを判断する。この判断がＹＥＳの場合は処理をステップＳ２０７に移し、ＮＯの場合は処理をステップＳ２０４に戻す。

ステップＳ２０７において、ＣＰＵ２０１０は、ジャンルごとのカウントに基づきジャンルを判定する。より具体的には、ＣＰＵ２０１０は、例えば、カウントが所定の数以上であるジャンルの中でカウントが最も多いジャンルを、取得したテキストのジャンルと判断する。その後、ＣＰＵ２０１０は、処理をステップＳ２０８に移す。

ステップＳ２０８において、ＣＰＵ２０１０は、判定結果を出力する。より具体的には、ＣＰＵ２０１０は、ジャンル判定辞書３１の用語に対応付けられているジャンルと、Ｗｅｂページ（例えば、ＷｅｂページのＵＲＬ）と、を対応付けて判定結果ＤＢ５１に記憶する。そして、例えば、ジャンル判定辞書３１の用語に対応付けられているステータス（未登録か登録か）と、ステップＳ２０５でカウントしたジャンルのカウントの総和に対する判定したジャンルのカウントの比率と、を参照し、ジャンルを判定した確からしさである判定度を、Ｗｅｂページに対応付けて判定結果ＤＢ５１に記憶する。その後、ＣＰＵ２０１０は、処理を終了する。

図１１は、本発明の一実施形態に係る判定結果ＤＢ５１の一例を示す図である。判定結果ＤＢ５１は、ＷｅｂページのＵＲＬと、判定結果ジャンルと、判定の確からしさの度合いである判定度と、を対応付けて記憶する。

判定度は、ＷｅｂページのＵＲＬをそのジャンルと判定した場合の確からしさの度合いである。例えば、Ｗｅｂページを構成するテキストから再結合して生成した語句が複数ある場合に、それぞれについてジャンル判定辞書３１に記憶されているか否かを判断し、判定度を算出する。例えば、登録されていない用語の重みを０．５とし、登録されている用語の重みを１として重みを算出する。再結合して生成した語句が１０個ある場合に、そのうちの６個はジャンルＡに対応付けられた用語で、４個はジャンルＢに対応付けられているとすると、作成されたジャンル判定辞書３１では、判定度は、６／１０×０．５＝０．３となり、登録されたジャンル判定辞書３１では、判定度は、６／１０×１＝０．６となる。このような判定度を算出することにより、Ｗｅｂページのジャンルについての判定度を客観的に提示することができる。

［テスト例］
表１は、本発明の一実施形態に係るジャンル判定辞書３１を使用するジャンル判定装置２０が、実際のＷｅｂページについて、「有害ジャンル」に属するか否かについて判定を行った結果である。テスト方法は、事前に目視で「有害」か「無害」かの判定を行ったジャンル判定済みのＷｅｂページに対し、従来のシステムにより当該Ｗｅｂページのジャンルを判定し、「有害」ジャンルに属するか否かを判定した結果と、本発明の一実施形態に係るジャンル判定辞書３１を使用するジャンル判定装置２０により、同様に当該Ｗｅｂページのジャンルを判定し、「有害」ジャンルに属するか否かを判定した結果とを比較することにより行った。従来のシステムで使用する辞書は、ジャンル判定のために登録する文字列に決まりはなく、管理者が長年の経験に基づいて手作業で作成している。

上述のように具体的なテスト手法としては、まず、Ｗｅｂページをブラウザで表示させ、目視により内容を確認し、有害であるか無害であるかを評価したリストの中から、有害と判定されたＵＲＬ２８８件と、無害と判定された（すなわち、有害ジャンルとは判定されなかった）ＵＲＬ２８８件との計５７６件の評価データを準備する。判定結果は、目視により有害とされるＷｅｂページを有害と判定する場合をＡと、目視により無害とされるＷｅｂページを有害と判定する場合をＢと、目視により有害とされるＷｅｂページを無害と判定する場合をＣと、目視により無害とされるＷｅｂページを無害と判定する場合をＤと、に分けられる（Ａ：目視有害−有害判定、Ｂ：目視無害−有害判定、Ｃ：目視有害−無害判定、Ｄ：目視無害−無害判定）。

ここで、「ａｃｃｕｒａｃｙ」は、正解率であり、（Ａ「目視有害−有害判定」＋Ｄ「目視無害−無害判定」）／５７６で計算される。ｂｌｏｃｋは、「ブロック率」すなわち、有害サイトに対する有害判定率であり、Ａ「目視有害−有害判定」／２８８で計算される。Ｏｖｅｒは、「オーバーブロック率」すなわち、無害サイトに対する有害判定率であり、Ｂ「目視無害−有害判定」／２８８で計算される。

この結果、従来システムと比較し、本発明の一実施形態に係るジャンル判定辞書３１を使用するジャンル判定装置２０の判定は、オーバーブロック率をより低く抑えることができた。これは、オーバーブロック率に関しては、長年の経験に基づいて整備してきた従来のシステムの辞書による判定よりも優れた結果であり、本発明の効果を一部裏打ちするものとして評価できる。なお、正解率及びブロック率については、ジャンル判定辞書３１を作成するための辞書作成用テキストと、再結合すべき所定の品詞の組合せとの事例を増加することにより、更に精度を上げることができると考えられる。

実施例によれば、本発明に係るジャンル判定辞書作成装置１０は、属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析し、解析した形態素について、辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成し、再結合して生成した語句と、Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、ジャンル判定辞書３１を作成する。

更に、本発明に係るジャンル判定辞書作成装置１０は、再結合すべき所定の品詞の組合せを受け付け、互いに隣接し、受け付けた品詞の組合せに合致する形態素を再結合し、再結合して生成した語句に基づいてジャンルが既知のＷｅｂページを検索し、再結合して生成した語句が所定数以上含まれるときにのみ再結合して生成した語句をジャンル判定辞書３１に登録する。したがって、ジャンル判定辞書作成装置１０は、Ｗｅｂページが属するジャンルを判定する精度を向上させるための辞書を作成することができる。

本実施例によれば、本発明に係るジャンル判定装置は、ジャンル判定辞書作成装置１０が作成したジャンル判定辞書３１を備え、Ｗｅｂページを構成するテキストを取得し、取得したテキストを形態素解析し、解析した形態素について、テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成し、再結合して生成した語句がジャンル判定辞書３１に登録されているか否かを判定し、判定した結果を出力する。したがって、ジャンル判定装置２０は、ジャンル判定辞書作成装置１０が作成したジャンル判定辞書３１を使用してＷｅｂページが属するジャンルを精度良く判定することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。

１０ ジャンル判定辞書作成装置
１１ 辞書作成用解析部
１２ 辞書作成用再結合部
１３ 辞書作成部
１４ 辞書登録部
１５ 品詞組合せ受付部
２０ ジャンル判定装置
２１ テキスト取得部
２２ テキスト解析部
２３ 再結合部
２４ ジャンル判定部
２５ 判定結果出力部
３１ ジャンル判定辞書
４１ 再結合品詞ＤＢ
５１ 判定結果ＤＢ

Claims (5)

1. Ｗｅｂページが属するジャンルを判定するためのジャンル判定辞書を作成するジャンル判定辞書作成装置であって、
   属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析する辞書作成用解析手段と、
   前記辞書作成用解析手段が解析した形態素について、前記辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成する辞書作成用再結合手段と、
   前記辞書作成用再結合手段が再結合して生成した語句と、前記Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、前記ジャンル判定辞書を作成する辞書作成手段と、
   を備えることを特徴とするジャンル判定辞書作成装置。
2. 前記辞書作成用再結合手段が再結合して生成した語句に基づいて前記ジャンルが既知のＷｅｂページを検索し、前記再結合して生成した語句が所定数以上含まれるときにのみ前記再結合して生成した語句を前記ジャンル判定辞書に登録する辞書登録手段を更に備えることを特徴とする請求項１に記載のジャンル判定辞書作成装置。
3. 請求項１又は２に記載のジャンル判定辞書を備え、
   Ｗｅｂページを構成するテキストを取得するテキスト取得手段と、
   前記テキスト取得手段が取得したテキストを形態素解析するテキスト解析手段と、
   前記テキスト解析手段が解析した形態素について、前記テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成する再結合手段と、
   前記再結合手段が再結合して生成した語句が前記ジャンル判定辞書に登録されているか否かを判定するジャンル判定手段と、
   前記ジャンル判定手段が判定した結果を出力する判定結果出力手段と、
   を更に備えることを特徴とするジャンル判定装置。
4. Ｗｅｂページが属するジャンルを判定するためのジャンル判定辞書をコンピュータが作成するジャンル判定辞書作成方法であって、
   属するジャンルが既知のＷｅｂページを構成する辞書作成用テキストを形態素解析するステップと、
   前記形態素解析した形態素について、前記辞書作成用テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成するステップと、
   前記再結合して生成した語句と、前記Ｗｅｂページが属する既知のジャンルとを対応付けて記憶し、前記ジャンル判定辞書を作成するステップと、
   を備えることを特徴とするジャンル判定辞書作成方法。
5. 請求項４に記載のジャンル判定辞書を備えるコンピュータが、Ｗｅｂページが属するジャンルを判定するジャンル判定方法であって、
   Ｗｅｂページを構成するテキストを取得するステップと、
   前記取得したテキストを形態素解析するステップと、
   前記形態素解析した形態素について、前記テキストにおいて互いに隣接し、所定の品詞の組合せに合致する形態素を再結合して語句を生成するステップと、
   前記再結合して生成した語句が前記ジャンル判定辞書に登録されているか否かを判定するステップと、
   前記判定した結果を出力するステップと、
   を更に備えることを特徴とするジャンル判定方法。

Images