JP2010009254A - 素性語選別装置、方法及びプログラム - Google Patents

Abstract

【課題】素性語を所定のルールに基づいて選別することにより、ウェブページにカテゴリを割り付ける作業負担を軽減できる素性語選別装置を提供する。
【解決手段】通信ネットワークＮ上に配信されるウェブページを特徴付ける素性語を、ウェブページに関連付けて記憶する素性語記憶手段１０と、素性語記憶手段１０に記憶されている素性語毎に、素性語を検索キーワードとした検索エンジンによる検索によって、素性語に関連付けて記憶されているウェブページが合致した頻度を示すヒット回数をカウントし、ヒット回数が、所定の閾値以上又は以下となった際に、素性語を素性語記憶手段１０から削除することにより、素性語記憶手段１０に記憶されている素性語を選別する素性語選別手段１１と、を備える。
【選択図】図２

Description

本発明は、通信ネットワーク上に配信されるウェブページを、予め定められたカテゴリ別に分類するための特徴語を選別する素性語選別装置、方法及びプログラムに関する。

近年、インターネット上に無数のウェブページが存在しており、目的にあったウェブページを検索することは容易ではない。そのため、検索エンジンが提供されているが、このような検索エンジンを使用したとしても、目的とするウェブページが検索できるとは限らない。
したがって、ＹＡＨＯＯ！ＪＡＰＡＮ（登録商標）等、いくつかのサービス業者は、検索エンジンの他に、下記非特許文献１に示すように、ウェブページをカテゴリ別に分類する分類サービスを行っており、これにより、ユーザは、目的とするウェブページを見つけやすくなっている。
［ｏｎｌｉｎｅ］、２００８年４月２１月号、ＹＡＨＯＯ！ＪＡＰＡＮカテゴリ、［２００８年４月２３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｄｉｒ．ｙａｈｏｏ．ｃｏ．ｊｐ／＞

このようなカテゴリ別に分類する分類サービスでは、カテゴリの規模が大きい（数万ノードの）場合は手作業でウェブページを分類している。カテゴリ規模が小さい（数百ノードの）場合は自動的な分類処理が多数試みられており、インターネット上に存在するウェブページに含まれる語句と、予め記憶された素性語とを対比して、その対比結果に基づいて、予め記憶された素性語に対応するカテゴリを付与している。
カテゴリの規模を大きくすると、ユーザはより意図に近い分類カテゴリを指定することができる。しかしながら、カテゴリの規模を大きくすると所属する文書の数が増え、分類処理時に取り扱う素性語の数も増加し、ウェブページにマッチするカテゴリを割り付ける作業が複雑となり時間を要することになる。また、そのような作業に耐えうる分類装置を導入するにはコストも高くつく。

本発明は、このような事情を考慮して提案されるものであり、予め記憶された素性語を所定のルールに基づいて選別することにより、ウェブページにカテゴリを割り付ける作業負担を軽減することができる素性語選別装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明者は、予め記憶された素性語を所定のルールに基づいて選別できる仕組みを見出し、本発明を想到するに至った。
本発明に係る素性語選別装置は、予め定められた一定のルールに従って素性語を素性語データベースから削除することにより、予め記憶されている素性語に基づいたカテゴリ分類処理に要する負担を軽減するものである。

（１）通信ネットワーク上に配信されるウェブページを特徴付ける素性語を、前記ウェブページに関連付けて記憶する素性語記憶手段と、
前記素性語記憶手段に記憶されている前記素性語毎に、前記素性語を検索キーワードとした検索エンジンによる検索によって、前記素性語に関連付けて前記素性語記憶手段に記憶されている前記ウェブページが合致した頻度を示すヒット回数をカウントし、前記ヒット回数が、所定の閾値以上又は以下となった際に、前記素性語を前記素性語記憶手段から削除することにより、前記素性語記憶手段に記憶されている前記素性語を選別する素性語選別手段と、
を備えることを特徴とする素性語選別装置。

（１）の発明によれば、検索エンジンによる検索によって、素性語に関連付けて素性語記憶手段に記憶されているウェブページにヒットしたヒット回数が、所定の閾値以上又は以下となった際に、その素性語を素性語記憶手段から削除するので、以下の効果を奏する。

すなわち、前記ヒット回数が所定の閾値以上となった際に、素性語を素性語記憶手段から削除するので、その素性語はありふれた用語、つまり、ウェブページを特徴づけることができない用語であると判断して、その素性語を基にしたカテゴリ分類を不可能にすることができる。

また、前記ヒット回数が所定の閾値以下となった際に、素性語を素性語記憶手段から削除するので、その素性語は一般ユーザに連想されない用語、つまり、ウェブページを特徴づけることができない用語であると判断して、その素性語を基にしたカテゴリ分類を不可能にすることができる。

そのため、真にウェブページを特徴づけるような素性語のみが素性語記憶手段に残留するため、素性語に基づいたカテゴリ分類を効率的に行うことができ、カテゴリ分類装置の導入コストを低く抑えることができる。

（２）前記素性語選別手段は、前記素性語が、前記素性語記憶手段においてその素性語に関連付けて記憶されている前記ウェブページ中に出現する出現頻度をカウントし、前記出現頻度が所定の閾値以下となった際に、前記素性語を前記素性語記憶手段から削除することにより、前記素性語記憶手段に記憶されている前記素性語を選別することを特徴とする、（１）に記載の素性語選別装置。

（２）の発明によれば、素性語に関連付けて記憶されているウェブページ中に出現する出現頻度が所定の閾値以下となった際に、その素性語を素性語記憶手段から削除するので、出現頻度が閾値以下である素性語は、ウェブユーザの作成者にとって連想されない用語、つまり、ウェブページを特徴づけることができない用語であると判断して、その素性語を基にしたカテゴリ分類を不可能にすることができる。

そのため、真にウェブページを特徴づけるような素性語のみが素性語記憶手段に残留するため、素性語に基づいたカテゴリ分類を効率的に行うことができ、カテゴリ分類装置の導入コストを低く抑えることができる。

（３）前記素性語選別手段は、前記素性語が、前記素性語記憶手段においてその素性語に関連付けて記憶されている前記ウェブページのタイトル又は本文又は概要中に出現する出現頻度をカウントし、その出現頻度が所定の閾値以下となった際に、前記素性語を前記素性語記憶手段から削除することにより、前記素性語記憶手段に記憶されている前記素性語を選別することを特徴とする、（１）に記載の素性語選別装置。

（３）の発明によれば、素性語に関連付けて記憶されているウェブページのタイトル中に出現する出現頻度が所定の閾値以下となった際に、素性語を素性語記憶手段から削除する。一般に、タイトル中の出現頻度が閾値以下である素性語は、ウェブページ中のその他の項目よりも更にウェブページ作成者の印象に依存するため、そのようなタイトル中の出現頻度が閾値以下である素性語を削除することにより、ウェブページを特徴づけるような素性語のみを素性語記憶手段に残すことができる。

（４）コンピュータが、
予め前記コンピュータに記憶され、通信ネットワーク上に配信されるウェブページを特徴付ける素性語毎に、前記素性語を検索キーワードとした検索エンジンによる検索によって、前記素性語に関連付けて記憶されている前記ウェブページが合致した頻度を示すヒット回数をカウントし、前記ヒット回数が、所定の閾値以上又は以下となった際に、前記素性語を削除することにより、前記素性語を選別する素性語選別ステップを、少なくとも実行することを特徴とする方法。

（５）（４）に記載の方法をコンピュータに実行させることを特徴とするプログラム。

この発明によれば、真にウェブページを特徴づけるような素性語のみが素性語記憶手段に残留するため、素性語に基づいたカテゴリ分類を効率的に行うことができ、カテゴリ分類装置の導入コストを低く抑えることができる。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［素性語選別装置と関連要素の全体構成］
図１は、本実施形態に係る素性語選別装置と関連要素の全体構成を示す図である。

本実施形態に係る素性語選別装置１は、インターネット等の通信ネットワークＮと、分類装置２とに接続されている。検索装置３は、通信ネットワークＮと、素性語選別装置１とに接続されている。

分類装置２は、通信ネットワーク上のウェブページをカテゴリに分類するものである。その分類手法は種々考えられるが、例えば、以下の分類手法が考えられる。

すなわち、分類装置２は、ウェブページに含まれる文字データについて、形態素解析を行い、文章（複数の単語から構成される文字データ）を単語毎に分けて、分けた単語を品詞毎に分類して、特定の品詞（例えば名詞）のみを抽出する。そして、後述する素性語データベース１２（図２参照）に記憶された素性語の中に、一致する素性語があるか否かを判断し、一致するものがあれば、一致した素性語に関係付けられたカテゴリとの平均相互情報量により、平均相互情報量が所定値以上である場合には、当該カテゴリを、このウェブページのカテゴリとする。

なお、平均相互情報量平均相互情報量の算出には、例えば、以下の式が使用される。

ＭＩ（ｗ，ｃ）：形態素となる単語ｗとカテゴリｃの間の平均相互情報量
Ｐを確率として、Ｐ（Ｘ，Ｙ）は、「Ｘ」と「Ｙ」とが共起する確率であり、Ｐ（Ｘ）、Ｐ（Ｙ）は、それぞれ個別に生起する確率である。

検索装置３は、通信ネットワークＮ上に接続されたユーザ端末（図示せず）から、検索キーワードを含む検索要求（以下、クエリと呼ぶ）を受け付けて、検索キーワードにマッチするウェブページの通信アドレス、タイトル、要約を少なくとも含む検索結果を返信する。

検索装置３は、通信ネットワークＮ上に接続されたユーザ端末からクエリを受け付けるクエリ受付部３０と、検索処理部３２にクエリを送信するクエリ送信部３１と、クエリ送信部３１から送信されたクエリに基づいて、検索キーワードにマッチするウェブページを検索する検索処理部３２と、検索処理部３２により検索されたウェブページの通信アドレス、タイトル、要約を少なくとも含む検索結果を生成する検索結果生成部３３と、ユーザ端末の他に、素性語選別装置１に検索結果を送信する検索結果送信部３４と、検索履歴を記録する検索ログ記録部３５と、を備える。

［素性語選別装置の機能構成］
図２は、本実施形態に係る素性語選別装置１の機能構成の概要を示す図である。本実施形態に係る素性語選別装置１は、素性語記憶手段１０と、素性語選別手段１１と、を備える。素性語選別手段１１は、更に素性語準備処理部１３と素性語選別処理部１４を備える。

素性語記憶手段１０は、ウェブページを特徴づける単語となる素性語を予め記憶している。尚、素性語記憶手段１０の詳細については後述する。素性語選別手段１１は、分類装置２と協働した処理により、後述する所定のルールに基づいて素性語を選別する。素性語データベース１２（素性語ＤＢ）は素性語記憶手段１０の一部を構成しており、予め前記素性語を記憶している。

［素性語データベースと関連要素の構成］
図３は、素性語データベース１２と関連要素の構成の概要を示す図である。
素性語データベース１２は、構築済みのカテゴリ構造データを用いて、予め素性語ＩＤと素性語とを対応付けて記憶した素性語ＩＤテーブル１２１と、予め文書ＩＤと文書（ウェブページ）の通信アドレス（例えばＵＲＬ）とを対応付けて記憶した文書ＩＤテーブル１２２と、予め素性語ＩＤと文書ＩＤとを対応付けて記憶したＩＤ対応テーブル１２３と、後述する頻度テーブル１２４と、を備える。

素性語ＩＤテーブル１２１には、素性語に素性語ＩＤが割り付けられて記憶されている。文書ＩＤテーブル１２２には、ウェブページの通信アドレス（ＵＲＬ等）に文書ＩＤが割り付けられて記憶されている。ＩＤ対応テーブル１２３には、素性語に割り付けられた素性語ＩＤと、ウェブページに割り付けられた文書ＩＤと、該素性語が該ウェブページに出現する出現位置を表す出現位置タイプと、が対応して記憶されている。

頻度テーブル１２４には、素性語ＩＤ毎に、検索キーワードを基にした検索により、文書ＩＤテーブル１２２に記憶されているウェブページにヒットしたヒット回数が「頻度」として記憶される。図中では、検索キーワードを基にしたウェブページのヒット回数を頻度として記憶するという意味で、「頻度」がタイプ「検索」に対応して記憶される。

また、頻度テーブル１２４には、素性語ＩＤ毎に、その素性語ＩＤに対応して素性語ＩＤテーブル１２１に記憶されている素性語が、文書ＩＤテーブル１２２に記憶されているウェブページにおける「タイトル」及び「本文」中における出現頻度が記憶される。図中では、ウェブページのタイトル及び本文における素性語の出現頻度を記憶するという意味で、「頻度」が、タイプ「タイトル」及び「本文」に対応して記憶される。

素性語選別装置１は、ヒット回数及び出現頻度をカウントする対象となる素性語を、素性語ＩＤテーブル１２１を参照して抽出する。

［素性語選別装置のハードウェア構成図］
図４は、本実施形態に係る素性語選別装置のハードウェア構成を示す図である。
素性語選別装置１は、制御部３００を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０（マルチプロセッサ構成ではＣＰＵ３２０等複数のＣＰＵが追加されてもよい）、バスライン２００、通信Ｉ／Ｆ（Ｉ／Ｆ：インタフェース）３３０、メインメモリ３４０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）３５０、Ｉ／Ｏコントローラ３６０、ハードディスク３７０、光ディスクドライブ３８０、並びに半導体メモリ３９０を備える。尚、ハードディスク３７０、光ディスクドライブ３８０、並びに、半導体メモリ３９０はまとめて記憶装置４１０と呼ばれる。

制御部３００は、素性語選別装置１を統括的に制御する部分であり、ハードディスク３７０（後述）に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

通信Ｉ／Ｆ３３０は、素性語選別装置１が、インターネットＮ（図１）を介してユーザ端末等と情報を送受信する場合のネットワーク・アダプタである。通信Ｉ／Ｆ３３０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。

ＢＩＯＳ３５０は、素性語選別装置１の起動時にＣＰＵ３１０が実行するブートプログラムや、素性語選別装置１がハードウェアに依存するプログラム等を記録する。

Ｉ／Ｏコントローラ３６０には、ハードディスク３７０、光ディスクドライブ３８０、及び半導体メモリ３９０等の記憶装置４１０を接続することができる。

ハードディスク３７０は、本ハードウェアを素性語選別装置１として機能させるための各種プログラム、本発明の機能を実行するプログラム及び後述するテーブル及びレコードを記憶する。なお、素性語選別装置１は、外部に別途設けたハードディスク（図示せず）を外部記憶装置として利用することもできる。

光ディスクドライブ３８０としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク４００を使用する。光ディスク４００から光ディスクドライブ３８０によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ３６０を介してメインメモリ３４０又はハードディスク３７０に提供することもできる。

なお、本発明でいうコンピュータとは、記憶装置、制御部等を備えた情報処理装置をいい、素性語選別装置１は、記憶装置４１０、制御部３００等を備えた情報処理装置により構成され、この情報処理装置は、本発明のコンピュータの概念に含まれる。

この素性語選別装置１では、制御部３００が主として素性語選別手段１１に対応し、記憶装置４１０が主として素性語記憶手段１０に対応する。

［検索装置３のハードウェア構成］
分類装置２、検索装置３も、上述の素性語選別装置１と同様な構成を持つ。

［本発明の実施形態に係るフローチャート］
［素性語選別のための準備処理］
図５は、本発明の実施形態に係る素性語選別のための準備処理のフローチャートを示している。
Ｓ１：分類装置２は、既存のカテゴリデータを集合Ｄとする。
Ｓ２、Ｓ３：分類装置２は、集合Ｄが空でなければ、集合Ｄからカテゴリ（クラス）ｃ毎に、属する文書ｄを取り出す。
Ｓ４、Ｓ５：分類装置２は、文書ｄの素性ｆ（素性語ベクトルｆ）を生成し、素性語データベース１２を更新する。

［分類装置の訓練処理］
図６は、本発明の実施形態に係る訓練処理のフローチャートを示している。
Ｓ６〜Ｓ９：分類装置２は、既存のカテゴリデータを集合Ｄとする。集合Ｄが空でなければ、集合Ｄからカテゴリ（クラス）ｃ毎に、属する文書ｄを取り出す。分類装置２は、文書ｄの素性ｆを生成する。
Ｓ１０：素性語選別装置１は、後述する素性語選別処理を行う。
Ｓ１１：分類装置２は、選別された素性語を用いて訓練用データを書き出す。
Ｓ１２：ステップＳ７において集合Ｄが空の場合には、ステップＳ１１で書き出された訓練用データを用いて訓練を行いモデルＭを生成する。

［分類装置の予測処理］
図７は、本発明の実施形態に係る予測処理のフローチャートを示している。
Ｓ１３、Ｓ１４：分類装置２は、入力文書をｄとし、文書ｄの素性ｆを生成する。
Ｓ１５：素性語選別装置１は、後述する素性語選別処理を行う。
Ｓ１６、Ｓ１７：分類装置２は、選別された素性ｆ’をモデルＭで予測することにより、属するカテゴリｃを予測する。

［素性語選別処理］
図８は、本実施形態に係る素性語選別処理を表すフローチャートを示している。
Ｓ１８：素性ｆの要素を集合Ｅとする。
Ｓ１９、Ｓ２０：集合Ｅが空ではなければ、集合Ｅから素性要素を取り出す。尚、図中、場所ｌとは、後述するように、素性要素が位置する文書中の場所を示す。語ｔとは、素性語となりうる文書中の語を示す。
Ｓ２１：素性語ＤＢを参照して（ｌ，ｔ）を選別する。
Ｓ２２：削除対象であるどうかを判定し、削除対象であれば、ステップＳ１９に戻る。そうでなければステップＳ２３に進む。
Ｓ２３：（ｌ，ｔ）を出力し、ステップＳ１９に戻る。

［素性語選別処理の詳細］
以下に素性語選別処理の詳細について説明する。

（場所ｌ、語ｔ）の選別条件には次の種類がある。
（条件ａ） 語ｔのウェブ検索頻度が一定範囲である。
（条件ｂ） 既存カテゴリデータにおいて、場所ｌに語ｔが出現した頻度が一定範囲である。
（条件ｃ） 既存カテゴリデータにおいて、任意の場所ｌに語ｔが出現した頻度が一定範囲である。
（条件ｄ） 語ｔのウェブ検索頻度、既存カテゴリデータにおける特定場所での出現頻度が一定範囲の特定の組み合わせ条件を満たす。
ここで、場所ｌには、本文、タイトル、メタ記述、メタキーワードの種類が存在する。

以下、図９〜図１３を参照し、準備処理と選別処理に関する具体的な処理フローを条件ａ、ｂ、ｃについて示す。

［素性語選別準備処理（条件ａ）］
図９は、素性語準備処理部１３による条件ａにおける素性語選別の準備処理を示したものである。
Ｓ３０：素性ｆの要素を集合Ｅとする。
Ｓ３１、Ｓ３２：集合Ｅが空でない場合は、Ｅから素性要素（場所ｌ、語ｔ）を取り出す。集合Ｅが空の場合は、処理を終了する。
Ｓ３３、Ｓ３４：語ｔの検索頻度がＤＢに登録済みの場合は、ステップＳ３１に戻り、そうでない場合は、検索装置３によって、語ｔをインターネット検索させる。
Ｓ３５、Ｓ３６：検索装置３からのヒット件数が取得できた場合は、素性語記憶手段１０は、語ｔの検索頻度ｎをＤＢに登録する。そうでない場合は、ステップＳ３１の処理に戻る。

［素性語選別処理（条件ａ）］
図１０は、素性語選別処理部１４による条件ａにおける素性語選別処理を示したものである。
Ｓ４０：素性語ＤＢから語ｔの検索頻度を取得する。
Ｓ４１：頻度ｎが取得できた場合は、Ｓ４２に処理を移し、そうでない場合は処理を終了する。
Ｓ４２、Ｓ４４：頻度ｎが検索頻度の下限値に等しいか小さい場合は、削除判定を出力する。そうでない場合は、Ｓ４３に処理を移す。
Ｓ４３、Ｓ４４：頻度ｎが検索上限値を超える場合は、削除判定を出力する。そうでない場合は、処理を終了する。

［素性語選別準備処理（条件ｂ）］
図１１は、素性語準備処理部１３による条件ｂにおける素性語選別の準備処理を示したものである。
Ｓ５０：素性ｆの要素を集合Ｅとする。
Ｓ５１、Ｓ５２：集合Ｅが空でない場合は、Ｅから素性要素（場所ｌ、語ｔ）を取り出す。集合Ｅが空の場合は、処理を終了する。
Ｓ５３：素性語ＤＢから語ｔの場所ｌの頻度を取得する。
Ｓ５４：頻度ｎが取得できた場合は、ステップＳ５６の処理に移り、取得できなかった場合は、ステップＳ５５の処理に戻る。
Ｓ５５：素性語記憶手段１０により、語ｔの場所ｌの頻度１でＤＢに登録し、ステップＳ５１の処理に再び戻る。
Ｓ５６：ＤＢの語ｔの場所ｌの頻度を更新する。そしてステップＳ５１へ処理を移す。

［素性語選別処理（条件ｂ）］
図１２は、素性語選別処理部１４による条件ｂにおける素性語選別処理を示したものである。
Ｓ６０：素性語ＤＢから語ｔの場所ｌの頻度ｎを取得する。
Ｓ６１：頻度ｎが取得できた場合は、ステップＳ６２に移り、そうでない場合は処理を終了する。
Ｓ６２、Ｓ６４：頻度ｎが場所頻度の下限値に等しいか大きい場合は、ステップＳ６３に移り、そうでない場合は、ステップＳ６４に移り、削除判定を出力し、その後処理を終了する。
Ｓ６３、Ｓ６４：頻度ｎが場所頻度の上限値を超えない場合は、処理を終了し、そうでない場合は、ステップＳ６４に移り、削除判定を出力し、その後処理を終了する。

［素性語選別準備処理（条件ｃ）］
素性語準備処理部１３による条件ｃにおける素性選別準備処理は、図１１の条件ｂの場合と同様である。素性語準備処理部１３は、条件ｂの準備処理が行われてない場合のみ同一の処理を実行する。

［素性語選別処理（条件ｃ）］
図１３は、素性語選別処理部１４による条件ｃにおける素性語選別処理を示したものである。
Ｓ７０：素性語ＤＢから語ｔの全ての場所における頻度を取得し、合計する。
Ｓ７１：頻度合計ｎａが取得できた場合は、ステップＳ７２に移り、そうでない場合は処理を終了する。
Ｓ７２：頻度合計ｎａが場所頻度合計の下限値に等しいか大きい場合は、ステップＳ７３に移り、そうでない場合は、ステップＳ７４に移る。
Ｓ７３：頻度合計ｎａが場所頻度合計の上限値を超える場合は、ステップＳ７４に移り、そうでない場合は、処理を終了する。
Ｓ７４：削除判定を出力し、処理を終了する。

以上、本発明を実施形態に即して説明したが、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。

本実施形態に係る素性語選別装置と関連要素の全体構成を示す図である。 本実施形態に係る素性語選別装置の機能構成の概要を示す図である。 素性語データベースと関連要素の構成の概要を示す図である。 本実施形態に係る素性語選別装置のハードウェア構成を示す図である。 本発明の実施形態に係る素性語選別のための準備処理のフローチャートを示している。 本発明の実施形態に係る訓練処理のフローチャートを示している。 本発明の実施形態に係る予測処理のフローチャートを示している。 本実施形態に係る素性語選別処理を表すフローチャートを示している。 本発明の実施形態に係る素性語選別準備処理（条件ａ）のフローチャートを示している。 本発明の実施形態に係る素性語選別処理（条件ａ）のフローチャートを示している。 本発明の実施形態に係る素性語選別準備処理（条件ｂ）のフローチャートを示している。 本発明の実施形態に係る素性語選別処理（条件ｂ）のフローチャートを示している。 本発明の実施形態に係る素性語選別処理（条件ｃ）のフローチャートを示している。

符号の説明

１ 素性語選別装置
３ 検索装置
１０ 素性語記憶手段
１１ 素性語選別手段
１２ 素性語データベース

Claims (5)

1. 通信ネットワーク上に配信されるウェブページを特徴付ける素性語を、前記ウェブページに関連付けて記憶する素性語記憶手段と、
   前記素性語記憶手段に記憶されている前記素性語毎に、前記素性語を検索キーワードとした検索エンジンによる検索によって、前記素性語に関連付けて前記素性語記憶手段に記憶されている前記ウェブページが合致した頻度を示すヒット回数をカウントし、前記ヒット回数が、所定の閾値以上又は以下となった際に、前記素性語を前記素性語記憶手段から削除することにより、前記素性語記憶手段に記憶されている前記素性語を選別する素性語選別手段と、
   を備えることを特徴とする素性語選別装置。
2. 前記素性語選別手段は、
   前記素性語が、前記素性語記憶手段においてその素性語に関連付けて記憶されている前記ウェブページ中に出現する出現頻度をカウントし、前記出現頻度が所定の閾値以下となった際に、前記素性語を前記素性語記憶手段から削除することにより、前記素性語記憶手段に記憶されている前記素性語を選別することを特徴とする、請求項１に記載の素性語選別装置。
3. 前記素性語選別手段は、
   前記素性語が、前記素性語記憶手段においてその素性語に関連付けて記憶されている前記ウェブページのタイトル又は本文又は概要中に出現する出現頻度をカウントし、その出現頻度が所定の閾値以下となった際に、前記素性語を前記素性語記憶手段から削除することにより、前記素性語記憶手段に記憶されている前記素性語を選別することを特徴とする、請求項１に記載の素性語選別装置。
4. コンピュータが、
   予め前記コンピュータに記憶され、通信ネットワーク上に配信されるウェブページを特徴付ける素性語毎に、前記素性語を検索キーワードとした検索エンジンによる検索によって、前記素性語に関連付けて記憶されている前記ウェブページが合致した頻度を示すヒット回数をカウントし、前記ヒット回数が、所定の閾値以上又は以下となった際に、前記素性語を削除することにより、前記素性語を選別する素性語選別ステップを、少なくとも実行することを特徴とする方法。
5. 請求項４に記載の方法をコンピュータに実行させることを特徴とするプログラム。

Images