JP2010009307A - 特徴語自動学習システム、コンテンツ連動型広告配信コンピュータシステム、検索連動型広告配信コンピュータシステム、およびテキスト分類コンピュータシステム、並びにこれらのコンピュータプログラムおよび方法 - Google Patents

Abstract

【課題】商品カテゴリに対応した特徴語を自動的に学習する。
【解決手段】 商品カテゴリそれぞれに対応した特徴語を自動的に学習するシステムであって、カテゴリ名をクエリとして検索エンジン１４１によって最大１０００件のＷｅｂテキストを取得する手段と、前記カテゴリ名をクエリとして得られた最大１０００件のＷｅｂテキストから、特徴語候補を抽出する手段１４２ａと、抽出された特徴語候補とカテゴリとの関連度を算出する手段１４４と、各カテゴリについて、前記関連度が所定の閾値よりも高い特徴語候補を、当該カテゴリに対応した特徴語として関連付けて記憶する特徴語デーベース１４と、を備える。
【選択図】図２

Description

本発明は、特徴語自動学習システム、コンテンツ連動型広告配信コンピュータシステム、検索連動型広告配信コンピュータシステム、およびテキスト分類コンピュータシステム、並びにこれらのコンピュータプログラムおよび方法に関するものである。

近年、ブログやソーシャルネットワーキングシステムなどのＣＧＭ（Consumer Generated Media）が注目を浴び、ネット上の「クチコミ」が消費者の購買行動に大きな影響を与えている。
ＣＧＭの普及に伴い、消費者の興味・関心に即した広告を提示するコンテンツ連動型広告の市場がますます大きくなってきている。

現在運用されているコンテンツ連動型広告としては、Ｇｏｏｇｌｅアドセンス（非特許文献１参照）、マイクロアド（非特許文献２参照）などがある。
従来のコンテンツ連動型広告の配信システムでは、まず広告主が、広告に対応するキーワードを設定しておく。すると、システムがＷｅｂコンテンツを解析し、それに基づき最適な広告を掲載している。
Ｇｏｏｇｌｅアドセンスホームページ、［online］、［平成２０年６月２３日検索］、インターネット < http://www.googole.com/adsense/?hl=ja> 株式会社マイクロアドホームページ、［online］、［平成２０年６月２３日検索］、インターネット < http://www.microad.jp/>

さて、本発明者らは、商品カテゴリそれぞれに対応する特徴語を取得しておき、Ｗｅｂサイトに含まれる特徴語（キーワード）から、当該Ｗｅｂサイトを商品カテゴリによって分類し、その商品カテゴリに応じて広告を表示するという着想を得た。
このようなシステムでは、個々の広告に対して、想定される多種多様なキーワードを設定する必要がなく、個々の広告には予め決まった商品カテゴリを付与すれば足りる。したがって、広告配信システムの運用が容易となる。

ところが、このようなシステムを構築するには、商品カテゴリそれぞれに対応する特徴語を予め用意する必要が生じる。
例えば、「マスカラ」というカテゴリに対しては「アイライナー」、「アイブロウ」、「ビューラー」、「まつ毛」などといった特徴語が必要となる。

各商品カテゴリの特徴語は、カテゴリの多さや新規カテゴリの出現の問題から人手で整備するには大きなコストがかかり、自動獲得が要望される。

そこで、本発明では、カテゴリに対応した特徴語を自動的に学習するためのシステムや、カテゴリに対応した特徴語を用いて広告配信などを行うシステムを提供することを目的とする。

（１）本発明は、所定のカテゴリそれぞれに対応した特徴語を自動的に学習するシステムであって、カテゴリを示す主キーワードをクエリとして、検索エンジンによって複数のＷｅｂテキストを取得するＷｅｂテキスト取得手段と、前記主キーワードをクエリとして得られた前記複数のＷｅｂテキストから、特徴語候補を抽出する特徴語候補抽出手段と、抽出された特徴語候補とカテゴリとの関連度を算出する関連度算出手段と、各カテゴリについて、前記関連度が所定の閾値よりも高い特徴語候補を、当該カテゴリに対応した特徴語として関連付けて記憶する特徴語デーベースと、を備えることを特徴とする特徴語自動学習システムである。
上記本発明によれば、カテゴリに対応した特徴語を自動的に得ることができる。

なお、本発明において、カテゴリを示す主キーワードは、カテゴリの名前が好ましいが、カテゴリの名前に限られるものではない。また、一つのカテゴリについて、主キーワードが一つでもよいし、複数でもよい。

（２）前記関連度算出手段は、検索エンジンが検索対象とするＷｅｂテキスト群において、前記主キーワードと前記特徴語候補とが共に出現する度合いを示す共起度を、前記関連度として算出するのが好ましい。

（３）前記関連度算出手段は、前記主キーワードおよび前記特徴語候補をクエリとして検索エンジンによって検索した場合のヒットカウントに基づいて、前記関連度を算出するのが好ましい。

（４）前記関連度算出手段は、前記主キーワードおよび前記特徴語候補をクエリとして検索エンジンによって検索した場合の第１ヒットカウントと、前記主キーワードをクエリとして検索エンジンによって検索した場合の第２ヒットカウントと、前記特徴語候補をクエリとして検索エンジンによって検索した場合の第３ヒットカウントと、に基づいて、前記主キーワードと前記特徴語候補との自己相互情報量を算出するのが好ましい。

（５）一つのカテゴリについて抽出された複数の特徴語候補を絞り込んで、抽出された特徴語候補の数を少なくするための絞込処理手段を更に備え、前記関連度算出手段は、前記絞込処理手段によって絞り込まれた特徴語候補について、前記主キーワードとの関連度を算出するのが好ましい。この場合、抽出された全ての特徴語候補について、主キーワードとの関連度を算出する必要がなく、演算負荷を低減できる。

（６）前記絞込処理手段は、前記Ｗｅｂテキスト取得手段によって取得された前記複数のＷｅｂテキストにおいて、前記特徴語候補が出現する頻度に基づいて、一つのカテゴリについて抽出された複数の特徴語候補を絞り込む処理を行うのが好ましい。

（７）前記絞込処理手段は、前記Ｗｅｂテキスト取得手段によって取得された前記複数のＷｅｂテキストにおいて、前記特徴語候補が出現する第１頻度と、検索エンジンが検索対象とするＷｅｂテキスト群において、前記特徴語候補が出現する第２頻度と、に基づいて、一つのカテゴリについて抽出された複数の特徴語候補を絞り込む処理を行うのが好ましい。

（８）前記絞込処理手段は、抽出された特徴語候補それぞれについて、絞込用演算式によって絞込用スコアを算出し、当該絞込用スコアが、所定の絞込用閾値よりも大きいものを、絞り込まれた特徴語とするよう構成され、前記絞込用演算式は、第１頻度が高いと絞込用スコアが高くなり、第２頻度が高いと前記絞込用スコアが低くなるよう構成されているのが好ましい。

（９）前記特徴語候補抽出手段は、検索エンジンが検索対象とするＷｅｂテキスト群における出現頻度が、所定の頻度閾値よりも高い高頻度語を、特徴語候補から除外する手段を有するのが好ましい。この場合、一般的な語を、特徴語候補から除外することができる。

（１０）他の観点からみた本発明は、Ｗｅｂコンテンツの内容に関連した広告を配信するコンテンツ連動型広告配信コンピュータシステムであって、カテゴリそれぞれに対応する特徴語を記憶した特徴語データベースと、カテゴリそれぞれに対応する広告データを記憶した広告データベースと、広告配信対象のＷｅｂコンテンツを解析してキーワードを抽出するキーワード抽出手段と、抽出されたキーワードに基づいて前記特徴語データベースを参照し、前記Ｗｅｂコンテンツに対応する１又は複数のカテゴリを選択する選択手段と、選択されたカテゴリに基づいて前記広告データベースを参照し、選択されたカテゴリの広告データを、広告配信対象のＷｅｂコンテンツとともに表示させる手段と、を備え、前記特徴語データベースとして、上述の特徴語自動学習システムによって得られた特徴語データベースを用いることを特徴とするコンテンツ連動型広告配信コンピュータシステムである。

（１１）さて、キーワード抽出手段（口語調コンテンツ解析システム）は、解析対象であるＷｅｂテキストなどのテキストに対して、形態素解析を行ってキーワードとなる形態素を抽出する形態素解析手段と、Ｗｅｂテキストなどのテキストに口語調テキストが含まれていることによる形態素解析誤りの可能性を検出する検出手段と、形態素解析誤りの可能性が検出された形態素を、キーワードから除外する手段と、を備えることができる。このようにすることで、口語調テキストから適切にキーワードを抽出することができる。

（１２）前記検出手段は、前記キーワードとなる形態素の前または後にある形態素に基づいて、形態素解析誤りの可能性を検出するのが好ましい。

（１３）前記検出手段は、前記キーワードとなる形態素の前または後にある形態素が、ひらがな１文字、またはカタカナ１文字であって、品詞不明であると判別された場合に、前記キーワードの候補となる形態素形の態素解析誤りの可能性を検出するのが好ましい。

（１４）前記検出手段は、前記キーワードとなる形態素の前または後にある形態素が、小文字のひらがな、または小文字のカタカナ１文字である場合に、前記キーワードとなる形態素形の態素解析誤りの可能性を検出するのが好ましい。

（１５）他の観点からみた本発明は、検索キーワードに関連した広告を配信する検索連動型広告配信コンピュータシステムであって、カテゴリそれぞれに対応する特徴語を記憶した特徴語データベースと、カテゴリそれぞれに対応する広告データを記憶した広告データベースと、検索キーワードに基づいて前記特徴語データベースを参照し、前記検索キーワードに対応する１又は複数の商品カテゴリを選択する選択手段と、選択されたカテゴリに基づいて前記広告データベースを参照し、選択されたカテゴリの広告データを、Ｗｅｂサイトに表示させる手段と、を備え、前記特徴語データベースとして、上述の特徴語自動学習システムによって得られた特徴語データベースを用いることを特徴とする検索連動型広告配信コンピュータシステムである。

（１６）さらに他の観点からみた本発明は、テキストデータの分類コンピュータシステムであって、所定のカテゴリそれぞれに対応する特徴語を記憶した特徴語データベースと、分類対象のテキストデータを解析してキーワードを抽出するキーワード抽出手段と、抽出されたキーワードに基づいて前記特徴語データベースを参照し、前記テキストデータに対応するカテゴリを選択する選択手段と、を備え、前記特徴語データベースとして、上述の特徴語自動学習システムによって得られた特徴語データベースを用いることを特徴とするテキスト分類コンピュータシステムである。

（１７）さらに他の観点からみた本発明は、コンピュータを、上述の特徴語自動学習システムとして機能させるためのコンピュータプログラムである。

（１８）さらに他の観点からみた本発明は、コンピュータを、上述のコンテンツ連動型広告配信コンピュータシステムとして機能させるためのコンピュータプログラムである。

（１９）さらに他の観点からみた本発明は、コンピュータを、上述の検索連動型広告配信コンピュータシステムとして機能させるためのコンピュータプログラムである。

（２０）さらに他の観点からみた本発明は、コンピュータを、上述のテキスト分類コンピュータシステムとして機能させるためのコンピュータプログラムである。

（２１）さらに他の観点からみた本発明は、所定のカテゴリそれぞれに対応した特徴語が記憶された特徴語データベースをコンピュータによって自動的に生成する方法であって、コンピュータが、カテゴリを示す主キーワードをクエリとして、検索エンジンによって複数のｗｅｂテキストを取得するステップと、コンピュータが、前記主キーワードをクエリとして得た前記複数のＷｅｂテキストから、特徴語候補を抽出するステップと、コンピュータが、前記主キーワードと前記特徴語候補との関連度を算出するステップと、コンピュータが、各カテゴリについて、前記関連度が所定の閾値よりも高い特徴語候補を、当該カテゴリに対応した特徴語として関連付けて特徴語データベースに記憶するステップと、を含むことを特徴とする特徴語データベース自動生成方法である。

（２２）さらに他の観点からみた本発明は、Ｗｅｂコンテンツの内容に関連した広告をコンピュータによって配信する方法であって、コンピュータが、広告配信対象のＷｅｂコンテンツを解析してキーワードを抽出するステップと、コンピュータが、抽出されたキーワードに基づいて、上述の特徴語データベース自動生成方法で得られた前記特徴語データベースを参照し、前記Ｗｅｂコンテンツに対応する１又は複数のカテゴリを選択するステップと、コンピュータが、選択されたカテゴリに基づいて、カテゴリそれぞれに対応する広告データを記憶した広告データベースを参照し、選択されたカテゴリの広告データを、広告配信対象のＷｅｂコンテンツとともに表示させるステップと、を含むことを特徴とする方法である。

（２３）さらに他の観点からみた本発明は、検索キーワードに関連した広告をコンピュータによって配信する方法であって、コンピュータが、検索キーワードに基づいて、上述の特徴語データベース自動生成方法で得られた前記特徴語データベースを参照し、前記検索キーワードに対応する１又は複数のカテゴリを選択するステップと、コンピュータが、選択された商品カテゴリに基づいて、カテゴリそれぞれに対応する広告データを記憶した広告データベースを参照し、選択されたカテゴリの広告データを、Ｗｅｂサイトに表示させるステップと、を含むことを特徴とする方法である。

（２４）さらに他の観点からみた本発明は、テキストデータをコンピュータによって分類する方法であって、分類対象のテキストデータを解析してキーワードを抽出するステップと、抽出されたキーワードに基づいて、上述の特徴語データベース自動生成方法で得られた前記特徴語データベースを参照し、前記テキストデータに対応するカテゴリを選択するステップと、を含むことを特徴とする方法である。

本発明によれば、カテゴリに対応した特徴語データベースを自動的に生成することができる。

以下、本発明の実施形態を図面に基づいて説明する。なお、本発明の第１の実施形態としてコンテンツ連動型広告配信コンピュータシステムを説明し、本発明の第２の実施形態として検索連動型広告配信コンピュータシステムを説明する。

［１．コンテンツ連動型広告配信コンピュータシステム］
［１．１ システム全体構成］
図１〜図７は、第１実施形態に係るコンテンツ連動型広告配信コンピュータシステム（以下、単に「本システム」という）１を示している。
本システム１は、ブログ（ウェブログ；ｗｅｂｌｏｇ）などのＣＧＭ型のＷｅｂコンテンツとともに広告（広告データ）を、インターネット経由で配信し、ユーザ端末２の画面上にブログなどのＷｅｂコンテンツと共に広告を表示させるためのものである。

本システム１は、ブログサービスを提供するための処理を行うブログサーバ１１、ブログを解析してブログを商品カテゴリにマッピングする処理を行うマッピングサーバ１２、ブログとともに表示させる広告データを管理する広告サーバ１３、商品カテゴリそれぞれに対応する特徴語を自動学習する特徴語学習サーバ１４を備えている。

また、ブログサーバ１１はブログテキストのデータを蓄積するためのブログデータベース１１ａを備え、広告サーバ１３は広告データを蓄積した広告データベース１３ａを備え、特徴語学習サーバ１４は、特徴語データベース１４ａを備えている。

本システムにおける上記の各機能は、コンピュータプログラムがコンピュータによって実行されることによって実現される。
なお、本システム１を構成する各サーバやデータベースは、それぞれが別々のコンピュータによって構成され、それらがネットワークによって接続されていてもよいし、一つのコンピュータの中に複数のサーバやデータベースの機能を実現するコンピュータプログラムが搭載されていてもよい。

［１．２ 特徴語学習サーバ（特徴語自動学習システム）］
図２は、特徴語学習サーバ１４の機能ブロックを示している。本システム１では、広告配信のため各ブログ記事に商品カテゴリを付与する。このため、特徴語学習サーバ１４では、各カテゴリに対応した特徴語を生成する。

図３に示すように、特徴語学習サーバ１４は、所定の商品カテゴリのカテゴリ名をクエリ（検索キーワード）として、検索エンジンによって検索を行って、インターネット上から所定数のＷｅｂテキストを収集する。そして、特徴語学習サーバ１４は、あるカテゴリ名で収集されたＷｅｂテキストから特徴語を抽出し、それらの特徴語を前記カテゴリに対応付ける。

さて、本実施形態では、商品カテゴリとして、財団法人流通システム開発センターのＪＩＣＦＳ（ＪＡＮ Ｉｔｅｍ Ｃｏｄｅ Ｆｉｌｅ Ｓｅｒｖｉｃｅ）分類を用いる。ＪＩＣＦＳとは、商品情報を一元的に管理するためのデータベースシステムである。ＪＩＣＦＳ分類は、大分類、中分類、小分類、細分類の４レベルで構成されており、例えば、細分類「醤油」は、（食品）−（加工食品）−（調味料）−（醤油）という分類となっている。本実施形態では、前記細分類（２１６１カテゴリ）を商品カテゴリとして採用する。

図２に戻り、特徴語学習サーバ１４は、検索エンジン１４１と、Ｗｅｂテキストから特徴語の候補を抽出する特徴語候補抽出部１４２と、抽出された特徴語候補の絞り込みを行う絞込処理部１４３と、絞り込まれた特徴語候補それぞれとカテゴリ名との関連度（自己相互情報量）を算出する関連度算出部１４４と、関連度（自己相互情報量）と閾値との比較を行ってカテゴリに対応する特徴語を決定するための閾値比較部１４５と、を備えている。

検索エンジン１４１は、本システムに予め記憶された商品カテゴリ（ＪＩＣＦＳ分類）の各カテゴリ名Ｃをクエリ（検索キーワード）として、インターネット上のＷｅｂサーバ３、または検索エンジン自身が保有するＷｅｂテキストから所定数（最大１０００件）を取得する。
なお、商用の検索エンジンＡＰＩでは十分なテキスト量を得ることができないため、本実施形態では、本発明者らが開発した検索エンジン基盤ＴＳＵＢＡＫＩ（http://tsubaki.ixnlp.nii.ac.jp/index.cgi）を、本システム１の検索エンジン１４１として採用した。

前記特徴語候補抽出部１４２は、検索エンジン１４１によって取得したＷｅｂテキストから特徴語候補の抽出を行う。特徴語候補抽出部１４２は、Ｗｅｂテキストの形態素解析を行って所定の語を抽出する形態素解析器１４２ａと、形態素解析器によって抽出された語のうち、特徴語候補として明らかに不適切な語を除外する除外部１４２ｂと、を備えている。

形態素解析器１４２ａは、取得した最大１０００件のＷｅｂテキストに対して、形態素解析を行い、Ｗｅｂテキストを形態素（基本的語彙）に分解するとともに、各形態素の品詞を決定する。なお、この形態素解析器１４２ａでは、品詞の決定できない形態素については未定義語とする。
本実施形態では、形態素解析器１４２ａとして、日本語形態素解析システムＪＵＭＡＮ（http://nlp.kuee.kyoto-u.ac.jp/nl-resource/juman.html）を採用した。

形態素解析器１４２ａは、形態素である語のうち、品詞が名詞または未定義語である語と、その連続である複合名詞を抽出する（ただし、細分類が時相名詞のもの、ひらがな１文字、カタカナ１文字を除く）。
ここで、形態素解析器１４２ａが抽出した語は、ＪＵＭＡＮが出力する代表表記で扱う。これにより、例えば、「喉」、「のど」、「ノド」を、同一の代表表記「喉」で扱うことができ、表記の揺れを解消することができる。

形態素解析器１４２ａが抽出した多数の語（名詞、未定義語、複合名詞）には、一般的な語であって、特徴語として適切でない語（例えば、「俺」）が含まれている場合がある。このような一般的な語は、Ｗｅｂ文書における出現頻度が非常に多い。
そこで、特徴語候補抽出部１４２の除外部１４２では、形態素解析器１４２ａが抽出した多数の語のうち、Ｗｅｂテキストにおける高頻度語を特徴語の候補として不適切な語であるとして除外する。

具体的には、除外部１４２ｂは、形態素解析器１４２ａが抽出した多数の単語（形態素）それぞれを検索キーワード（クエリ）として、検索エンジン１４１によって検索を実行させる。そして、図４に示すように、形態素解析器１４２ａが抽出した各単語について、検索エンジン１４１によるヒットカウント（検索エンジンでヒットした文書数；Ｗｅｂテキストにおける出現頻度）を求める。そして、ヒットカウントが頻度閾値である２，０００，０００以上である単語については、高頻度語として破棄する。

以上の処理により、特徴語候補抽出部１４２からは、カテゴリ名Ｃによって得た所定数のＷｅｂテキストに含まれる名詞、未定義語、または複合名詞であって、高頻度語を除いたものが、カテゴリ名Ｃについての特徴語候補ｗとして出力される。

前記絞込処理部１４３では、特徴語候補抽出部１４２から出力された多数の特徴語候補ｗの絞り込みを行って、一つのカテゴリについて抽出された特徴語候補ｗの数を少なくする。前記関連度算出部１４４では、絞り込まれた特徴語候補ｗそれぞれについて、カテゴリとの関連度を計算する。
ここで、関連度算出部１４４では、特徴語候補抽出部１４２によって抽出された全特徴語候補ｗについて、カテゴリＣとの関連度を計算してもよいが、全てのカテゴリＣについて多数の特徴語候補との関連度を計算することは計算コストがかかるため、上記のように、絞込処理によって、特徴語候補ｗの数を減らした上で、関連度を計算するのが好ましい。

本実施形態の絞込処理部１４３は、絞込用スコアであるＬＤＦ・ＩＧＤＦ値を計算するためのＬＤＦ・ＩＧＤＦ計算部１４３ａを有して構成されている。絞込処理部１４３ａでは、ＬＤＦ・ＩＧＤＦ値が大きい上位Ｌ件（＝５０件）の特徴語候補ｗに絞り込む。
ＬＤＦ・ＩＧＤＦ計算部１４３ａは、下記式（１）によって、絞込用スコアであるＬＤＦ・ＩＧＤＦ値を計算する。

ここで、ＬＤＦ（ｗ）は、検索エンジン１４１によってカテゴリＣでヒットした上位１０００件のＷｅｂテキストにおいて、特徴語候補ｗが出現する文書（テキスト）数（第１頻度）である。
ＧＤＦ（ｗ）は、検索エンジン１４１が検索対象とする全てのＷｅｂテキスト（Ｗｅｂテキスト群）において、特徴語候補ｗが出現する文書（テキスト）数（第２頻度）である。
Ｎは、検索エンジン１４１が検索対象とする全てのＷｅｂテキストの数であり、本実施形態では、Ｎ＝１００，０００，０００である。

式（１）に示すように、第１頻度を示すＬＤＦ（ｗ）が大きくなると、絞込用スコアであるＬＤＦ・ＩＧＤＦ値は大きくなる。これは、カテゴリＣでヒットしたＷｅｂテキストにおける出現頻度が高いということは、カテゴリＣとの関連性が高いことを示唆していると考えられるからである。
一方、第２頻度を示すＧＤＦ（ｗ）が大きくなると、絞込用スコアであるＬＤＦ・ＩＧＤＦ値は大きくなる。これは、検索エンジン１４１が検索対象とする全てのＷｅｂテキストにおける出現頻度が高いということは、特定のカテゴリとの関連性が低いことを示唆していると考えられるからである。

そして、関連度算出部（ＰＭＩ算出部）１４４は、絞込処理部１４３によって絞り込まれた上位５０件の特徴語候補ｗと、カテゴリ名Ｃとの関連度の算出を行う。
この関連度算出部１４４は、検索エンジン１４１が検索対象とするＷｅｂテキスト群において、カテゴリ名Ｃと特徴語候補ｗとが共に出願する度合い（共起度）を、関連度として算出する。この関連度が高いものが、カテゴリＣに対応する特徴語として採用される。

具体的には、関連度算出部１４４は、各カテゴリ名Ｃについて、カテゴリ名Ｃと特徴語候補ｗとの自己相互情報量（Pointwise Mutual Information, PMI）を算出する。
ＰＭＩは、以下の式（２）に従って計算される。

ここで、Ｐ（Ｘ）は、語Ｘの生起する確率を示し、Ｈｃ（Ｘ）は、語Ｘをクエリ（検索キーワード）として検索エンジン１４１で検索した場合のヒットカウント（ヒット件数）を示す。なお、Ｈｃ（Ｘ１，Ｘ２）は、語Ｘ１と語Ｘ２のＡＮＤ検索のヒットカウントである。

関連度算出部１４４で算出された関連度（ＰＭＩ）は、閾値比較部１４５において、閾値ｔｈ（＝４）と比較される。カテゴリ名Ｃとの関連度が閾値ｔｈ＝４よりも大きい特徴語候補ｗが、カテゴリＣについての特徴語となる。
特徴語は、カテゴリに対応付けられて特徴語データベース１４ａに記憶される。なお、特徴語データベース１４ａの特徴語は、関連度（ＰＭＩ）の値とともに記憶される。
図５は、特徴語データベース１４ａの例を示している。例えば、カテゴリ「鼻炎用剤」には、特徴語として「ヒスタミン」、「鎮痛」、「気管支」、「花粉」など２３の単語が登録されている。なお、「ヒスタミン」、「鎮痛」、「気管支」、「花粉」の関連度（ＰＭＩ）は、それぞれ「５．６８７」、「５．４１０」、「５．０７５」、「４．０１０」である。

なお、特徴語とみなすためのＰＭＩの閾値ｔｈは、すべてのカテゴリで同一のため、カテゴリごとに特徴語の数が異なっている。また、ある単語が、複数のカテゴリの特徴語となる場合もある。

以上説明した処理を、各商品カテゴリについて実行することで、各カテゴリに対応する特徴語を記憶した特徴語データベース１４ａを生成することができる。
なお、特徴語データベース１４ａを生成する処理を、定期的に実行して、特徴語データベース１４ａを随時更新しても良い。

［１．３ マッピングサーバ（テキスト分類機能）］
図６は、マッピングサーバ１２の機能ブロックを示している。このマッピングサーバ１２は、個々のブログ記事（ブログテキスト）を商品カテゴリにマッピングするためのものである。

マッピングサーバ１２は、ブログテキスト（携帯ブログテキスト）からマッピング用キーワードを抽出するキーワード抽出部１２１と、抽出されたキーワードに基づいて、ブログテキストと商品カテゴリとのマッピング情報を生成するマッピング処理部１２２と、を備えている。

キーワード抽出部１２１は、ブログテキストの形態素解析を行う形態素解析器（ＪＵＭＡＮ）１２１ａと、形態素解析器による形態素解析の誤りの可能性を検出する検出部１２１ｂと、解析誤りの可能性がある「あやしい」形態素をキーワードから除外する除外部１２１ｃと、を備えている。

形態素解析器１２１ａは、特徴語の学習時と同様に、品詞が名詞（ただし、細分類が時相名詞のもの、ひらがな１文字、カタカナ１文字を除く）または未定義語の形態素（語）を抽出する。
抽出された形態素（語）は、基本的に、マッピング処理部１２２におけるスコア計算に用いられるキーワードとなる。ただし、本実施形態でマッピング対象（分類対象）とするテキストは、ＣＧＭであるブログテキスト（携帯ブログテキスト）であるため、口語調の表現が多い。このような口語調テキストに対して形態素解析を行うと、新聞テキスト等に比べて、形態素解析の誤りが多くみられる。

形態素解析誤りは、以下の例のように、特にひらがな表記の場合に目立つ
（口語調テキストの例１） 言われてたんだなぁ
上記例１の場合、形態素解析を行うと「だな」がキーワードとして抽出される可能性がある。そして、キーワード「だな」は、商品カテゴリ「たな一般」の特徴語となっているため、カテゴリ「たな一般」にスコアが与えられてしまう。

（口語調テキストの例２） 絵をぺそりと
上記例２の場合も、形態素解析を行うと「そり」がキーワードとして抽出される可能性がある。

そこで、検出部１２１ｂでは、形態素解析誤りの典型的なパターンである「あやしい」ひらがな語（形態素）を検出する。「あやしい」（＝形態素解析誤りの可能性がある）とは、以下のようなものである。
解析誤り可能性の検出規則１：前後いずれかの形態素にひらがな１文字またはカタカナ１文字の未定義語（品詞が不明の語）がある。
解析誤り可能性の検出規則２：前後いずれかの形態素が、小文字のひらがな（っ、ゃ、ゅ、ょ、ぁ、ぃ、ぅ、ぇ、ぉ）、または小文字のカタカナ（ッ、ャ、ュ、ョ、ァ、ィ、ゥ、ェ、ォ）である。

上記規則１によれば、上記例２における「そり」は、「そり」の前の「ぺ」が未定義語となるため、「そり」を「あやしい」形態素であると検出することができる。したがって、除外部１２１ｃによって「そり」がキーワードから除外される。
また、上記規則２によれば、上記例１における「だな」は、「だな」の後の「ぁ」が小さいひらがなであるため、「だな」を「あやしい」形態素であると検出することができる。したがって、除外部１２１ｃによって「だな」がキーワードから除外される。

以上のようにして抽出された語のうち、特徴語データベース１４ａにおいていずれかのカテゴリＣで特徴語となっているものがマッピング用キーワードとされ、マッピング処理部１２２に与えられる。

マッピング処理部１２２は、スコア計算部１２２ａと、マッピング部１２２ｂとを備えており、マッピング用キーワードに基づいて、スコアを計算し、スコアに基づいてブログ記事を商品カテゴリにマッピングするためのマッピング情報を生成する。

スコア計算部１２２ａは、各カテゴリＣについて、Ｓｃｏｒｅ（Ｃ）を、以下の式（３）に従って計算する。

ここで、ＰＭＩ（Ｃ，ｗ）は、カテゴリＣとキーワード（特徴語）ｗとの相互情報量（関連度）であり、特徴語データベースから取得される。ｔｆ（ｗ）は、ブログテキスト中におけるキーワードｗの頻度を示す。

式（３）によれば、ブログテキスト中に含まれるキーワードが、特徴語データベース１４ａに特徴語として多く登録されているカテゴリほど、高いスコアとなる。高いスコアのカテゴリほど、そのブログテキストとの関連性が高いとみなすことができる。

マッピング部１２２ｂでは、スコアの高い順にカテゴリをソートし、スコア上位の１又は複数のカテゴリ（ここでは、３件のカテゴリ）を、ブログに対応するカテゴリとして選択する。選択されたカテゴリは、スコアとともに、マッピング情報として出力され、広告サーバ１３に与えられる。

図７は、ブログテキストの商品カテゴリへのマッピング例を示している。ただし、図７ではマッピング用キーワード以外の大部分の文章を省略している。図中のブログテキストにおいて下線部を付した「ノド」と「カラオケ」がマッピング用キーワードとして抽出された。そして、図示のブログテキストに対応する商品カテゴリとして、「カラオケ・歌集・歌謡曲楽譜」（スコア４．７２６）、「トローチ剤」（スコア４．５５４）、「うがい薬」（スコア４．０１９）が選択されている。

マッピング情報を受け取った広告サーバ１３は、当該マッピング情報に基づいて、広告データベース１３ａを参照し、ブログとともに表示する１又は複数の広告データを選択する。広告データベース１３ａには、広告データが商品カテゴリごとに分類して蓄積されており、広告サーバ１３は、マッピング情報が示す商品カテゴリの広告データを選択することで、ブログとともに表示する１又は複数の広告データ決定することができる。

広告サーバ１３が選択した広告データは、ブログテキスト等とともにユーザ端末２へ配信され、ブログ上に表示される。

［１．４ 実験例］
上記した特徴語学習サーバ１４によって、ＪＩＣＦＳカテゴリの特徴語を自動学習した。ここで、ＪＩＣＦＳカテゴリのうち、「その他」という文字を含むものを除いた１７７１カテゴリを用いた。なお、カテゴリ名から「その他」を除いた文字列が別のカテゴリとして存在していることが多いため、「その他」という文字を含むものを除いた。例えば「電子ゲーム」と「電子ゲームその他」というカテゴリがあるので、「電子ゲームその他」は除いた。
１７７１カテゴリのうち、一つ以上の特徴語が学習されたカテゴリが１４６４カテゴリであり、１カテゴリあたりの特徴語の平均数は９．５語であった。

次に、上記したマッピングサーバ１２によるブログの自動マッピングの解析結果を評価した。ここでは、ブログとして、ロックウェーブ社の携帯ブログサイトａｉｍｅｗ（http://aimew.jp/）を用いた。５０件のブログ記事に対して最大３カテゴリを人手で付与し、同じ５０件のブログ記事に対してマッピングサーバ１２が選択した上位３件のカテゴリと比較して、評価した。評価は、適合率・再現率・Ｆ値で行った。結果は、適合率８１．０％（６４／７９）、再現率８０．０％（６４／８０）、Ｆ値０．８０５であり、比較的良好な結果を示した。

［２．検索連動型広告配信コンピュータシステム］
図８および図９は、第２実施形態に係る検索連動型広告配信コンピュータシステム（以下、単に「本システム」という）１０１を示している。
本システム１０１は、検索エンジンに対する検索キーワードに関連する広告（広告データ）を、インターネット経由で配信し、ユーザ端末２の画面上に、検索結果などを示すｗｅｂコンテンツなどと共に広告を表示させるためのものである。

本システム１０１は、ユーザに対してインターネットの検索サービスを提供するための処理を行う検索エンジン１１１、検索エンジン１１１へ入力された検索キーワードを解析して検索結果画面を商品カテゴリにマッピングする処理を行うマッピングサーバ１１２、検索結果とともに表示させる広告データを管理する広告サーバ１３、商品カテゴリそれぞれに対応する特徴語を自動学習する特徴語学習サーバ１４などを備えている。
なお、第２実施形態に係る本システム１０１において、特に説明をしない点については、第１実施形態のものと同様である。また、第１実施形態と同様の機能については、図面において同じ符号を付している。

第２実施形態の本システム１０１が、第１実施形態の本システム１と異なる点は、第１実施形態におけるブログサーバ１１が検索エンジン１１１に置き換わっている点と、マッピングサーバ１１２が図９に示す構成となっている点である。

第２実施形態におけるマッピングサーバ１１２は、検索エンジン１１１から検索キーワードが、マッピング用キーワードとして与えられるため、キーワード抽出部１２１が必要ない。
このため、マッピングサーバ１１２は、マッピング処理１２２だけを有して構成されている。

マッピング処理部１２２は、与えられた１又は複数の検索キーワードをマッピング用キーワードとして、第１実施形態と同様の処理を行ってマッピング情報を生成する。
広告サーバ１３は、マッピング情報に基づいて、広告データベース１３ａを参照し、検索結果等とともに表示する１又は複数の広告データを選択する。

広告サーバ１３が選択した広告データは、検索結果等とともにユーザ端末２へ配信され、検索結果とともに表示される。

［３．その他のシステムへの応用］
第１実施形態および第２実施形態の本システム１，１０１は、広告配信に関するシステムであったが、マッピングサーバ１２，１１２および特徴語学習サーバ１４の機能は、Ｗｅｂテキストなどの文章を所定のカテゴリに分類することが必要な他のシステムにも利用できる。つまり、第１実施形態および第２実施形態の本システム１，１０１は、テキストの分類コンピュータシステムとして捉えることもできる。

なお、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
例えば、カテゴリは、商品カテゴリに限られるものではなく、どのようなカテゴリであってもよい。

また、上記実施形態では、最大１０００件のＷｅｂテキストを検索エンジン１４１によって収集する際のクエリ（検索キーワード）を「カテゴリ名」自体としたが、クエリは、カテゴリ名そのものである必要はなく、検索に適した用語を採用してもよい。例えば、カテゴリ「スキー防具」のようにカテゴリ名から具体的な商品が連想しにくい場合、カテゴリ名そのものをクエリとすると、収集されるＷｅｂテキストが不適切となる可能性がある。このような場合に対処するため、クエリ（主キーワード）としては、そのカテゴリにおける具体的な製品名など、別の用語を採用してもよい。また、カテゴリ名と具体的な製品名などのＡＮＤ検索を行っても良い。

さらに、形態素の解析誤りの可能性を検出するための規則は、例示したものに限られず、他の規則を含めても良い。他の規則としては、例えば、「雷は見てるんは綺麗やけど音は嫌い。」といったテキストにおける「やけど」を、「あやしい」形態素としてみなすもの含めることができる。
さらに、「スパイダース」の「ダース」が、カテゴリ「ラクロスボール」の特徴語となっている場合、「ダース」をマッピング用キーワードとして抽出しない方がよい。このため、ブログテキストの固有表現解析を行い、固有表現内の形態素は、マッピング用キーワードとみなさないようにすることができる。

さらに、ブログ記事中の多義語の曖昧性を解消する処理を行うのが好ましい。例えば、「・・・ブランコに乗る」の「ブランコ」が、カテゴリ「遊具」だけでなく、カテゴリ「釣用履物」の特徴語となっている（釣りで、ブランコ仕掛けというものがある）。この問題は、多義語の曖昧性を解消することで対処できる。

コンテンツ連動型広告配信コンピュータシステムの構成図である。 特徴語学習サーバの構成図である。 特徴語学習サーバの処理の概念図である。 単語のヒットカウントを示す表である。 特徴語データベースの構成図である。 マッピングサーバの構成図である。 マッピング処理実行結果の具体例を示す図である。 検索連動型広告配信コンピュータシステム マッピングサーバの構成図である。

符号の説明

１ コンテンツ連動型広告配信コンピュータシステム（テキスト分類システム）
２ ユーザ端末
３ Ｗｅｂサーバ
１１ ブログサーバ
１１ａ ブログデータベース
１２ マッピングサーバ
１３ 広告サーバ
１３ａ 広告データベース
１４ 特徴語学習サーバ（特徴語自動学習システム）
１４ａ 特徴語データベース（特徴語自動学習システム）
１４１ 検索エンジン
１４２ 特徴語候補抽出部
１４３ 絞込処理部
１４４ 関連度算出部
１４５ 閾値比較部
１２１ キーワード抽出部
１２１ａ 形態素解析器
１２１ｂ 形態素解析誤り検出部
１２１ｃ 解析誤り形態素除外部
１２２ マッピング処理部
１２２ａ スコア計算部
１２２ｂ マッピング部
１０１ 検索連動型広告配信コンピュータシステム（テキスト分類システム）
１１１ 検索エンジン
１１２ マッピングサーバ
Ｃ カテゴリ名
ｗ 特徴語（候補）

Claims (24)

1. 所定のカテゴリそれぞれに対応した特徴語を自動的に学習するシステムであって、
   カテゴリを示す主キーワードをクエリとして、検索エンジンによって複数のＷｅｂテキストを取得するＷｅｂテキスト取得手段と、
   前記主キーワードをクエリとして得られた前記複数のＷｅｂテキストから、特徴語候補を抽出する特徴語候補抽出手段と、
   抽出された特徴語候補とカテゴリとの関連度を算出する関連度算出手段と、
   各カテゴリについて、前記関連度が所定の閾値よりも高い特徴語候補を、当該カテゴリに対応した特徴語として関連付けて記憶する特徴語データベースと、
   を備えることを特徴とする特徴語自動学習システム。
2. 前記関連度算出手段は、検索エンジンが検索対象とするＷｅｂテキスト群において、前記主キーワードと前記特徴語候補とが共に出現する度合いを示す共起度を、前記関連度として算出する請求項１記載の特徴語自動学習システム。
3. 前記関連度算出手段は、
   前記主キーワードおよび前記特徴語候補をクエリとして検索エンジンによって検索した場合のヒットカウントに基づいて、前記関連度を算出する請求項１又は２記載の特徴語自動学習システム。
4. 前記関連度算出手段は、
   前記主キーワードおよび前記特徴語候補をクエリとして検索エンジンによって検索した場合の第１ヒットカウントと、
   前記主キーワードをクエリとして検索エンジンによって検索した場合の第２ヒットカウントと、
   前記特徴語候補をクエリとして検索エンジンによって検索した場合の第３ヒットカウントと、
   に基づいて、前記主キーワードと前記特徴語候補との自己相互情報量を算出する請求項１〜３のいずれか１項に記載の特徴語自動学習システム。
5. 一つのカテゴリについて抽出された複数の特徴語候補を絞り込んで、抽出された特徴語候補の数を少なくするための絞込処理手段を更に備え、
   前記関連度算出手段は、前記絞込処理手段によって絞り込まれた特徴語候補について、前記主キーワードとの関連度を算出する
   請求項１〜４のいずれか１項に記載の特徴語自動学習システム。
6. 前記絞込処理手段は、前記Ｗｅｂテキスト取得手段によって取得された前記複数のＷｅｂテキストにおいて、前記特徴語候補が出現する頻度に基づいて、一つのカテゴリについて抽出された複数の特徴語候補を絞り込む処理を行う請求項５記載の特徴語自動学習システム。
7. 前記絞込処理手段は、
   前記Ｗｅｂテキスト取得手段によって取得された前記複数のＷｅｂテキストにおいて、前記特徴語候補が出現する第１頻度と、
   検索エンジンが検索対象とするＷｅｂテキスト群において、前記特徴語候補が出現する第２頻度と、
   に基づいて、一つのカテゴリについて抽出された複数の特徴語候補を絞り込む処理を行う請求項５記載の特徴語自動学習システム。
8. 前記絞込処理手段は、抽出された特徴語候補それぞれについて、絞込用演算式によって絞込用スコアを算出し、当該絞込用スコアが、所定の絞込用閾値よりも大きいものを、絞り込まれた特徴語候補とするよう構成され、
   前記絞込用演算式は、第１頻度が高いと絞込用スコアが高くなり、第２頻度が高いと前記絞込用スコアが低くなるよう構成されている
   請求項７記載の特徴語自動学習システム。
9. 前記特徴語候補抽出手段は、検索エンジンが検索対象とするＷｅｂテキスト群における出現頻度が、所定の頻度閾値よりも高い高頻度語を、特徴語候補から除外する手段を有する
   請求項１〜８のいずれか１項に記載の特徴語自動学習システム。
10. Ｗｅｂコンテンツの内容に関連した広告を配信するコンテンツ連動型広告配信コンピュータシステムであって、
    カテゴリそれぞれに対応する特徴語を記憶した特徴語データベースと、
    カテゴリそれぞれに対応する広告データを記憶した広告データベースと、
    広告配信対象のＷｅｂコンテンツを解析してキーワードを抽出するキーワード抽出手段と、
    抽出されたキーワードに基づいて前記特徴語データベースを参照し、前記Ｗｅｂコンテンツに対応する１又は複数のカテゴリを選択する選択手段と、
    選択されたカテゴリに基づいて前記広告データベースを参照し、選択されたカテゴリの広告データを、広告配信対象のＷｅｂコンテンツとともに表示させる手段と、
    を備え、
    前記特徴語データベースとして、請求項１〜９のいずれか１項に記載の特徴語自動学習システムによって得られた特徴語データベースを用いる
    ことを特徴とするコンテンツ連動型広告配信コンピュータシステム。
11. 前記キーワード抽出手段は、広告配信対象のＷｅｂコンテンツに含まれるテキストに対して、形態素解析を行って前記キーワードとなる形態素を抽出する形態素解析手段と、
    前記Ｗｅｂコンテンツに口語調テキストが含まれていることによる形態素解析誤りの可能性を検出する検出手段と、
    形態素解析誤りの可能性が検出された形態素を、前記キーワードから除外する手段と、
    を備える請求項１０記載のコンテンツ連動型広告配信コンピュータシステム。
12. 前記検出手段は、前記キーワードとなる形態素の前または後にある形態素に基づいて、形態素解析誤りの可能性を検出する請求項１１記載のコンテンツ連動型広告配信コンピュータシステム。
13. 前記検出手段は、前記キーワードとなる形態素の前または後にある形態素が、ひらがな１文字、またはカタカナ１文字であって、品詞不明であると判別された場合に、前記キーワードの候補となる形態素形の態素解析誤りの可能性を検出する請求項１２記載のコンテンツ連動型広告配信コンピュータシステム。
14. 前記検出手段は、前記キーワードとなる形態素の前または後にある形態素が、小文字のひらがな、または小文字のカタカナ１文字である場合に、前記キーワードとなる形態素形の態素解析誤りの可能性を検出する請求項１２または１３記載のコンテンツ連動型広告配信コンピュータシステム。
15. 検索キーワードに関連した広告を配信する検索連動型広告配信コンピュータシステムであって、
    カテゴリそれぞれに対応する特徴語を記憶した特徴語データベースと、
    カテゴリそれぞれに対応する広告データを記憶した広告データベースと、
    検索キーワードに基づいて前記特徴語データベースを参照し、前記検索キーワードに対応する１又は複数の商品カテゴリを選択する選択手段と、
    選択されたカテゴリに基づいて前記広告データベースを参照し、選択されたカテゴリの広告データを、Ｗｅｂサイトに表示させる手段と、
    を備え、
    前記特徴語データベースとして、請求項１〜９のいずれか１項に記載の特徴語自動学習システムによって得られた特徴語データベースを用いる
    ことを特徴とする検索連動型広告配信コンピュータシステム。
16. テキストデータの分類コンピュータシステムであって、
    所定のカテゴリそれぞれに対応する特徴語を記憶した特徴語データベースと、
    分類対象のテキストデータを解析してキーワードを抽出するキーワード抽出手段と、
    抽出されたキーワードに基づいて前記特徴語データベースを参照し、前記テキストデータに対応するカテゴリを選択する選択手段と、
    を備え、
    前記特徴語データベースとして、請求項１〜９のいずれか１項に記載の特徴語自動学習システムによって得られた特徴語データベースを用いる
    ことを特徴とするテキスト分類コンピュータシステム。
17. コンピュータを、請求項１〜９のいずれか１項に記載の特徴語自動学習システムとして機能させるためのコンピュータプログラム。
18. コンピュータを、請求項１０〜１４のいずれか１項に記載のコンテンツ連動型広告配信コンピュータシステムとして機能させるためのコンピュータプログラム。
19. コンピュータを、請求項１５に記載の検索連動型広告配信コンピュータシステムとして機能させるためのコンピュータプログラム。
20. コンピュータを、請求項１６に記載のテキスト分類コンピュータシステムとして機能させるためのコンピュータプログラム。
21. 所定のカテゴリそれぞれに対応した特徴語が記憶された特徴語データベースをコンピュータによって自動的に生成する方法であって、
    コンピュータが、カテゴリを示す主キーワードをクエリとして、検索エンジンによって複数のｗｅｂテキストを取得するステップと、
    コンピュータが、前記主キーワードをクエリとして得た前記複数のＷｅｂテキストから、特徴語候補を抽出するステップと、
    コンピュータが、前記主キーワードと前記特徴語候補との関連度を算出するステップと、
    コンピュータが、各カテゴリについて、前記関連度が所定の閾値よりも高い特徴語候補を、当該カテゴリに対応した特徴語として関連付けて特徴語データベースに記憶するステップと、
    を含むことを特徴とする特徴語データベース自動生成方法。
22. Ｗｅｂコンテンツの内容に関連した広告をコンピュータによって配信する方法であって、
    コンピュータが、広告配信対象のＷｅｂコンテンツを解析してキーワードを抽出するステップと、
    コンピュータが、抽出されたキーワードに基づいて、請求項２１記載の生成方法で得られた前記特徴語データベースを参照し、前記Ｗｅｂコンテンツに対応する１又は複数のカテゴリを選択するステップと、
    コンピュータが、選択されたカテゴリに基づいて、カテゴリそれぞれに対応する広告データを記憶した広告データベースを参照し、選択されたカテゴリの広告データを、広告配信対象のＷｅｂコンテンツとともに表示させるステップと、
    を含むことを特徴とする方法。
23. 検索キーワードに関連した広告をコンピュータによって配信する方法であって、
    コンピュータが、検索キーワードに基づいて、請求項２１記載の生成方法で得られた前記特徴語データベースを参照し、前記検索キーワードに対応する１又は複数のカテゴリを選択するステップと、
    コンピュータが、選択された商品カテゴリに基づいて、カテゴリそれぞれに対応する広告データを記憶した広告データベースを参照し、選択されたカテゴリの広告データを、Ｗｅｂサイトに表示させるステップと、
    を含むことを特徴とする方法。
24. テキストデータをコンピュータによって分類する方法であって、
    分類対象のテキストデータを解析してキーワードを抽出するステップと、
    抽出されたキーワードに基づいて、請求項２１記載の生成方法で得られた前記特徴語データベースを参照し、前記テキストデータに対応するカテゴリを選択するステップと、
    を含むことを特徴とする方法。

Images