JP2009169113A - 言語モデル作成装置、言語モデル作成方法および言語モデル作成プログラム - Google Patents

Abstract

【課題】充実した語彙で、適切にクラスタリングされ、かつ書き言葉と話し言葉のそれぞれに的確に対応する言語モデルを少ない労力で作成できる言語モデル作成装置を提供する。
【解決手段】本発明に係る言語モデル作成装置は、インターネットを通じて閲覧可能なウェブコンテンツを取得するウェブ情報取得手段７０と、ウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断する話し言葉判断手段３０５と、話し言葉判断手段の判断に基づいてウェブコンテンツから話し言葉用の言語モデルおよび書き言葉用の言語モデルを作成する言語モデル作成手段３０４とを有する。
【選択図】図２

Description

本発明は、音声認識の言語モデルの作成に関し、特にテキストデータからの言語モデルの作成に関する。

音声認識は一般的に、音声および言語の特徴を学習した言語モデルと、入力された音声信号とを照らし合わせながら、最も尤度の高い言語系列を認識結果として出力するものである。そのため、音声認識において認識率を向上させるには、多くの単語や語句を収録して充実した言語モデルを作成することが不可欠である。なお、ここでいう言語モデルが、コーパスと呼ばれる場合もある。

従来の音声認識、特に言語モデルの作成に係る技術として、以下に示す文献がある。特許文献１には、場合に応じて話し言葉および書き言葉などの複数の言語モデルを選択し、音声認識を行う技術が開示されている。特許文献２には、学習用テキストをクラスタリングしてクラスタ別の言語モデルを作成する技術の一例が開示されている。特許文献３には、放送番組の音声データと該番組の書き起こしテキストから言語モデルを作成する技術が開示されている。

特許文献４には、テキストデータとユーザごとの統計情報から、各々のユーザに適した言語モデルを作成する技術が開示されている。特許文献５には、ユーザごとに解析された情報からテキスト変換辞書を作成して言語モデルを作成する技術が開示されている。特許文献６には、ユーザがＵＲＬを指定した特定のウェブページからテキストを読み込んで言語モデルを作成する技術が開示されている。

特開２００１−１３４２８５号公報 特開２００２−９１４８４号公報 特開２００３−０９９０８６号公報 特開２００３−２５５９８５号公報 特開２００４−２７１６１５号公報 特開２００５−０９９７４１号公報

前述の様に、言語モデルの作成においては、多くのテキストを収集してそこから多くの単語や語句を抽出して収録し、語彙を充実させることが必要である。特に、次々と生まれる新語もしくは流行語などについて、迅速に対応することが必要である。また、言語モデルが膨大になりすぎると音声認識の処理に時間がかかり、認識速度および認識率が低下する。そのため、言語モデルは、言語および分野などに基づいて適切にクラスタリングされたものである必要がある。

しかしながら、多くのテキストを得るためには、それだけ多くの労力を費やす。これに対して特許文献１〜５の技術には、テキスト情報から言語モデルを作成することについては示されていても、それらの言語モデル作成の元となるテキストを収集する方法については示されていない。特許文献６はユーザが指定したウェブページからテキストを読み込んでいるが、ユーザが指定した以外のウェブページ以外からテキストを読み込んでいないので、新語などへの迅速な対応という効果は期待できない。

また、同じ音声認識でも、書き言葉を音読して認識する場合と、話し言葉を認識する場合とでは、必要とされる言語モデルは大きく異なる。しかしながら、特許文献３の技術では話し言葉に特化した言語モデルは作成できるが、音読された書き言葉に対する言語モデルを作成するものではない。その他の特許文献１〜２および４〜６の技術においても、書き言葉と話し言葉のそれぞれに対応する言語モデルを作成できる構成は記載されていない。

本発明の目的は、充実した語彙で、適切にクラスタリングされ、かつ書き言葉と話し言葉のそれぞれに的確に対応する言語モデルを少ない労力で作成できる言語モデル作成装置、言語モデル作成方法および言語モデル作成プログラムを提供することにある。

上記目的を達成するため、本発明に係る言語モデル作成装置は、インターネットを通じて閲覧可能なウェブコンテンツを取得するウェブ情報取得手段と、ウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断する話し言葉判断手段と、話し言葉判断手段の判断に基づいてウェブコンテンツから話し言葉用の言語モデルおよび書き言葉用の言語モデルを作成する言語モデル作成手段とを有することを特徴とする。

上記目的を達成するため、本発明に係る言語モデル作成方法は、言語モデル作成装置が言語モデルを作成する方法であって、インターネットを通じて閲覧可能なウェブコンテンツを取得するウェブ情報取得工程と、ウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断する話し言葉判断工程と、話し言葉判断工程の判断に基づいてウェブコンテンツから話し言葉用の言語モデルおよび書き言葉用の言語モデルを作成する言語モデル作成工程とを有することを特徴とする。

上記目的を達成するため、本発明に係る言語モデル作成プログラムは、言語モデル作成装置を構成するコンピュータに、インターネットを通じて閲覧可能なウェブコンテンツを取得する処理と、ウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断する話し言葉判断処理と、話し言葉判断処理の判断に基づいてウェブコンテンツから話し言葉用の言語モデルおよび書き言葉用の言語モデルを作成する言語モデル作成処理とを有することを特徴とする。

本発明は、上記したように収集されたウェブコンテンツから、話し言葉認識もしくは書き言葉認識のいずれかを決定してから、その決定に対応する言語モデルを作成するように構成したので、テキストの収集に労力を費やす必要はない。これによって、充実した語彙で、適切にクラスタリングされ、かつ書き言葉と話し言葉のそれぞれに的確に対応する言語モデルを少ない労力で作成できるという、従来にない優れ言語モデル作成装置、言語モデル作成方法および言語モデル作成プログラムを提供することができる。

図１は、本発明の実施の形態に係るネットワーク１の構成を示す概念図である。ネットワーク１では、ウェブサーバ５０と、ウェブ情報収集サーバ７０と、音声認識管理サーバ２０と、言語モデル作成サーバ３０と、ウェブサイト利用者用端末６０と、音声認識利用者用端末１０とが、インターネット４０を介して相互に接続される。なお、ウェブサーバ５０、ウェブサイト利用者用端末６０、および音声認識利用者用端末１０は、各々インターネット４０に多数接続されているが、ここでは紙面の都合で各２つずつを図示している。

ウェブサーバ５０は、ウェブサイト利用者用端末６０によって作成されたウェブコンテンツが登録され、インターネット４０を通じて全世界から閲覧可能としている。ウェブ情報収集サーバ７０は、それらのウェブコンテンツを取得する。言語モデル作成サーバ３０は、取得されたウェブコンテンツを、辞書データとして分野ごとに分類し、言語モデルを作成する。音声認識管理サーバ２０は、作成された言語モデルに基づいて、音声認識利用者用端末１０に各々接続されたマイクからの音声に対して音声認識の処理を行う。

なお、ここでは、言語モデル作成サーバ３０とウェブ情報収集サーバ７０とを合わせて、言語モデル作成装置２としている。

図２は、図１で示した音声認識利用者用端末１０と、音声認識管理サーバ２０と、言語モデル作成装置２（言語モデル作成サーバ３０、ウェブ情報収集サーバ７０）の各々の構成を示すブロック図である。音声認識利用者用端末１０と、音声認識管理サーバ２０と、言語モデル作成サーバ３０と、ウェブ情報収集サーバ７０は、それぞれ物理的に別々のコンピュータであってもよいし、また１台のコンピュータでそれらのうち複数の機能を兼ねるようにしてもよい。

音声認識利用者用端末１０は、音声入力手段１０１と、認識結果表示手段１０２を含む。音声認識管理サーバ２０は、音声認識手段２０１を含む。言語モデル作成サーバ３０は、話し言葉情報データベース３０１と、分野情報データベース３０２と、国・言語情報データベース３０３と、言語モデル作成手段３０４と、話し言葉判断手段３０５と、辞書情報選択手段３０６と、言語モデルデータベース３０７と、頻度確認手段３０８を含む。ウェブ情報収集サーバ７０は、ウェブ情報取得手段７０１と、ウェブ情報データベース７０２を含む。

ウェブ情報取得手段７０１は、ウェブサーバ５０において公開されているウェブコンテンツを収集し、記事情報としてウェブ情報データベース７０２に保存する。辞書情報選択手段３０６は、ウェブ情報データベース７０２に格納された記事情報を読み込み、国・言語情報データベース３０３、分野情報データベース３０２を検索し、国・言語別、分野別に辞書情報を分類する。

ここで、ウェブ情報取得手段７０１は、公知のウェブ巡回プログラム、いわゆるクローラの技術を適用し、ある特定のウェブページ上のハイパーリンク（以後単にリンクという）を辿って別のウェブページに移動し、移動した先のページからもリンクを辿ってさらに別のウェブページに移動し…といった動作を繰り返すという手法で、多数のウェブページを巡回しては、それらのウェブページに記載されるウェブコンテンツを収集してウェブ情報データベース７０２に保存する。これによって、多数のウェブコンテンツを無作為に収集することができる。

頻度確認手段３０８は、辞書情報の中から辞書として不適切な文面を頻度情報（図示せず）によって除去する。ここでいう「辞書として不適切な文面」とは、たとえば間投詞（「はいはい」「えーと」など）や感嘆語（「おお」「あー」など）のように、会話としては必要であっても、辞書としては意味をなさない言葉をいう。これらの言葉は言語モデルを作成する上では不要であるので、頻度確認手段３０８によって除去される。

話し言葉判断手段３０５は、話し言葉情報データベース３０１を検索して辞書情報と比較することによって、該辞書情報が話し言葉であるか書き言葉であるかを判断する。話し言葉情報データベース３０１は、書き言葉にはない話し言葉に特有の単語もしくは文法などの特徴（以後これを話し言葉情報という）について記憶しているデータベースである。辞書情報が話し言葉情報を含んでいれば、該辞書情報が話し言葉であると判断される。

話し言葉であると判断された場合、言語モデル作成手段３０４は該辞書情報から話し言葉認識の言語モデル３０７ａを生成し、言語モデルデータベース３０７に登録する。書き言葉であると判断した場合、言語モデル作成手段３０４は該辞書情報から書き言葉認識の言語モデル３０７ｂを生成し、言語モデルデータベース３０７に登録する。

音声認識手段２０１は、言語モデルデータベース３０７からネットワークを介して言語モデルを受信し、音声入力手段１０１で入力された音声データと照合して音声認識の処理を行う。認識結果表示手段１０２は、音声認識手段２０１が音声認識の結果として出力するテキストデータを表示する。

図３は、図１で示したネットワーク１における言語モデル作成と音声認識の流れを示すシーケンス図である。図４は、図２で示した話し言葉判断手段３０５の動作を示すアクティビティ図である。図５は、図２で示した辞書情報選択手段３０６の動作を示すアクティビティ図である。これらのシーケンス図およびアクティビティ図で表される各々のステップは、言語モデル作成サーバ３０、ウェブ情報収集サーバ７０、および音声認識管理サーバ２０を構成するコンピュータ装置で実行されるプログラムとして実現することができる。

ウェブサイト利用者用端末６０から、ウェブサーバ５０にウェブコンテンツが登録される。その際、該ウェブコンテンツが書き言葉で記載されていることもあれば、くだけた表現の話し言葉で記載されていることもある。ウェブ情報収集サーバ７０は、それらのウェブコンテンツをウェブサーバ５０からＵＲＬ別に収集する（図３ステップＳ１０００〜１１００）。

音声認識管理サーバ２０は、一定期間ごとにウェブ情報収集サーバ７０で収集されたウェブコンテンツを、辞書情報として取得する。言語モデル作成サーバ３０は、取得された辞書情報を元に、言語モデル生成サービスは辞書作成を実施する（図３ステップＳ２０００）。

辞書情報選択手段３０６は、取得された辞書情報に対して言語情報検索（図３ステップＳ２０１０）および分野情報検索（ステップＳ２０２０）を行う。その詳細が図５にアクティビティ図として示されている。なお、言語情報検索（ステップＳ２０１０）は、図５のステップＳ３０６１〜３０６５に該当する。分野情報検索（ステップＳ２０２０）は、図５のステップＳ３０６６〜３０７０に該当する。

まず、辞書情報選択手段３０６は辞書情報を読み込み（ステップＳ３０６１）、読み込んだ辞書情報がどの国もしくは言語に属するかを判断し、それによって国・言語情報を得る（ステップＳ３０６２）。通常は、ウェブコンテンツ取得元のＵＲＬに含まれる文字列を、国・言語情報データベース３０３に保存されている文字データと照合して判断することによって、国・言語情報を得ることができる。国・言語情報が得られた場合、ステップＳ３０６６に進む。

ステップＳ３０６２で国・言語情報が得られなかった場合、辞書情報選択手段３０６は辞書情報に付帯する情報（以後辞書付帯情報という）を読み込む（ステップＳ３０６３）。辞書付帯情報とは、たとえば図７に示すようにＨＴＭＬタグなどがある。

図６〜７は、図５で示す処理における、国・言語情報および分野情報の取得と判断の例を示す概念図である。図６はＵＲＬからの情報の取得、図７はＨＴＭＬからの情報の取得である。

ステップＳ３０６２で、たとえば図６に示す１〜３番目のＵＲＬのドメイン末尾４００１が「.jp」で終わるものは日本語、「.uk」で終わるものは英語、「.kr」で終わるものは韓国語のウェブコンテンツである可能性が高いと判断することができる。図６の４番目のＵＲＬのドメイン末尾は「.com」であるので、これだけでは言語を特定できないが、「lang=en-us」（米国英語）などのように、ＵＲＬ内に言語を示す文字列４００５が含まれていればそれを判断対象とすることができる。国・言語情報データベース３０３には、それらの判断の根拠となりうる文字列とそのパターンがあらかじめ記憶されている。

また、ステップＳ３０６３で、図７に示すＨＴＭＬタグのメタ情報（meta）に含まれる文字コード宣言４００３（charset）が「Shift_Jis」「EUC-JP」などであれば日本語、「ISO-8859-1」などであれば英語、「GB2312」などであれば簡体字中国語であるというように判断できる。

辞書情報選択手段３０６は、これらのような辞書付帯情報から辞書情報の国・言語を決定し（ステップＳ３０６４）、辞書情報の文字データと判断された国・言語の種類とを国・言語情報データベース３０３を更新して（ステップＳ３０６４）、ステップＳ３０６６に進む。

続いて辞書情報選択手段３０６は、辞書情報から分野情報を読み込む（ステップＳ３０６６）。通常は、辞書情報であるウェブコンテンツに含まれる単語を、分野情報データベース３０２に保存されている単語データと照合して判断することによって、分野情報を得ることができる。辞書情報から分野情報が得られた場合、ステップＳ３０７０に進む。

ステップＳ３０６６で分野情報が得られなかった場合、辞書情報選択手段３０６は辞書付帯情報を読み込む（ステップＳ３０６７）。たとえば図６に示すＵＲＬのサブディレクトリ名４００２に含まれる「marketing」「technology」「entertainment」などのような単語から、それぞれ「マーケティング」「技術」「娯楽」などに関する分野であると判断できる。また図７に示すＨＴＭＬタグのリンクタグ４００４の「システム構成」「ダウンロード」などの文字から、リンク先のページの内容の概要を判断することもできる。分野情報データベース３０２には、それらの判断の根拠となりうる文字列とそのパターンがあらかじめ記憶されている。

辞書情報選択手段３０６は、これらのような辞書付帯情報から辞書情報の内容の属する分野を決定し（ステップＳ３０６８）、辞書情報の文字データと判断された分野の種類とを分野情報データベース３０２を更新して（ステップＳ３０６９）、ステップＳ３０７０に進む。最後に、ここまでで特定された国・言語および分野においてクラスタリングされた情報として、辞書情報を話し言葉判断手段３０５の処理に渡す（ステップＳ３０７０）。

話し言葉判断手段３０５は、国・言語および分野においてクラスタリングされた辞書情報に対して、そこにある言葉が話し言葉であるか否かを判断する（図３ステップＳ２０３０）。その詳細が図４にアクティビティ図として示されている。

話し言葉判断手段３０５は、辞書情報選択手段３０６から渡された辞書情報を読み込み（ステップＳ３０５１）、話し言葉情報を話し言葉情報データベース３０１から読み込んで、辞書情報に話し言葉情報が含まれるか否かを判断する（ステップＳ３０５２）。

話し言葉情報とつき合わせて辞書情報に明らかに話し言葉情報が存在する場合、この辞書情報を話し言葉認識と決定する（ステップＳ３０５５）。話し言葉情報が存在しない場合、辞書情報の付帯情報（ＨＴＭＬファイルのメタ情報）を読み込み（ステップＳ３０５３）、図７に示すようにフォーム４００６を示すＨＴＭＬタグ（これをフォーム情報という）を含んでいる場合、書き込みフォームなどによって投稿されるコンテンツであると判断できるので、ステップＳ３０５５に進んで話し言葉認識と決定する。判断できない場合は、書き言葉認識と決定する（ステップＳ３０５４）。

以上で国・言語および分野においてクラスタリングされ、話し言葉認識もしくは書き言葉認識と決定された辞書情報は、言語モデル作成手段３０４によって話し言葉認識の言語モデル３０７ａもしくは書き言葉認識の言語モデル３０７ｂとして生成され、言語モデルデータベース３０７に登録される（図３ステップＳ２０４０）。音声認識管理サーバ２０は、言語モデルデータベース３０７から言語モデルを取得する。

なお、言語モデルが生成される際、辞書情報として登録された単語や文節などを実際の話者に発声させて、辞書情報を音声データと関連付ける工程を含んでもよい。

音声認識管理サーバ２０は音声認識を開始し（図３ステップＳ３０００）、音声認識利用者用端末１０の音声入力手段１０１からの音声入力を受け付ける（図３ステップＳ３０１０）。音声認識手段２０１は、取得した言語モデルを使用して音声認識を行い、認識結果のテキストを出力して（図３ステップＳ３０２０）、音声認識を終了する（図３ステップＳ３０３０）。

なお、ステップＳ３０００の音声認識を開始する際、話し言葉認識の言語モデル３０７ａおよび書き言葉認識の言語モデル３０７ｂのうちどちらを用いて音声認識を行うかを、音声認識利用者用端末１０から音声を入力するユーザに選択させる工程を含んでもよい。また、クラスタリングされた言語モデルの、いずれの国・言語および分野において音声認識を行うかを、同様にユーザに選択させてもよい。

以上で説明したように、本実施の形態では、多数のウェブコンテンツを無作為に収集して、ＵＲＬ情報やＨＴＭＬのメタ情報などによってクラスタリングされた言語モデルを作成している。このため、充実した語彙を持ち、かつ適切にクラスタリングされた言語モデルを、少ない労力で得ることができる。特に新語や流行語などにも容易かつ迅速に対応できる。

そして、本実施の形態では、話し言葉認識もしくは書き言葉認識のいずれかを決定してから、その決定に対応する言語モデルを作成する。このため、書き言葉と話し言葉のそれぞれに的確に対応する言語モデルを、少ない労力で得ることができる。

以上で得られた、クラスタリング済みの話し言葉認識および書き言葉認識の言語モデルを音声認識に適用することにより、認識速度および認識率を向上させることが可能である。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることは言うまでもないことである。

本発明は、音声認識における言語モデルの作成のみではなく、音声認識以外に言語モデルを作成する必要のある用途に対しても適用できる。たとえば、漢字カナ変換装置の分野別辞書情報作成といった用途にも適用可能である。

本発明の実施の形態に係るネットワークの構成を示す概念図である。 図１で示した音声認識利用者用端末と、音声認識管理サーバと、言語モデル作成装置（言語モデル作成サーバ、ウェブ情報収集サーバ）の各々の構成を示すブロック図である。 図１で示したネットワークにおける言語モデル作成と音声認識の流れを示すシーケンス図である。 図２で示した話し言葉判断手段の動作を示すアクティビティ図である。 図２で示した辞書情報選択手段の動作を示すアクティビティ図である。 図５で示す処理における、ＵＲＬからの国・言語情報および分野情報の取得と判断の例を示す概念図である。 図５で示す処理における、ＨＴＭＬからの国・言語情報および分野情報の取得と判断の例を示す概念図である。

符号の説明

１ ネットワーク
２ 言語モデル作成装置
１０ 音声認識利用者用端末
２０ 音声認識管理サーバ
３０ 言語モデル作成サーバ
４０ インターネット
５０ ウェブサーバ
６０ ウェブサイト利用者用端末
７０ ウェブ情報収集サーバ
１０１ 音声入力手段
１０２ 認識結果表示手段
２０１ 音声認識手段
３０１ 話し言葉情報データベース
３０２ 分野情報データベース
３０３ 国・言語情報データベース
３０４ 言語モデル作成手段
３０５ 話し言葉判断手段
３０６ 辞書情報選択手段
３０７ 言語モデルデータベース
３０７ａ 話し言葉認識の言語モデル
３０７ｂ 書き言葉認識の言語モデル
３０８ 頻度確認手段
７０１ ウェブ情報取得手段
７０２ ウェブ情報データベース
４００１ ドメイン末尾
４００２ サブディレクトリ名
４００３ 文字コード宣言
４００４ リンクタグ
４００５ 言語を示す文字列
４００６ フォーム

Claims (14)

1. インターネットを通じて閲覧可能なウェブコンテンツを取得するウェブ情報取得手段と、
   前記ウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断する話し言葉判断手段と、
   前記話し言葉判断手段の判断に基づいて前記ウェブコンテンツから話し言葉用の言語モデルおよび書き言葉用の言語モデルを作成する言語モデル作成手段と
   を有することを特徴とする言語モデル作成装置。
2. 前記話し言葉判断手段が、話し言葉に特有の単語および文法のうち少なくとも一つ以上を含む話し言葉情報について記憶している話し言葉情報データベースを併設し、前記ウェブコンテンツが前記話し言葉情報を含んでいれば前記ウェブコンテンツが話し言葉で記載されていると判断することを特徴とする、請求項１に記載の言語モデル作成装置。
3. 前記話し言葉判断手段が、前記ウェブコンテンツが前記話し言葉情報を含んでいない場合、前記ウェブコンテンツを記述するＨＴＭＬタグがフォーム情報を含んでいれば前記ウェブコンテンツが話し言葉で記載されていると判断することを特徴とする、請求項２に記載の言語モデル作成装置。
4. 前記ウェブコンテンツをクラスタリングする辞書情報選択手段を前記ウェブ情報取得手段と前記話し言葉判断手段の間に設け、
   前記話し言葉判断手段が前記クラスタリングされたウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断することを特徴とする、請求項２に記載の言語モデル作成装置。
5. 前記辞書情報選択手段が、前記ウェブコンテンツが記述される言語、および前記ウェブコンテンツの記述内容が属する分野のうち、少なくとも一つ以上を用いて前記ウェブコンテンツをクラスタリングすることを特徴とする、請求項４に記載の言語モデル作成装置。
6. 前記辞書情報選択手段が、前記ウェブコンテンツのＵＲＬ、および前記ウェブコンテンツを記述するＨＴＭＬタグのうち少なくとも１つ以上から、前記ウェブコンテンツが記述される言語を判別することを特徴とする、請求項５に記載の言語モデル作成装置。
7. 前記辞書情報選択手段が、前記ウェブコンテンツのＵＲＬ、および前記ウェブコンテンツにリンクしている他のウェブコンテンツのリンクタグのうち少なくとも１つ以上から、前記ウェブコンテンツの記述内容が属する分野を判別することを特徴とする、請求項５に記載の言語モデル作成装置。
8. 前記ウェブ情報取得手段が、ウェブページ上のハイパーリンクを辿って別のウェブページに移動する動作を繰り返して前記ウェブコンテンツを取得することを特徴とする、請求項２に記載の言語モデル作成装置。
9. 言語モデル作成装置が言語モデルを作成する方法であって、
   インターネットを通じて閲覧可能なウェブコンテンツを取得するウェブ情報取得工程と、
   前記ウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断する話し言葉判断工程と、
   前記話し言葉判断工程の判断に基づいて前記ウェブコンテンツから話し言葉用の言語モデルおよび書き言葉用の言語モデルを作成する言語モデル作成工程と
   を有することを特徴とする言語モデル作成方法。
10. 前記話し言葉判断工程が、前記ウェブコンテンツが話し言葉に特有の単語および文法のうち少なくとも一つ以上を含む話し言葉情報を含んでいれば前記ウェブコンテンツが話し言葉で記載されていると判断することを特徴とする、請求項９に記載の言語モデル作成方法。
11. 前記ウェブコンテンツをクラスタリングするクラスタリング工程を有し、
    前記話し言葉判断工程が前記クラスタリングされたウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断することを特徴とする、請求項１０に記載の言語モデル作成方法。
12. 前記ウェブ情報取得工程が、ウェブページ上のハイパーリンクを辿って別のウェブページに移動する動作を繰り返して前記ウェブコンテンツを取得することを特徴とする、請求項１０に記載の言語モデル作成方法。
13. 言語モデル作成装置を構成するコンピュータに、
    インターネットを通じて閲覧可能なウェブコンテンツを取得する処理と、
    前記ウェブコンテンツが書き言葉で記載されているか話し言葉で記載されているかを判断する話し言葉判断処理と、
    前記話し言葉判断処理の判断に基づいて前記ウェブコンテンツから話し言葉用の言語モデルおよび書き言葉用の言語モデルを作成する言語モデル作成処理と
    を有することを特徴とする言語モデル作成プログラム。
14. 前記話し言葉判断処理が、前記ウェブコンテンツが話し言葉に特有の単語および文法のうち少なくとも一つ以上を含む話し言葉情報を含んでいれば前記ウェブコンテンツが話し言葉で記載されていると判断することを特徴とする、請求項１３に記載の言語モデル作成プログラム。

Images