JP2008287517A - 強調表示装置及びプログラム - Google Patents

Abstract

【課題】音声情報等でユーザが指定した単語を強調表示し、ユーザが指定した単語が容易にわかるようにすること。
【解決手段】強調表示する単語を格納する格納部９と、マイク１からの音声を認識する音声認識部３と、該認識した音声から単語を認識する単語認識部７と、前記マイク１からの音声の単語から前記格納部９の単語を検索し、該検索した単語を強調表示する強調表示部８とを備える。
【選択図】図１

Description

本発明は、音声情報やカメラ等で撮影した画像情報を強調表示する強調表示装置及びプログラムに関する。

従来、文章中で特定の単語を強調表示する文書差分検出装置があった（特許文献１参照）。
特許第３６８２５３５号

上記従来の文書差分検出装置は、文章中での特定の単語を強調表示するものであり、音声情報や画像情報を強調表示することはできなかった。

本発明は上記問題点の解決を図り、音声情報や画像情報でユーザが指定した単語を強調表示して、ユーザが指定した単語を容易にわかるようにすることを目的とする。

図１は強調表示装置の説明図である。図１中、１はマイク（マイクロホン）、２はカメラ（撮影手段）、３は音声認識部（音声認識手段）、４は文字認識部（文字認識手段）、５は格納部（格納手段）、６は格納部（格納手段）、７は単語認識部（単語認識手段）、８は強調表示部（強調表示手段）、９は格納部（格納手段）である。

本発明は、前記従来の課題を解決するため次のような手段を有する。

（１）：強調表示する単語を格納する格納部９と、マイク１からの音声を認識する音声認識部３と、該認識した音声から単語を認識する単語認識部７と、前記マイク１からの音声の単語から前記格納部９の単語を検索し、該検索した単語を強調表示する強調表示部８とを備える。このため、例えば、Ａ駅まで行く場合、Ａ駅という単語をセットすると、車内のアナウンスで、Ａ駅という単語があれば、それを検出し、それがあったことをユーザに知らせることができる。

（２）：強調表示する単語を格納する格納部９と、カメラ２画像から文字を認識する文字認識部４と、該認識した文字から単語を認識する単語認識部７と、前記カメラ２画像の文字の単語から前記格納部９の単語を検索し、該検索した単語を強調表示する強調表示部８とを備える。このため、例えば、Ａ駅という地名、場所に行きたいときに、標識、地図を見る場合に、それを画像認識し、その中にＡという単語があったかどうかをユーザに知らせることができる。

（３）：前記（１）又は（２）の強調表示装置において、前記マイク１からの音声又は前記カメラ画像の文書中で、設定した抽出領域の単語を前記格納部９に格納する。このため、講演等のタイトル等（抽出領域）に出てくる重要な部分を聞き逃したり見逃したりすることを防止することができる。

（４）：前記（１）又は（２）の強調表示装置において、ユーザの視線がカメラ画像のどこにあるかを特定する視線認識部と、ユーザの視線が送られた周辺範囲を取り出して、その範囲にあった単語を抽出し、単語ごとにユーザの視線が送られた回数又は合計時間を計測する回数又は時間計測部と、前記ユーザの視線が送られた回数又は合計時間が所定の値よりも、大きい単語を前記格納部９に格納する。このため、ユーザがよく見た、すなわち興味を持っている単語があったことをユーザに知らせることができる。

（５）：前記（４）の強調表示装置において、前記強調表示部８は、前記格納部９に前記ユーザの視線が送られた回数又は合計時間が所定の値よりも、小さい単語を格納する。このため、ユーザがこれまであまり聞いたり見たりしたことのない単語を知らせることができる。

（６）：前記（１）〜（５）の強調表示装置において、前記強調表示部８は、前記格納部９に格納された強調表示する単語とよく共起又は類似する単語を抽出し、該共起又は類似する単語を強調表示する。このため、ユーザがセットした単語や興味のある単語から連想される単語又は類似する単語をユーザに知らせることができる。

（７）：音声認識部３で認識するマイク１からの音声の文字又は文字認識部４で認識するカメラ２画像の文字から疑問詞を認識し、該疑問詞に対応する表現を抽出する抽出部と、前記抽出した前記疑問詞に対応する表現を前記マイク１からの音声の文字又は前記カメラ２画像の文字において強調表示する強調表示部８とを備える。このため、マイク１からの音声中又はカメラ２画像の文字で本当に知りたい疑問詞に対応する部分を容易に知ることができる。

（８）：前記（１）又は（２）の強調表示装置において、前記マイク１からの音声の文字又は前記カメラ２画像の文字から疑問詞を認識し、該疑問詞に後接する名詞、前記疑問詞に後接する数字と結合できる所定の名詞、前記疑問詞に後接する接尾辞、前記疑問詞に後接する数字と結合できる所定の接尾辞のいずれかを抽出する抽出部を備え、前記強調表示部８で、前記抽出した名詞又は接尾辞を強調表示する。このため、マイクの音声又はカメラ画像で本当に知りたい疑問詞に対応する回答の部分を容易に知ることができる。

（９）：マイク１からの音声を認識する音声認識部３と、カメラ２画像の文字を認識する文字認識部４と、単語を認識する単語認識部７と、前記認識した音声からの文字及び前記カメラ画像の文字及び電子テキスト画面の文字のうち少なくとも二つの文字を利用し、前記二つの文字のうち少なくとも一つの文字に出てきた単語を前記他の文字又は前記複数文字で強調表示する強調表示部８とを備える。このため、例えば、講演者の話（マイク１からの話）がカメラ画像又は電子テキスト画面であるテキストの何処にあるかを容易に知ることができる。

（１０）：前記（９）の強調表示装置において、前記認識した音声からの文字及び前記カメラ画像の文字及び電子テキスト画面の文字のうち少なくとも二つの文字を利用し、該少なくとも二つの文字の両方に出てきた単語を前記一つの文字又は前記複数文字で強調表示する強調表示部８とを備える。このため、例えば、前記音声と前記カメラ画像又は電子テキスト画面の両方（同時）に出てくるような重要な単語を容易に認識することができる。

（１１）：ユーザの視線がカメラ２画像のどこにあるかを特定する視線認識部でユーザが視線を送った文字又は焦点が合ったカメラ２画像の文字を認識する文字認識部４と、前記認識した文字から単語を認識する単語認識部７と、前記認識した文字の単語を音声で強調表示する強調表示部８とを備える。このため、画像中の単語を音声で聞くことができる。また、画像の単語を翻訳して強調表示すれば異なる言語を容易に音声で理解することができる。

（１２）単語を認識する単語認識部７と、単語を格納する格納部９と、強調表示部８とを備え、前記強調表示部８は、音声認識部３で認識するマイクからの音声の文字及び文字認識部４で認識するカメラ２画像の文字及び表示手段に表示される電子テキスト画面の文字の三つの文字のうち少なくとも一つの文字の過去の単語を前記格納部９に格納し、前記三つの文字のうちの少なくとも一つの文字の単語から前記格納部９の単語を検索し、前記格納部９にない単語を強調表示する。このため、三つの文字のうち少なくとも一つの文字の新規な単語が強調され、講演等の話題が変わったことが容易に認識ができ、又は講演者等が話したテキストにない話を聞き逃がさないようにできる。

（１３）：前記（１）又は（２）の強調表示装置において、定められた文書から指定された固有表現を抽出する固有表現抽出部を備え、該抽出した固有表現を強調表示する単語として前記格納部９へ格納する。このため、重要な単語である人名、地名、時間等の固有表現を容易に認識することができる。

（１４）：前記（１）又は（２）の強調表示装置において、定められた文書からの単語の出現回数をＴＦとし、その単語が予め持っている多数の文書のうち、何個の文書に出現するかのその個数の逆数をＩＤＦとし、前記ＴＦと前記ＩＤＦの積に基づく値が所定の値より大きい単語を強調表示する単語として前記格納部９へ格納する。このため、講演者等が話す又はカメラ２画像に出てくる重要な単語を容易に認識することができる。

（１５）：用語と当該用語に対して補足する用語又は当該用語に対してユーザの使用頻度の高い同じ内容の用語である補足用語の対である変換用語情報を格納する辞書と、入力された単語に対して、前記辞書の変換用語情報が有する用語を検索し、当該検索した用語に隣接して、当該用語と対になる補足用語を挿入する文字列加工部と、音声認識部３で認識するマイク１からの音声の文字又は文字認識部４で認識するカメラ２画像の文字から単語を認識する単語認識部７と、前記マイク１からの音声の単語又は前記カメラ２画像の文字の単語で、前記辞書の変換用語情報が有する用語を検索し、当該検索した用語の後に、当該用語と対になる補足用語を音声で挿入又は前記カメラ２画像の文字に挿入して、前記マイク１からの音声の単語又は前記カメラ２画像の文字を強調表示する強調表示部８とを備える。このため、マイクからの音声やカメラ２画像の文字に単語の補足用語である著者名や最寄り駅や良く使う表現を容易に補足することができる。

（１６）：入力された文書の箇条書きの情報を識別して取得する箇条書取得部と、前記取得した箇条書きの情報を、箇条書きの順序を逆にする順序逆転部と、音声認識部３によるマイク１からの音声の文書及び文字認識部４によるカメラ２画像の文字の文書の少なくとも一つの文書から前記箇条書取得部で箇条書きの情報を識別して取得し、前記順序逆転部で該取得した箇条書きの情報を、箇条書きの順序を逆にして、出力する。このため、例えば、時間的に古いものからの箇条書きの話を新しい順に（逆の順で）認識することができる。

（１７）：前記（１）又は（２）の強調表示装置において、前記格納部９にプラスのイメージとマイナスのイメージの単語を格納し、前記強調表示部８で、前記認識した音声又は前記カメラ２画像の文字から前記格納部９の単語を検索し、該検索した単語を前記イメージにより異なる強調表示する。このため、例えば、プラスのイメージの単語は喜んだ感じの音声で強調表示をし、マイナスのイメージの単語は怒った感じの音声で強調表示することにより、発声者がどのようなイメージを持っているかを容易に把握することができる。画像の場合は、例えば、プラスのイメージの単語は青色で強調表示をし、マイナスのイメージの単語は赤色で強調表示することにより、文書がどのようなイメージを持っているかを容易に把握することができる。

（１８）：前記（１）又は（２）の強調表示装置において、文書のタイプを判断するための情報である判断情報を用いて、前記マイクからの音声又は前記カメラ画像の文字の文書のタイプを決定する文書タイプ決定部を備え、前記強調表示部８は、前記決定した文書のタイプに対応した、前記マイクからの音声又は前記カメラ画像の文字の単語を強調表示する。このため、文書のタイプに応じて、最適な単語を強調表示することができる。

（１９）：前記（１）〜（１８）の強調表示装置において、単語の翻訳手段を備え、前記強調表示部８で、他の言語の前記音声又は前記画像を強調表示する。このため、例えば、日本語で強調表示する単語をセットしても英語等の他の言語を強調表示することができる。

本発明によれば次のような効果がある。

（１）：強調表示部で、マイクからの音声の単語から格納部の単語を検索し、該検索した単語を強調表示するため、例えば、Ａ駅まで行く場合、Ａ駅という単語をセットすると、車内のアナウンスで、Ａ駅という単語があれば、それを検出し、それがあったことをユーザに知らせることができる。

（２）：強調表示部で、カメラ画像の文字の単語から格納部の単語を検索し、該検索した単語を強調表示するため、例えば、Ａ駅という地名、場所に行きたいときに、標識、地図を見る場合に、それを画像認識し、その中にＡという単語があったかどうかをユーザに知らせることができる。

（３）：前記マイクからの音声又は前記カメラ画像の文書において、設定した抽出領域の単語を前記格納部に格納するため、講演等のタイトル等（抽出領域）に出てくる重要な部分を聞き逃したり見逃したりすることを防止することができる。

（４）：ユーザの視線が送られた周辺範囲を取り出して、回数又は時間計測部で、ユーザの視線が送られた周辺範囲を取り出して、その範囲にあった単語を抽出し、単語ごとにユーザの視線が送られた回数又は合計時間を計測し、前記ユーザの視線が送られた回数又は合計時間が所定の値よりも、大きい単語を格納部に格納するため、ユーザがよく見た、すなわち興味を持っている単語が有ったことをユーザに知らせることができる。

（５）：強調表示部で、格納部にユーザの視線が送られた回数又は合計時間が所定の値よりも、小さい単語を格納するため、ユーザがこれまであまり聞いたり見たりしたことのない単語を知らせることができる。

（６）：強調表示部で、格納部に格納された強調表示する単語とよく共起又は類似する単語を抽出し、該共起又は類似する単語を強調表示するため、ユーザがセットした単語や興味のある単語から連想される単語又は類似する単語をユーザに知らせることができる。

（７）：強調表示部で、抽出した疑問詞に対応する表現をマイクからの音声の文字又はカメラ画像の文字において強調表示するため、マイクからの音声中又はカメラ画像の文字で本当に知りたい疑問詞に対応する部分を容易に知ることができる。

（８）：抽出部で抽出するマイクからの音声の文字又はカメラ画像の文字から疑問詞を認識し、該疑問詞に後接する名詞、前記疑問詞に後接する数字と結合できる所定の名詞、前記疑問詞に後接する接尾辞、前記疑問詞に後接する数字と結合できる所定の接尾辞のいずれかを抽出し、強調表示部で、抽出した名詞又は接尾辞を強調表示するため、マイクの音声又はカメラ画像で本当に知りたい疑問詞に対応する回答の部分を容易に知ることができる。

（９）：強調表示部で、認識した音声からの文字及びカメラ画像の文字及び電子テキスト画面の文字のうち少なくとも二つの文字を利用し、前記二つの文字のうち少なくとも一つの文字に出てきた単語を前記他の文字又は前記複数文字で強調表示するため、例えば、講演者の話（マイク１からの話）がカメラ画像又は電子テキスト画面であるテキストの何処にあるかを容易に知ることができる。

（１０）：強調表示部で、認識した音声からの文字及びカメラ画像の文字及び電子テキスト画面の文字のうち少なくとも二つの文字を利用し、該少なくとも二つの文字の両方に出てきた単語を前記一つの文字又は前記複数文字で強調表示するため、例えば、前記音声と前記カメラ画像又は電子テキスト画面の両方（同時）に出てくるような重要な単語を容易に認識することができる。

（１１）：文字認識部で、ユーザが視線を送った文字又は焦点が合ったカメラ画像の文字を認識し、強調表示部で、該認識した文字の単語を音声で強調表示するため、画像中の単語を音声で聞くことができる。また、画像の単語を翻訳して強調表示すれば異なる言語を容易に音声で理解することができる。

（１２）強調表示部で、音声認識部で認識するマイクからの音声の文字及び文字認識部で認識するカメラ画像の文字及び表示手段に表示される電子テキスト画面の文字の三つの文字のうち少なくとも一つの文字の過去の単語を格納部に格納し、前記三つの文字のうちの少なくとも一つの文字の単語から前記格納部の単語を検索し、前記格納部にない単語を強調表示するため、三つの文字のうち少なくとも一つの文字の新規な単語が強調され講演等の話題が変わったことが容易に認識ができ、又は講演者等が話したテキストにない話を聞き逃がさないようにできる。

（１３）：固有表現抽出部で抽出した固有表現を強調表示する単語として格納部へ格納するため、重要な単語である人名、地名、時間等の固有表現を容易に認識することができる。

（１４）：格納部に、ＴＦとＩＤＦの積に基づく値が所定の値より大きい単語を強調表示する単語として格納するため、講演者等が話す又はカメラ画像に出てくる重要な単語を容易に認識することができる。

（１５）：強調表示部で、マイクからの音声の単語又はカメラ画像の文字の単語で、辞書の変換用語情報が有する用語を検索し、当該検索した用語の後に、当該用語と対になる補足用語を音声で挿入又は前記カメラ画像の文字に挿入して、前記マイクからの音声の単語又は前記カメラ画像の文字を強調表示するため、マイクからの音声やカメラ画像の文字に単語の補足用語である著者名や最寄り駅や良く使う表現を容易に補足することができる。

（１６）：マイクからの音声の文書及びカメラ画像の文字の文書の少なくとも一つの文書から箇条書取得部で箇条書きの情報を識別して取得し、順序逆転部で該取得した箇条書きの情報を、箇条書きの順序を逆にして出力するため、例えば、時間的に古いものからの箇条書きの話を新しい順に（逆の順で）認識することができる。

（１７）：強調表示部で、検索した単語をイメージにより異なる強調表示するため、発声者又は画像の文字がどのようなイメージを持っているかを容易に把握することができる。

（１８）：強調表示部で、決定した文書のタイプに対応した、マイクからの音声又はカメラ画像の文字の単語を強調表示するため、文書のタイプに応じて、最適な単語を強調表示することができる。

（１９）：強調表示部で、他の言語の音声又は画像を強調表示するため、例えば、日本語で強調表示する単語をセットしても英語等の他の言語を強調表示することができる。

本発明は、音声情報又は画像情報を強調表示する発明である。例えば、Ａ駅まで行く場合、本発明の強調表示装置をセットすると、車内のアナウンスで、Ａ駅という単語があれば、それを検出し、それがあったことをユーザに知らせることができる。また、Ａ駅という地名、場所に行きたいときに、標識、地図を見る場合に、それを画像認識し、その中にＡという単語があったかどうかをユーザに知らせることができる。

ユーザに知らせる際には、ビープ音、振動、着色などを用いる。また、翻訳の機能と組み合わせて、ユーザの母国語で単語をセットしても外国語の音声、画像を認識し、ユーザに知らせるようにすることもできる。

（１）：強調表示装置の説明
図１は強調表示装置の説明図である。図１において、強調表示装置には、マイク１、カメラ２、音声認識部３、文字認識部４、格納部５、格納部６、単語認識部７、強調表示部８、格納部９が設けてある。

マイク１は、音声を電気信号に変換するマイクロホンである。カメラ２は、物体の像を撮影する撮影手段である。音声認識部３は、マイク１からの音声を認識する音声認識手段である。文字認識部４は、カメラ２からの画像から文字を認識する文字認識手段である。格納部５は、音声信号を格納する格納手段である。格納部６は、画像信号を格納する格納手段である。単語認識部７は、音声認識部３及び文字認識部４及び図示しない電子テキストからの音声情報及び文字情報から単語を認識する単語認識手段である。強調表示部８は、単語認識部７からの単語の内、ユーザが指定した単語を強調表示する強調表示手段である。格納部９は、強調表示する単語、副詞辞書（又は形容詞辞書）等を格納する格納手段である。

なお、格納部５、格納部６、格納部９は、一つの格納部で兼用することもできる。また、格納部５、格納部６では、マイク１又はカメラ２からの情報を直接格納する代わりに、音声認識部３又は文字認識部４でテキスト情報に変換した情報を格納することもできる。また、頻度の高い単語（例えば、過去の新聞等で頻度を検索し、どこにでも出てくるような単語）は、予め登録（格納部９等）しておいて強調表示しないようにすることができる。

さらに、重要な単語の抽出として、後述するTF/IDFがある。このTF/IDFが大きいと重要な単語であるのでこの単語をセットして強調表示を行い、反対にTF/IDFが小さい単語は強調表示しないようにセットできる。

また、音声（マイク１）と画像（カメラ２）の両方に出てきた単語を認識し、音声と画像の両方で強調表示することもできる。これにより、強調表示する単語をセットしなくても、音声と画像の両方に出てくる重要な単語を強調することができる。また、音声にだけしかなかった単語を音声において強調表示することもでき、また、逆に画像の方にしかなかった単語を画像で強調表示することができ、これにより、例えば、講演者が着目していなかった単語（講演者がしゃべり忘れた部分）をテキストの画像で認識することができる。

（２）：音声の強調表示の説明
例えば、Ａ駅まで行く場合、強調表示したいＡ駅という単語を強調表示装置にセットすると、車内のアナウンスで、Ａ駅という単語があれば、それを検出し、それがあったことをユーザにビープ音、振動、音声のボリュウムを上げるなどで知らせるものである。

図２は音声の強調表示処理フローチャートである。以下、図２の処理Ｓ１〜Ｓ４にしたがって説明する。

Ｓ１：格納部９に、強調表示したい単語をキーボード等の入力手段（図示せず）よりセットする。

Ｓ２：音声認識部３は、マイク１より入力された音声信号を格納部５に格納するとともに、音声を認識して単語認識部７に出力する。

Ｓ３：単語認識部７は、認識した音声の形態素解析（単語分割）を行って単語を抽出して、強調表示部８に出力する。

Ｓ４：強調表示部８は、前記抽出した単語が格納部９の強調表示する単語の場合はビープ音や振動（図示しない音の発生器や振動発生器等の強調表示）でユーザに知らせ、強調表示する単語でない場合は知らせない。

なお、強調表示部８は、ビープ音や振動でユーザに知らせるとともに、ボタン等を押すことにより、強調表示する単語の前後の一定（規定）時間を格納部５から再生（セットした単語を強調表示して再生）することもできる。また、処理Ｓ１の単語のセットは、翻訳の機能を組み合わせることによりユーザの母国語で単語をセットしても外国語の音声を認識し、ユーザに知らせることもできる。更に、強調表示する単語を複数個セットした場合、単語毎に異なる強調表示を行うこともできる。

また、強調表示する単語をセットするのに、ユーザが指定（例えば、ボタン等で指定）した一定時間（区間）の視線を送った文書の単語又は一定時間（区間）のカメラで焦点を当てた文書の単語を認識して用いることもできる。さらに、音声認識した結果を電子デバイス（又は後述する眼鏡型ディスプレイ）に表示させ、表示の中からマウス等の指定（ドラッグ等）でユーザが強調表示する単語をセットすることも、単に今から何秒前等の時間を指定して強調表示する単語をセットすることもできる。

（３）：画像の強調表示の説明
例えば、Ａ駅まで行く場合、強調表示したいＡ駅という単語を強調表示装置にセットすると、カメラ（ビデオカメラ）の撮影で、Ａ駅という単語があれば、それを検出し、それがあったことをユーザに画面上で強調表示又はビープ音や振動などで知らせるものである。

図３は画像の強調表示処理フローチャートである。以下、図３の処理Ｓ１１〜Ｓ１４にしたがって説明する。

Ｓ１１：格納部９に、強調表示したい単語をキーボード等の入力手段（図示せず）よりセットする。

Ｓ１２：文字認識部４は、カメラ２より入力された画像信号を格納部６に格納するとともに、画像から文字を認識して単語認識部７に出力する。

Ｓ１３：単語認識部７は、認識した文字の形態素解析（単語分割）を行って単語を抽出して、強調表示部８に出力する。

Ｓ１４：強調表示部８は、前記抽出した単語が前記セットした強調表示する単語の場合は、画像上の単語を色付け等で強調表示するかビープ音や振動（図示しない音の発生器や振動発生器等の強調表示）でユーザに知らせ、強調表示する単語でない場合は知らせない。

なお、強調表示部８は、ビープ音や振動でユーザに知らせるとともに、ボタン等を押すことにより、強調表示する単語の前後の一定（規定）時間を格納部６から再生表示（図示しない表示部にセットした単語を強調表示して再生）することもできる。また、処理Ｓ１１の単語のセットは、翻訳の機能を組み合わせることによりユーザの母国語で単語をセットしても外国語の画像を認識し、ユーザに知らせることもできる。更に、強調表示する単語を複数個セットした場合、単語毎に異なる強調表示を行うこともできる。

また、強調表示する単語をセットするのに、ユーザが指定（例えば、ボタン等で指定）した一定時間（区間）の音声の単語又は一定時間（区間）のカメラで焦点を当てた文書の単語を認識して用いることもできる。さらに、文字認識した結果を電子デバイス（又は後述する眼鏡型ディスプレイ）に表示させ、表示の中からマウス等の指定（ドラッグ等）でユーザが強調表示する単語をセットすることも、単に今から何秒前等の画像の時間を指定して強調表示する単語をセットすることもできる。

（電子的映像を出せる眼鏡を用いる場合の説明）
ユーザが電子的映像を出せる眼鏡（眼鏡型ディスプレ−）をかけ、ユーザが見ている画像の文字を認識し、ユーザがセットした単語を強調表示部から実世界において眼鏡ごしで強調してみることができる。この場合、眼鏡には、ユーザが見ている方向の文字（文書）を認識できる文字認識手段（視線方向の文字認識装置）を備える。これにより、ユーザが見ている文字（文書）の中でユーザのセットした単語を強調することができる。

例えば、ユーザが見ている方向の道路に表示されている看板や指示（案内）ポスター等の文字を認識して、実際の看板や指示ポスターの文字を眼鏡ごしで強調して見ることができる。これにより、ユーザが行きたい場所をセットしておけば、実際の看板や指示ポスターの文字を眼鏡ごしで強調して見ることができる。

また、ユーザが大学受験番号をセットしておけば、壁に張り出されている大学合格者のリストを見れば、自分の番号をすばやく見つけることができる。

さらに、ユーザが今から何秒前（後）等の音声又は画像の時間を指定して、眼鏡型ディスプレ−に表示（強調表示）する文書（単語）を指定することもできる。これにより、音声を聞き逃したり、画像を見逃したりても眼鏡型ディスプレ−上（又はスピーカ）でその文書を認識することもできる。

なお、上記では眼鏡型ディスプレ−について説明したが、カメラ付きの携帯電話を使用することもできる。カメラ付きの携帯電話では、音声認識結果を携帯電話の画面に表示することができ、また、携帯電話のカメラ画像の文字を認識して画面で強調表示することもできる。
（４）：講演における強調表示の説明
講演においては、ユーザが講演のテキスト（電子テキスト又はカメラで見ているテキスト）でもって、講師の説明を音声で聞く、講師はスライド（又は電子スライド）を見ながら説明をするものとする。

強調表示する単語をセットする。例えば、講師が最初に話した今日は「・・・・」に付いてお話をします。「・・・・」の部分（すなわち、タイトル部分）の音声の単語を認識（自動またはユーザが指定）し、その単語を強調表示する単語としてセットする。これにより、講演の重要な部分を聞き逃すことを防ぐことができる。

また、講演者が話す音声の単語を認識し、新しく出てきた単語（新規単語）を強調表示（その単語の音声を大きく）することもできる。この場合、強調表示部は、講演者が話す音声の単語を認識して記憶（格納部）し、記憶していない単語を音声中で認識すればその単語を強調表示する。これにより、講演の話題が変わったことを容易に認識することができる。なお、音声の単語を記憶するのに、出現頻度を付与するようにすれば、頻度に応じた強調表示を行うこともできる。

さらに、講演者が話す音声の単語を認識し、テキスト（電子テキスト又はカメラ画像）上（又はユーザが見ているスライド上）で強調表示していけば、講演者が今どこを話しているかをユーザは容易に認識することができる。すなわち、電子テキスト又は電子スライドでない場合は、前述の電子眼鏡上で強調表示するものである。

また、逆に、カメラ画像又は電子テキスト画面の新規単語又はタイトル部分の単語を音声で強調表示することもできる。このタイトル部分の認識には、ユーザが指定する又は太字の部分等を認識して自動でタイトル部分を認識することもできる。

なお、電子テキスト又は電子スライドの場合は、表示画面（表示手段）の文字がすでにテキスト化（コード化）されているので文字認識部４（図１参照）では、容易に（コード化等が異なっていてもコード変換やプロトコル変換等で）文字を認識することができる。

また、上記では強調表示する単語の抽出領域をタイトル部分としたが、マイク音声又はカメラ画像の文書の一部を抽出領域と設定して、そこから強調表示する単語を抽出することもできる。

（５）：形態素解析システムの説明
日本語を単語に分割するために、単語認識部７が行う形態素解析システムが必要になる。ここではChaSenについて説明する（奈良先端大で開発されている形態素解析システム茶筌http://chasen.aist-nara.ac.jp/index.html.jp で公開されている）。

これは、日本語文を分割し、さらに、各単語の品詞も推定してくれる。例えば、「学校へ行く」を入力すると以下の結果を得ることができる。

学校 ガッコウ 学校 名詞−一般
へ ヘ へ 助詞−格助詞−一般
行く イク 行く 動詞−自立 五段・カ行促音便 基本型
ＥＯＳ
このように各行に一個の単語が入るように分割され、各単語に読みや品詞の情報が付与される。

（英語の品詞タグつけの説明）
英語の品詞タグつけシステムとしては Brillのものが有名である。

Eric Brill,
Transformation-Based Error-Driven Learning and
Natural Language Processing: A Case Study in Part-of-Speech Tagging,
Computational Linguistics, Vol. 21, No. 4, p.543-565, 1995.
これは、英語文の各単語の品詞を推定してくれるものである。

（６）：副詞表現の強調表示の説明
著者又は話者の書いた又は話した文章において、プラスのイメージ、又は、マイナスのイメージを持って、書いたのか話したのかを、副詞を使って判定できる。そして、当該副詞を強調表示することができる。例えば、プラスのイメージの副詞を青色にマイナスのイメージの副詞を赤色に強調表示する。また、音声の場合、プラスのイメージの副詞を喜んだ感じの音声に、マイナスのイメージの副詞を怒った感じの音声に強調表示することもできる。

例えば、マイナスのイメージの副詞を利用した場合、そのようなマイナスイメージの単語は使わない方がいいですよ、と注意を与えることも可能である。副詞は直接文章の主たる表現の動詞にかかるもので、著者または話者のイメージを直接表すもので、著者または話者のイメージを抽出表示するのに役立つものである。また、一つの文において、異なるイメージの副詞が同時に使われるような矛盾した状況を利用して、副詞の誤用を指摘することもできる。

各副詞がプラス、マイナスのどちらのイメージを持つかの特定には、各副詞がプラス、マイナスのどちらのイメージを持つかを示した辞書を作成し、これに基づいて特定を行っている。この辞書の構築は、まず一般的な文章での副詞の出現率を調べ、出現率の大きい副詞から辞書に登録することで、効率よく網羅性の高い辞書を作成することができる。

この辞書の作成には、文章中において各副詞がプラス、マイナスのどちらのイメージを持つかを意味するタグを付与した教師データを作成し、そのデータから学習などによって特定してもよい。

なお、プラスのイメージの副詞を青色等にマイナスのイメージの副詞を赤色等に強調表示する説明をしたが、形容詞についても、同様にプラスのイメージの形容詞を青色等にマイナスのイメージの形容詞を赤色等に強調表示することができる。また、強調表示は、副詞（又は形容詞）だけでなく、副詞（又は形容詞）が出てくる文を強調表示することもできる。

図４は副詞表現の強調表示処理フローチャートである。以下、図４の処理Ｓ２１〜Ｓ２３に従って説明する。

Ｓ２１：音声認識部３（又は文字認識部４）より、文を強調表示部８に入力する。

Ｓ２２：強調表示部８は、入力された文の中で格納部９の辞書にある副詞（又は形容詞）を検索する。

このときの検索方法は次の２つがある。

(1) 辞書中の副詞（又は形容詞）を、入力された文中の文字列として探す。

(2) 単語認識部７で入力された文の形態素解析（単語分割）を行い、単語の品詞を求め、求めた副詞（又は形容詞）を辞書中から検索する（形態素解析を行うと単語分割ができるため抽出エラーが少なくなる）。

Ｓ２３：強調表示部８は、検索した副詞（又は形容詞）を、イメージにより異なる強調表示をして出力（図示しない出力部に）する。

（副詞辞書の構築の説明）
日本語の副詞には、程度や動作の様態などを表すもののほかに、ある命題や事柄に対する話し手の感情や判断といった、心理的な態度を表すものも存在することが知られている。しかし、言語処理における評価表現抽出や評判分析など、感性情報を扱う研究では、処理対象から副詞を除外して行われることが多かった。従って、これまで言語処理における副詞の重要性について調査した研究は少ない。これは、情報検索において、副詞が文の命題内容に直接関わらないため、検索に必要なインデックス化の際に、ストップワードとして除外されることが多く、評判分析や意見抽出などの処理でも同様の処理が行われてきたことが原因にあると思われる。また、副詞はその形態が定まっておらず、各副詞個別の出現率もあまり高くないため、評判分析における重要語抽出でも、評価を決定するための重要語として抽出されることは少ない。そのため、副詞の場合は他の評価表現と違い、自動獲得や自動分類ではなく、あらかじめ人手により作成した辞書の形で定義しておくことが望ましい。そこで、我々は話者の態度を記述した副詞辞書を構築した。

ａ）副詞のタグ付けの説明
次に我々は、抽出した副詞に対し、話者の態度の情報を人手で加えることにした。一口に話者の態度といっても、ある事柄に対して好ましいと思っているか、好ましくないと思っているかといった、肯定否定性に関わる態度や、ある事柄が確かであるか、そうでないかといった確信度に関わる態度など、さまざまな話者の態度が存在する。今回我々がタグ付けの対象とした情報は、肯定否定性に関わる態度に関するものである。話者がある出来事を望ましいとか、好ましいと思っている（プラスイメージ）ときに使用される副詞を肯定性評価を持つ副詞とし、“ｐ”のタグを付けた。逆に、話者がある出来事を望ましくないとか、好ましくないと思っている（マイナスイメージ）ときに使用される副詞を否定性評価を持つ副詞とし、“ｎ”のタグを付けた。プラスでもマイナスでもないもの、また文脈によって、プラスにもマイナスにもなるものは中立の副詞とし、“０”のタグを付けた。以下、この評価タグを付けた副詞を評価付き副詞と呼ぶ。

ここで、肯定的な文、否定的な文とは、次のような定義とする。

その文の書き手が文で表されている内容を好ましい又は良いこととして捉えている場合、これを肯定的な文と呼ぶことにする。それとは逆に、その文の書き手が文で表されている内容を好ましくない又は、悪いこととして捉えている場合、これを否定的な文と呼ぶことにする。そのどちらでもない場合は中立な文とする。この評価基準に基づいて、抽出した文を人手で判断し、正解を作成した。

次に、各文に対し、作成した辞書を用いて、対象とする文に辞書に含まれる副詞がある場合に、辞書に基づいた、肯定“ｐ”、否定“ｎ”、中立“０”の分類を行った。その後、辞書による分類ｐ、ｎ、０、のそれぞれについて、正否を判断した。

ｂ）具体例の説明
形容詞と副詞の例を評価ごとに文例を含めて説明する。副詞の方はＷＥＢテキストの例も含んでいる。それぞれ順番に０（中立) 、ｐ（肯定的）、ｎ（否定的）の順に副詞（形容詞）例文という形で記している。また、該当する副詞（形容詞）は［］でくくっている。

・副詞の例
０
たまたま &image のように、CGI 呼び出し中の& に続くパラメタが、［たま
たま］定義されている実体参照と同じだった場合にもこの警告が出る
ことがあります。

［たまたま］近くを通りかかったのでお寄りしました。

ほとんど 98年のナビスコカップ準優勝以外は［ほとんど］結果を残せていな
い。

昨日は［ほとんど］一日中家で本を読んでいた。

急遽 13 日に変更したばかりでしたが、折角の七五三お参りでしたので
［急遽］変更いたしました。

課長の急死で出張先から［急遽］呼び戻された。

徐々に、 父親も電車に興味があり、そこから［徐々に］電車に興味を持ち始
めた。

SL は［徐々に］スピードを上げていった。

要するに CyberBookとは、［要するに］コンピュータ上で読む本のことです
。

私が言いたいのは、［要するに］日本の政治は今のままではだめだ
ということです。

ｐ
すかさず ［すかさず］、取り出して、美味しいステーキをお皿にスタンバイ
させる。

西武の選手は四球で塁に出ると［すかさず］走る。

ふんだんに "食" に関する" 役立つノウハウ" ，" おいしい情報" ［ふんだん
に］詰まっているチャンネル。

バターを［ふんだんに］使ってケーキを焼いた。

ようやく "デジタルカメラ" が［ようやく］本当のカメラになってくれて、
すっごくうれしいです！
一週間降り続いた雨が［ようやく］上がった。

早速 16 日付け、沖縄タイムス社の『北谷町伊平の県道２３号（国体道
路）沿い米軍嘉手納基地内から古墓発見』の記事を見て［早速］見に
行ってきました。

電話の修理を頼んだら［早速］やってきてくれた。

断然 CATV 回線を使った通信だから、［断然］速い！
犬を飼うなら［断然］秋田犬だね。

n
せいぜい 1 年に［せいぜい］6 人の歌手だけが選ばれるという訳だ。

今のうちに［せいぜい］遊んでおくんだね。

ややもすれば しかし、教員主導のコンピュータの授業は、［ややもすれば］、単
純にソフトウェアの使い方を知らせるだけになりがちです。

この問題は［ややもすれば］大事件に発展しかねない危険性をはら
んでいる。

わざわざ 2〜3 年前の話では、「ISO 」のために［わざわざ］新たに雇い入
れたという話もありましたが、そうでなくても従業員の方々が「ISO
」に費やす時間を計算していくと相当なものになります。

奴は［わざわざ］俺に聞こえるように言ったんだ。

まだしも （サービスなら［まだしも］、しっかり勘定に入っており、おおむ
ねマズイときている）これは当たり前のように習慣化しているが、居
酒屋の禁じ手の第一である。

傘だけなら［まだしも］鞄まで電車の中に忘れてきたのよ。

無理矢理 22 時くらいまでは全然静かで、ボーカルが「イエーイ、みんな乗
ってるね」などと状況と違う事を言って［無理矢理］盛り上げようと
して失笑してしまうほどでした。

男は嫌がる子供を［無理矢理］引きずっていった。

・形容詞の例
０
まぶしい ［まぶしい］真夏の太陽が照りつける。

何気ない 彼の［何気ない］一言が彼女をひどく傷つけた。

言い難い 他人には［言い難い］事情がある。

著しい 両者の間には［著しい］違いがある。

根強い そのベテラン俳優には［根強い］人気がある。

ｐ
初々しい 新入生の新しい制服姿は何とも［初々しい］。

懐かしい 都会にいると故郷の野山が［懐かしい］。

情け深い 裁判官は［情け深い］判決を申し渡した。

清々しい 彼は［清々しい］印象を残して去っていった。

慎ましい 彼は誰の前でも［慎ましい］態度を崩さない。

ｎ
耐えがたい 彼の暴言は［耐えがたい］侮辱だ。

疑わしい 彼が一人でいたかどうか［疑わしい］ところだ。

見苦しい 彼の髪型はじつに［見苦しい］。

執念深い 奴はヘビのように［執念深い］男だ。

情けない まだ一回も勝てないとは［情けない］。

（７）：ユーザの視線を使用する場合の説明
ユーザの視線を利用して、強調表示する単語をユーザが視線を送った単語とするものである。ユーザの視線を検知し、そのユーザが何に興味を持っているかを認識し、その認識結果を利用して、マイク１又はカメラ２からの音声や画像の単語を強調表示する。これにより、ユーザの興味を視線により認識し、その認識結果を機械的知能（計算機）により高度に活用することで、ユーザと機械的知能の協働を促進させることになり、人間の能力と計算機の能力の融合につながるものである。

ａ）強調表示する単語の抽出の説明
図１の強調表示部８で強調する単語は、ユーザが興味を持っている単語を特定し、その単語を強調表示し、音声においては興味のある単語をユーザに知らせ、画像においてはその部分を読むとよいことをユーザに知らせるものである。

図５は視線が送られた単語の抽出装置の説明図である。図５において、視線が送られた単語の抽出装置（抽出部）には、視線認識部１１、視線位置の文字認識部１２、回数又は時間計測部１３が設けてある。視線認識部１１は、撮影した画像より検出された人の顔における目の部分の画像を切り出し、黒目の位置を抽出し、視線の方向を検出する視線検出装置（視線認識手段）である。視線を検知する技術は誤り誤差が0.5 度程度になってきており、性能も向上してきており、本発明を遂行することができる。視線位置の文字認識部１２は、視線位置及びその周辺の文字（単語）を認識する文字認識手段である。なお、視線位置の文字認識部１２は、図１の文字認識部４と単語認識部７を用いることもできる。回数又は時間計測部１３は、単語を見ている時間、回数を計測する計測手段である。

この回数又は時間計測部１３で、所定の値よりも、回数、又は、時間が多かった単語を取り出して格納部９（図１参照）にセットし、強調表示部８（図１参照）において、音声及び画像において強調表示するものである（この強調表示は、音量を変える、音の周波数を変える、ビープ音を出す、色を変える、太字にする、網掛けにするなど) 。

（フローチャートによる説明）
図６は視線が送られた単語の抽出処理フローチャートである。以下、図６の処理をＳ３１〜Ｓ３３に従って説明する。

Ｓ３１：視線認識部１１で、ユーザの視線がカメラ２で撮影された画像（又は電子的眼鏡）のどこにあるかを特定する。

Ｓ３２：視線位置の文字認識部１２は、ユーザの視線が送られた周辺範囲を取り出し、その範囲にあった単語を抽出する。

Ｓ３３：回数又は時間計測部１３は、単語ごとにユーザの視線が送られた回数、または、合計時間を計測する。

このように、ユーザが興味を持っている単語を特定し、その単語を音声及び画像において強調表示し、その部分をユーザに知らせることができる。

図７は視線が送られなかった単語の強調表示処理フローチャートである。以下、図７の処理をＳ４１〜Ｓ４４に従って説明する。

Ｓ４１：視線認識部１１で、ユーザの視線がカメラ２で撮影された画像（又は電子的眼鏡）のどこにあるかを特定する。

Ｓ４２：視線位置の文字認識部１２は、ユーザの視線が送られた周辺範囲を取り出し、その範囲にあった単語を抽出する。

Ｓ４３：回数又は時間計測部１３は、単語ごとにユーザの視線が送られた回数、または、合計時間を計測する。

Ｓ４４：この回数又は時間計測部１３で、所定の値よりも、回数、または、時間が多かった単語を取り出して格納部９（図１参照）にセットし、強調表示部８（図１参照）において、格納部９にセットされていない単語（ユーザの視線が送られた回数、または、合計時間が所定の値よりも小さい単語）を、音声及び画像において強調表示する。

このように、ユーザが視線を送って過去に見た単語を記憶し、見た回数に応じて単語を異なる強調表示して興味のある単語が有ることを認識させ、また、ユーザがあまり見たことのない単語を強調表示し、自分があまり見たことのない単語を認識させることができる。

ｂ）連想単語抽出部を使用する単語の抽出の説明
連想単語抽出部を使用する単語の抽出は、ユーザが興味を持っている単語を特定し、それに関するもの、または、連想されるものを提示して強調表示するものである。

図８は連想単語抽出部を使用する単語の抽出の説明図である。図８において、視線が送られた単語の抽出装置（抽出部）には、視線認識部１１、視線位置の文字認識部１２、回数又は時間計測部１３、連想単語抽出部１４が設けてある。視線認識部１１は、撮影した画像より検出された人の顔における目の部分の画像を切り出し、黒目の位置を抽出し、視線の方向を検出する視線検出装置（視線認識手段）である。視線を検知する技術は誤り誤差が0.5 度程度になってきており、性能も向上してきており、本発明を遂行することができる。視線位置の文字認識部１２は、視線位置及びその周辺の文字（単語）を認識する文字認識手段である。なお視線位置の文字認識部１２は、図１の文字認識部４と単語認識部７を用いることもできる。回数又は時間計測部１３は、単語を見ている時間、回数を計測する計測手段である。連想単語抽出部１４は、回数、または、合計時間が所定の値よりも大きい単語とよく共起する単語を、抽出する抽出手段である。

（フローチャートによる説明）
図９は連想単語抽出部を使用する処理フローチャートである。以下、図９の処理をＳ５１〜Ｓ５５に従って説明する。

Ｓ５１：視線認識部１１で、ユーザの視線がカメラ２で撮影された画像のどこにあるかを特定する。

Ｓ５２：視線位置の文字認識部１２は、ユーザの視線が送られた周辺範囲を取り出し、その範囲にあった単語を抽出する。

Ｓ５３：回数又は時間計測部１３は、単語ごとにユーザの視線が送られた回数、または、合計時間を計測する。

Ｓ５４：連想単語抽出部１４は、回数、または、合計時間が所定の値よりも大きい単語とよく共起する単語を抽出する。

Ｓ５５：この所定の値よりも、回数、または、時間が多かった単語と、該単語とよく共起する単語を取り出して格納部９（図１参照）にセットし、強調表示部８（図１参照）において、格納部９にセットされた単語（ユーザの視線が送られた回数、または、合計時間が所定の値よりも大きい単語）を、音声及び画像において強調表示する。この場合、このよく共起する単語の強調表示は、元の単語（処理Ｓ５３の回数又は時間計測部１３で計測された単語）とは異なる様態（例えば、色を変えるなど）で強調表示するものである。

このように、ユーザが興味を持っている単語を特定し、それに関するもの、または、連想されるものを強調して提示することができる。

（単語W1とよく共起する単語W2の説明）
単語W1とよく共起する単語W2の特定は、あるコーパス（言語テキストのデータ、数年分の新聞記事や、ウェブデータなど）で、単語W1と同一文、または、あらかじめ定めた値だけの文字数以内の距離にある単語を取り出し、その単語の中で、単語W1と同一文、または、あらかじめ定めた値だけの文字数以内の距離に現れた回数が、所定の値よりも多いものを取り出し、それらをよく共起する単語W2とする。

または、
単語W1と同一文、または、あらかじめ定めた値だけの文字数以内の距離に現れた回数が大きいものから順に所定の値の個数まで大きいものを取り出し、それらをよく共起する単語W2とする。

ｃ） tfidf法の説明
重要キーワードの自動抽出には TF/IDF 法が主に用いられる。ここで、
TF --- その文書でのその語の出現回数。

IDF --- その語があらかじめ持っている多数の文書のうち、何個の文書に
出現するかのその個数の逆数。

一般に TF と IDFの積が大きい語ほどキーフレーズとして妥当なものとなる。

例えば、複数の本を持ってきて、その一つひとつを文書と思ってIDF を求める方法が考えられる。また、IDF は本のデータ以外のデータで求めて、それを今回の本のデータに使う手もある。すなわち、本に限らず文書データを集めて、それぞれの文書を一つ一つの文書と考えてIDF を求める。そこで求めた IDFを今回の IDFに使うということである。

TFについては、その文書での出現回数であるので、今回は、マイク１及びカメラ２からの出現回数となる。

なお、前記実施の形態では、「所定の値よりも、回数、または、時間が多かった単語を、強調表示する」ことになっているが、これだと重要単語以外も強調表示される可能性がある。このため、「所定の値よりも、回数、または、時間と、tfidf の値の積が大きかった単語を、強調表示する」又は「所定の値よりも、回数、または、時間が多かった単語のうち、所定の値よりも、tfidf の値が大きかった単語を強調表示する」とすることもできる。これにより、より確実に重要単語を強調表示することができる。

また、強調表示としては、名詞を強調表示する、又は、名詞と動詞と形容詞だけを強調表示する等、強調表示や抽出する単語の品詞を限定することもできる。

ｄ）視線の先の単語の認識の説明
前記実施の形態では、ユーザの視線が送られた周辺範囲を取り出し、その範囲にあった単語を抽出している。この視線の先の単語の認識の詳細については、
視線があるとされた部分を頻度１とするとき、
その視線のあったところから、離れるにつれて、小さくなるような重みを頻度につけて、視線の送られた回数、時間を計測する。

また、重みの付け方としては、
1/r, 1/r＾2, .., 1/r＾n や C＾(-r)
などの式が一般的であるがこれに限らない。

r は視線から単語までの距離。

＾は指数を意味する記号（例：2 ＾2 は、2 の二乗）
C は定数
（８）：音声認識部を使用する単語抽出の説明
音声認識部を使用する単語抽出は、ユーザがつぶやいた単語を音声認識部で認識し、その単語をユーザの興味を持っている単語と特定し、その単語を強調表示し、ユーザに知らせるものである。

図１０は音声認識部を使用する単語抽出の説明図である。図１０において、音声認識部を使用する単語抽出には、回数又は時間計測部１３、音声認識部１５、単語認識部１６が設けてある。回数又は時間計測部１３は、単語をつぶやいた回数を計測する計測手段である。音声認識部１５は、ユーザがつぶやいた音声を認識する音声認識手段である。単語認識部１６は、ユーザがつぶやいた音声の単語を認識する単語認識手段である。なお、音声認識部１５と単語認識部１６は、図１の音声認識部３と単語認識部７を用いることもできる。

（フローチャートによる説明）
図１１は音声認識部を使用する単語抽出処理フローチャートである。以下、図１１の処理をＳ６１〜Ｓ６３に従って説明する。

Ｓ６１：音声認識部１５で、ユーザがつぶやいた音声を認識する。

Ｓ６２：単語認識部１６で、ユーザがつぶやいた音声の単語を認識する。

Ｓ６３：回数又は時間計測部１３は、単語ごとにユーザがつぶやいた回数を計測する。

この回数又は時間計測部１３で、所定の値よりも、回数、または、時間が多かった単語を取り出して格納部９（図１参照）にセットし、強調表示部８（図１参照）において、音声及び画像において強調表示するものである（この強調表示は、音量を変える、音の周波数を変える、ビープ音を出す、色を変える、太字にする、網掛けにするなど) 。

（その他の音声認識部を使用する強調表示の説明）
前記実施の形態の（７）において、「視線認識部１１」の代わりに「音声認識部１５」を使用することにより、回数又は時間計測部１３でユーザが単語をつぶやいた回数を計測することにより、単語抽出に音声認識部を使用する強調表示装置を構成することができる。

ａ）自分があまりつぶやいたことのない単語を強調表示する説明
ユーザが過去につぶやいた単語を記憶し、つぶやいた回数に応じて単語を異なる強調表示（例えば、画像では色を変えて表示）、ユーザがあまりつぶやいたことのない単語を強調表示し、自分があまりつぶやいたことのない単語を認識させるものである。

ｂ）連想単語抽出部を使用する単語の抽出の説明
連想単語抽出部を使用する単語の抽出は、ユーザがつぶやいた興味を持っている単語を特定し、それに関するもの、または、連想されるものを提示して強調表示するものである。

（９）：質問と回答における強調表示の説明
質問と回答における強調表示は、ユーザが指定した領域に含まれる語の中で、例えば、「疑問詞」＋「数字と結合できる名詞（時、月、年、歳、枚、など）」で示されるキーワードに対応して、本文中において「数値」＋「数字と結合できる名詞」で表される部分を強調表示することで、疑問詞の問いかけに対応する回答部分が容易に判るようにするものである。

Ｗｅｂ（ウエブ）サイトでの質問とその回答やＦＡＱ（よくある質問とその回答）のように、質問と回答の記事を人手で作成し蓄えておき、ユーザに提示するということが多くなってきている。そのときに、本発明のような強調表示を使用すると、質問に対する回答が容易に判るようになる。

本発明は、画像の領域に含まれる語の中で、例えば、「疑問詞」＋「数字と結合できる名詞（時、月、年、歳、枚、など）」で示されるキーワード（単語）に対応して、本文中において「数値」＋「数字と結合できる名詞」で表される部分を強調表示することで、疑問詞の問いかけに対応する回答部分が容易に判るようにするものである。

ａ）質問と回答における強調表示の説明
図１２は質問と回答における強調表示部の説明図である。図１２において、質問と回答における強調表示部８には、疑問詞後接語抽出部２１、主要語抽出部２２が設けてある。なお、他の構成は図１と同様である。

疑問詞後接語抽出部２１は、疑問詞の後ろにくる名詞や接尾辞を抽出する疑問詞後接語抽出手段（抽出部）である。主要語抽出部２２は、あまり意味のない単語（「もの」「こと」等の予め指定した単語）を除いた名詞や動詞等を抽出する主要語抽出手段（抽出部）である。

ｂ）疑問詞の後ろに付く単語を強調表示する説明(1)
図１３は疑問詞の後ろに付く単語を強調表示するフローチャートである。以下、図１３の処理Ｓ７１〜Ｓ７３に従って説明する。

Ｓ７１：疑問詞後接語抽出部２１は、音声及び画像の文の単語からの疑問詞＋「名詞or接尾辞」を取り出す（疑問詞のある文を質問の文とする）。

Ｓ７２：主要語抽出部２２は、文（質問の文）から主要語を取り出す。

ここで主要語は、名詞や動詞などである。ただし、あらかじめ指定した所定の単語は除く（例えば、「もの」「こと」などのあまり意味をなさない単語) 。

Ｓ７３：強調表示部８は、以降の文（回答の記事）において取り出した主要語、疑問詞に後接していた「名詞or接尾辞」を強調表示（画像では常にバックに黄色を出すなど）する。

例：・・・・何大学・・・・・の質問の場合、画像で、大学を黄色で強調表示する（又は音声を強調表示する）。これにより、強調表示部分を見る（聞く）ことで、質問に対する回答を容易に見つけることができる。

（ＦＡＱの具体例による説明）
（質問）東京で偏差値の高いのは何大学ですか．
（回答）受験する学部により偏差値の値は異なりますが、一般的に東京大学の偏差値が各学部とも高いようです．
画像の強調表示では、以下のように強調表示する（ここでは「＜」、「＞」で強調表示）。

（質問）東京で偏差値の高いのは何＜大学＞ですか．
（回答）受験する学部により偏差値の値は異なりますが、一般的には東京＜大学＞の偏差値が各学部とも高いようです．
ここで、疑問詞、名詞、接尾辞、動詞の単語の抽出は、前に説明した形態素解析を使用して行うことができる。

ｃ）疑問詞の後ろに付く単語を利用して強調表示する説明(2)
図１４は疑問詞の後ろに付く単語を強調表示するフローチャートである。以下、図１４の処理Ｓ８１〜Ｓ８３に従って説明する。

Ｓ８１：疑問詞後接語抽出部２１は、音声及び画像の文の単語から疑問詞＋「数字と結合できる所定の名詞or接尾辞」を取り出す（疑問詞のある文を質問の文とする）。

Ｓ８２：主要語抽出部２２は、文（質問の文）から主要語を取り出す。

ここで主要語は、名詞や動詞などである。ただし、あらかじめ指定した所定の単語（例えば、「もの」「こと」などのあまり意味をなさない単語) は除く。

Ｓ８３：強調表示部８は、以降の文（回答の記事）において取り出した主要語、数字＋「取り出した名詞or接尾辞」を強調表示する。数字＋「取り出した名詞or接尾辞」は、それ専用の強調表示（例えば、画像では主要語とは異なる色（常にバックに黄色を出すなど））する。

例：・・・・何個・・・・・の質問の場合、回答本文で、「３個」を黄色で強調表示する。これにより、強調表示部分を見ることで、質問に対する回答を容易に見つけることができる。

（ＦＡＱの具体例による説明）
（質問）睡眠時間は何時間くらいがいいですか．
（回答）諸説別れますが，７時間から８時間がよいという説が一般的です．でもいつ寝るのかも重要に思います．昼間長時間寝ても，夜寝るのに比べて効果が低いと思います．
強調表示部では、以下のように強調表示する（ここでは「＜」、「＞」で強調表示）。

（質問）睡眠時間は何＜時間＞くらいがいいですか．
（回答）諸説別れますが，＜７時間＞から＜８時間＞がよいという説が一般的です．でもいつ寝るのかも重要に思います．昼間長時間寝ても，夜寝るのに比べて効果が低いと思います．
また、以下のように強調表示することもできる（ここでは「＜」、「＞」で強調表示）。

（質問）睡眠時間は何＜時間＞くらいがいいですか．
（回答）諸説別れますが，７＜時間＞から８＜時間＞がよいという説が一般的です．でもいつ寝るかも重要に思います．昼間長＜時間＞寝ても，夜寝るのに比べて効果が低いと思います．
このように、すぐに７時間、８時間の表現に目がいき便利となる。

ｄ）数量表現を指す疑問詞を利用して強調表示する説明
図１５は数量表現を指す疑問詞を利用して強調表示するフローチャートである。以下、図１５の処理Ｓ９１〜Ｓ９３に従って説明する。

Ｓ９１：疑問詞後接語抽出部２１は、音声及び画像の文の単語から所定の数量表現を指す疑問詞があることを確認する（所定の数量表現を指す疑問詞がある文を質問の文とする）。

Ｓ９２：主要語抽出部２２は、文（質問の文）から主要語を取り出す。

ここで主要語は、名詞や動詞などである。ただし、あらかじめ指定した所定の単語（例えば、「もの」「こと」などのあまり意味をなさない単語) は除く。

Ｓ９３：強調表示部８は、以降の文（回答の記事）において取り出した主要語、数字を強調表示する。ここで数字はそれ専用の強調表示（例えば、画像では主要語（例えば赤）とは異なる色（常にバックに黄色を出すなど））する。

例：・・・・いくつ・・・・の質問の場合、回答本文で、３個の「３」を黄色で強調表示する。これにより、強調表示部分を見ることで、質問に対する回答を容易に見つけることができる。

この場合、回答が数字となる疑問詞は、予め強調表示部の格納手段に記憶しておくものである。回答が数字となる疑問詞として、「いかほど」、「どのくらい」等がある。

（ＦＡＱの具体例による説明）
（質問）睡眠時間はどのくらいがいいですか．
（回答）諸説別れますが，７時間から８時間がよいという説が一般的です．でもいつ寝るのかも重要に思います．昼間長時間寝ても，夜寝るのに比べて効果が低いと思います．
強調表示部では、以下のように強調表示する（ここでは「＜」、「＞」で強調表示）。

（質問）睡眠時間はどのくらいがいいですか．
（回答）諸説別れますが，＜７＞時間から＜８＞時間がよいという説が一般的です．でもいつ寝るのかも重要に思います．昼間長時間寝ても，夜寝るのに比べて効果が低いと思います．
ｅ）疑問詞の意味を利用して強調表示する説明(1)
図１６は疑問詞の意味を利用して強調表示するフローチャートである。以下、図１６の処理Ｓ１０１〜Ｓ１０３に従って説明する。

Ｓ１０１：疑問詞後接語抽出部２１は、音声及び画像の文の単語から疑問詞の種類を特定する（疑問詞がある文を質問の文とする）。人名をさすか、地名をさすか、時間をさすか、など。どの疑問詞なら何の種類であるかといった所定の規則みたいなものは予め用意しておく。

Ｓ１０２：主要語抽出部２２は、質問の文から主要語を取り出す。

ここで主要語は、名詞や動詞などである。ただし、あらかじめ指定した所定の単語（例えば、「もの」「こと」などのあまり意味をなさない単語) は除く。

Ｓ１０３：強調表示部８は、以降の文（回答の記事）において取り出した主要語、
人名をさす疑問詞（例、「誰」）の場合は人名を
地名をさす疑問詞（例、「どこ」）の場合は地名を
時間をさす疑問詞（例、「いつ」）の場合は時間（春、夏等の季節も含む）を
それ専用の強調表示（画像の場合は常にバックに黄色を出すなど）する。

なお、ここで各単語が人名、地名、時間を指すかを判断するには、固有表現抽出の技術を利用する。

（ＦＡＱの具体例による説明）
（質問）今年もっとも世間を騒がせた人物は誰でしょうか．
（回答）今年もいろいろとありましたが，総選挙，買収劇と，多方面に目立った人は，堀江氏でしょう．来年はどういった人物が出てくるか楽しみですね．
強調表示部では、以下のように強調表示する（ここでは「＜」、「＞」で強調表示）。

（質問）今年もっとも世間を騒がせた人物は＜誰＞でしょうか．
（回答）今年もいろいろとありましたが，総選挙，買収劇と，多方面に目立った人は，＜堀江氏＞でしょう．来年はどういった人物が出てくるか楽しみですね．
ｆ）疑問詞の意味を利用して強調表示する説明(2)
図１７は疑問詞の意味を利用して強調表示するフローチャートである。以下、図１７の処理Ｓ１１１〜Ｓ１１３に従って説明する。

Ｓ１１１：疑問詞後接語抽出部２１は、音声及び画像の文の単語から疑問詞の種類を特定する（疑問詞がある文を質問の文とする）。ここでは疑問詞が理由を指すもの（例えば、「なぜ」「どうして」）であるとする。どの疑問詞なら何の種類であるかといった所定の規則みたいなものは予め用意しておく。

Ｓ１１２：主要語抽出部２２は、質問の文から主要語を取り出す。

ここで主要語は、名詞や動詞などである。ただし、あらかじめ指定した所定の単語（例えば、「もの」「こと」などのあまり意味をなさない単語) は除く。

Ｓ１１３：強調表示部８は、以降の文（回答の記事）において取り出した主要語、理由を示す所定の単語「ので」「ため」「から」「だから」「理由」「原因」「このため」などを、それ専用の強調表示（画像では常にバックに黄色を出すなど）を行う。

（ＦＡＱの具体例による説明）
（質問）なぜコンピュータは便利なのでしょうか．
（回答）コンピュータは計算機とも呼ばれるもので，人間に代わって様々な計算をしてくれる便利な機械です．コンピュータは，一般に演算装置と記憶装置からなります．コンピュータは，プログラムを与えると演算装置と記憶装置でそれを実行し様々な計算をします．与えるプログラムを変えると，コンピュータはそれに応じた異なった処理を実行することができます．このため，コンピュータは様々な処理をできて便利なのです．
キーワード強調装置では、以下のように強調表示する（ここでは「＜」、「＞」で強調表示）。

（質問）なぜコンピュータは便利なのでしょうか．
（回答）コンピュータは計算機とも呼ばれるもので，人間に代わって様々な計算をしてくれる便利な機械です．コンピュータは，一般に演算装置と記憶装置からなります．コンピュータは，プログラムを与えると演算装置と記憶装置でそれを実行し様々な計算をします．与えるプログラムを変えると，コンピュータはそれに応じた異なった処理を実行することができます．＜このため＞，コンピュータは様々な処理をできて便利なのです．
このように、強調表示した「このため」の前方に理由が書いてあることがすぐにわかり，便利である。

なお、強調表示装置を使用するユーザにおいて、前記の強調表示は行わない設定も可能である。

また、ここで各単語が人名、地名、時間を指すかを判断するには、固有表現抽出の技術を利用する。

（１０）：固有表現抽出の説明
固有表現とは、人名、地名、組織名などの固有名詞、金額などの数値表現といった、特定の事物・数量を意味する言語表現のことである。固有表現抽出（強調表示部８の固有表現抽出手段（）とは、そういった固有表現を文章中から計算機で自動で抽出する技術である。この固有表現抽出は、強調表示部８の固有表現抽出部（固有表現抽出手段）で行われるものである。例えば、「日本の首相は小泉純一郎である」という文に対して固有表現抽出を行なうと、固有表現の「日本」と「小泉純一郎」が地名、人名として、抽出されるものである。

ａ）形態素解析を用いる場合の説明
固有表現を抽出するには、前に説明した形態素解析システム ChaSen を用いることができる。例えば、「日本の首都は東京です」を形態素解析システム ChaSen に入力すると、出力として、次のものが得られる。

出力
日本 ニッポン 日本 名詞−固有名詞−地域−国
の ノ の 助詞−連体化
首都 シュト 首都 名詞−一般
は ハ は 助詞−係助詞
東京 トウキョウ 東京 名詞−固有名詞−地域−一般
です デス です 助動詞特殊・デス基本形
EOS
これだと名詞−固有名詞−地域という品詞が出力されるので、このシステムを使って地名の固有表現を取り出すことができる。

また、例えば、前記システムに「村山首相が言った」を入力すると、出力として、次のものが得られる。

出力
村山 ムラヤマ 村山 名詞−固有名詞−人名−姓
首相 シュショウ 首相 名詞−一般
が ガ が 助詞−格助詞−一般
言っ イッ 言う 動詞−自立五段・ワ行促音便連用タ接続
た タ た 助動詞特殊・タ基本形
EOS
これだと名詞−固有名詞−人名という品詞が出力される。このシステムを使って人名の固有表現を取り出すことができる。

ｂ）人手でルールを作る場合の説明
形態素解析を用いる場合の他に、人手でルールを作って固有表現を取り出すという方法もある。

例えば、人手でルールを作っておくことで、強調表示部８の抽出手段（装置）では、次のルールで固有表現（人名、地名等）を取り出すことができる。

名詞＋「さん」だと人名とする
名詞＋「首相」だと人名とする
名詞＋「町」だと地名とする
名詞＋「市」だと地名とする
ｃ）機械学習を用いる場合の説明
（ユーザ依存型固有表現抽出表示システムの説明）
一部のコーパス（言語資源、例えば、新聞の電子データ）で固有表現をユーザがタグづけし、他のデータでそれら固有表現を自動抽出する技術である。

固有表現の抽出には、学習結果を利用して、入力データの所定の単位のデータについてその素性の場合になりやすい分類先を推定するものである。

例えば、固有表現の抽出に、サポートベクトルマシン法を用いる場合には、機械学習手段では、教師データから解となりうる分類先を特定し、その分類先を正例と負例に分割し、所定のカーネル関数を用いたサポートベクトルマシン法を実行する関数にしたがって素性の集合を次元とする空間上で正例と負例の間隔を最大にして正例と負例を超平面で分割する超平面を求め、その超平面を学習結果とし、その超平面を学習結果記憶手段に記憶する。そして、この学習結果記憶手段に記憶されている学習結果の超平面を利用して、入力データの素性の集合がこの超平面で分割された空間において正例側か負例側のどちらにあるかを特定し、その特定された結果に基づいて定まる分類先を、入力データの素性の集合の場合になりやすい分類先と推定する。

固有表現抽出処理とは、テキストデータから地名、人名、組織名、数値表現などの固有な表現を抽出する処理をいう。固有表現抽出処理において解析結果となる分類先は、例えば地名、人名、組織名、日付表現、時間表現、金額表現、割合表現などである。教師データには、これらの分類先それぞれに対応する分類ラベルが付与される。

教師データ作成のためのタグ登録手段は、ユーザが、入力装置を介して、以下のような固有表現抽出処理の分類先とそれに対応する分類タグを指定すると、ユーザが指定した分類先およびその分類タグ（開始タグと終了タグ）を入力してタグ記憶手段に記憶する。

＜PERSON＞＜/PERSON ＞：分類先＝人名、
＜LOCATION＞＜/LOCATION ＞：分類先＝地名、
＜ORGANIZATION＞＜/ORGANIZATION ＞：分類先＝組織名、
＜ARTIFACT＞＜/ARTIFACT ＞：分類先＝固有物名、
＜DATE＞＜/DATE ＞：分類先＝日付表現、
＜TIME＞＜/TIME ＞：分類先＝時間表現、
＜MONEY ＞＜/MONEY＞：分類先＝金額表現、
＜PERCENT ＞＜/PERCENT＞：分類先＝割合表現、…。

本例では、付与する分類ラベルを文字単位に付与した教師データを作成する。例えば、＜PERSON＞＜/PERSON ＞分類タグが対応する分類先「人名」の分類ラベルは、先頭文字を示す「B-」または先頭以外の文字を示す「I-」を付けて、「B-PERSON」、「I-PERSON」とする。また、分類先に該当しない文字に付与するラベルとして、「OTHER 」を登録する。

また、固有表現抽出処理の分類先として字種を用いる場合には、以下のような分類先および分類タグをタグ記憶手段に格納する。

＜KANJI ＞＜/KANJI＞：分類先＝漢字、
＜KATAKANA＞＜/KATAKANA ＞：分類先＝カタカナ、
＜ALPHABETIC＞＜/ALPHABETIC ＞：分類先＝英字、
＜NUMERIC ＞＜/NUMERIC＞：分類先＝数字。

そして、コーパス入力手段が、固有表現抽出処理の分類先が付与されていないテキストデータで構成されるコーパスを入力すると、タグ付与手段は、コーパスのテキストデータを表示しユーザにタグ付与操作を促すタグ付与画面を表示装置に表示する。

ユーザによって、分類先を付与したい箇所および付与する分類先が指定されたら、タグ付与手段は、タグ付与画面で指定された箇所に対応する文字列の前後に選択された分類タグを挿入する。

例えば、入力されたコーパスに、テキストデータ「…日本の首相は小泉さんです。小泉さんはいつも思いきったことをしています。…」が含まれていたとする。ユーザが、タグ付与画面の指定項目に表示されたテキストデータ上で、マウスドラッグ操作などにより、分類先を付与する単語「日本」を指定する。さらにマウスの右ボタンクリック操作を行って表示させた選択項目から、マウス左ボタンクリック操作などにより分類先「地名」を選択する。同様に、指定項目で単語「小泉」を指定し、選択項目から分類先「人名」を選択する。

タグ付与手段は、タグ付与画面で指定された箇所に対応するテキストデータ中の文字列の前後に、選択された分類タグを挿入する。分類タグが付与されたテキストデータは以下のようになる。
「…＜LOCATION＞日本＜/LOCATION ＞の首相は＜PERSON＞小泉＜/PERSON ＞さんです。小泉さんはいつも思いきったことをしています。…」
さらに、ユーザによって、指定項目で分類先を付与する作業を行い教師データとして使用する範囲が指定されると、タグ付与手段は、タグ付与画面で指定された範囲に対応するテキストデータの文字列の前後に範囲指定タグの開始タグおよび終了タグを付加する。例えば、ユーザが、マウスドラッグにより文「日本の首相は小泉さんです。」を範囲として指定したとする。タグ付与手段は、指定された範囲に対応するテキストデータの文字列の前後に範囲指定タグを挿入する。範囲指定タグが付与されたテキストデータは以下のようになる。
「…＜UC＞＜LOCATION＞日本＜/LOCATION ＞の首相は＜PERSON＞小泉＜/PERSON ＞さんです。＜/UC ＞小泉さんはいつも思いきったことをしています。…」
一方、ユーザが、分類先を付与した後、教師データとして使用する範囲を指定しなかった場合には、タグ付与手段は、指定項目で分類先が付与された箇所を含む所定の箇所をユーザが選択した範囲とみなし、その範囲の前後に範囲指定タグを付加する。例えば、タグ付与手段は、テキストデータ中の分類タグが付与された文字列に単語の前後に連なる所定の文字数や単語数などの範囲を、ユーザが選択した範囲とみなし、みなした範囲の前後に範囲指定タグを付加する。

そして、タグ付与手段は、テキストデータに分類タグおよび範囲指定タグを付加したテキストデータ（タグ付きコーパス）をコーパス記憶手段に記憶する。

その後、ユーザ範囲抽出手段は、コーパス記憶手段のタグ付きコーパスから、範囲指定タグの開始タグ＜UC＞と終了タグ＜/UC ＞とに囲まれた範囲のテキストデータ（ユーザ範囲データ）を抽出する。なお、ここではユーザがUCのタグを付ける説明をしたが、システム作成者がこのタグを付与することもでき、また、UCのタグを付けずに全データを教師データとして使用することも可能である。

そして、教師データ変換手段は、抽出されたテキストデータを所定の単位（ここでは文字単位とする）に分割し、抽出されたテキストデータから分類タグに囲まれた文字列を検出し、各単位（文字）のうち分類タグが付与されている文字に分類タグに対応する分類ラベルを付与し、分類タグが付与されていない文字に分類先がないことを示す分類ラベルを付与して、教師データとする。

例えば、教師データとして、範囲指定タグに囲まれたテキストデータ「＜UC＞＜LOCATION＞日本＜/LOCATION ＞の首相は＜PERSON＞小泉＜/PERSON ＞さんです。＜/UC ＞」が抽出されたとする。教師データ変換手段は、例えば、テキストデータの分類タグ＜PERSON＞と＜/PERSON ＞に囲まれた文字列「小、泉」の先頭文字「小」に、分類先「人名」の先頭を示す分類ラベル「B-PERSON」を、同じく次の文字「泉」に分類先「人名」の先頭以外を示す分類ラベル「I-PERSON」を付与する。また、テキストデータのうち分類タグに囲まれていない部分「の、首、相、は、さ、ん、で、す、。」について、各文字にユーザが指定した分類先に該当しない旨を示す分類ラベル「０」を付与する。

そして、素性抽出手段により、教師データに対して形態素解析処理を行い、所定の単位（例えば文字）ごとの素性を抽出し、素性の集合と分類ラベルとの組を生成する。

素性として、例えば、品詞情報（名詞、固有名詞、人名、姓、などの分類）、形態素における文字の位置情報（先頭、それ以外などの分類）、字種情報（漢字、カタカナ、英字、数字などの分類）、分類先などが抽出される。

言語解析処理は、機械学習手段では、素性の集合と分類ラベルの組を利用して、各単位（文字）について、その素性の集合の場合にどのような分類先になりやすいかを学習し、学習結果を学習結果記憶手段に記憶する。

機械学習手段は、例えば、各文字の素性と分類ラベルとの組において、文字「小」についての学習には、素性の集合を用いて行う。

ここで、機械学習法としては、多分類に対応できる拡張したサポートベクトルマシン法を用いる。

サポートベクトルマシン法は、空間を超平面で分割することにより２つの分類からなるデータを分類する手法である。このとき、２つの分類が正例と負例からなるものとすると、学習データにおける正例と負例の間隔（マージン）が大きいものほど、オープンデータで誤った分類をする可能性が低いと考えられ、このマージンを最大にする超平面を求め、求めた超平面を用いて分類を行う。

サポートベクトルマシン法の最大マージンは、ある空間で求める分離超平面と、分離超平面に平行かつ等距離にある超平面の距離（マージン）が最大になるような分離超平面を求める。

サポートベクトルマシン法では、通常、学習データにおいて、マージンの内部領域に小量の事例が含まれてもよいとする手法の拡張や、超平面の線形の部分を非線形にする拡張（カーネル関数の導入）がなされたものが用いられる。このような拡張された方法は、識別関数を用いて分類することと等価であり、その識別関数の出力値が正か負かによって、２つの分類を判別することができる。

なお、サポートベクトルマシンは、正例・負例の二値分類であるため、ワン・バーサス・レスト（One v.s. Rest ）法、ペア・ワイズ(Pair Wise )法などの手法を用いて二値分類を多値分類に拡張する。

ワン・バーサス・レスト（One v.s. Rest ）法では、例えば３つの分類先ａ、ｂ、ｃがある場合に、「ａとその他」、「ｂとその他」、「ｃとその他」という３つの組の二値分類器（ある分類先か、それ以外の分類先か）を用意し、それぞれをサポートベクトルマシンで学習する。そして、解である分類先を推定する場合には、３つのサポートベクトルマシンの学習結果を利用する。推定するべき入力データが、これらの３つのサポートベクトルマシンでは、どのように推定されるかをみて、３つのサポートベクトルマシンのうち、その他でない側（正例）に分類されかつサポートベクトルマシンの分離平面から最も離れた場合のものの分類先を、求める解とする。

ペア・ワイズ(Pair Wise )法では、ｋ個の分類先から任意の２つの分類先についての二値分類器をk Ｃ2 個用意して、分類先同士の総当たり戦を行い、このうち最も分類先として選ばれた回数が多い分類先を求める解とする。

機械学習の学習終了後、データ入力手段では、言語解析の対象のテキストデータを入力する。素性抽出手段では、教師データ作成処理と同様に、入力されたテキストデータ（入力データ）に対して形態素解析を行い、所定の単位（例えば文字）ごとの素性を抽出する。

そして、解推定手段では、学習結果記憶手段に記憶された学習結果を利用して、入力データの所定の単位（文字）について、その素性の場合になりやすい分類ラベルを推定する。

そして、タグ付与手段は、解と推定された分類ラベルに対応する分類タグを、入力データの該当する文字または文字列の前後に挿入する。

解析結果表示処理手段では、分類タグが付加された入力データを、所定の表示規則に従った表示態様で表示装置に表示する。ここで、分類タグ＜PERSON＞＜/PERSON ＞で囲まれた文字列及び＜LOCATION＞＜/LOCATION ＞で囲まれた文字列を、特定の固有表現として抽出することができる。

このように強調表示部８に固有表現抽出部（固有表現抽出手段）を備えることにより、固有表現（例えば、人名等）を、音声や画像において強調表示することができる。このため、固有表現（例えば、人名等）を聞き逃したり、見逃すことがなくなる。

（１１）：ユーザの興味のある単語の強調表示の説明
本発明は、ユーザに興味のあることに関する単語をいくつか入力してもらい、入力された単語に基づいてその単語を含む文書群を検索し、その文書群に偏って多く出現する単語を入力された単語の関連語（類似語）として、その関連語を音声又は画像において強調表示するものである。

ａ）ユーザの興味のある単語の強調表示部の説明
図１８はユーザが興味のある単語の強調表示部の説明図である。図１８において、ユーザが興味のある単語の強調表示部８は単語群Ａが格納される格納部９と接続され、この強調表示部８には、単語群Ｂ特定部（単語群特定手段）３１、データベース３２が設けてある。なお、他の構成は図１と同様である。

強調表示部８は、単語群Ｂ特定部３１で特定した単語群Ｂを強調表示する強調表示手段である。格納部９は、入力部（図示せず）より入力されたユーザの興味のある単語を格納する格納手段である。単語群Ｂ特定部３１は、ユーザに興味のある単語Ａと類似する単語である単語群Ｂを特定する単語群特定手段である。データベース３２は、文書（記事）群等を格納する格納手段である。

ｂ）強調表示処理の説明
図１９はユーザの興味のある単語の強調表示処理フローチャートである。以下、図１９の処理Ｓ１２１〜Ｓ１２３に従って説明する。

Ｓ１２１：入力部から、ユーザが興味のある単語Ａを入力して格納部９に格納する。

Ｓ１２２：単語群Ｂ特定部３１は、単語Ａと類似する単語である単語群Ｂを特定する。この単語群Ｂを特定する方法は二つある。これは単語分類辞書を利用するものとオートマティックフィードバックを利用するものである。

Ｓ１２３：強調表示部８は、単語群Ｂ特定部３１で特定した単語群Ｂを音声や画像において強調表示する。なお、単語群Ｂを強調表示する場合、単語Ａを含めて強調表示することもできる。

1)単語分類辞書を利用する場合の説明
分野ごとに単語を整理した辞書を作る。この辞書において、単語Ａと同じ分野の単語を単語群Ｂとする。

2)オートマティックフィードバックを利用する場合の説明
ある文書群Ｃ（データベース３２に格納された）から単語Ａを含む文書群Ｄを検索する。そして、この文書群Ｄに偏って多く出現する単語を単語群Ｂとする。

(1) ある記事（文書）群Ｄに偏って出現する単語群Ｂの抽出方法の説明１（解決法１）
例えば、コンピュータを含む記事群に偏って出現する単語群Ｂを、抽出するときなどに使うことができる。記事群Ｄを包含するよりも大きい記事群をＣとする。ここで記事群Ｃはデータベース全体でもいいし、一部でもよい。上述の解決法１にしたがえば、Ｃは「ＷＩＮＳ」を含む記事群となる。

ただし、上述の解決法１も他の方法がありえて、「ＷＩＮＳ」を含む記事群の中で、コンピュータを含む記事群に偏って出現する単語群Ｂを取り出すのではなく、データベース全体の記事群の中で、コンピュータを含む記事群に偏って出現する単語群Ｂを取り出し、その取り出した単語群Ｂを利用して処理してもよい。その場合はＣはデータベース全体となる。

先ず、Ｃ中のＢの出現率とＤ中のＢの出現率を求める。

Ｃ中のＢの出現率＝Ｃ中のＢの出現回数／Ｃ中の単語総数
Ｄ中のＢの出現率＝Ｄ中のＢの出現回数／Ｄ中の単語総数
次に、Ｄ中のＢの出現率／Ｃ中のＢの出現率
を求めてこの値が大きいものほど、記事群Ｄに偏って出現する単語とする。

(2) ある記事群Ｄに偏って出現する単語群Ｂの抽出方法の説明２
（有意差検定を利用する説明）
・二項検定の場合の説明
ＢのＣでの出現数をＮとする。ＢのＤでの出現数をＮ１とする。

Ｎ２＝Ｎ−Ｎ１とする。

ＢがＣに現れたときにそれがＤ中に現れる確率を0.5 と仮定して、Ｎの総出現のうち、Ｎ２回以下、ＢがＣに出現してＤに出現しなかった確率を求める。

この確率は、
P1 =Σ C(N1+N2,x) * 0.5 ＾(x) * 0.5 ＾(N1+N2-x)
（ただし、Σは、x = 0 から x = N2 の和）
（ただし、C(A,B)は、Ａ個の異なったものからＢ個のものを取り出す場合の数)
（ただし、＾は、指数を意味する）
で表され、この確率の値が十分小さければ、Ｎ１とＮ２は等価な確率でない、すなわち、Ｎ１がＮ２に比べて有意に大きいことと判断できる。

５％検定なら
P1が５％よりも小さいこと、１０％検定ならP1が１０％よりも小さいこと、が有意に大きいかどうかの判断基準になる。

Ｎ１がＮ２に比べて有意に大きいと判断されたものを記事群Ｄに偏って出現する単語とする。また、P1が小さいものほど、記事群Ｄによく偏って出現する単語とする。

・カイ二乗検定の場合の説明
Ｄ中のＢの出現回数をＮ１、Ｄ中の単語の総出現数をＦ１、
ＣにあってＤにない、Ｂの出現回数をＮ２、
ＣにあってＤにない、単語の総出現数をＦ２とする。

Ｎ＝Ｎ１＋Ｎ２として、
カイ二乗値 = (N * (F1 * (N2 - F2) - (N1 - F1) * F2 )＾2 )/((F1 + F2)*(N - (F1 + F2)) * N1 * N2)
を求める。

そして、このカイ二乗値が大きいほどＲ１とＲ２は有意差があると言え、カイ二乗値が 3.84 よりも大きいとき危険率５％の有意差があると言え、カイ二乗値が 6.63 よりも大きいとき危険率１％の有意差があると言える。

N1 > N2 でかつ、カイ二乗値が大きいものほど、記事群Ｄによく偏って出現する単語とする。

・比の検定、正確に言うと、比率の差の検定の説明
p = (F1+F2)/(N1+N2)
p1 = R1
p2 = R2
として、
Z = ｜ p1 - p2｜ / sqrt ( p * (1 - p) * (1/N1 + 1/N2) )
を求め、（ただし sqrt はルートを意味する) そして、Z が大きいほど、Ｒ１とＲ２は有意差があると言え、Ｚが 1.96 よりも大きいとき危険率５％の有意差があると言え、Ｚが 2.58 よりも大きいとき危険率１％の有意差があると言える。

N1 > N2 で、かつ、Ｚが大きいものほど、記事群Ｄによく偏って出現する単語とする。

これら三つの検定の方法と、先の単純に、Ｄ中のＢの出現率／Ｃ中のＢの出現率を求めて判定する方法を組み合わせてもよい。

例えば、危険率５％以上有意差があるもののうち、Ｄ中のＢの出現率／Ｃ中のＢの出現率、の値が大きいものほど記事群Ｄによく偏って出現する単語とする。

ｃ）強調表示の説明
ユーザの入力した単語と、同一分野の単語を全てを強調表示するのではなく、例えば、人名のみ強調表示するということをしてもよい。また、人名、地名、組織名など、単語の種類ごとに異なる（画像の場合は色分け）強調表示してもよい。画像の場合は、ユーザの入力した単語と同一分野の単語を人名、地名、組織名など、単語の種類ごとに色分けして強調表示する。また、カタカナ、漢字などの単語の字種ごとに色分けして強調表示してもよい。

人名、地名、組織名など、単語の種類の認識には、次の四つの方法がある。

1)単語辞書を用意する場合
一つは、それらに関する単語辞書を用意しておき、その辞書を利用して認識するものである。例えば、人名の辞書に載っている単語を人名と判断する。地名の辞書に載っている単語を地名と判断する。

2)形態素解析を利用する場合
二つ目は、形態素解析を利用するものである。例として、前に示した ChaSen があり、奈良先端大で開発されている形態素解析システム茶筌 http://chasen.aist-nara.ac.jp/index.html.jaで公開されている。これは、日本語文を分割し、さらに、各単語の品詞も推定してくれる。 ChaSen の出力で名詞、固有名詞、人名という品詞が出力される。このシステムを使って人名の固有表現を取り出すことができる。

3)人手でルールを作る場合
三つ目の方法として、人手でルールを作って固有表現を取り出すという方法もある。

例えば、
名詞＋「さん」だと名詞は人名とする
名詞＋「首相」だと名詞は人名とする
名詞＋「町」だと名詞は地名とする
名詞＋「市」だと名詞は地名とする
などがある。

4)機械学習を利用する場合
四つ目の方法として、前にも説明した機械学習を利用した固有表現抽出の方法もある。これは、一部のコーパス（言語資源、例えば、新聞の電子データ）で固有表現をユーザがタグづけし、他のデータでそれら固有表現を自動抽出する技術である。

ｄ）英語テキスト上での強調表示の説明
言語横断の考え方を用いることもできる。例えば、ユーザは、日本語で単語Ａを指定する。そうすると、英語の音声又は画像上で、単語Ａと同一分野の単語を強調表示する。この方法は、次のものがある。

1)単語Ａを訳語辞書か、翻訳システムで英語に翻訳してから以下同様の処理（強調表示）をする方法。

2)日本語の単語Ａから日本語の単語群Ｂを収集してから、単語群Ｂを訳語辞書か、翻訳システムで英語に翻訳してから以下同様の処理（強調表示）をする方法。

3)日英の対訳文書Ｃから、日本語の単語Ａを含む文書群Ｄを取り出し、英語の文書群Ｄに偏って出現する英語単語を単語群Ｂとして、以下同様の処理（強調表示）をする方法。

ｅ）複数の単語を単語Ａとする場合の説明
1)単語分類辞書に基づく方法
複数の単語を単語Ａとすることもある。その場合、単語分類辞書に基づく方法だと、単語Ａとなった複数の単語のうち、もっとも多く分類された分類をユーザの興味のある分類としてその分類に属する単語を単語Ｂとする。あるいは、単語分類辞書に基づく方法で、単語Ａとなった複数の単語の分類すべてをユーザの興味のある分類としてその分類に属する単語を単語Ｂとすることもできる。

2)オートマティックフィードバックを利用する場合
オートマティックフィードバックを利用する方法だと、ある文書群Ｃから単語Ａとなった単語をより多く含む文書群Ｄを検索する。そして、文書群Ｄに偏って多く出現する単語を単語群Ｂとする。

次に上記「単語Ａとなった単語をより多く含む文書群（記事群）Ｄを検索する」場合の具体的な情報検索の説明をする。

（単語群Ａをより多く含む文書群Ｄを検索する方法の説明）
情報検索の基礎知識として以下の式がある。ここで、Score(D)が大きいものを取る。

(1) 基本的な方法 (TF・IDF 法) の説明
score(D) = Σ ( tf(w,D) * log(N/df(w)) )
w ∈W で加算
Ｗはユーザーが入力するキーワード（単語）の集合
tf(w,D)は文書Ｄでのｗの出現回数
df(w)は全文書でＷが出現した文書の数
Ｎは文書の総数
＊は積である。

score(D) が高い文書を検索結果として出力する。

(2) Robertson らの Okapi weightingの説明
（文献）
村田真樹，馬青，内元清貴，小作浩美，内山将夫，井佐原均“位置情報と分野情報を用いた情報検索”自然言語処理（言語処理学会誌) 2000年 4月，7 巻，2 号, p.141 〜 p.160
の (1)式、が性能がよいことが知られている。これの式(1) のΣで積を取る前の tf 項とidf 項の積が Okapiのウェイティング法になって、この値を単語の重みに使う。

Okapi の式なら
score(D) = Σ ( tf(w,D)/(tf(w,D) + length/delta) * log(N/df(w)) )
w ∈W で加算
lengthは記事Ｄの長さ、delta は記事の長さの平均、
記事の長さは、記事のバイト数、また、記事に含まれる単語数などを使う。

さらに、以下の情報検索を行うこともできる。

（Okapi の参考文献）
S. E. Robertson, S. Walker, S. Jones, M. M. Hancock-Beaulieu, and M. Gatford Okapi at TREC-3, TREC-3, 1994
（SMART の参考文献）
Amit Singhal AT&T at TREC-6, TREC-6, 1997
より高度な情報検索の方法として、tf・idf を使うだけの式でなく、これらの OkapiやSMARTの式を用いてもよい。

これらの方法では、tf・idf だけでなく、記事の長さなども利用して、より高精度な情報検索を行うことができる。

今回の、単語群Ａをより多く含む記事の抽出方法では、さらに、Rocchio's formula を使うことができる。

（文献）
"J. J. Rocchio", "Relevance feedback in information retrieval","The SMART retrieval System", "Edited by G. Salton", "Prentice Hall, Inc.","page 313-323", 1971
この方法は、log(N/df(w))のかわりに、
｛E(t) + k＿af * (RatioC(t) - RatioD(t))｝ *log(N/df(w))
を使う。

E(t) = 1 (元の検索にあったキーワード)
= 0 (それ以外)
RatioC(t) は記事群Ｂでのt の出現率
RatioD(t) は記事群Ｃでのt の出現率
log(N/df(w))を上式でおきかえた式でscore(D)を求めて、その値が大きいものほど、単語群Ａをより多く含む記事として取り出すものである。

score(D)のΣの加算の際に足す単語ｗの集合Ｗは、元のキーワードと、単語群Ａの両方とする。ただし、元のキーワードと、単語群Ａは重ならないようにする。

また、他の方法として、score(D)のΣの加算の際に足す。単語ｗの集合Ｗは、単語群Ａのみとする。ただし、元のキーワードと、単語群Ａは重ならないようにする。

ここでは roccio の式で複雑な方法をとったが、単純に、単語群Ａの単語の出現回数の和が大きいものほど、単語群Ａをより多く含む記事として取り出すようにしてもよいし、また、単語群Ａの出現の異なりの大きいものほど、単語群Ａをより多く含む記事として取り出すようにしてもよい。

ｆ）ユーザが単語Ａを入力しない場合の説明
単語Ａは、ユーザが入力したものでなく、文書のタイトルにあった単語を単語Ａとして以下同様の処理をすることもできる。また、ユーザが過去に読む又は書いた文書を蓄積しておき、その文書にあった単語を単語Ａとすることもでき、また、その文書にあった単語のうち、頻度の大きいものを単語Ａとして、前記ｅ）の複数の単語を単語Ａとする場合の方法で同様の処理をすることもできる。

また、ユーザの興味の度合いの大きさに基づいて異なる（画像では色分け）強調表示することもできる。

（ユーザの興味の度合の説明）
ユーザの興味の度合いは、オートマティックフィードバックを利用する場合は、ある文書群Ｃから単語Ａを含む文書群Ｄを検索する。そして、文書群Ｄに偏って多く出現する単語を単語群Ｂとする。この方法だと、文書群Ｄに偏って多く出現する度合い（頻度）が大きいほど、ユーザの興味の度合いが大きいとするものである。この場合、出現頻度により強調表示を変更してもよい（例えば、頻度が大きいもののみ強調、または、頻度の大きさに応じて強調表示の仕方をかえる）。

また、単語分類辞書を利用する場合は、各分類同士の類似度をあらかじめ定義しておき、単語Ａの分類との類似度が大きい分類にあった単語Ｂほど、ユーザの興味の度合いが大きいとする。

なお、ユーザの興味のある単語を音声や画像中で強調表示するだけでなく、その単語をリスト上に表形式で表示することもできる。このとき、ユーザの興味の度合いの値とともに表示してもよいし、ユーザの興味の度合いの順に表形式で表示してもよい。

ｇ）電子的映像を出せる眼鏡を用いる場合の説明
ユーザが電子的映像を出せる眼鏡（眼鏡型ディスプレ−）をかけ、強調表示部からの興味に基づいた単語を、実世界において眼鏡ごしで強調してみることができる。この場合、眼鏡には、ユーザが見ている方向の文字（文書）を認識できる文字認識手段を備える。これにより、ユーザが見ている文字（文書）の中でユーザの興味のある単語を強調することができる。

例えば、ユーザが見ている方向の道路に表示されている看板や指示（案内）ポスター等の文字を認識して、実際の看板や指示ポスターの文字を眼鏡ごしで強調して見ることができる。

このように、ユーザの興味のある音声や画像の項目を、強調表示することで、そこにユーザの興味のあることが書いてあることを知らせることができる。ユーザはその画像を見逃さずに見ることができ、便利である。

なお、前記の説明において、値が大きいものほど取り出すなどについては、値が閾値以上のものを取り出す、値が大きいものを所定の値の個数以上のものを大きい順に取り出す、取り出されたものの値の最大値に対して所定の割合をかけた値を求め、その求めた値以上の値を持つものを取り出す、と表現することもできる。更に、これら閾値、所定の値を、あらかじめ定めることも、適宜ユーザが値を変更、設定できることも可能な形で、実行してもよい。

（１２）：補足説明を行う場合の説明
ａ）言語補助変換部を用いる場合の説明
図２０は言語補助変換部を用いる場合の説明図である。図２０において、強調表示部８には、言語補助変換部４１、頻度記憶部４２、読み書き入力部４３が設けてある。

言語補助変換部４１は、頻度記憶部４２の変形規則によって変換の候補を獲得し、出現頻度等の評価の尺度（評価関数など）によって評価し、最もふさわしい変換の候補を選択し括弧づけ等で強調表示（補助表記）するものである。なお、音声の場合は、追加して強調する発声（例えば、講演が男性の場合は女性の音声で強調して追加）を行うものである。

頻度記憶部４２は、個人環境での読み書きシステム等から入力された文字列の出現頻度を求めるものである。読み書き入力部４３は、読み書きシステムからの読み書きが入力されるものでる。

ｂ）頻度記憶部の説明
・頻度記憶部の説明（１）
読み書き入力部４３から読み入力されたデータを読み入力検出部で検出する。具体的には、画面上に何分か以上連続して表示された部分を読み入力されたデータとして認識する。読み入力検出部で検出された読み入力された文字列をそのまま読みデータ格納部に格納する。読み書き入力部４３から書き入力されたデータを書き入力検出部で検出する。具体的には、キーボード入力などで入力された文字列を書き入力されたデータとして認識する。書き入力検出部で検出された書き入力された文字列をそのまま書きデータ格納部に格納する。文字列の存在また個数を高速に検索する、全文検索エンジンを用いて任意の文字列の個数をカウントできるようにしておく。

・頻度記憶部の説明（２）
読み書き入力部４３から読み入力されたデータを読み入力検出部で検出する。具体的には、画面上に何分か以上連続して表示された部分を読み入力されたデータとして認識する。読み入力検出部で検出された読み入力された文字列を形態素解析手段（システム）で単語に分割し、単語ごとに読みデータ格納部に格納する。各単語ごとに何回出現したかの回数のデータも同時に格納する。すでに格納してある単語と同じ単語のものを格納する場合は出現回数のデータのみを更新する。

読み書き入力部４３から書き入力されたデータを書き入力検出部で検出する。具体的には、キーボード入力などで入力された文字列を書き入力されたデータとして認識する。書き入力検出部で検出された書き入力された文字列を形態素解析手段で単語に分割し、単語ごとに書きデータ格納部に格納する。各単語ごとに何回出現したかの回数のデータも同時に格納する。すでに格納してある単語と同じ単語のものを格納する場合は出現回数のデータのみを更新する。単語検索エンジンでは、任意の単語の出現回数をカウントできるようにしておく。

なお、読みデータ格納部及び書きデータ格納部は、図１の格納部９を用いることもできる。

ｃ）言語補助変換部の説明
・ユーザの日々の読み書きの行動から、頻度記憶部４２の処理で、ユーザの読みデータ、書きデータを頻度記憶部に記憶する。

・言語補助変換部４１には言語変換規則が蓄えられているものとする。適用可能な言語変換規則があるとき、その変換をした後の文字列の頻度と、変換前の文字列の頻度を、頻度記憶部４２から求めて、変換をした後の文字列の頻度の方が大きい場合、強調表示（補助変換）を行なう。

また、変換前の文字列の頻度の方が大きい場合は、強調表示（補助変換）を行なわない。変換を行ないうる言語変換規則が複数ある場合は、その変換をした後の文字列の頻度がもっとも大きい規則を用いて強調表示（補助変換）を行なう。

このときの文字列の頻度は、読みデータと書きデータの両方を組み合わせたもので、概ね以下のような式で求めなおしたものを用いる。

具体的には、読みシステムにおいての各単語t の出現頻度をｆr (t) 、書きシステムにおいての各単語t の出現頻度をｆw (t) とするとき、その個人の単語出現頻度分布を
α×ｆr (t) ＋（１−α）×ｆw (t) （ただし、０≦α≦１）
として、この頻度が多くなるように単語を変換する。すなわち、言語変換をする際に用いる尺度して、個人環境の読み書きシステムにおけるその個人の単語出現頻度分布を用いるものである。ここで、αを設けるのは、「読む」ということは「書く」ということより印象が少ないので、「書く」事への重みを高める（重み付ける）ためである。つまり、αは０．５より小さいものとなる。なお、αなどの定数はユーザが設定変更できるようにしておくものである。

ところで、この強調表示（補助変換）とは、文字列を変換してしまうのではなく、変換先の文字列を括弧づけで補助表記する、矢印で注釈を付ける、音声を強調して追加することを意味する。

（具体的な例による説明）
「世界知識（常識）を用いた照応解析（指示詞の指示先の推定）の研究」
のように、完全に書き換えてしまうのではなく、括弧づけで補足的な表示をする。なお、本文中に括弧が使われている場合は、それと区別するため異なる括弧を使用することもできる。

このときも、専門の研究者など、「世界知識」「照応解析」など、用語をよく知っている人にはこの補助変換（表示）をするとむしろ不便であるので、ユーザの用語の使用頻度によって出すか出さないかなどを判断した方がよい。

この括弧づけで判断する（補助変換）方法は以下で説明する。

・前記のように、その個人の単語出現頻度分布を〔α×ｆr (t) ＋（１−α）×ｆw (t) （ただし、０≦α≦１）〕として、この頻度が多くなるような書き換え候補の語を括弧付けで付ける。即ち、書き換える語の使用頻度が大きくなる方を括弧付けで付ける。

・前記のように、その個人の単語出現頻度分布〔α×ｆr (t) ＋（１−α）×ｆw (t) （ただし、０≦α≦１）〕として、この頻度が減らないような書き換え候補の語で、かつ、もとの語の頻度がある閾値よりも小さい語を括弧付けで付ける。即ち、個人の使用頻度が多ければ括弧付けは行わないが、頻度が０とか少ない場合には括弧付けで付ける。

なお、読み書きシステムには、読みシステム、書きシステム又は読み書きが一体になったシステムがある。読みシステムにはメーラ、インターネット・エクスプローラ、読むために開いた（表示した）ワード文章（文章作成システムの一種）等の文章を読むためのシステムである。書きシステムには文字を入力して文章を作成するワード文章等の文章を書くためのシステムである。また、読みシステムにおいては、ディスプレイ等に表示される文章の量が多くなるので、表示時間の短いものは除くようにすることもできる。

さらに、読みシステムにおいて、頻度記憶部に格納する単語の重み付けを変えることもできる。例えば、文章作成システムであるワード文章等を読む場合は丁寧に読むものと考えられるので、インターネット等で画面を見る場合と比べ重みを高くすることができる。

また、頻度記憶部４２に格納されている単語は、古いものを除くようにすることができる。例えば、個人の趣味が変わるとか、ある分野の専門家になる等で個人環境も変化する場合があるので、古いものは削除するか重み付けを低くするものである。

（１３）：文字列の加工を行う場合の説明
図２１は文字列加工部を用いる場合の説明図である。図２１において、強調表示部８には、文字列加工部５１、辞書（用語辞書）５２が設けてある。

文字列加工部５１は、強調表示部８に入力された１以上の各文字列に対して、予め決められた加工を行うものである。そして、文字列加工部５１は、加工した文字列を含む文章群を記憶媒体（メモリなど）に配置する。ここで、加工とは、文字列の属性を変更する処理や、文字列をキーとして辞書５２などを検索して、文字列と対になっている他の文字列（「文字列が漢字の場合、その読みのひらがな」「文字列が書名の場合、その書籍の著者名」「文字列が住所の場合、その場所の最寄り駅」など）を取得し、取得した他の文字列を元の文字列に隣接する態様で付加して強調する処理などである。文字列の属性とは、文書では文字列の色、フォント、サイズ、背景色など、音声では、声の大小、高低などである。文字列の属性を変更することにより、例えば、その文字列が他の文字列と比較して、強調表示される。なお、辞書として格納部９を用いることもできる。

ａ）漢字の読み仮名を挿入する場合の説明
文字列加工部５１は、入力された各文字列に対して、用語辞書５２に存在する用語を検索し、当該用語に対応する文字列を、文書群中の用語に隣接する位置に、括弧付きまたは括弧なしで挿入するものである。隣接する位置とは、前、後ろ、上、下など、問わない。用語辞書５２が、漢字列と漢字の読み仮名の対の情報である場合、文章群中の漢字列に読み仮名が自動的に挿入される。例えば、漢字列と漢字の読み仮名の対の情報（例えば、漢字列「齟齬」、読み仮名「そご」など）である。

漢字読み仮名辞書（用語辞書５２）は、「漢字列」「読み仮名」の対の情報を複数、有する。文字列加工部５１は、入力された各文字列に対して、漢字読み仮名辞書中の各漢字列が存在するか否かの検索をかける。

そして、例えば、漢字読み仮名辞書中の漢字列である「簡便」が、入力された文字列に存在することを検出する。

次に、漢字列「簡便」に対する読み仮名「かんべん」を漢字読み仮名辞書から読み出す。そして、読み仮名「かんべん」に対して、括弧を付与し、挿入する用語「（かんべん）」を構成する。

次に、「（かんべん）」を、文章群中の漢字列「簡便」の隣接する位置（例えば、上部）に配置する。

なお、具体例において、挿入する補足用語の文字色やフォント等の文字属性を、文章群中の文字色やフォント等の文字属性と比べて変更しても良い。また、具体例において、検索された用語（ここでは、漢字列）の文字色やフォント等の文字属性を変更しても良い。

具体例における機能は、子供たちが、カメラの画像を見て、種々のことを調べることに寄与する。つまり、具体例における機能は、教育を促進するものである。

なお、具体例において、図示しない文章群タイプ決定手段が、所定の条件に合致する場合に、子供向けの文章群であると判断し、自動的に上述した漢字にひらがなを挿入する処理を文章群に対して行っても良い。ここで、所定の条件とは、文章群中の文字列の漢字の割合が一定以下であること、予め決められた用語（例えば、「ＫＩＤ」「キッズ」「こども」など）が存在するか否か、予め決められた用語の出現数である。つまり、文章群タイプ決定手段は、文章群中の文字列の漢字の割合や、予め決められた用語の出現数を算出し、当該割合や出現数を用いて（一定以下の割合や、一定以上の出現数の場合）、当該文章群を、子供向けの文章群であると判断しても良い。また、初めて出てきた（又は過去一定時間や過去一定量の文書に出てこなかった）漢字にのみ読み仮名を挿入することもできる。

ｂ）書籍の関連情報を挿入する場合の説明
用語辞書５２が、書籍名と書籍の属性を示す属性情報である場合、文章群中の書籍名に、著者名などの書籍の関連情報が自動的に挿入される。例えば、書籍名と書籍の属性を示す属性情報である。属性情報は、例えば、著者名、出版年、出版社、出版の版数などである。

・書籍名に対して、書籍の属性を示す属性情報である、例えば、著者名を挿入する例を説明
用語辞書５２である書籍情報辞書は、ここでは「書籍名」「著者名」の対の情報を複数、有する。なお、書籍情報辞書は、「書籍名」「著者名」以外の出版年や出版社などの情報も有しても良いことは言うまでもない。

かかる状況により、文字列加工部５１は、入力された各文字列に対して、書籍情報辞書に存在する用語を検索し、当該用語に対応する文字列を、文書中の用語に隣接する位置に、挿入するものである。

文字列加工部５１は、書籍情報辞書中の各書籍名が存在するか否かの検索をかける。

そして、書籍情報辞書中の書籍名である「ぼっちゃん」が、文字列に存在することを検出する。

次に、書籍名「ぼっちゃん」に対する著者名「夏目漱石」を書籍情報辞書から読み出す。そして、著者名「夏目漱石」に対して、その直前に「，」その直後に漢字「著」を付与し、挿入する用語「，夏目漱石著」を構成する。

次に、「，夏目漱石著」を、文章群中の書籍名「ぼっちゃん」の隣接する位置（例えば、直後）に配置する。また、検索した書籍名の文字列「ぼっちゃん」に下線の属性を付与する、とする。

なお、具体例において、挿入する補足用語の文字色やフォント等の文字属性を、カメラ画像中の文字色やフォント等の文字属性と比べて変更しても良い。また、具体例において、検索された用語（漢字列）の文字色やフォント等の文字属性を変更しても良い。音声の文字列を強調する場合は、音量を上げる、声の高低を変える（入力が男性の場合は女性の声で挿入）等を行うことができる。

・地名、住所に対して、当該地名、住所が示す地点の最寄り駅を挿入する例の説明
文字列加工部５１は、入力された文字列に用語辞書５２である地名辞書中の地名、住所が存在するか否かの検索をかける。

そして、例えば、地名辞書中の住所の特有の表記（都道府県の名称、市の名称、丁目、番、号など）の情報や、 地名の情報を保持しており、かかる表記を用いて、住所や地名を抽出しても良い。さらに、上述した固有表現抽出のいずれかの方法を利用して、住所や地名を抽出しても良い。

また、文字列加工部５１は、例えば、住所や地名、と位置情報（緯度経度）の情報を対で持っており、かつ、駅名と位置情報（緯度経度）の情報を対で持っている、とする。そして、抽出した住所や地名から位置情報（緯度経度）を取得し、当該位置情報にもっとも近い位置情報と対になる駅名を取得する。そして、住所や地名の後ろに「（駅名）」を挿入する。以上の処理により、文章群中の住所や地名に、最寄り駅の名称が挿入される。

また、例えば、以下のような方法により、地名、住所に対して、当該地名、住所が示す地点の最寄り駅を挿入しても良い。

つまり、地名と最寄り駅の情報を有する用語情報や、住所と最寄り駅の情報を有する用語情報を格納している。そして、入力された文書に対して、用語情報が有する地名または住所を検索し、カメラ画像の場合は当該検索した地名または住所に隣接して、当該用語（地名または住所）と対になる最寄り駅を挿入する。音声の場合は、最寄り駅を後に追加して発声（強調）する。

このように、補足用語は、漢字に対するひらがな、著書に対する著書の属性、住所に対する最寄り駅であった。しかし、補足用語は、何でも良い。補足用語は、例えば、住所に対する郵便番号などでも良い。

（１４）：箇条書きの表示順変更の説明
カメラ画像中の文字列の箇条書きされた箇所について、列記する順序を逆転させる強調処理（すなわち、順序が後のものを最初に表示して強調する）を行う説明をする。また、特定の条件に合致する場合のみ、箇条書きの列記順序を逆転させる処理の説明もする。

図２２は箇条書きの表示順変更の説明図である。図２２において、強調表示部８には、箇条書取得部６１、順序逆転部６２、条件判断部６３が設けてある。

強調表示部８には、図１の音声認識部３及び文字認識部４から文字列（文書）が入力されるものである。箇条書取得部６１は、入力された文書中の、箇条書きの情報を識別し、取得する。この箇条書取得部６１は、箇条書きを識別するための情報である箇条書情報を保持しており、当該箇条書情報を用いて、文章群を検索し、箇条書きの情報群を識別し、取得する。例えば、カメラ画像の文書では、文字「・」と改行の組、および昇順に並ぶ数字と「．」と改行の組の情報である。また、音声の文書では、箇条書取得部６１で、「一つ目は・・・」、「二つ目は・・・」、等と講演者が順番を付けた場合に、箇条書情報と判断する。

順序逆転部６２は、箇条書取得部６１が取得した箇条書きの情報群を、箇条書きの順序を逆にして箇条書きの情報群を取得する。順序逆転部６２は、条件判断部６３における判断結果が、条件に合致するとの判断の場合のみ、箇条書取得部６１が取得した箇条書きの情報群を、箇条書きの順序を逆にして箇条書きの情報群を取得する、ことは好適である。

なお、順序逆転部６２は、条件判断部６３の判断結果によらずに、常に、箇条書取得部６１が取得した箇条書きの情報群を、箇条書きの順序を逆にして箇条書きの情報群を取得しても良い。順序逆転部６２は、箇条書きの情報群の箇条書きの項目を逆転させた文書を作成する。

条件判断部６３は、箇条書取得部６１が取得した箇条書きの情報群が、所定の条件に合致するか否かを判断する。所定の条件とは、例えば、「箇条書きの情報群を構成する全項目の中に、日付の情報を含み、かつ、日付が昇順に並べられている」など、である。条件判断部６３は、通常、ＭＰＵやメモリ等から実現され得る。条件判断部６３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、強調表示処理の動作について説明する。

箇条書取得部６１は、入力された音声又はカメラ画像の文書から１以上の箇条書き情報群を抽出する。

条件判断部６３は、条件を示す情報を読み出す。条件を示す情報とは、箇条書きの情報群が、所定の条件に合致するか否かを判断するための情報であり、予め条件判断部６３が保持しているものとする。

条件判断部６３は、ｉ番目の箇条書き情報群が存在するか否かを判断する。ｉ番目の箇条書き情報群が存在すれば、条件に合致するか否かを判断する。

順序逆転部６２は、条件に合致すればｉ番目の箇条書き情報群の各項目の順序を逆転させて、新しいｉ番目の箇条書き情報群を取得する。なお、ｉ番目の箇条書き情報群の各項目の順序を逆転させる処理は、例えば、５項目の箇条書き情報群である場合、旧５番目の項目が新しい１番目の項目となり、旧４番目の項目が新しい２番目の項目となり、３番目の項目は変わらず、旧２番目の項目が新しい４番目の項目となり、旧１番目の項目が新しい５番目の項目となる。かかる処理は、公知のテキスト処理であるので詳細な説明を省略する。

次に、条件判断部６３は、条件を示す情報「箇条書きの情報群を構成する全項目の中に、日付の情報（「年」「月」「日」のうちのいずれかを含むか、「数字列/ 数字列/ 数字列」という表記を含むか、「数字列/ 数字列」という表記を含むか）を含み、かつ、日付が昇順に並べられている」を読み出す。なお、条件を示す情報は、通常、正規表現で記載され、条件判断部６３は、当該正規表現に合致するか否かの判断を行う。

そして、条件判断部６３は、箇条書き情報群の各項目のそれぞれに「1993年3 月」「1993年4 月」「1995年4 月」「1997年3 月」「1997年4 月」という「年」「月」を含む文字列を有することを検知する。

（条件判断の具体例の説明）
条件判断部６３の判断としては、箇条書き情報群において、「1993年3 月」「1993年4 月」「1995年4 月」「1997年3 月」「1997年4 月」が昇順に並べられているか否かを判断する。ここで、各項目の日付を示す情報（「1993年3 月」「1993年4 月」「1995年4 月」「1997年3 月」「1997年4 月」）が昇順に並べられているので、条件判断部６３は、条件に合致する、と判断する。

次に、順序逆転部６２は、箇条書き情報群の各項目の順序を逆転させて、新しい箇条書き情報群を取得し、メモリ上に配置する。つまり、順序逆転部６２は、箇条書き情報群の各項目の記載順序を逆転し、箇条書き情報群を得る。そして、順序逆転部６２は、箇条書き情報群を新しい情報に上書きした文書を得る。

以上のように、文章が有する箇条書きの情報群の各項目の記載順序を自動的に反対にできる。特に、各項目が日付の情報を含む場合、ユーザが年度の古い順か新しい順か、見やすい順があるが、ユーザの見やすい順に日付の情報を含む箇条書きの情報群の各項目を並べて表示してくれる。

なお、本実施の形態において、条件を判断せずに、すべての箇条書き情報群の各項目の順序を逆転させても良い。かかる場合、条件判断部６３は不要となる。

また、本実施の形態によれば、ユーザが日付の新しい順、古い順のどちらで閲覧したいかを指定することができれば、さらに好適である。例えば、箇条書きの情報群の各項目が日付の情報を含む場合に、ユーザが日付の新しい順となるように指定したとすれば、「箇条書きの情報群を構成する全項目の中に、日付の情報を含み、かつ、日付が昇順に並べられている」という条件が選択される。一方、ユーザが日付の古い順となるように指定したとすれば、「箇条書きの情報群を構成する全項目の中に、日付の情報を含み、かつ、日付が降順に並べられている」という条件が選択される。

（１５）：文書のタイプを検出する説明
自動的に文書のタイプを検出し、文書タイプに応じた強調表示処理を実行する態様について説明する。また、文章群のタイプを決定するアルゴリズムの例として、機械学習による例、およびルールを用いる例などがある。

図２３は文書タイプ決定部を設ける場合の説明図である。図２３において、強調表示部８には、文書タイプ決定部７１が設けてある。

文書タイプ決定部７１には、文書のタイプを判断するための情報である判断情報を格納している判断情報７２の格納部を備えている。なお、判断情報７２の格納部は、図１の格納部９を用いることもできる。判断情報７２は、例えば、文章群の属性を示す文書属性情報と、当該文書のタイプを示すタイプ情報の対の情報である文書教師データである。判断情報７２は、通常、２以上の文書教師データを有する。また、判断情報７２は、文書のタイプを判断するためのルールでも良い。ルールとは、例えば、特許書類であることを判断するための文字列（例えば、墨付き括弧で囲まれた［書類名］や、墨付き括弧など）や、ホームページであることを識別するためのＨＴＭＬ特有のタグ（例えば、<html>や<title> など）や、科学記号を含む文書であることを識別する文字列（例えば、上付きのイオン（＋）（−）など）である。また、ルールとは、例えば、元素記号の情報でも良い。

文書タイプ決定部７１は、判断情報を用いて、受け付けた文書のタイプを決定する。文書タイプ決定部７１は、例えば、受け付けた文書から、当該文書の文書属性情報を取得（文書属性情報取得部）し、かつ、２以上の文書教師データが示す、文書属性情報に対する文書のタイプの分類方法に合致するように、先に取得した文書属性情報を用いて、受け付けた文書のタイプを決定しても良い。なお、文書教師データは、判断情報格納部に格納されている。つまり、文書タイプ決定部は、例えば、機械学習のアルゴリズムを用いて、受け付けた文書のタイプを決定しても良い。

文書属性情報取得部は、受け付けた文書から、当該文書の文書属性情報を取得する。文書属性情報とは、例えば、タグ（<>で囲まれた文字列）の数や、特定のタグ（例えば、<html>）の有無、特定の用語（例えば、［請求項］や［書類名］）の数や有無、文書のワード数、言語など、文書から取得できる情報であれば何でも良い。文書から、タグ（<>で囲まれた文字列）の数や、特定のタグ（例えば、<html>）の有無、特定の用語の数や有無、文書のワード数、言語などを取得する処理は公知技術であるので、詳細な説明を省略する。

（文書タイプ決定処理の説明）
次に、文書のタイプ決定処理の第一の例について、説明する。文書のタイプ決定処理の第一の例は、あるルールに基づく例である。あるルールとは、文字列のパターンの例とする。ここで、文書タイプ決定部７１は、予め３つのルールを格納しているとする。３つのルールとは、（１）ＨＴＭＬ文書であることを示すルールであり、タグ「<html>」が存在すること、およびタグ（" ＜（半角文字）" と" ＞（半角文字）" で囲まれている文字列）の数が所定数以上、という第一のルール、（２）特許書類であることを示すルールであり、墨付き括弧のタグ［書類名］が存在すること、および墨付き括弧の数が所定数以上、という第二のルール、（３）科学文書であることを示すルールであり、科学記号である「Ｈ、Ｈｅ・・・」文字列が所定数以上出現する、という第三のルール、であるとする。かかる場合のタイプ決定処理について説明する。

Ｓ１３１：文書タイプ決定部７１は、文書を検索し、タグ<html>が存在するか否かを判断する。タグ<html>が存在すれば処理Ｓ１３２に行き、タグ<html>が存在しなければステップＳ１３５に行く。

Ｓ１３２：文書タイプ決定部７１は、文書中のタグ（< ・・・> ）の数を取得する。

Ｓ１３３：文書タイプ決定部７１は、Ｓ１３２で取得したタグの数が、所定の閾値以上であるか否かを判断する。所定の閾値以上であればＳ１３４に行き、所定の閾値以上でなければＳ１３５に行く。

Ｓ１３４：文書タイプ決定部７１は、文書のタイプをタイプ１（ＨＴＭＬ文書）である、と決定する。具体的には、文書タイプ決定部７１は、所定のバッファにタイプを識別する情報「１」を代入する。上位処理にリターンする。

Ｓ１３５：文書タイプ決定部７１は、文書を検索し、墨付き括弧に囲まれた書類名の文字列（〔書類名〕）が存在するか否かを判断する。〔書類名〕が存在すればＳ１３６に行き、〔書類名〕が存在しなければＳ１３９に行く。

Ｓ１３６：文書タイプ決定部７１は、文書中の墨付き括弧の数を取得する。

Ｓ１３７：文書タイプ決定部７１は、Ｓ１３６で取得した墨付き括弧の数が、所定の閾値以上であるか否かを判断する。所定の閾値以上であればＳ１３８に行き、所定の閾値以上でなければＳ１３９に行く。

Ｓ１３８：文書タイプ決定部７１は、文書のタイプをタイプ２（特許文書）である、と決定する。具体的には、文書タイプ決定部７１は、所定のバッファにタイプを識別する情報「２」を代入する。上位処理にリターンする。

Ｓ１３９：文書タイプ決定部７１は、科学記号の文字列の出現する回数を取得する。

Ｓ１４０：文書タイプ決定部７１は、Ｓ１３９で取得した文字列の数が、所定の閾値以上であるか否かを判断する。所定の閾値以上であればＳ１４１に行き、所定の閾値以上でなければＳ１４２に行く。

Ｓ１４１：文書タイプ決定部７１は、文書のタイプをタイプ３（科学文書）である、と決定する。具体的には、文書タイプ決定部７１は、所定のバッファにタイプを識別する情報「３」を代入する。上位処理にリターンする。

Ｓ１４２：文書タイプ決定部７１は、文書のタイプをその他のタイプ（例えば、タイプ４）と決定する。具体的には、文書タイプ決定部７１は、所定のバッファにタイプを識別する情報「４」を代入する。上位処理にリターンする。

なお、上記処理において、予め決められたルールに基づいて、文書のタイプをタイプ１（ＨＴＭＬ文書）、タイプ２（特許文書）、タイプ３（科学文書）のいずれかに決定した。しかし、文書タイプ決定部７１は、他のルールに基づいて文書タイプを決定しても良い。また、文書タイプ決定部７１は、ＨＴＭＬ文書、特許文書、科学文書以外のタイプに文書のタイプを決定しても良い。

例えば、以下のようなルールに基づく自動判定方法がある。判断情報格納部は、判断情報管理表を格納している。判断情報管理表は、文書のタイプを判断するためのルールの情報であり、「ＩＤ」「特有表現」「出現情報」「文書タイプ」「優先度」の属性を有するレコードを１以上、格納している。「ＩＤ」は、表のレコード管理のための情報である。「特有表現」は、文書タイプの文書特有の表現を記述する。「出現情報」は、「特有表現」で抽出される表現（用語など）の出現に関する条件を示す情報であり、所定の閾値を用いた情報（ｎ１個以上など）でも良いし、出現割合（６０％以上など）でも良い。出現割合とは、例えば、出現密度とも言い「出現数／その文書の総文字数」で表される。「文書タイプ」は文書のタイプ名である。「優先度」は、判断情報を適用する優先順位を示す。つまり、文書タイプ決定部７１は、優先度「１」の判断情報から順に、文書に対して適用し、「特有表現」「出現情報」で示される条件に初めて合致した文書タイプを、入力の文書の文書タイプと決定する。

「ＩＤ＝１」のレコードは、「請求項」や「書類名」などの特許特有の表現が「ｎ１」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「特許文書」と決定する、ことを示す。

そして、「ＩＤ＝２」のレコードは、墨付きの左括弧に用語「請求項」が連続する表現などの、特許特有の表現が「ｎ２」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「特許文書」と決定する、ことを示す。

「ＩＤ＝３」のレコードは、原子記号や分子の表現など原子分子関係の表現（Ｈ，Ｈｅなど）が「ｎ３」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「特許文書」と決定する、ことを示す。

「ＩＤ＝４」のレコードは、意見文特有の表現「と思う」「だろう」「かな」が「ｎ４」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「意見文書」と決定する、ことを示す。

「ＩＤ＝５」のレコードは、箇条書き表現が「ｎ５」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「箇条書文書」と決定する、ことを示す。箇条書き表現は、 例えば、入力の文書がＨＴＭＬテキストであれば、箇条書き用のＨＴＭＬタグ（<ul>や<li>など）である。また、入力の文書がＴｅＸであれば、\item や\begin｛itemize ｝などである。さらに、文書タイプ決定部７１は、「・」で始まる文が連続している、数字から始まる文が連続していることを検出し、箇条書の特定をしてもよい。「＄箇条書表現」は、箇条書きの表現を示す変数である。

「ＩＤ＝６」のレコードは、人名が「ｎ６」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「人名文書」と決定する、ことを示す。

「ＩＤ＝７」のレコードは、地名が「ｎ７」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「地名文書」と決定する、ことを示す。

ここで、文書タイプ決定部７１は、例えば、以下のように人名や地名などの固有表現を抽出する。つまり、機械学習を用いて固有表現を抽出する手法がある（例えば、以下の参考文献（１）参照）。

参考文献（１）：浅原正幸，松本裕治，日本語固有表現抽出における冗長的な形態素解析の利用情報処理学会自然言語処理研究会 NL153-7 2002
まず、例えば、「日本の首相は小泉さんです。」という文を、各文字に分割し、分割した文字について、以下のように、 B−LOCATION、 I−LOCATION等の正解タグを付与することによって、正解を設定する。以下の一列目は、分割された各文字であり、各文字の正解タグは二列目である。
日 B−LOCATION
本 I−LOCATION
の O
首 O
相 O
は O
小 B−PERSON
泉 I−PERSON
さ O
ん O
で O
す O
。 O
上記において、B −？？？は、ハイフン以下の固有表現の種類の始まりを意味するタグである。例えば、B −LOCATIONは、地名という固有表現の始まりを意味しており、B −PERSONは、人名という固有表現の始まりを意味している。また、I −？？？は、ハイフン以下の固有表現の種類の始まり以外を意味するタグであり、O はこれら以外である。従って、例えば、文字「日」は、地名という固有表現の始まりに該当する文字であり、文字「本」までが地名という固有表現である。

このように、各文字の正解を設定しておき、このようなデータから学習し、新しいデータでこの正解を推定し、この正解のタグから、各固有表現の始まりと、どこまでがその固有表現かを認識して、固有表現を推定する。

この各文字に設定された正解のデータから学習するときには、システムによってさまざまな情報を素性という形で利用する。例えば、
日 B−LOCATION
の部分は、
日本−B 名詞−B
などの情報を用いる。日本−B は、日本という単語の先頭を意味し、名詞−B は、名詞の先頭を意味する。単語や品詞の認定には、例えば前述したChaSenによる形態素解析を用いる。ChaSenを用いれば、入力された日本語を単語に分割することができる。例えば、ChaSenは、前述したように、日本語文を分割し、さらに、各単語の品詞も推定してくれる。

このように各行に一個の単語が入るように分割され、各単語に読みや品詞の情報が付与される。

なお、例えば、上記の参考文献（１）では、素性として、入力文を構成する文字の、文字自体（例えば、「小」という文字）、字種（例えば、ひらがなやカタカナ等）、品詞情報、タグ情報（例えば、「B −PERSON」等）を利用している。

これら素性を利用して学習する。タグを推定する文字やその周辺の文字にどういう素性が出現するかを調べ、どういう素性が出現しているときにどういうタグになりやすいかを学習し、その学習結果を利用して新しいデータでのタグの推定を行なう。機械学習には、例えばサポートベクトルマシンを用いる。

固有表現の抽出には、上記の手法の他にも種々の手法がある。例えば、最大エントロピーモデルと書き換え規則を用いて固有表現を抽出する手法がある（参考文献（２）参照）。

参考文献（２）：内元清貴，馬青，村田真樹，小作浩美，内山将夫，井佐原均，最大エントロピーモデルと書き換え規則に基づく固有表現抽出，言語処理学会誌, Vol.7, No.2,2000
また、例えば、以下の参考文献（３）に、サポートベクトルマシンを用いて日本語固有表現抽出を行う手法について記載されている。

参考文献（３）：山田寛康，工藤拓，松本裕治，Support Vector Machineを用いた日本語固有表現抽出，情報処理学会論文誌, Vol.43, No.1", 2002
そして、 固有表現（人名や地名）を抽出した後、当該固有表現を用いて、文書タイプ決定部７１は、「ＩＤ＝６」や「ＩＤ＝７」に合致するか否かを判断し、文書のタイプ情報を決定する。

なお、文書タイプ「人名文書」「地名文書」の決定方法は他の方法でも良いことは言うまでもない。例えば、判断情報の格納部に、人名辞書や地名辞書を保持しており、かかる辞書を検索し、文書タイプ決定部７１は、入力の文書における人名や地名の数をカウントし、上記の出現情報を適用し、文書タイプを決定しても良い。

また、「ＩＤ＝８」のレコードは、子供向けのテキストに多く出現しそうな表現「キッズ」や「子供」などが「ｎ８」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「子供文書」と決定する、ことを示す。

「ＩＤ＝９」のレコードは、ひらがなの割合が「６０」％以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「子供文書」と決定する、ことを示す。

さらに、「ＩＤ＝１０」のレコードは、作品名の数が、「ｎ９」個以上、入力された文書（文章群）に存在すれば、文書タイプ決定部７１は、文書タイプを「作品名文書」と決定する、ことを示す。なお、文書タイプ決定部７１は、例えば、上述した固有表現抽出技術を使って作品名を抽出する。また、 例えば、文書タイプ決定部７１は、作品名の辞書（判断情報の格納部が保持）を検索し、文書タイプ決定部７１は、入力の文書における作品名の数をカウントし、上記の出現情報を適用し、文書タイプを決定しても良い。

以上のように、文書タイプ決定部７１は、ルールに基づいて、入力された文書のタイプを自動的に決定する。そして、制御部で、決定された文書のタイプに対応した文字列抽出部を選択する。

文書のタイプが「特許文書」「ＨＴＭＬ文書」「科学文書」の場合については、既に説明した。

文書のタイプが（例えば、と思う、だろう、かな等が多い）「意見文書」の場合は、画像では、既に説明したプラスイメージとマイナスイメージの副詞（又は形容詞）を色分けして強調表示する処理が選択される。

文書のタイプが「箇条書文書」の場合は、箇条書きの順序を変更する処理を行う処理が選択される。

文書のタイプが「人名文書」や「地名文書」の場合は、後述する出現頻度に応じた文字列装飾を行う処理が選択される。

文書のタイプが「子供文書」の場合は、漢字に読み仮名を挿入する処理を行う処理が選択される。

文書のタイプが「作品名文書」の場合は、後述する著者の情報を挿入する処理が選択される。

また、文書タイプ決定部７１は、「優先度」の情報を用いて、複数の判断情報が適用され得る場合は優先順位の高いものを使うことが好適である。

さらに、 ユーザは、「ｎ１」から「ｎ９」などの出現情報や、優先度のカスタマイズができることは好適である。

また、例えば、文書タイプ決定部７１は、以下のようなルールに基づく自動判定方法により、文書タイプを決定しても良い。ここでの方法は、人手でルールを作って固有表現を取り出し、取り出した固有表現から文書タイプを決定する、という方法である。判断情報の格納部は、例えば、「名詞＋「さん」→人名」「名詞＋「首相」→人名」「名詞＋「町」→地名」「名詞＋「市」→地名」などの判断情報を保持している。上記の「名詞＋「さん」→人名」は、名詞に続いて「さん」が出現した場合、その名詞を「人名」として認識することを示す。そして、文書タイプ決定部７１は、かかる判断情報を用いて、文書から人名や地名を抽出し、例えば、人名や地名が所定の閾値以上存在する場合に、当該文書を人名文書、地名文書と決定する。

上記は、ルールによる文書の分類方法を示したが、以下の得点による方法でもよい。つまり、判断情報の格納部は、得点管理表を保持している。得点管理表は、「ＩＤ」「文書タイプ」「特有表現」「得点」の属性を有するレコードを１以上保持している。文書タイプ決定部７１は、上記示した文書タイプごとの特徴的な表現が出現した場合に、その表現ごとに得点を定めておき、その得点を文書タイプに加算して、その合計点が最も高いものを、求める文書タイプとする。なお、得点を用いる場合は閾値の得点を決めておき、「タイトル」を含む文書の場合、および閾値の得点以上の分類が一つもない場合に文書タイプを「タイトル強調文書」と決定し、 前述したタイトル強調を行う処理が選択される。なお、「タイトル強調文書」は、ここでは、「ＨＴＭＬ文書」と同様の文書タイプである。

次に、文書のタイプ決定処理の第二の例について説明する。第二の例は、機械学習アルゴリズムを用いて文書のタイプを決定する方法である。

機械学習の手法は、問題−解の組のセット（これは上述した判断情報の一例である）を多く用意し、それで学習を行ない、どういう問題のときにどういう解になるかを学習し、その学習結果を利用して、新しい問題のときも解を推測できるようにする方法である（例えば、下記の参考文献（４）〜参考文献（６）参照）。

参考文献（４）：村田真樹，機械学習に基づく言語処理，龍谷大学理工学部．招待講演．2004. http://www2.nict.go.jp/jt/a132/members/murata/ps/rk1-siryou.pdf
参考文献（５）：サポートベクトルマシンを用いたテンス・アスペクト・モダリティの日英翻訳，村田真樹，馬青，内元清貴，井佐原均，電子情報通信学会言語理解とコミュニケーション研究会 NLC2000-78 ，2001年．
参考文献（６）：SENSEVAL2J辞書タスクでのＣＲＬの取り組み，村田真樹，内山将夫，内元清貴，馬青，井佐原均，電子情報通信学会言語理解とコミュニケーション研究会 NLC2001-40 ，2001年．
機械学習アルゴリズムを動作させるために、問題の状況を機械に伝える際に、素性（解析に用いる情報で問題を構成する各要素）というものが必要になる。問題を素性によって表現するのである。例えば、日本語文末表現の時制の推定の問題において、問題：「彼が話す。」−−−解「現在」が与えられた場合に、素性の一例は、「彼が話す。」「が話す。」「話す。」「す」「。」となる。なお、素性とは、上述した文書属性情報と同じである。

すなわち、機械学習の手法は、素性の集合−解の組のセットを多く用意し、それで学習を行ない、どういう素性の集合のときにどういう解になるかを学習し、その学習結果を利用して、新しい問題のときもその問題から素性の集合を取り出し、その素性の場合の解を推測する方法である。なお、ここで、「解」とは、文書タイプのことである。また、 後述する「分類」も、ここでの文書タイプのことである。

文書タイプ決定部７１は、機械学習の手法として、例えば、ｋ近傍法、シンプルベイズ法、決定リスト法、最大エントロピー法、サポートベクトルマシン法などの手法を用いる。

ｋ近傍法は、最も類似する一つの事例のかわりに、最も類似するｋ個の事例を用いて、このｋ個の事例での多数決によって分類先（解）を求める手法である。ｋは、あらかじめ定める整数の数字であって、一般的に、１から９の間の奇数を用いる。

シンプルベイズ法は、ベイズの定理にもとづいて各分類になる確率を推定し、その確率値が最も大きい分類を求める分類先とする方法である。

シンプルベイズ法において、文脈ｂで分類ａを出力する確率は、以下の数式で与えられる。

ただし、ここで文脈ｂは、あらかじめ設定しておいた素性ｆj （∈Ｆ，１≦ｊ≦ｋ）の集合である。ｐ（ｂ）は、文脈ｂの出現確率である。ここで、分類ａに非依存であって定数のために計算しない。Ｐ（ａ）（ここでＰはｐの上部にチルダ）とＰ（ｆi ｜ａ）は、それぞれ教師データ（判断情報と同意義）から推定された確率であって、分類ａの出現確率、分類ａのときに素性ｆi を持つ確率を意味する。Ｐ（ｆi ｜ａ）として最尤推定を行って求めた値を用いると、しばしば値がゼロとなり、数式１の２行目の式の値がゼロで分類先を決定することが困難な場合が生じる。そのため、スムージングを行う。ここでは、以下の数式２を用いてスムージングを行ったものを用いる。

ただし、ｆｒｅｑ（ｆi ，ａ）は、素性ｆi を持ちかつ分類がａである事例の個数、ｆｒｅｑ（ａ）は、分類がａである事例の個数を意味する。

決定リスト法は、素性と分類先の組とを規則とし、それらをあらかじめ定めた優先順序でリストに蓄えおき、検出する対象となる入力が与えられたときに、リストで優先順位の高いところから入力のデータと規則の素性とを比較し、素性が一致した規則の分類先をその入力の分類先とする方法である。

決定リスト方法では、あらかじめ設定しておいた素性ｆj ∈Ｆ，１≦ｊ≦ｋ）のうち、いずれか一つの素性のみを文脈として各分類の確率値を求める。ある文脈ｂで分類ａを出力する確率は以下の式によって与えられる。

ただし、ｆmax は以下の式によって与えられる。

また、Ｐ（ａi ｜ｆj ）（ここでＰはｐの上部にチルダ）は、素性ｆj を文脈に持つ場合の分類ａi の出現の割合である。

最大エントロピー法は、あらかじめ設定しておいた素性ｆj （１≦ｊ≦ｋ）の集合をＦとするとき、以下の所定の条件式（数式５）を満足しながらエントロピーを意味する式（数式６）を最大にするときの確率分布ｐ（ａ，ｂ）を求め、その確率分布にしたがって求まる各分類の確率のうち、最も大きい確率値を持つ分類を求める分類先とする方法である。

ただし、Ａ、Ｂは分類と文脈の集合を意味し、ｇj （ａ，ｂ）は文脈ｂに素性ｆj があって、なおかつ分類がａの場合１となり、それ以外で０となる関数を意味する。また、Ｐ（ａi ｜ｆj ）（ここでＰはｐの上部にチルダ）は、既知データでの（ａ，ｂ）の出現の割合を意味する。

数式５は、確率ｐと出力と素性の組の出現を意味する関数ｇをかけることで出力と素性の組の頻度の期待値を求めることになっており、右辺の既知データにおける期待値と、左辺の求める確率分布に基づいて計算される期待値が等しいことを制約として、エントロピー最大化( 確率分布の平滑化) を行なって、出力と文脈の確率分布を求めるものとなっている。最大エントロピー法の詳細については、以下の参考文献（８）および参考文献（９）に記載されている。

参考文献（８）：Eric Sven Ristad, Maximum Entropy Modeling for Natural Language,(ACL/EACL Tutorial Program, Madrid, 1997
参考文献（９）：Eric Sven Ristad, Maximum Entropy Modeling Toolkit, Release1.6beta, (http://www.mnemonic.com/software/memt,1998)）
サポートベクトルマシン法は、空間を超平面で分割することにより、二つの分類からなるデータを分類する手法である。

図２４はサポートベクトルマシン法のマージン最大化の概念図を示す。図２４において、白丸は正例、黒丸は負例を意味し、実線は空間を分割する超平面を意味し、破線はマージン領域の境界を表す面を意味する。図２４（Ａ）は、正例と負例の間隔が狭い場合（スモールマージン）の概念図、図２４（Ｂ）は、正例と負例の間隔が広い場合（ラージマージン）の概念図である。

このとき、二つの分類が正例と負例からなるものとすると、学習データにおける正例と負例の間隔（マージン) が大きいものほどオープンデータで誤った分類をする可能性が低いと考えられ、図２４（Ｂ）に示すように、このマージンを最大にする超平面を求めそれを用いて分類を行なう。

基本的には上記のとおりであるが、通常、学習データにおいてマージンの内部領域に少数の事例が含まれてもよいとする手法の拡張や、超平面の線形の部分を非線型にする拡張（カーネル関数の導入) がなされたものが用いられる。

この拡張された方法は、以下の識別関数（ｆ（ｘ））を用いて分類することと等価であり、その識別関数の出力値が正か負かによって二つの分類を判別することができる。

ただし、ｘは識別したい事例の文脈（素性の集合) を、ｘi とｙj （ｉ＝１，…，ｌ，ｙj ∈｛１，−１｝）は学習データの文脈と分類先を意味し、関数ｓｇｎは、
ｓｇｎ（ｘ）＝１（ｘ≧０）
−１（otherwise ）
であり、また、各αi は下記数式８の式（８−２）と式（８−３）の制約のもと、式（８−１）を最大にする場合のものである。

また、関数Ｋはカーネル関数と呼ばれ、様々なものが用いられるが、本形態では、例えば、以下の多項式（数式９）のものを用いる。

数式８、数式９において、Ｃ、ｄは実験的に設定される定数である。例えば、Ｃはすべての処理を通して１に固定した。また、ｄは、１と２の二種類を試している。ここで、αi ＞０となるｘi は、サポートベクトルと呼ばれ、通常、数式７の和をとっている部分は、この事例のみを用いて計算される。つまり、実際の解析には学習データのうちサポートベクトルと呼ばれる事例のみしか用いられない。

なお、拡張されたサポートベクトルマシン法の詳細については、以下の参考文献（１０）および参考文献（１１）に記載されている。

参考文献（１０）：Nello Cristianini and John Shawe-Taylor, An Introduction to Support Vector Machines and other kernel-based learning methods,(Cambridge University Press,2000)
参考文献（１１）：Taku Kudoh, Tinysvm:SupportVector machines,(http://cl.aistnara.ac.jp/taku-ku//software/Tiny SVM/index.html,2000)
サポートベクトルマシン法は、分類の数が２個のデータを扱うものである。したがって、分類の数が３個以上の事例を扱う場合には、通常、これにペアワイズ法またはワンＶＳレスト法などの手法を組み合わせて用いることになる。

ペアワイズ法は、ｎ個の分類を持つデータの場合に、異なる二つの分類先のあらゆるペア（ｎ（ｎ−１）／２個）を生成し、各ペアごとにどちらがよいかを二値分類器、すなわちサポートベクトルマシン法処理モジュールで求めて、最終的に、ｎ（ｎ−１）／２個の二値分類による分類先の多数決によって、分類先を求める方法である。

ワンＶＳレスト法は、例えば、ａ、ｂ、ｃという三つの分類先があるときは、分類先ａとその他、分類先ｂとその他、分類先ｃとその他、という三つの組を生成し、それぞれの組についてサポートベクトルマシン法で学習処理する。そして、学習結果による推定処理において、その三つの組のサポートベクトルマシンの学習結果を利用する。推定するべき問題が、その三つのサポートベクトルマシンではどのように推定されるかを見て、その三つのサポートベクトルマシンのうち、その他でないほうの分類先であって、かつサポートベクトルマシンの分離平面から最も離れた場合のものの分類先を求める解とする方法である。例えば、ある解くべき問題が、「分類先ａとその他」の組の学習処理で作成したサポートベクトルマシンにおいて分離平面から最も離れた場合には、その解くべき問題の分類先は、a と推定する。

文書タイプ決定部７１（タイプ情報決定手段）が推定する、解くべき問題についての、どのような解（分類先）になりやすいかの度合いの求め方は、タイプ情報決定手段が機械学習の手法として用いる様々な方法によって異なる。

例えば、本発明の実施の形態において、タイプ情報決定手段が、機械学習の手法としてｋ近傍法を用いる場合、タイプ情報決定手段は、教師データの事例同士で、その事例から抽出された素性の集合のうち重複する素性の割合（同じ素性をいくつ持っているかの割合）にもとづく事例同士の類似度を定義して、前記定義した類似度と事例とを学習結果情報として判断情報の格納部に記憶しておく。

そして、タイプ情報決定手段は、文書属性情報取得手段によって解くべき問題の素性（文書属性情報）が抽出されたときに、判断情報の格納部において定義された類似度と事例を参照して、文書属性情報取得手段によって抽出された解くべき問題の素性について、その解くべき問題の素性の類似度が高い順にｋ個の事例を判断情報の格納部の事例から選択し、選択したｋ個の事例での多数決によって決まった分類先を、解くべき問題の分類先（解）として推定する。すなわち、タイプ情報決定手段では、解くべき問題についての、どのような解（分類先）になりやすいかの度合いを、選択したｋ個の事例での多数決の票数とする。

また、機械学習手法として、シンプルベイズ法を用いる場合には、教師データの事例について、前記事例の解と素性の集合との組を判断情報として判断情報の格納部に記憶する。そして、タイプ情報決定手段は、文書属性情報取得手段によって解くべき問題の素性が抽出されたときに、判断情報の格納部の判断情報の解と素性の集合との組をもとに、ベイズの定理にもとづいて文書属性情報取得手段で取得した解くべき問題の素性の集合の場合の各分類になる確率を算出して、その確率の値が最も大きい分類を、その解くべき問題の素性の分類（解）と推定する。すなわち、タイプ情報決定手段では、解くべき問題の素性の集合の場合にある解となりやすさの度合いを、各分類になる確率とする。

また、機械学習手法として決定リスト法を用いる場合には、教師データの事例について、素性と分類先との規則を所定の優先順序で並べたリストを、予め、何らかの手段により、判断情報の格納部に記憶させる。そして、文書属性情報取得手段によって解くべき問題の素性が抽出されたときに、タイプ情報決定手段は、判断情報の格納部のリストの優先順位の高い順に、抽出された解くべき問題の素性と規則の素性とを比較し、素性が一致した規則の分類先をその解くべき問題の分類先（解）として推定する。

また、機械学習手法として最大エントロピー法を使用する場合には、教師データの事例から解となりうる分類を特定し、所定の条件式を満足し、かつエントロピーを示す式を最大にするときの素性の集合と解となりうる分類の二項からなる確率分布を求めて、判断情報の格納部に記憶する。そして、文書属性情報取得手段によって解くべき問題の素性が抽出されたときに、タイプ情報決定手段は、判断情報の格納部の確率分布を利用して、抽出された解くべき問題の素性の集合についてその解となりうる分類の確率を求めて、最も大きい確率値を持つ解となりうる分類を特定し、その特定した分類をその解くべき問題の解と推定する。すなわち、タイプ情報決定手段では、解くべき問題の素性の集合の場合にある解となりやすさの度合いを、各分類になる確率とする。

また、機械学習手法としてサポートベクトルマシン法を使用する場合には、教師データの事例から解となりうる分類を特定し、分類を正例と負例に分割して、カーネル関数を用いた所定の実行関数にしたがって事例の素性の集合を次元とする空間上で、その事例の正例と負例の間隔を最大にし、かつ正例と負例を超平面で分割する超平面を求めて判断情報の格納部に記憶する。そして、文書属性情報取得手段によって解くべき問題の素性が抽出されたときに、タイプ情報決定手段は、判断情報の格納部の超平面を利用して、解くべき問題の素性の集合が超平面で分割された空間において正例側か負例側のどちらにあるかを特定し、その特定された結果にもとづいて定まる分類を、その解くべき問題の解と推定する。すなわち、タイプ情報決定手段では、解くべき問題の素性の集合の場合にある解となりやすさの度合いを、分離平面からのその解くべき問題の事例への距離の大きさとする。

以下に、さらに具体的な例を用いて、教師データあり機械学習に基づいて、文書タイプを決定する方法について説明する。

判断情報の格納部は、１以上の素性の集合と、文書タイプ（タイプ情報）の対である判断情報を１以上格納している。ここで、素性は、 例えば、文書に出現する単語、文書に出現する文字列、文書に出現する文末の文字列、文書に出現するあらかじめ定めた特徴的な表現、文書に出現するあらかじめ定めた特徴的な表現の出現頻度、文書に出現するあらかじめ定めた特徴的な表現の出現密度などのうちの１以上の情報である。例えば、判断情報の格納部は、１以上の文書教師データを格納している。

そして、文書受付部が入力の文書を受け付けた場合、文書タイプ決定部７１の文書属性情報取得手段は、 当該文書から予め決められた素性（文書属性情報）を取得し、タイプ情報決定手段は、上記で説明した機械学習のアルゴリズムにより、文書教師データを用いて、当該文書のタイプ情報を決定する。そして、強調表示部８は、決定したタイプ情報に応じた文字列抽出部を呼び出し、文字列加工部は、決定したタイプ情報に応じた強調表示を行う。強調表示の方法は、 本明細書で述べた種々の方法があり、その他、本明細書で述べていない強調表示を行っても良い。

また、例えば、文書属性情報取得手段と同様の機能を有する図示しない学習手段は、学習対象の文書学習データ「「A と思います．」→「意見文書（副詞強調）」」、「「B と思います．」→「意見文書（副詞強調）」」「「C だった．」→「タイトル強調」」を読み込んで、処理し、以下に示す判断情報を得る、とする。

つまり、図示しない学習手段は、「「A と思います．」→「意見文書（副詞強調）」」から素性「思います．」「います．」を取得し、素性「思います．」「います．」とタイプ情報「意見文書（副詞強調）」を得て、判断情報の格納部に蓄積する。同様に、図示しない学習手段は、「「B と思います．」→「意見文書（副詞強調）」」から素性「思います．」「います．」を取得し、素性「思います．」「います．」とタイプ情報「意見文書（副詞強調）」を得て、判断情報の格納部に蓄積する。同様に、図示しない学習手段は、「「C だった．」→「タイトル強調」」から素性「だった．」「った．」を取得し、素性「だった．」「った．」とタイプ情報「タイトル強調」を得て、判断情報の格納部に蓄積する。以上より、「思います．」という素性があると「意見文書（副詞強調）」であり、そうでない場合は、「タイトル強調」である、という学習をしたこととなる。

そこで、新しい文として「D した．」という文書が入力されると、文書属性情報取得手段は、素性「した．」「た．」を取得し、 上記の機械学習のいずれかのアルゴリズムにより、「思います．」の素性がないため、タイプ情報決定手段は、文書タイプ「タイトル強調」と判断する。

そして、制御部は、決定された文書のタイプに対応した文字列の抽出部を選択する。その結果、文書タイプに対応した文字列の処理が可能となる。

以上、本実施の形態によれば、自動的に、またはユーザの選択により、文書タイプを決定し、文書タイプに応じた文書の強調表示ができる。また、文書タイプ決定部で判断しない状態（デフォルト）では、 tfidf法等で重要語を強調表示するようにできる。

なお、本実施の形態によれば、自動的に文書のタイプを決定したが、ユーザが選択しても良い。つまり、ユーザは、動作させる文字列の抽出部を、マウス等の入力手段を用いて選択し、当該選択された文字列の抽出部を起動しても良い。

さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、1 以上の文章を有する文書を受け付ける文書受付部と、前記受け付けた文書に対して、第一の所定の文字列に合致する１以上の文字列を抽出する第一文字列抽出部と、前記受け付けた文書に対して、第二の所定の文字列に合致する１以上の文字列を抽出する第二文字列抽出部と、前記第一文字列抽出部または前記第二文字列抽出部で、それぞれ抽出した１以上の各文字列に対して、前記第一文字列抽出部または前記第二文字列抽出部に対応付けて格納されている文字列属性に従った文字列に加工を行う文字列加工部と、前記文字列加工部で加工した１以上の文字列を含む出力文書を渡す文書引渡部と、前記文書引渡部から受け付けた出力文書を出力する出力部として機能させるためのプログラム、である。

また、上記プログラムは、コンピュータを、記憶媒体に格納されている判断情報を用いて、前記文書受付部が受け付けた文書のタイプを決定する文書タイプ決定部と、前記文書タイプ決定部が決定した文書のタイプに対応した前記第一文字列抽出部または前記第二文字列抽出部に対して動作の実行を指示する制御部としてさらに機能させるためのプログラム、であることは好適である。

また、上記プログラムにおける、前記記憶媒体に格納されている判断情報は、文書の属性を示す文書属性情報と、当該文書のタイプを示すタイプ情報の対の情報である２以上の文書教師データであり、前記文書タイプ決定部は、前記文書受付部が受け付けた文書から、当該文書の文書属性情報を取得する文書属性情報取得手段と、前記２以上の文書教師データが示す、文書属性情報に対する文書のタイプの分類方法に合致するように、前記文書属性情報取得手段が取得した文書属性情報を用いて、前記文書受付部が受け付けた文書のタイプを決定するタイプ情報決定手段を具備するものとして、コンピュータを、機能させるためのプログラム、であることは好適である。

（１６）：プログラムインストールの説明
音声認識部（音声認識手段）３、文字認識部（文字認識手段）４、格納部（格納手段）５、格納部（格納手段）６、単語認識部（単語認識手段）７、強調表示部（強調表示手段）８、格納部（格納手段）９、視線認識部１１、視線位置の文字認識部１２、回数又は時間計測部１３、連想単語抽出部１４、音声認識部１５、単語認識部１６、疑問詞後接語抽出部２１、主要語抽出部２２、単語群Ｂ特定部（単語群特定手段）３１、言語補助変換部４１、頻度記憶部４２、読み書き入力部４３、文字列加工部５１、箇条書取得部６１、順序逆転部６２、条件判断部６３、文書タイプ決定部７１等は、プログラムで構成でき、主制御部（ＣＰＵ）が実行するものであり、主記憶に格納されているものである。このプログラムは、一般的な、コンピュータ（情報処理装置）で処理されるものである。このコンピュータは、主制御部、主記憶、ファイル装置、表示装置、キーボード等の入力手段である入力装置などのハードウェアで構成されている。このコンピュータに、本発明のプログラムをインストールする。このインストールは、フロッピィ、光磁気ディスク等の可搬型の記録（記憶）媒体に、これらのプログラムを記憶させておき、コンピュータが備えている記録媒体に対して、アクセスするためのドライブ装置を介して、或いは、ＬＡＮ等のネットワークを介して、コンピュータに設けられたファイル装置にインストールされる。そして、このファイル装置から処理に必要なプログラムステップを主記憶に読み出し、主制御部が実行するものである。

本発明の強調表示装置の説明図である。 本発明の音声の強調表示処理フローチャートである。 本発明の画像の強調表示処理フローチャートである。 本発明の副詞表現の強調表示処理フローチャートである。 本発明の視線が送られた単語の抽出装置の説明図である。 本発明の視線が送られた単語の抽出処理フローチャートである。 本発明の視線が送られなかった単語の強調表示処理フローチャートである。 本発明の連想単語抽出部を使用する単語の抽出の説明図である。 本発明の連想単語抽出部を使用する処理フローチャートである。 本発明の音声認識部を使用する単語抽出の説明図である。 本発明の音声認識部を使用する単語抽出処理フローチャートである。 本発明の質問と回答における強調表示部の説明図である。 本発明の疑問詞の後ろに付く単語を強調表示するフローチャートである。 本発明の疑問詞の後ろに付く単語を強調表示するフローチャートである。 本発明の数量表現を指す疑問詞を利用して強調表示するフローチャートである。 本発明の疑問詞の意味を利用して強調表示するフローチャートである。 本発明の疑問詞の意味を利用して強調表示するフローチャートである。 本発明のユーザの興味のある単語の強調表示部の説明図である。 本発明のユーザの興味のある単語の強調表示処理フローチャートである。 本発明の言語補助変換部を用いる場合の説明図である。 本発明の文字列加工部を用いる場合の説明図である。 本発明の箇条書きの表示順変更の説明図である。 本発明の文書タイプ決定部を設ける場合の説明図である。 本発明のサポートベクトルマシン法のマージン最大化の概念図である。

符号の説明

１ マイク（マイクロホン）
２ カメラ（撮影手段）
３ 音声認識部（音声認識手段）
４ 文字認識部（文字認識手段）
５ 格納部（格納手段）
６ 格納部（格納手段）
７ 単語認識部（単語認識手段）
８ 強調表示部（強調表示手段）
９ 格納部（格納手段）

Claims (21)

1. 強調表示する単語を格納する格納部と、
   マイクからの音声を認識する音声認識部と、
   該認識した音声から単語を認識する単語認識部と、
   前記マイクからの音声の単語から前記格納部の単語を検索し、該検索した単語を強調する強調表示部とを備えることを特徴とした強調表示装置。
2. 強調表示する単語を格納する格納部と、
   カメラ画像から文字を認識する文字認識部と、
   該認識した文字から単語を認識する単語認識部と、
   前記カメラ画像の文字の単語から前記格納部の単語を検索し、該検索した単語を強調表示する強調表示部とを備えることを特徴とした強調表示装置。
3. 前記マイクからの音声又は前記カメラ画像の文書において、設定した抽出領域の単語を前記格納部に格納することを特徴とした請求項１又は２記載の強調表示装置。
4. ユーザの視線がカメラ画像のどこにあるかを特定する視線認識部と、
   ユーザの視線が送られた周辺範囲を取り出して、その範囲にあった単語を抽出し、単語ごとにユーザの視線が送られた回数又は合計時間を計測する回数又は時間計測部と、
   前記ユーザの視線が送られた回数又は合計時間が所定の値よりも、大きい単語を前記格納部に格納することを特徴とした請求項１又は２記載の強調表示装置。
5. 前記強調表示部は、前記格納部に前記ユーザの視線が送られた回数又は合計時間が所定の値よりも、小さい単語を格納することを特徴とした請求項４記載の強調表示装置。
6. 前記強調表示部は、前記格納部に格納された強調表示する単語とよく共起又は類似する単語を抽出し、該共起又は類似する単語を強調表示することを特徴とした請求項１〜５のいずれかに記載の強調表示装置。
7. 音声認識部で認識するマイクからの音声の文字又は文字認識部で認識するカメラ画像の文字から疑問詞を認識し、該疑問詞に対応する表現を抽出する抽出部と、
   前記抽出した前記疑問詞に対応する表現を前記マイクからの音声の文字又は前記カメラ画像の文字において強調表示する強調表示部とを備えることを特徴とした強調表示装置。
8. 前記マイクからの音声の文字又は前記カメラ画像の文字から疑問詞を認識し、該疑問詞に後接する名詞、前記疑問詞に後接する数字と結合できる所定の名詞、前記疑問詞に後接する接尾辞、前記疑問詞に後接する数字と結合できる所定の接尾辞のいずれかを抽出する抽出部を備え、
   前記強調表示部で、前記抽出した名詞又は接尾辞を強調表示することを特徴とした請求項１又は２記載の強調表示装置。
9. マイクからの音声を認識する音声認識部と、
   カメラ画像の文字を認識する文字認識部と、
   単語を認識する単語認識部と、
   前記認識した音声からの文字及び前記カメラ画像の文字及び電子テキスト画面の文字のうち少なくとも二つの文字を利用し、前記二つの文字のうち少なくとも一つの文字に出てきた単語を前記他の文字又は前記複数文字で強調表示する強調表示部とを備えることを特徴とした強調表示装置。
10. 前記認識した音声からの文字及び前記カメラ画像の文字及び電子テキスト画面の文字のうち少なくとも二つの文字を利用し、該少なくとも二つの文字の両方に出てきた単語を前記一つの文字又は前記複数文字で強調表示する強調表示部とを備えることを特徴とした請求項９記載の強調表示装置。
11. ユーザの視線がカメラ画像のどこにあるかを特定する視線認識部でユーザが視線を送った文字又は焦点が合ったカメラ画像の文字を認識する文字認識部と、
    前記認識した文字から単語を認識する単語認識部と、
    前記認識した文字の単語を音声で強調する強調表示部とを備えることを特徴とした強調表示装置。
12. 単語を認識する単語認識部と、
    単語を格納する格納部と、
    強調表示部とを備え、
    前記強調表示部は、音声認識部で認識するマイクからの音声の文字及び文字認識部で認識するカメラ画像の文字及び表示手段に表示される電子テキスト画面の文字の三つの文字のうち少なくとも一つの文字の過去の単語を前記格納部に格納し、前記三つの文字のうちの少なくとも一つの文字の単語から前記格納部の単語を検索し、前記格納部にない単語を強調表示することを特徴とした強調表示装置。
13. 定められた文書から指定された固有表現を抽出する固有表現抽出部を備え、
    該抽出した固有表現を強調表示する単語として前記格納部へ格納することを特徴とした請求項１又は２記載の強調表示装置。
14. 定められた文書からの単語の出現回数をＴＦとし、その単語が予め持っている多数の文書のうち、何個の文書に出現するかのその個数の逆数をＩＤＦとし、前記ＴＦと前記ＩＤＦの積に基づく値が所定の値より大きい単語を強調表示する単語として前記格納部へ格納することを特徴とした請求項１又は２記載の強調表示装置。
15. 用語と当該用語に対して補足する用語又は当該用語に対してユーザの使用頻度の高い同じ内容の用語である補足用語の対である変換用語情報を格納する辞書と、
    入力された単語に対して、前記辞書の変換用語情報が有する用語を検索し、当該検索した用語に隣接して、当該用語と対になる補足用語を挿入する文字列加工部と、
    音声認識部で認識するマイクからの音声の文字又は文字認識部で認識するカメラ画像の文字から単語を認識する単語認識部と、
    前記マイクからの音声の単語又は前記カメラ画像の文字の単語で、前記辞書の変換用語情報が有する用語を検索し、当該検索した用語の後に、当該用語と対になる補足用語を音声で挿入又は前記カメラ画像の文字に挿入して、前記マイクからの音声の単語又は前記カメラ画像の文字を強調表示する強調表示部とを備えることを特徴とした強調表示装置。
16. 入力された文書の箇条書きの情報を識別して取得する箇条書取得部と、
    前記取得した箇条書きの情報を、箇条書きの順序を逆にする順序逆転部と、
    音声認識部によるマイクからの音声の文書及び文字認識部によるカメラ画像の文字の文書の少なくとも一つの文書から前記箇条書取得部で箇条書きの情報を識別して取得し、前記順序逆転部で該取得した箇条書きの情報を、箇条書きの順序を逆にして、出力することを特徴とした強調表示装置。
17. 前記格納部にプラスのイメージとマイナスのイメージの単語を格納し、
    前記強調表示部で、前記認識した音声又は前記カメラ画像の文字から前記格納部の単語を検索し、該検索した単語を前記イメージにより異なる強調表示することを特徴とした請求項１又は２記載の強調表示装置。
18. 文書のタイプを判断するための情報である判断情報を用いて、前記マイクからの音声又は前記カメラ画像の文字の文書のタイプを決定する文書タイプ決定部を備え、
    前記強調表示部は、前記決定した文書のタイプに対応した、前記マイクからの音声又は前記カメラ画像の文字の単語を強調表示することを特徴とした請求項１又は２記載の強調表示装置。
19. 単語の翻訳手段を備え、
    前記強調表示部で、他の言語の前記音声又は前記画像を強調表示することを特徴とした請求項１〜１８のいずれかに記載の強調表示装置。
20. 強調表示する単語を予め格納する格納部と、
    マイクからの音声を認識する音声認識部と、
    該認識した音声から単語を認識する単語認識部と、
    前記マイクからの音声の単語から前記格納部の単語を検索し、該検索した単語を強調表示する強調表示部として、
    コンピュータを機能させるためのプログラム。
21. 強調表示する単語を予め格納する格納部と、
    カメラ画像から文字を認識する文字認識部と、
    該認識した文字から単語を認識する単語認識部と、
    前記カメラからの画像の文字の単語から前記格納部の単語を検索し、該検索した単語を強調表示する強調表示部ととして、
    コンピュータを機能させるためのプログラム。

Images