JP2009151630A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】文書を時系列に沿って出力する際に、その文書の内容をよりよく理解できるようにする情報処理装置を提供する。
【解決手段】文書が記憶される文書記憶部１１、文書から用語を抽出する用語抽出部１２、文書をチャンクに分割し、各チャンクの係り受けを示す係り受け情報を取得する係り受け情報取得部１３、係り受け情報を用い、文書から、一のチャンクに係る複数のチャンクの位置を入れ替えた文書を生成する文書生成部１４、用語と画像を対応付ける対応情報が２以上記憶される対応情報記憶部１６、抽出された用語に対応する画像を取得する画像取得部１７、抽出された用語が均等に出現する文書を選択する文書選択部１５、選択された文書のテキストを時系列に沿って出力する文書出力部１８、取得された画像を、対応する用語が出力されるタイミングで表示する画像表示部１９を備える。
【選択図】図１

Description

本発明は、文書に含まれる用語に対応する画像を、文書と共に出力する情報処理装置等に関する。

従来、文書を時系列に沿って出力することが行われている。例えば、テキストデータから音声を合成し、スピーカから音声出力することなどが行われている。そのように、時系列に沿って文書が出力される場合には、視覚的に文書をとらえる場合のように読み返すことができないため、理解されやすいように出力することが重要になる。そのため、文書をそのまま出力するのではなく、言い換えて出力する方法などが考えられ得る。

なお、関連する技術として、文書を言い換える技術が開発されている。より具体的には、話し言葉の文書を書き言葉の文書に変換する装置が開発されている（例えば、特許文献１参照）。
特開２００３−１３２０４７号公報

前述のように、文書を時系列に沿って出力する際に、その文書の内容の理解をよりよくしたいという要望があった。

本発明は、上記課題を解決するためになされたものであり、文書を時系列に沿って出力する際に、その文書の内容の理解をよりよくすることができうる情報処理装置等を提供することを目的とする。

上記目的を達成するため、本発明による情報処理装置は、文書が記憶される文書記憶部と、前記文書記憶部で記憶されている文書から用語を抽出する用語抽出部と、前記文書記憶部で記憶されている文書をチャンクに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する係り受け情報取得部と、前記係り受け情報取得部が取得した係り受け情報を用いて、あるチャンクに２以上のチャンクが係っている場合には、当該２以上のチャンクの位置を入れ替え可能であるとして、前記文書記憶部で記憶されている文書から、入れ替え可能なチャンクの位置を入れ替えた文書を生成する文書生成部と、前記用語抽出部が抽出した用語に対応する画像を、用語と画像とを対応付けて有する情報である対応情報が２以上記憶される対応情報記憶部で記憶されている当該２以上の対応情報を用いて取得する画像取得部と、前記用語抽出部が抽出した用語が均等に出現する文書を、前記文書記憶部で記憶されている文書、及び前記文書生成部が生成した文書から選択する文書選択部と、前記文書選択部が選択した文書に含まれるテキストを、時系列に沿って出力する文書出力部と、前記画像取得部が取得した画像を、当該画像に対応する用語が前記文書出力部によって出力されるタイミングで表示する画像表示部と、を備えたものである。

このような構成により、文書を時系列に沿って出力する際に、その文書から抽出した用語に対応する画像を表示することができ、その出力される文書の内容が、よりよく理解されるようにすることができる。時系列に沿って出力される文書に接しているユーザは、各時点でその文書の一部分のみにしか接することができないが、画像が表示されることにより、出力中の文書に含まれる用語を残像のようにユーザに提示することができる。その結果として、ユーザの理解を助けることができる。また、ユーザは、例えば、聞き取れなかった用語や、見落とした用語があった場合でも、文書が時系列に沿って出力されているため、聞き返したり、読み返したりすることができないが、その聞き取れなかった用語や見落とした用語に対応する画像が表示されている場合には、聞き取れなかった用語や見落とした用語が何であったのかを理解することができるようになる。

また、本発明による情報処理装置では、前記文書出力部は、選択された文書に含まれるテキストに対応する音声情報を生成し、当該生成した音声情報を音声出力してもよい。
また、本発明による情報処理装置では、前記文書出力部は、選択された文書に含まれるテキストをティッカー表示してもよい。

また、本発明による情報処理装置では、前記用語抽出部は、前記文書記憶部で記憶されている文書に含まれる内容語と機能語のうち、内容語を抽出してもよい。
このような構成により、機能語よりは視覚化することが容易であると考えられる内容語を抽出することによって、画像を見たユーザが、よりよく文書の内容を理解することができるようになりうる。

また、本発明による情報処理装置では、前記用語抽出部は、前記文書記憶部で記憶されている文書の長さが長いほど、より多くの用語を抽出してもよい。
このような構成により、出力される文書の量に応じた量の画像が出力されることになる。したがって、例えば、短い時間に多くの画像が出力されて、ユーザの文書に対する理解を妨げる事態を回避することができうる。

また、本発明による情報処理装置では、前記用語抽出部は、用語と、当該用語の視覚化の容易さの指標である視覚化容易度とを対応付ける情報を用いて、前記文書記憶部で記憶されている文書から、視覚化容易度の高い用語を抽出してもよい。

このような構成により、視覚化容易度の高い用語を抽出することによって、出力される文書の理解の助けとなる画像を表示することができるようになると考えられる。一般に、視覚化容易度の低い用語に対応する画像を表示したとしても、その画像を見た者が、その画像に対応する用語を想起することは困難であると考えられるからである。

また、本発明による情報処理装置では、前記用語抽出部は、用語と、当該用語を視覚化した際における視覚化された画像の種類の多さを示す指標である視覚化揺らぎ度とを対応付ける情報を用いて、前記文書記憶部で記憶されている文書から、視覚化揺らぎ度の低い用語を抽出してもよい。

このような構成により、視覚化揺らぎ度の低い用語を抽出することによって、出力される文書の理解の助けとなる画像を表示することができるようになると考えられる。一般に、視覚化揺らぎ度の高い用語に対応する画像を表示したとしても、その画像を見た者が、その画像に対応する用語を想起することは困難であると考えられるからである。

また、本発明による情報処理装置では、前記用語抽出部は、用語と当該用語の視覚化の容易さの指標である視覚化容易度とを対応付ける情報、用語と当該用語を視覚化した際における視覚化された画像の種類の多さを示す指標である視覚化揺らぎ度とを対応付ける情報、及び、視覚化容易度が高いほど大きな値となり、視覚化揺らぎ度が低いほど大きな値となる式を用いて、前記文書記憶部で記憶されている文書から、前記式の値の大きい用語を抽出してもよい。

このような構成により、視覚化容易度が高く、視覚化揺らぎ度が低い用語を抽出することができうる。そのことによって、出力される文書の理解の助けとなる画像を表示することができるようになると考えられる。一般に、視覚化容易度の低い用語に対応する画像や、視覚化揺らぎ度の高い用語に対応する画像を表示したとしても、その画像を見た者が、その画像に対応する用語を想起することは困難であると考えられるからである。

また、本発明による情報処理装置では、前記文書選択部は、前記用語抽出部が抽出した用語のうち、前記式の値の最も大きい用語が他の抽出された用語に対して先頭となる文書を、前記文書記憶部で記憶されている文書、及び前記文書生成部が生成した文書から選択してもよい。

このような構成により、視覚化容易度が高く、視覚化揺らぎ度が低い用語に対応する画像がはじめに表示されるようにすることができる。視覚化容易度が高く、視覚化揺らぎ度が低い用語に対応する画像は、その画像に対応する用語を想起しやすい画像であると考えられるため、その画像をユーザの印象に残りやすい先頭の画像に採用することによって、ユーザが正しく文書を理解できるようにサポートすることができうる。

また、本発明による情報処理装置では、発生された原言語の音声をマイクによって集音した情報である原言語音声情報を受け付ける音声情報受付部と、前記音声情報受付部が受け付けた原言語音声情報を音声認識して、当該原言語音声情報に対応するテキスト情報である音声認識結果情報を取得する音声認識部と、前記音声認識部が取得した音声認識結果情報を機械翻訳して、当該音声認識結果情報に対応する目的言語のテキストの文書を取得して、前記文書記憶部に蓄積する機械翻訳部と、をさらに備えてもよい。

このような構成により、音声翻訳装置において、翻訳後の文書を時系列に沿って出力する際に、その文書から抽出した用語に対応する画像を表示することができ、その出力される文書の内容が、よりよく理解されるようにすることができる。また、画像が表示されることによって、原言語の話し手が目的言語を理解できない場合であっても、その話し手の発話が適切に翻訳されたかどうかを、表示された画像を見ることによって、確認することができる。その結果、もしも適切に翻訳されていなかったことが分かった場合には、例えば、言い換えることによって、適切な翻訳がなされるようにすることができうる。

また、本発明による情報処理装置では、前記画像表示部は、表示する画像に対応する用語の属性に応じた表示方法で画像を表示してもよい。
また、本発明による情報処理装置では、前記属性は、用語の単数と複数との違いであってもよい。

本発明による情報処理装置等によれば、文書を時系列に沿って出力する際に、その文書の内容の理解をよりよくすることができうる。

以下、本発明による情報処理装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による情報処理装置について、図面を参照しながら説明する。本実地の形態による情報処理装置は、文書に含まれる用語と、その用語に対応する画像とを同期させて出力するものである。

図１は、本実施の形態による情報処理装置１の構成を示すブロック図である。本実施の形態による情報処理装置は、文書記憶部１１と、用語抽出部１２と、係り受け情報取得部１３と、文書生成部１４と、文書選択部１５と、対応情報記憶部１６と、画像取得部１７と、文書出力部１８と、画像表示部１９とを備える。

文書記憶部１１では、文書が記憶される。この文書は、後述する文書出力部１８によって出力される文書であるため、例えば、ユーザは、出力したい文書を文書記憶部１１で記憶するようにしてもよい。また、実施の形態２で説明するように、この文書は、機械翻訳の結果であってもよい。

文書記憶部１１に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が文書記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された情報が文書記憶部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が文書記憶部１１で記憶されるようになってもよい。文書記憶部１１での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。文書記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

用語抽出部１２は、文書記憶部１１で記憶されている文書から用語を抽出する。この用語抽出部１２によって抽出される用語は、後述するように、その用語に対応する画像が画像表示部１９によって表示されるものであるため、文書記憶部１１で記憶されている文書を特徴付ける用語であることが好適である。用語抽出部１２が抽出した用語は、図示しない記録媒体において一時的に記憶されてもよい。

用語抽出部１２は、文書記憶部１１で記憶されている文書に含まれる内容語と機能語のうち、内容語を抽出してもよい。機能語とは、文法的な役割を持つ語である。例えば、日本語の助詞や、接続詞等が機能語となる。内容語は、機能語以外の一般的な意味を持つ語である。例えば、名詞や動詞、形容詞等が内容語となる。用語抽出部１２は、文書に含まれる内容語のすべてを抽出してもよく、あるいは、一部を抽出してもよい。用語抽出部１２は、内容語を抽出する際に、例えば、文書に対して形態素解析を行い、特定の品詞の用語を抽出することによって、内容語を抽出してもよい。例えば、文書から名詞を抽出することによって、内容語を抽出することができる。また、用語抽出部１２は、内容語と機能語とを含む辞書を用いて、文書に含まれる各用語が内容語であるのか、機能語であるのかを判断し、内容語であると判断された用語を抽出してもよい。なお、その辞書は、図示しない記録媒体で記憶されていてもよい。

形態素解析については、すでに公知であって、その詳細な説明を省略する。形態素解析のシステムとして、日本語の場合には、例えば、奈良先端科学技術大学院大学で開発された「ＣｈａＳｅｎ（茶筌）」（ｈｔｔｐ：／／ｃｈａｓｅｎ．ｎａｉｓｔ．ｊｐ）等が知られている。また、英語の場合には、英単語に品詞を付与するソフトウェアとして、例えば、「ＴｎＴ」（ｈｔｔｐ：／／ｗｗｗ．ｃｏｌｉ．ｕｎｉ−ｓａａｒｌａｎｄ．ｄｅ／〜ｔｈｏｒｓｔｅｎ／ｔｎｔ／）や「Ｂｒｉｌｌ Ｔａｇｇｅｒ」（ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｊｈｕ．ｅｄｕ／〜ｂｒｉｌｌ／）等が知られている。

また、用語抽出部１２が抽出した用語に対応する画像が、後述する画像取得部１７によって対応情報を用いて取得されることになるため、用語抽出部１２は、その画像の抽出を行うことができるように、対応情報記憶部１６で記憶されている対応情報において画像と対応付けられている用語のみを抽出するようにしてもよい。なお、対応情報記憶部１６や、対応情報については後述する。

また、用語抽出部１２が抽出する用語の数は、例えば、あらかじめ決められていてもよく、あるいは、文書に応じて決められてもよい。前者の場合には、例えば、あらかじめ３個や５個を抽出すると決められており、用語抽出部１２は、その決められた個数の用語を抽出する。なお、文書が短い場合などにおいて、その決められた個数の用語を抽出できない場合には、その決められた個数以下の用語を抽出してもよい。後者の場合には、例えば、用語抽出部１２は、文書記憶部１１で記憶されている文書の長さが長いほど、より多くの用語を抽出してもよい。文書の長さは、文書の文字数であってもよく、文書の単語数、形態素数であってもよく、文書のデータ容量であってもよく、あるいは、文書を出力する際の時間（例えば、音声出力する際の時間や、ティッカー表示する際の時間など）であってもよい。用語抽出部１２は、あらかじめ設定されている１個の用語を抽出する単位（用語単位と呼ぶことにする）を保持しており、その用語単位で文書の長さを割ることによって、抽出する用語の数を算出してもよい。すなわち、抽出する用語数は、次式のようにして求められてもよい。

抽出する用語の数＝ｉｎｔ（文書の長さ／用語単位）

ここで、ｉｎｔ（Ｎ）は、Ｎの整数部分のみの値を返す関数である。また、文書の長さを用語単位で割るため、文書の長さの種類と、用語単位の種類が同じでなければならない。例えば、文書の長さがデータ容量で示される場合には、用語単位もデータ容量で示されなければならない。また、文書の長さが文書を出力する際の時間で示される場合には、用語単位もその用語単位を出力する際の時間で示されなければならない。また、用語単位は、一意に決められるものであってもよく、あるいは、文書の長さに応じて変化させてもよい。例えば、長い文の場合には、より長い用語単位を用い、短い文の場合には、より短い用語単位を用いるようにしてもよい。

また、用語抽出部１２は、用語と、その用語の視覚化の容易さの指標である視覚化容易度とを対応付ける情報である視覚化容易度対応情報を用いて、文書記憶部１１で記憶されている文書から、視覚化容易度の高い用語を抽出してもよい。ここで、視覚化容易度について説明する。例えば、用語「空」は視覚化しやすいが、用語「友情」などの抽象的な用語は視覚化が困難である。したがって、用語「空」や、用語「山」などは、視覚化容易度が高くなり、用語「友情」や、用語「忍耐」などは、視覚化容易度が低くなる。この視覚化容易度は、例えば、１００人の被験者に各用語について視覚化しやすいかどうかを質問し、その質問に対する回答で視覚化しやすいと答えた人数を１００で割った値にしてもよい。その場合には、視覚化容易度は、０〜１の実数をとることになる。一般に、視覚化容易度の低い用語に対応する画像を表示したとしても、その画像を見た者が、その画像の意味を理解することは困難であると考えられる。例えば、用語「友情」に対応する画像を見た者が、その画像から「友情」を想起することは困難であると考えられる。一方、視覚化容易度の高い用語に対応する画像を表示した場合には、その画像を見た者が、その画像の意味を理解することは容易であると考えられる。例えば、用語「山」に対応する画像を見た者が、その画像から「山」を想起することは容易であると考えられる。したがって、視覚化容易度の高い用語を用語抽出部１２が抽出することによって、その用語に対応する画像が表示された際に、その画像の意味がより理解されやすいようにすることができうる。

ここで、視覚化容易度の高い用語とは、他の用語に比べて視覚化容易度が高い用語のことである。例えば、視覚化容易度の高い用語は、視覚化容易度の値がしきい値よりも大きい用語であってもよく、視覚化容易度の大きい方から選択された、あらかじめ決められた個数の用語や、視覚化容易度の大きい方から選択された、あらかじめ決められた割合の用語であってもよい。しきい値よりも大きいとは、しきい値を含んでもよく、あるいは、含まなくてもよい。また、しきい値は、例えば、あらかじめ設定された値であってもよく、得られた視覚化容易度に応じて定められてもよい。後者の場合には、例えば、しきい値は、文書に含まれる用語に対応する視覚化容易度の最大値に０．９などの１よりも小さい値を掛けた値であってもよい。

用語抽出部１２は、用語と、その用語を視覚化した際における視覚化された画像の種類の多さを示す指標である視覚化揺らぎ度とを対応付ける情報である視覚化揺らぎ度対応情報を用いて、文書記憶部１１で記憶されている文書から、視覚化揺らぎ度の低い用語を抽出してもよい。ここで、視覚化揺らぎ度について説明する。例えば、用語「卍（まんじ）」に対応する画像は、卍そのものの画像であったり、卍が描かれた寺院の画像であったり、卍が描かれた仏像の画像であったりなど、画像に揺らぎがある。また、例えば、用語「ダイヤ」に対応する画像は、ダイヤモンドの画像であったり、時刻表（ダイヤグラム）の画像であったり、トランプの札の種類であるダイヤ（菱形）の画像であったりなど、画像に揺らぎがある。したがって、用語「卍」や、用語「ダイヤ」などは、視覚化揺らぎ度が高くなる。一方、例えば、用語「山」や、用語「雲」などに対応する画像は、ほぼ一定のものであると考えられる（具体的な画像の違いは存在しうるが）。したがって、用語「山」や、用語「雲」などは、視覚化揺らぎ度が低くなる。この視覚化揺らぎ度は、例えば、１００人の被験者に各用語について２以上の画像を想起するかどうか質問し、その質問に対する回答で２以上の画像を想起すると答えた人数を１００で割った値にしてもよい。あるいは、画像検索エンジン（例えば、ｈｔｔｐ：／／ｉｍａｇｅｓ．ｇｏｏｇｌｅ．ｃｏ．ｊｐ／等）や、画像を検索できるサイト（例えば、ｈｔｔｐ：／／ｗｗｗ．ｆｌｉｃｋｒ．ｃｏｍ等）を用いて用語に応じた画像の検索を行い、その検索された画像において、互いに類似度の低い画像が多数存在する場合には視覚化揺らぎ度を高く設定し、類似度の高い画像が多数存在する場合には、視覚化揺らぎ度を低く設定してもよい。

ここで、視覚化揺らぎ度の低い用語とは、他の用語に比べて視覚化揺らぎ度が低い用語のことである。例えば、視覚化揺らぎ度の低い用語は、視覚化揺らぎ度の値がしきい値よりも小さい用語であってもよく、視覚化揺らぎ度の小さい方から選択された、あらかじめ決められた個数の用語や、視覚化揺らぎ度の小さい方から選択された、あらかじめ決められた割合の用語であってもよい。しきい値よりも小さいとは、しきい値を含んでもよく、あるいは、含まなくてもよい。また、しきい値は、例えば、あらかじめ設定された値であってもよく、得られた視覚化揺らぎ度に応じて定められてもよい。後者の場合には、例えば、しきい値は、文書に含まれる用語に対応する視覚化揺らぎ度の最小値に１．２などの１よりも大きい値を掛けた値であってもよい。

また、用語抽出部１２は、用語とその用語の視覚化の容易さの指標である視覚化容易度とを対応付ける情報である視覚化容易度対応情報、用語とその用語を視覚化した際における視覚化された画像の種類の多さを示す指標である視覚化揺らぎ度とを対応付ける情報である視覚化揺らぎ度対応情報、及び、視覚化容易度が高いほど大きな値となり、視覚化揺らぎ度が低いほど大きな値となる式を用いて、文書記憶部１１で記憶されている文書から、式の値の大きい用語を抽出してもよい。例えば、その式は、次の式１や式２のようなものであってもよい。

式１：α×視覚化容易度＋β／（視覚化揺らぎ度）
式２：α×視覚化容易度＋β×（１−視覚化揺らぎ度）
なお、α＝１／２，β＝１／２であってもよく、α、βは、その他の値であってもよい。

ここで、式の値の大きい用語とは、他の用語に比べて式の値が大きい用語のことである。例えば、式の値の大きい用語は、式の値の値がしきい値よりも大きい用語であってもよく、式の値の大きい方から選択された、あらかじめ決められた個数の用語や、式の値の大きい方から選択された、あらかじめ決められた割合の用語であってもよい。しきい値よりも大きいとは、しきい値を含んでもよく、あるいは、含まなくてもよい。また、しきい値は、例えば、あらかじめ設定された値であってもよく、得られた式の値に応じて定められてもよい。後者の場合には、例えば、しきい値は、文書に含まれる用語に対応する式の値の最大値に０．９などの１よりも小さい値を掛けた値であってもよい。

なお、用語抽出部１２が視覚化容易度対応情報や、視覚化揺らぎ度対応情報、式等を用いて用語を抽出する際には、それらの情報は、あらかじめ図示しない記録媒体において記憶されており、用語抽出部１２は、適宜、その情報を読み出すことによって用いてもよい。また、用語抽出部１２は、式を用いて用語と抽出する際に、式の値があらかじめ設定されているしきい値よりも小さい用語については、抽出しなくてもよい。その場合には、例えば、４個の用語を抽出することになっていたとしても、式の値がしきい値よりも大きい用語が３個しかない場合には、３個の用語を抽出するのみであってもよい。

また、用語抽出部１２は、形態素解析された文書から、特定の品詞の用語を抽出するようにしてもよい。また、用語抽出部１２は、ＴＦＩＤＦを用いて、文書から特徴的な用語を抽出してもよい。また、用語抽出部１２は、文書記憶部１１で記憶されている文書が構造化されている場合（例えば、ＸＭＬやＨＴＭＬ、ＴｅＸ等のマークアップ言語で記述されている場合など）に、特定の箇所から、用語を抽出するようにしてもよい。例えば、文書にタイトルが設定されている場合に、用語抽出部１２は、そのタイトルの部分から用語を抽出してもよい。なお、用語抽出部１２が文書から用語を抽出する方法は、これらに限定されるものでなく、適切に用語と抽出することができるのであれば、これ以外の方法であってもよい。

係り受け情報取得部１３は、文書記憶部１１で記憶されている文書をチャンクに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する。チャンクとは、例えば、形態素であってもよく、単語であってもよく、形態素や単語の連続したもの（例えば、意味上ひとまとまりとなる意味チャンク等）であってもよく、あるいは、その他の単位であってもよい。文書をチャンクに分割する処理は、すでに公知であり、その詳細な説明を省略する。また、チャンクの係り受けを示す情報である係り受け情報を取得する処理も、すでに公知であり、その詳細な説明を省略する。例えば、チャンクの係り受けを解析する技術や、チャンクを関係付ける依存関係（ディペンデンシー）の抽出技術として知られている。例えば、「ｈｔｔｐ：／／ｃｈａｓｅｎ．ｏｒｇ／〜ｔａｋｕ／ｓｏｆｔｗａｒｅ／ｃａｂｏｃｈａ／」で公開されているものを用いることも可能である。係り受け情報は、チャンクの係り受けを示すことができるものであれば、その構造を問わない。例えば、係り受け情報は、係り受け元となるチャンクの識別情報と、係り受け先となるチャンクの識別情報とを対応付けて有する複数のレコードから構成される情報であってもよく、その他の構造の情報であってもよい。チャンクの識別情報は、例えば、チャンクそのものであってもよく、文書記憶部１１で記憶されている文書の先頭からのチャンクの順番を示す情報であってもよく、その他の情報であってもよい。係り受け情報取得部１３が取得した係り受け情報は、図示しない記録媒体において一時的に記憶されてもよい。

文書生成部１４は、係り受け情報取得部１３が取得した係り受け情報を用いて、あるチャンクに２以上のチャンクが係っている場合には、その２以上のチャンクの位置を入れ替え可能であるとして、文書記憶部１１で記憶されている文書から、入れ替え可能なチャンクの位置を入れ替えた文書を生成する。文書生成部１４は、入れ替え可能なチャンクの位置を入れ替えたすべての文書を生成してもよく、あるいは、一部の文書を生成してもよい。また、文書生成部１４は、文書記憶部１１で記憶されている文書そのものも、チャンクの位置を入れ替えた文書の一つとして生成してもよく、あるいは、そうでなくてもよい。文書生成部１４がチャンクを入れ替えることによって文書を生成する具体的な方法については後述する。文書生成部１４が生成した文書は、図示しない記録媒体において一時的に記憶されてもよい。

文書選択部１５は、用語抽出部１２が抽出した用語が均等に出現する文書を、文書記憶部１１で記憶されている文書、及び文書生成部１４が生成した文書から選択する。抽出された用語が均等に出現する文書を選択するとは、抽出された用語ができるだけ均等に出てきている文書を選択する、という程度の意味である。したがって、選択された文書において、厳密な意味において、抽出された用語が均等に出現していなくてもよい。抽出された用語が均等に出現する文書が選択されることによって、その文書が、後述する文書出力部１８によって出力されることになり、また、その文書に含まれる用語に対応する画像が、後述する画像表示部１９によって、その対応する用語の出力タイミングで表示されることになる。したがって、抽出された用語ができるだけ均等に出現する文書が選択されることによって、その画像の表示の時間をできるだけ均等にすることができ、その画像をより見やすくすることができうる。例えば、山の画像が１秒表示され、その後に、海の画像が９秒表示されるよりは、山の画像が５秒表示され、その後に、海の画像が５秒表示される方が、その表示を見るユーザにとっては、山と海の画像の両方をよりよく把握しやすくなると考えられるからである。また、このように画像の表示される時間を均等にすることによって、重要度の低い画像が長い時間表示されることに起因して、出力される文の意味が曲解されることを回避することもできうる。文書選択部１５は、例えば、抽出された用語が最も均等に出現する文書を選択してもよく、他の文書と比較すれば、抽出された用語が均等に出現しているが、最も均等に出現しているのではない文書を選択してもよい（この場合には、例えば、２番目に均等に出現している文書や、３番目に均等に出現している文書が選択されることになりうる）。文書選択部１５が選択した文書は、図示しない記録媒体において一時的に記憶されてもよい。

ここで、用語が均等に出現しているかどうかを判断する方法について説明する。例えば、前述のように用語単位が設定されている場合には、抽出された用語の間の長さ（隣接する用語の間の長さである）と、用語単位との差の２乗の和（絶対値の和であってもよい）を、文書記憶部１１で記憶されている文書や、生成された文書に対して算出し、その算出した和の値が最も小さい文書を、抽出された用語が最も均等に出現している文書であると判断してもよい。また、実質的に同様のことであるが、抽出された用語の間の長さと、用語単位との差の絶対値の標準偏差を、文書記憶部１１で記憶されている文書や、生成された文書に対して算出し、その算出した標準偏差の値が最も小さい文書を、抽出された用語が最も均等に出現している文書であると判断してもよい。なお、用語単位に代えて、文書の長さを、抽出される用語の個数で割った長さ（すなわち、抽出された用語あたりの文書の長さ）を用いてもよい。また、用語の間の長さは、前述のように、文字数であってもよく、単語数、形態素数であってもよく、データ容量であってもよく、あるいは、文字を出力する際の時間（例えば、音声出力する際の時間や、ティッカー表示する際の時間など）であってもよい。また、前述のように、用語の間の長さの種類と、用語単位の種類は、同じであることが好適である。また、用語の間の長さは、例えば、各用語の先頭の位置の間の長さであってもよく、各用語の後端の位置の間の長さであってもよく、各用語の中心の位置の間の長さであってもよく、各用語のテキストを含まない用語間の長さであってもよい。

また、文書選択部１５は、用語抽出部１２が抽出した用語のうち、前述の視覚化容易度、視覚化揺らぎ度を引数とする式の値の最も大きい用語が他の抽出された用語に対して先頭となる文書を、文書記憶部１１で記憶されている文書、及び文書生成部１４が生成した文書から選択してもよい。前述の式の値の大きい用語は、揺らぎなく視覚化できる用語であると考えられるところ、そのような用語に対応する画像がはじめに表示されることは、出力される文書のイメージを適切に把握するために寄与するものと考えられるからである。具体的な選択方法としては、例えば、文書選択部１５は、抽出された用語が均等に出現している文書を、最も均等なものからあらかじめ決められた個数（例えば、３個や５個など）だけ暫定的に選択し、その暫定的に選択したものから、前述の式の値の最も大きい用語と、文書の先頭からの長さが最も短い文書を選択してもよい。または、他の選択方法であってもよい。

また、文書選択部１５は、用語抽出部１２が抽出した用語のうち、前述の視覚化容易度、視覚化揺らぎ度を引数とする式の値の最も大きい用語が他の抽出された用語に対して後端となる文書を、文書記憶部１１で記憶されている文書、及び文書生成部１４が生成した文書から選択してもよい。例えば、画像取得部１７がインターネット等において保持されている対応情報を用いて画像を取得する場合には、その画像の取得にいくらかの時間がかかることになる。したがって、その時間を確保するために、より重要な用語である、前述の式の値の大きい用語に対応する画像を適切に取得することができるように、その画像が最後に表示されるようにしてもよい。

また、文書選択部１５は、抽出された用語が、前述の視覚化容易度、視覚化揺らぎ度を引数とする式の値の降順に、文書の先頭から後端に向かって並ぶ文書を、文書記憶部１１で記憶されている文書、及び文書生成部１４が生成した文書から選択してもよい。

また、文書選択部１５は、抽出された用語が１個だけである場合には、その用語ができるだけ先頭に近い位置となる文書を、文書記憶部１１で記憶されている文書、及び文書生成部１４が生成した文書から選択してもよい。

対応情報記憶部１６では、用語と画像とを対応付けて有する情報である対応情報が２以上記憶される。対応情報に含まれる用語は、用語抽出部１２によって抽出されると考えられる用語である。例えば、用語抽出部１２が名詞しか抽出しない場合には、対応情報に含まれる用語も名詞だけであってもよい。また、対応情報に含まれる画像は、静止画像であってもよく、動画像であってもよい。また、その画像は、例えば、写真であってもよく、イラストであってもよい。また、対応情報には、用語と画像以外の情報が含まれていてもよい。また、対応情報は、用語と画像とを一対一に対応付ける情報であってもよく、あるいは、そうでなくてもよい。後者として、対応情報は、例えば、画像が富士山の画像である場合に、その富士山の画像と、用語「山」「富士山」とを対応付ける情報であってもよい。また、後者として、対応情報は、例えば、単数の用語（例えば、ａｐｐｌｅ）と複数の用語（ａｐｐｌｅｓ）と、一のリンゴの画像とを対応付ける情報であってもよい。

また、この対応情報記憶部１６で記憶される対応情報に含まれる画像は、視覚化可逆値の値の高いものであることが好適である。ここで、視覚化可逆値とは、画像から、その画像に対応情報で対応付けられている用語を正しく想起できる容易さの指標である。例えば、用語「空」に対応付けられている画像から、用語「空」のみを想起できる場合には、視覚化可逆値が高いと判断されるが、その画像から、用語「空」「昼」「雲」などを想起できる場合には、視覚化可逆値が低いと判断される。この視覚化可逆値は、例えば、１００人の被験者に用語「空」に対応付けられている画像から想起される用語を質問し、その質問に対する回答で「空」を答えた人数を１００で割った値にしてもよい。その場合には、視覚化可逆値は、０〜１の実数をとることになる。なお、その被験者は、画像に対応付けられている用語を知識として知っているものとする。知識として知っていない単語を画像から想起することは不可能だからである。一般に、視覚化可逆値の低い画像を表示したとしても、その画像を見た者が、その画像に対応付けられている用語を想起することは困難であると考えられるため、前述のように、対応情報記憶部１６で記憶される対応情報に含まれる画像は、視覚化可逆値が高いことが好適である。

対応情報記憶部１６に対応情報が記憶される過程は問わない。例えば、記録媒体を介して対応情報が対応情報記憶部１６で記憶されるようになってもよく、通信回線等を介して送信された対応情報が対応情報記憶部１６で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された対応情報が対応情報記憶部１６で記憶されるようになってもよい。対応情報記憶部１６での記憶は、外部のストレージデバイス等から読み出した対応情報のＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。対応情報記憶部１６は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

画像取得部１７は、用語抽出部１２が抽出した用語に対応する画像を取得する。画像取得部１７は、例えば、用語抽出部１２が抽出した用語を検索キーとして複数の対応情報を検索し、ヒットした対応情報に含まれる画像を取得する。なお、取得した画像は、図示しない記録媒体において、一時的に記憶されてもよい。また、画像取得部１７は、一の用語に対して、一の画像を取得してもよく、一の用語に対して、二以上の画像を取得してもよい。また、画像取得部１７は、例えば、用語抽出部１２が抽出した用語を検索キーとして複数の対応情報を検索する際に、用語の単数・複数を考慮しないで検索してもよい。例えば、画像取得部１７は、用語が「ａｐｐｌｅｓ」である場合に、対応情報の「ａｐｐｌｅ」を有するレコードを検索してもよい。

また、画像取得部１７は、一の用語に２以上の画像が対応付けられている場合であって、その各画像に前述の視覚化可逆値が対応付けられている場合には、用語抽出部１２が抽出した用語に対応する画像であって、視覚化可逆値の大きい画像を取得してもよい。視覚化可逆値の大きい画像とは、視覚化可逆値が他の画像よりも大きい画像のことであって、例えば、視覚化可逆値の値が、しきい値よりも大きい画像であってもよく、視覚化可逆値の値が大きい方から選択された、あらかじめ決められた個数の画像や、視覚化可逆値の値が大きい方から選択された、あらかじめ決められた割合の画像であってもよい。しきい値よりも大きい値とは、しきい値を含んでもよく、あるいは、含まなくてもよい。また、しきい値は、例えば、あらかじめ設定された値であってもよく、取得の対象となる複数の画像に対応付けられた視覚化可逆値に応じて定められてもよい。後者の場合には、例えば、しきい値は、抽出された用語に対応する各画像の視覚化可逆値の最大値に０．９などの１よりも小さい値を掛けた値であってもよい。

また、画像取得部１７は、抽出された用語に対応する画像が対応情報記憶部１６で記憶されていない場合には、抽出された用語をテキストとして示す画像を生成してもよい。したがって、画像の取得には、画像の生成が含まれるものとする。例えば、画像取得部１７は、抽出された用語「ホバークラフト」に対応する画像が存在しなかった場合に、「ホバークラフト」のテキストを示す画像を生成してもよい。

なお、本実施の形態では、情報処理装置１が対応情報記憶部１６を有する場合について説明するが、情報処理装置１は対応情報記憶部１６を有しなくてもよい。その場合には、画像取得部１７は、情報処理装置１の外部に存在する対応情報にアクセスし、その対応情報を用いて、画像を取得してもよい。対応情報が情報処理装置１の外部に存在する場合には、その対応情報は、一箇所に存在するのではなく、複数の箇所に分散して存在していてもよい。例えば、インターネットやイントラネット等に対応情報が存在する場合には、一般に、分散して存在することが多くなると考えられる。

文書出力部１８は、文書選択部１５が選択した文書に含まれるテキストを、時系列に沿って出力する。「時系列に沿って出力する」とは、文書のテキストを、文書の先頭から文書の後端に向かって、順次、出力することである。したがって、その出力された文書を見たり、聞いたりなどするユーザにとって、一時に受け取ることができるテキストは、文書の一部のテキストになる。具体的には、文書出力部１８は、選択された文書に含まれるテキストに対応する音声情報を生成し、その生成した音声情報を音声出力してもよく、選択された文書に含まれるテキストをティッカー表示してもよい。ティッカー表示とは、特定の範囲内にテキストを流しながら表示することである。例えば、右から左に向かって、あるいは上から下に向かってテキストが流れてゆくのを読ませる方式であり、新幹線の車内や証券取引所等での掲示板で用いられる。また、文書出力部１８は、選択された文書に含まれるテキストをテロップ表示し、かつ、そのテロップにおいて、ユーザに注目させる部分を時系列に沿って変化させるようにしてもよい。例えば、カラオケでのテロップ表示のように、テロップの色を文書の時系列に沿って変えていくことによって、色の境目を注目させるようにしてもよい。また、文書に含まれるテキストを時系列に沿って出力することができるのであれば、文書出力部１８は、その他の方法を用いてもよい。なお、テキストから音声情報を生成する方法は、音声合成の技術としてすでに公知であり、詳細な説明を省略する。

ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、スピーカによる音声出力でもよい。なお、文書出力部１８が出力したテキストが最終的に音声出力されたり、ティッカー表示されたりするのであれば、文書出力部１８は、出力するテキストを、所定の機器に通信回線を介した送信してもよく、あるいは、記録媒体に蓄積してもよい。また、文書出力部１８は、出力を行うデバイス（例えば、表示デバイスやスピーカなど）を含んでもよく、あるいは含まなくてもよい。また、文書出力部１８は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

画像表示部１９は、画像取得部１７が取得した画像を、その画像に対応する用語が文書出力部１８によって出力されるタイミングで表示する。例えば、文書出力部１８が文書「…空が…」を出力するものであり、用語抽出部１２によって用語「空」が抽出されている場合には、文書出力部１８が「空」を出力した時点に、画像表示部１９は、用語「空」に対応付けられている画像を表示する。その表示の時間は、例えば、あらかじめ決められた時間（例えば、１秒、３秒など）であってもよく、あるいは、次の新たな画像が表示されるまでであってもよい。また、例えば、用語「バケツをひっくり返したような雨」のように長い用語に対応する画像を表示する際の表示のタイミングは、その用語の先頭の位置にあわせてもよく、その用語の後端の位置にあわせてもよく、あるいは、その用語の先頭から後端までのいずれかの位置にあわせてもよい。

なお、文書出力部１８によって出力される用語と、画像表示部１９によって表示される画像とを同期させる方法は問わない。例えば、文書出力部１８が、抽出された用語を出力する際に、その用語を画像表示部１９に渡し、画像表示部１９は、その用語を受け取ったタイミングで、その用語に対応する画像であって、画像取得部１７によって取得された画像を表示するようにしてもよい。

なお、画像表示部１９は、例えば、画像取得部１７が一の用語に対して二以上の画像を取得した場合に、それらの画像を、通常は一の画像を表示する時間内において、切り替えながら表示するようにしてもよい。

また、画像表示部１９は、表示を行う表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）を含んでもよく、あるいは含まなくてもよい。また、画像表示部１９は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

なお、文書記憶部１１と、対応情報記憶部１６とは、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、文書を記憶している領域が文書記憶部１１となり、対応情報を記憶している領域が対応情報記憶部１６となる。

次に、本実施の形態による情報処理装置１の動作について、図２のフローチャートを用いて説明する。図２は、文書記憶部１１で記憶されている各文書について、画像を取得して、その画像と文書とを出力する処理を示すフローチャートである。

（ステップＳ１０１）用語抽出部１２は、文書記憶部１１で記憶されている、出力対象となる文書から用語を抽出する。この用語を抽出する処理の詳細については、図３のフローチャートを用いて後述する。

（ステップＳ１０２）係り受け情報取得部１３は、文書記憶部１１で記憶されている、出力対象となる文書をチャンクに分割し、各チャンクの係り受けを示す係り受け情報を取得する。

（ステップＳ１０３）文書生成部１４は、係り受け情報取得部１３が取得した係り受け情報を参照し、入れ替え可能なチャンクが存在するかどうか判断する。そして、存在する場合には、ステップＳ１０４に進み、存在しない場合には、文書の生成を行わないでステップＳ１０６に進む。具体的には、一のチャンクに二以上のチャンクが係っている場合に、文書生成部１４は、入れ替え可能なチャンクが存在すると判断してもよい。

（ステップＳ１０４）文書生成部１４は、入れ替え可能なチャンクを入れ替えることによって文書を生成する。この処理の詳細については、図４のフローチャートを用いて後述する。

（ステップＳ１０５）文書選択部１５は、文書生成部１４が生成した文書、及び文書記憶部１１で記憶されている文書から、抽出された用語が均等に出現する文書を選択する。

（ステップＳ１０６）画像取得部１７は、用語抽出部１２が抽出した用語に対応する画像を、対応情報記憶部１６から取得する。

（ステップＳ１０７）文書出力部１８は、文書選択部１５が選択した文書を出力し、画像表示部１９は、画像取得部１７が取得した画像を、その画像に対応する用語が文書出力部１８によって出力されるタイミングで表示する。

（ステップＳ１０８）図示しない制御部は、出力の対象となる次の文書が文書記憶部１１で記憶されているかどうか判断し、記憶されている場合には、ステップＳ１０１に戻り、そうでない場合には、文書と画像とを出力する一連の処理が終了となる。

図３は、図２のフローチャートにおける用語の抽出処理（ステップＳ１０１の処理）の詳細を示すフローチャートである。図３のフローチャートにおいて、用語抽出部１２は、前述の式を用いることによって、用語を抽出するものとする。そのため、図示しない記録媒体において、その式と、視覚化容易度対応情報と、視覚化揺らぎ度対応情報とが記憶されているものとする。

（ステップＳ２０１）用語抽出部１２は、抽出する用語の候補を抽出する。この候補は、出力の対象となる文書に含まれる内容語であってもよく、あらかじめ決められた品詞の単語や形態素であってもよい。例えば、あらかじめ名詞を用語の候補とすることが決められている場合には、用語抽出部１２は、出力の対象となる文書を形態素解析して、その結果を用いて、名詞を用語の候補として抽出してもよい。

（ステップＳ２０２）用語抽出部１２は、カウンタｉを１に設定する。
（ステップＳ２０３）用語抽出部１２は、図示しない記録媒体で記憶されている視覚化容易度対応情報を参照することにより、ｉ番目の候補に対応する視覚化容易度を取得する。具体的には、用語抽出部１２は、例えば、ｉ番目の候補を検索キーとして視覚化容易度対応情報を検索し、ヒットしたレコードに含まれる視覚化容易度を取得してもよい。なお、検索の結果、該当するレコードがなかった場合には、用語抽出部１２は、あらかじめ決められている値を、ｉ番目の候補の視覚化容易度としてもよい。例えば、検索の結果、ヒットするレコードがないのであれば、視覚化容易度が０〜１の値をとる場合には、０．３や０．５を視覚化容易度として用いてもよい。その取得した視覚化容易度は、図示しない記録媒体において一時的に記憶されてもよい。

（ステップＳ２０４）用語抽出部１２は、図示しない記録媒体で記憶されている視覚化揺らぎ度対応情報を参照することにより、ｉ番目の候補に対応する視覚化揺らぎ度を取得する。具体的には、用語抽出部１２は、例えば、ｉ番目の候補を検索キーとして視覚化揺らぎ度対応情報を検索し、ヒットしたレコードに含まれる視覚化揺らぎ度を取得してもよい。なお、検索の結果、該当するレコードがなかった場合には、用語抽出部１２は、あらかじめ決められている値を、ｉ番目の候補の視覚化揺らぎ度としてもよい。例えば、検索の結果、ヒットするレコードがないのであれば、視覚化揺らぎ度が０〜１の値をとる場合には、０．５や０．８を視覚化容易度として用いてもよい。その取得した視覚化揺らぎ度は、図示しない記録媒体において一時的に記憶されてもよい。

（ステップＳ２０５）用語抽出部１２は、図示しない記録媒体から式を読み出し、その式の引数として、ステップＳ２０３，Ｓ２０４で取得した視覚化容易度、視覚化揺らぎ度を代入することによって、式の値を算出する。

（ステップＳ２０６）用語抽出部１２は、その式の値を図示しない記録媒体において一時的に記憶する。なお、その記憶の際に、用語の候補に対応付けて記憶することが好適である。

（ステップＳ２０７）用語抽出部１２は、カウンタｉを１だけインクリメントする。
（ステップＳ２０８）用語抽出部１２は、ｉ番目の候補が存在するかどうか判断する。そして、存在する場合には、ステップＳ２０３に戻り、存在しない場合には、ステップＳ２０９に進む。

（ステップＳ２０９）用語抽出部１２は、ステップＳ２０６で一時的に記憶した式の値を降順となるようにソートする。
（ステップＳ２１０）用語抽出部１２は、抽出する用語の数を決定する。なお、あらかじめ抽出する用語の数が決まっている場合には、その決まっている値の記憶されている記録媒体から、その値を読み出すだけであってもよい。

（ステップＳ２１１）用語抽出部１２は、ソート後の式の値の大きい方から、ステップＳ２１０で決定した用語の数だけを特定し、その特定した式の値にそれぞれ対応する用語の候補を、用語として抽出する。この抽出した用語は、図示しない記録媒体において一時的に記憶されてもよい。そして、図２のフローチャートに戻る。

図４は、図２のフローチャートにおける文書の生成の処理（ステップＳ１０４の処理）の詳細を示すフローチャートである。
（ステップＳ３０１）文書生成部１４は、ｎを全チャンク数に設定する。例えば、全チャンク数が５個である場合には、ｎ＝５に設定される。

（ステップＳ３０２）文書生成部１４は、チャンクごとに固有のＩＤを割り当てる。この図４のフローチャートでは、チャンクごとに割り当てられたＩＤは、文頭から順番に１〜ｎであるとする。

（ステップＳ３０３）文書生成部１４は、チャンクＩＤがｉであるチャンクの文面をＸ［ｉ］に設定する処理を、すべてのチャンクについて行う。すなわち、Ｘ［１］〜Ｘ［ｎ］が準備されることになる。

（ステップＳ３０４）文書生成部１４は、チャンクＩＤがｉであるチャンクの係り先のチャンクＩＤを、目標チャンク配列Ｃｄ［ｉ］に設定する処理を、すべてのチャンクについて行う。すなわち、Ｃｄ［１］〜Ｃｄ［ｎ］が準備されることになる。例えば、２番目のチャンクが３番目のチャンクに係る場合には、Ｃｄ［２］←３となる。なお、係り先のチャンクが存在しない場合には、Ｃｄ［ｉ］←０に設定されるものとする。

（ステップＳ３０５）文書生成部１４は、チャンクＩＤがｉであるチャンクが係り受けているチャンク数を、受数配列Ｃｒ［ｉ］に設定する処理を、すべてのチャンクについて行う。すなわち、Ｃｒ［１］〜Ｃｒ［ｎ］が準備されることになる。例えば、５番目のチャンクが３番目と４番目の２個のチャンクを係り受けている場合には、Ｃｒ［５］←２となる。

（ステップＳ３０６）文書生成部１４は、生成可能な文書のバリエーション数Ｖを、「Ｃｒ［１］！×…×Ｃｒ［ｎ］！」に設定する。なお、Ｃｒ［ｉ］！は、Ｃｒ［ｉ］の階乗である。

（ステップＳ３０７）文書生成部１４は、入れ替え後の文書配列Ｔ［ｉ］の記憶領域の確保と、その初期化（Ｔ［ｉ］←ｎｕｌｌ（空集合）とすることなど）とを、ｉ＝１〜Ｖについて行う。すなわち、Ｔ［１］〜Ｔ［Ｖ］が準備されることになる。ここで、前述のＸ、Ｃｄ、Ｃｒ、Ｔという変数はグローバル変数であり、次に説明する再帰関数Ｆ中から自由に参照、代入が可能な変数である。一方、再帰関数Ｆ中で用いられるｉ、ｊ、ｋ、ｌｏｃａｌｓｔａｒｔ、ｓｔｐ、ｃ、Ｎ（これらについては後述する）は、呼び出された再帰関数Ｆ内のみで有効なローカル変数である。

（ステップＳ３０８）文書生成部１４は、再帰関数Ｆ（ｔ、ｓｔａｒｔ、ｅｎｄ）の処理を行う。この再帰関数Ｆには、３個の引数（ｔ、ｓｔａｒｔ、ｅｎｄ）が設定されている。ｔは、ターゲットチャンクのＩＤである。ｓｔａｒｔは、生成の対象となる文書の開始番号である。ｅｎｄは、生成の対象となる文書の終了番号である。開始番号、終了番号とは、文書配列Ｔの添え字相当部分を指す。文書のバリエーションは前述の通りＴ［１］〜Ｔ［Ｖ］とＶ個存在し、ｓｔａｒｔ番目〜ｅｎｄ番目であるＴ［ｓｔａｒｔ］〜Ｔ［ｅｎｄ］が、この関数で扱う対象となる。このステップＳ３０８では、ｔ＝ｎ、ｓｔａｒｔ＝１、ｅｎｄ＝Ｖとして再帰関数Ｆ（ｔ、ｓｔａｒｔ、ｅｎｄ）の処理を行う。そして、図２のフローチャートに戻る。なお、再帰関数Ｆ（ｔ、ｓｔａｒｔ、ｅｎｄ）については、図５のフローチャートを用いて後述する。

図５は、再帰関数Ｆ（ｔ、ｓｔａｒｔ、ｅｎｄ）を説明するためのフローチャートである。文書におけるチャンクの係り受け構造は、終末端のチャンクを根（ルート）とする多分木の構造を形成している。ここでは、終末端のチャンクを起点として、葉（リーフ）側へと順次解析を進める方法で説明を行う。

（ステップＳ４０１）文書生成部１４は、ｓｔａｒｔ番目からｅｎｄ番目までの入れ替え処理を行うため、まず、カウンタｉを再帰関数Ｆの引数であるｓｔａｒｔに設定する。

（ステップＳ４０２）文書生成部１４は、ｉ番目の既存の入れ替え後の文書配列Ｔ［ｉ］の左側に、ｔ番目のチャンク文字列Ｘ［ｔ］を付加する。

（ステップＳ４０３）文書生成部１４は、カウンタｉを１だけインクリメントする。

（ステップＳ４０４）文書生成部１４は、カウンタｉが、ｅｎｄを超えているかどうか判断する。そして、超えている場合には、ｅｎｄ番目の処理が終了したためステップＳ４０５に進み、超えていない場合には、ステップＳ４０２に戻る。

（ステップＳ４０５）文書生成部１４は、受数配列Ｃｒ［ｔ］が０であるかどうか判断する。そして、０である場合には、何も係り受けを受けない葉チャンクであると判断して呼び出し元の処理に戻り、そうでない場合には、ステップＳ４０６に進む。

（ステップＳ４０６）文書生成部１４は、受数配列Ｃｒ［ｔ］が１であるかどうか判断する。そして、１である場合には、係り受けを１つだけ受ける節チャンクであると判断してステップＳ４０８に進み、そうでない場合、すなわち、Ｃｒ［ｔ］が２以上である場合には、係り受けを２以上受ける節チャンクであると判断してステップＳ４０７に進む。

（ステップＳ４０７）文書生成部１４は、係り受けを受けるチャンク数をＮに代入し、ｔ番目のチャンクが受けるチャンク数Ｎ個の順列処理、及び再帰関数処理を行う。この処理の詳細については、図６のフローチャートを用いて後述する。そして、呼び出し元の処理に戻る。

（ステップＳ４０８）文書生成部１４は、再帰関数処理を行う。その引数はそれぞれ、ｔ番目のチャンクに係るチャンクＩＤ、ｓｔａｒｔ、ｅｎｄである。そして、呼び出し元の処理に戻る。

図６は、図５のフローチャートにおける順列処理、及び再帰関数処理（ステップＳ４０７）の詳細を示すフローチャートである。例えば、チャンク「Ａ」「Ｂ」「Ｃ」「Ｄ」が、文書においてＡＢＣＤの順に並んでおり、チャンクＤにチャンク「Ａ」「Ｂ」「Ｃ」が係っている場合には、そのチャンク「Ａ」「Ｂ」「Ｃ」を入れ替えることになる。そのチャンク「Ａ」「Ｂ」「Ｃ」を入れ替える処理と、それにともなう文書の生成の処理を示すのが、図６のフローチャートである。

（ステップＳ５０１）文書生成部１４は、カウンタｋを１に設定する。

（ステップＳ５０２）文書生成部１４は、ｌｏｃａｌｓｔａｒｔをｓｔａｒｔに設定する。

（ステップＳ５０３）文書生成部１４は、（ｅｎｄ−ｓｔａｒｔ＋１）／Ｎ！を算出し、変数ｓｔｐを（ｅｎｄ−ｓｔａｒｔ＋１）／Ｎ！に設定する。なお、Ｎは、前述のように、ｔ番目のチャンクが受けるチャンク数である。

（ステップＳ５０４）文書生成部１４は、ｔ番目のチャンクに係っているＮ個のチャンクＩＤを、順列生成用配列ｃ［１］〜ｃ［Ｎ］に代入する。すなわち、ｃ［１］〜ｃ［Ｎ］が準備されることになる。この場合に、ｔ番目のチャンクに係るｉ番目のチャンクのＩＤをｃ［ｉ］に代入するようにしてもよい。例えば、ｔ番目のチャンクに係っている２個のチャンクＩＤが１，２である場合には、ｃ［１］＝１，ｃ［２］＝２となる。

（ステップＳ５０５）文書生成部１４は、Ｎ！種類存在する順列を、ｃ［１］〜ｃ［Ｎ］の並び替え、すなわち、ｃ［１］〜ｃ［Ｎ］に設定されるチャンクＩＤの入れ替えによって生成する。Ｎ！種類中のｋ番目（ｋ＝１〜Ｎ！）の並びを生成させるには、既存の順列生成アルゴリズムを用いればよい。例えば、順列を生成するために用いられる計算機用言語がＣ＋＋である場合には、ＡＮＳＩ／ＩＳＯ標準に組み込まれているＳＴＬ（Ｓｔａｎｄａｒｄ Ｔｅｍｐｌａｔｅ Ｌｉｂｒａｒｙ）のｎｅｘｔ＿ｐｅｒｍｕｔａｔｉｏｎ（）や、ｐｒｅｖ＿ｐｅｒｍｕｔａｔｉｏｎ（）を用いることができる。また、計算機用言語がｐｅｒｌである場合には、ＣＰＡＮ（Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｐｅｒｌ Ａｒｃｈｉｖｅ Ｎｅｔｗｏｒｋ）のＬｉｓｔ：：Ｐｅｒｍｕｔｏｒモジュールを用いることができる。その他、各計算機用言語の順列生成のためのモジュール等を用いてもよいことは言うまでもない。順列を生成する方法の詳細な説明については、ここでは省略する。

（ステップＳ５０６）文書生成部１４は、カウンタｊをＮに設定する。

（ステップＳ５０７）文書生成部１４は、再帰関数Ｆの処理を行う。再帰関数Ｆの３個の引数（ターゲットチャンクＩＤ、文書配列開始番号、文書配列終了番号）は、それぞれｃ［ｊ］、ｌｏｃａｌｓｔａｒｔ、ｌｏｃａｌｓｔａｒｔ＋ｓｔｐ−１とする。

（ステップＳ５０８）文書生成部１４は、カウンタｊを１だけデクリメントする。

（ステップＳ５０９）文書生成部１４は、カウンタｊが０であるかどうか判断する。そして、カウンタｊが０である場合には、ステップＳ５１０に進み、そうでない場合には、ステップＳ５０７に戻る。

（ステップＳ５１０）文書生成部１４は、カウンタｋを１だけインクリメントする。

（ステップＳ５１１）文書生成部１４は、ｌｏｃａｌｓｔａｒｔにｓｔｐを加算する。

（ステップＳ５１２）文書生成部１４は、カウンタｋがＮ！より大きいかどうか判断する。カウンタｋがＮ！より大きい場合には、カウンタｋはすでにＮ！回だけインクリメントされていることになるため、呼び出し元の処理に戻り、そうでない場合には、ステップＳ５０５に戻る。

この図４〜図６のフローチャートの処理を実行することにより、チャンクを順列に並び替えた結果を得ることができる。例えば、チャンク「Ａ」「Ｂ」「Ｃ」がＡＢＣの順に並んでおり、チャンク「Ａ」「Ｂ」がチャンク「Ｃ」に係る場合について、図４〜図６のフローチャートの処理を実行する場合について説明する。

まず、ｎが総チャンク数３に設定される（ステップＳ３０１）。また、チャンクＡ、Ｂ、Ｃのそれぞれに対して、ＩＤ１〜３が割り当てられる（ステップＳ３０２）。また、Ｘ［１］＝Ａ、Ｘ［２］＝Ｂ、Ｘ［３］＝Ｃに設定される（ステップＳ３０３）。また、Ｃｄ［１］＝３、Ｃｄ［２］＝３、Ｃｄ［３］＝０に設定される（ステップＳ３０４）。また、Ｃｒ［１］＝０、Ｃｒ［２］＝０、Ｃｒ［３］＝２に設定される（ステップＳ３０５）。また、Ｖ＝Ｃｒ［１］！×Ｃｒ［２］！×Ｃｒ［３］！＝０！×０！×２！＝２に設定される（ステップＳ３０６）。また、Ｔ［１］＝Ｔ［２］＝ｎｕｌｌに設定される（ステップＳ３０８）。

次に、ｔ＝３、ｓｔａｒｔ＝１、ｅｎｄ＝２として、再帰関数Ｆの処理を実行する（ステップＳ３０８）。まず、Ｔ［１］＝Ｘ［３］＝Ｃ、Ｔ［２］＝Ｘ［３］＝Ｃに設定される（ステップＳ４０１〜Ｓ４０４）。その後、Ｃｒ［３］＝２であるため、順列処理、及び再帰関数処理が行われる（ステップＳ４０４〜Ｓ４０７）。

すなわち、Ｎ＝２、ｋ＝１、ｌｏｃａｌｓｔａｒｔ＝１に設定され（ステップＳ５０１，Ｓ５０２）、ｓｔｐ＝（２−１＋１）／２！＝１に設定される（ステップＳ５０３）。また、ｃ［１］＝１，ｃ［２］＝２に設定される（ステップＳ５０４）。

ｋ＝１、すなわち１番目の順列をライブラリ等によって生成させ、ｃ［１］＝１，ｃ［２］＝２という配列の並びを得たとする（ステップＳ５０５）。すると、カウンタｊ＝２に設定され（ステップＳ５０６）、再帰関数Ｆ（２，１，１）の処理が実行される（ステップＳ５０７）。すると、Ｔ［１］＝ＢＣとなる（ステップＳ４０１〜Ｓ４０５）。また、カウンタｊ＝１に更新され（ステップＳ５０８）、再帰関数Ｆ（１，１，１）の処理が実行される（ステップＳ５０９，Ｓ５０７）。すると、Ｔ［１］＝ＡＢＣとなる（ステップＳ４０１〜Ｓ４０５）。その後、カウンタｋ＝２に更新され（ステップＳ５０８〜Ｓ５１０）、ｌｏｃａｌｓｔａｒｔ＝２に更新される（ステップＳ５１１）。そして、ｋ＝２、すなわち２番目の順列をライブラリ等によって生成させ、ｃ［１］＝２，ｃ［２］＝１という配列の並びを得たとする（ステップＳ５１２，Ｓ５０５）。その後、前述の処理と同様にして、Ｔ［２］＝ＢＡＣとなる。このようにして、チャンクを並び替えた結果として、Ｔ［１］＝ＡＢＣとＴ［２］＝ＢＡＣとを得ることができる。

なお、本実施の形態では、チャンクの並び替えに図４〜図６のフローチャートの処理を用いる場合について説明したが、他の処理方法を用いて、チャンクを並び替える処理を行ってもよいことは言うまでもない。

次に、本実施の形態による情報処理装置１の動作について、具体例を用いて説明する。
この具体例において、文書記憶部１１では、文書「本日、台風の接近により、電車のダイヤが乱れています。」が記憶されているものとする。

また、この具体例において、用語抽出部１２が抽出する用語の候補は、名詞の用語であるとする。また、用語抽出部１２が用語の抽出で用いる視覚化容易度対応情報は、図７で示されるものであり、視覚化揺らぎ度対応情報は、図８で示されるものであるとする。また、用語抽出部１２は、視覚化容易度対応情報に含まれていない用語については、視覚化容易度を０．３に設定するものとする。また、用語抽出部１２は、視覚化揺らぎ度対応情報に含まれていない用語については、視覚化揺らぎ度を０．８に設定するものとする。また、用語抽出部１２が用語を抽出する際に用いる用語単位は、１２文字であるとする。また、用語抽出部１２が用語を抽出する際に用いる式は、「視覚化容易度／２＋（１−視覚化揺らぎ度）／２」であるとする。また、この具体例において、対応情報記憶部１６では、図９で示される対応情報が記憶されているものとする。

次に、この具体例での情報処理装置１の処理について説明する。まず、用語抽出部１２は、文書記憶部１１で記憶されている文書から用語を抽出する処理を行う（ステップＳ１０１）。具体的には、用語抽出部１２は、文書記憶部１１から文書「本日、台風の接近により、電車のダイヤが乱れています。」を読み出して、形態素解析する。その形態素解析の結果は、例えば、次のようになる。

（形態素） （読み） （基本形） （品詞）
本日 ホンジツ 本日 名詞−副詞可能
、 、 、 記号−読点
台風 タイフウ 台風 名詞−一般
の ノ の 助詞−連体化
接近 セッキン 接近 名詞−サ変接続
により ニヨリ により 助詞−格助詞−連語
、 、 、 記号−読点
電車 デンシャ 電車 名詞−一般
の ノ の 助詞−連体化
ダイヤ ダイヤ ダイヤ 名詞−一般
が ガ が 助詞−格助詞−一般
乱れ ミダレ 乱れる 動詞−自立 一段 連用形
て テ て 助詞−接続助詞
い イ いる 動詞−非自立 一段 連用形
ます マス ます 助動詞 特殊・マス 基本形
。 。 。 記号−句点

したがって、用語抽出部１２は、その形態素解析の結果から、品詞が「名詞」である形態素「本日」「台風」「接近」「電車」「ダイヤ」を用語の候補として抽出する（ステップＳ２０１）。

次に、用語抽出部１２は、１番目の候補「本日」について、図７の視覚化容易度対応情報を参照して、視覚化容易度「０．１」を取得して、図示しない記録媒体で一時的に記憶する（ステップＳ２０２，Ｓ２０３）。なお、図８の視覚化揺らぎ度対応情報には、用語「本日」のレコードが存在しないものとする。すると、用語抽出部１２は、候補「本日」について、視覚化揺らぎ度「０．８」を取得して、図示しない記録媒体において一時的に記憶する（ステップＳ２０４）。用語抽出部１２は、それらを用いて式の値「０．１５」を算出して、候補「本日」に対応付けて一時記憶する（ステップＳ２０５，Ｓ２０６）。図１０の１番目のレコードは、そのようにして一時記憶された情報である。

用語抽出部１２は、同様にして、２番目の候補「台風」についても、視覚化容易度「０．９」を取得し、視覚化揺らぎ度「０．１」を取得する（ステップＳ２０７，Ｓ２０８，Ｓ２０３，Ｓ２０４）。そして、用語抽出部１２は、それらを用いて式の値「０．９」を算出して、候補「台風」に対応付けて一時記憶する（ステップＳ２０５，Ｓ２０６）。図１０の２番目のレコードは、そのようにして一時記憶された情報である。このようにして、他の候補「接近」「電車」「ダイヤ」についても、式の値が算出されて一時記憶される（ステップＳ２０３〜Ｓ２０８）。図１０は、その一時記憶された結果を示す図である。用語抽出部１２は、図１０で示される各レコードを、式の値の降順となるようにソートする（ステップＳ２０９）。また、用語抽出部１２は、文書「本日、台風の接近により、電車のダイヤが乱れています。」の語数「２６」を算出し、その語数を用語単位「１２」で割ることによって、抽出する用語の数を算出する。すなわち、次式のようにして、抽出する用語の数が２個に決定される（ステップＳ２１０）。

抽出する用語の数＝ｉｎｔ（文書の長さ／用語単位）＝ｉｎｔ（２６／１２）
＝ｉｎｔ（２．１６６…）＝２

したがって、用語抽出部１２は、用語「台風」「電車」を抽出して、図示しない記録媒体において一時的に記憶する（ステップＳ２１１）。

次に、係り受け情報取得部１３は、文書「本日、台風の接近により、電車のダイヤが乱れています。」を、チャンクに分割する。ここでは、次のように分割されたとする。

チャンク「本日、」
チャンク「台風の接近により、」
チャンク「電車のダイヤが」
チャンク「乱れています。」

そして、係り受け情報取得部１３は、その分割されたチャンクの係り受けを示す係り受け情報を取得し、図示しない記録媒体において一時的に記憶する（ステップＳ１０２）。図１１は、その取得した係り受け情報を示す図である。

文書生成部１４は、図１１で示される係り受け情報を参照し、一のチャンク「乱れています。」に３個のチャンクが係っているため、入れ替え可能であると判断し（ステップＳ１０３）、文書の生成を行う（ステップＳ１０４）。

具体的には、文書生成部１４は、２以上のチャンクの係るチャンク「乱れています。」を特定する（ステップＳ３０１）。そして、その特定したチャンクに係る３個のチャンク「本日、」「台風の接近により、」「電車のダイヤが」を入れ替えた文書を生成し、図示しない記録媒体において一時的に記憶する（ステップＳ３０２〜Ｓ３０５）。この入れ替えは、図５のフローチャートで説明したように、３個のチャンク「本日、」「台風の接近により、」「電車のダイヤが」の順列の入れ替えを行うことになる。したがって、その入れ替え後の文書（入れ替えていないものも含まれる）は、次のようになる。

本日、台風の接近により、電車のダイヤが乱れています。
本日、電車のダイヤが台風の接近により、乱れています。
台風の接近により、本日、電車のダイヤが乱れています。
台風の接近により、電車のダイヤが本日、乱れています。
電車のダイヤが本日、台風の接近により、乱れています。
電車のダイヤが台風の接近により、本日、乱れています。

次に、文書選択部１５は、抽出された用語の間の長さと、抽出された用語あたりの文書の長さ（＝２６／２＝１３）との差の２乗の和が最も小さい文書を、抽出された用語が最も均等に出現している文書であると判断して選択するものとする。ここで、抽出された用語の間の長さとしては、隣接する用語の間の長さ、及び、最後の用語と文書の後端との間の長さを用いるものとする。すなわち、文書の先頭と最初の用語との間の長さは用いない。このようにすることで、結果として、短い文書の場合には、文書の先頭に近い位置に抽出される用語の存在する文書が選択されることになり、文書の出力が始まるとすぐに、用語に対応した画像が表示されるようにできるようになる。

具体的には、文書選択部１５は、用語抽出部１２から、抽出された２個の用語「台風」「電車」を受け取り、上記の６個の文書について、抽出された用語間の長さ（文字数）をカウントする。例えば、文書「本日、台風の接近により、電車のダイヤが乱れています。」の場合には、先頭から用語「台風」までの長さが「４」であり、用語「台風」から用語「電車」までの長さが「９」であり、用語「電車」から後端までの長さが「１３」となる。なお、この具体例では、用語の中心の位置で、用語の位置を代表させている。また、前述のように、先頭から１個目の用語までの長さは、後の計算で用いないため、その長さを算出しなくてもよい。次に、文書選択部１５は、用語間の長さから抽出された用語あたりの文書の長さ「１３」を引いて２乗したものを足しあわせる。具体的には、（９−１３）＾２＋（１３−１３）＾２＝１６となる。

同様にして、文書選択部１５は、他の文書についても、用語間の長さと、抽出された用語あたりの文書の長さとの差の２乗を足しあわせた値を算出する。その結果は、次のようになる。

（生成された文書） （算出した値）
本日、台風の接近により、電車のダイヤが乱れています。 １６
本日、電車のダイヤが台風の接近により、乱れています。 ４０
台風の接近により、本日、電車のダイヤが乱れています。 １
台風の接近により、電車のダイヤが本日、乱れています。 ２５
電車のダイヤが本日、台風の接近により、乱れています。 １３
電車のダイヤが台風の接近により、本日、乱れています。 ６１

したがって、文書選択部１５は、算出した値の最も小さい文書である「台風の接近により、本日、電車のダイヤが乱れています。」を選択する（ステップＳ１０５）。

画像取得部１７は、図９で示される対応情報を参照し、用語抽出部１２が抽出した用語「台風」「電車」に対応する画像「ｔｙｐｈｏｏｎ．ｊｐｇ」「ｔｒａｉｎ．ｊｐｇ」を取得する（ステップＳ１０７）。そして、それらを用語に対応付けて一時的に記憶しておく。

その後、文書出力部１８は、選択された文書「台風の接近により、本日、電車のダイヤが乱れています。」を音声合成して、スピーカに出力する。その場合に、用語抽出部１２が抽出した用語に対応する音声信号をスピーカに出力するタイミングで、文書出力部１８は、画像表示部１９に対して、その用語を渡すものとする。すると、画像表示部１９は、その用語に対応する画像であって、画像取得部１７が取得した画像をディスプレイに表示する（ステップＳ１０７）。したがって、スピーカから、「台風の…」と出力されるタイミングで、図１２で示される台風の画像がディスプレイに表示され、その後、スピーカから、「電車の…」と出力されるタイミングで、図１３で示される電車の画像がディスプレイに表示される。したがって、その出力を視聴するユーザは、スピーカから出力される「台風の接近により、本日、電車のダイヤが乱れています。」との音声を聞くと共に、図１２，図１３の画像を見ることができ、台風と電車に関する音声が出力されたことを知ることができる。

以上のように、本実施の形態による情報処理装置１によれば、文書を時系列に沿って出力する際に、その文書から抽出した用語に対応する画像を表示することができ、その出力される文書の内容の理解をよりよくすることができる。ユーザは、時系列に沿って出力される文書については、各時点でその文書の一部のみを視聴できるだけであるが、画像が一定期間表示されることによって、出力された文書に含まれる用語を残像のように残すことができ、ユーザの文書に対する理解を深めることができうる。また、時系列に沿って出力される文書は、読み返すことができない、聞き返すことができないという特徴があるため、読み逃したり、聞き逃したりした部分については、他の部分から推測するしかないが、読み逃したり、聞き逃したりした部分が画像表示される場合には、読み逃したり、聞き逃したりした部分についても理解することができるようになる。また、出力する文書全体を表示する場合には、ある程度大きな表示デバイスが必要となるが、用語に対応する画像を表示するだけであれば、小さい表示デバイスでも十分可能となる。したがって、情報処理装置１の文書出力部１８、画像表示部１９は、携帯電話やＰＤＡ等のスピーカや、ディスプレイに文書や画像を出力するものであってもよい。また、絵を理解することができても文字を読めない人、例えば、子供や文盲者等も、この情報処理装置１を用いることによって、出力された文書をよりよく理解することができるようになりうる。

なお、本実施の形態では、文書記憶部１１で記憶されている文書が日本語である場合について主に説明したが、その言語は問わない。例えば、英語やフランス語、中国語、スペイン語、ロシア語、韓国語等の文書が文書記憶部１１で記憶されており、それらの言語の文書に対して、本実施の形態による処理が行われてもよい。

（実施の形態２）
本発明の実施の形態２による情報処理装置について、図面を参照しながら説明する。本実地の形態による情報処理装置は、音声認識や機械翻訳の処理も行うものである。

図１４は、本実施の形態による情報処理装置２の構成を示すブロック図である。本実施の形態による情報処理装置２は、文書記憶部１１と、用語抽出部１２と、係り受け情報取得部１３と、文書生成部１４と、文書選択部１５と、対応情報記憶部１６と、画像取得部１７と、文書出力部１８と、画像表示部１９と、音声情報受付部２１と、音声認識部２２と、機械翻訳部２３とを備える。なお、音声情報受付部２１、音声認識部２２、機械翻訳部２３以外の構成及び動作は、実施の形態１と同様であり、その説明を省略する。

音声情報受付部２１は、発生された原言語の音声をマイクによって集音した情報である原言語音声情報を受け付ける。この受け付けられた原言語音声情報は、図示しない記録媒体において記憶されてもよい。

音声情報受付部２１は、例えば、マイクから入力された原言語音声情報を直接、受け付けてもよく、有線もしくは無線の通信回線を介して送信された原言語音声情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された原言語音声情報を受け付けてもよい。なお、音声情報受付部２１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、音声情報受付部２１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

音声認識部２２は、音声情報受付部２１が受け付けた原言語音声情報を音声認識して、その原言語音声情報に対応するテキスト情報である音声認識結果情報を取得する。音声認識の方法は、すでに公知であり、その詳細な説明を省略する。音声認識部２２は、例えば、音響モデルや、辞書情報、言語モデル等を用いることによって、音声認識を行ってもよい。また、音声認識の結果であるテキスト情報は、図示しない記録媒体において一時的に記憶されてもよい。

機械翻訳部２３は、音声認識部２２が取得した音声認識結果情報を機械翻訳して、その音声認識結果情報に対応する目的言語のテキストの文書を取得して、文書記憶部１１に蓄積する。機械翻訳の方法は、すでに公知であり、その詳細な説明を省略する。

次に、本実施の形態による情報処理装置２の動作について、図１５のフローチャートを用いて説明する。図１５のフローチャートは、原言語音声情報を受け付けてから、機械翻訳がなされるまでの処理を示すものである。

（ステップＳ６０１）音声情報受付部２１は、原言語音声情報を受け付ける。音声情報受付部２１が、原言語音声情報をマイクから直接、受け付ける場合には、時系列に沿って原言語音声情報が受け付けられるため、音声情報受付部２１は、マイクからの入力が終了するまで、その受け付けた原言語音声情報を図示しない記録媒体に順次、蓄積していってもよい。

（ステップＳ６０２）音声認識部２２は、音声情報受付部２１が受け付けた原言語音声情報を音声認識して、その原言語音声情報に対応するテキスト情報である音声認識結果情報を取得する。その音声認識結果情報は、図示しない記録媒体において一時的に記憶されてもよい。

（ステップＳ６０３）機械翻訳部２３は、音声認識結果情報を機械翻訳して、その音声認識結果情報に対応する目的言語のテキストの文書を取得する。そして、その目的言語のテキストの文書を、文書記憶部１１に蓄積する。

なお、この後、文書記憶部１１に蓄積された文書に対して行われる文書の出力と、画像の表示の処理は、実施の形態１と同様の処理であり、その説明を省略する。

以上のように、本実施の形態による情報処理装置２によれば、音声翻訳の結果である文書の出力と、その文書から抽出された用語に対応する画像の表示とを行うことができる。したがって、翻訳結果を視聴するユーザが、翻訳結果をよりよく理解するようにできうる。また、原言語の音声の発話を行う話し手も、出力された目的言語の文書を理解することができなかったとしても、画像表示部１９が表示する画像を見ることによって、自分の思っていることが適切に翻訳されたかどうかを簡単にチェックすることができうる。そして、もしも不適切に翻訳されていた場合には、同じ内容を言い換えて再度、発話することによって、聞き手との意思の疎通を適切に行うことができうる。例えば、話し手が、「箸」と言ったにもかかわらず、同音異義語である「橋」の画像が表示された場合には、不適切な翻訳がなされたと判断することができうる。したがって、話し手は、「箸」以外の言葉を使用して文書の言い換えを行い、適切な翻訳がなされるようにすることができうる。

なお、本実施の形態において、原言語と、目的言語とは、言語が異なるのであれば、どのような言語であってもよい。例えば、原言語が日本語であり、目的言語が英語であってもよく、その他の組合せであってもよい。

また、上記各実施の形態では、文書選択部１５が一の文書を選択する場合について説明したが、そうでなくてもよい。例えば、２以上の文書を選択して、その選択した文書を交互に出力してもよく、あるいは、その選択した文書から一の文書をユーザに選択させ、ユーザの選択した文書を出力してもよい。後者としては、例えば、音声翻訳の機能を有する装置の場合（例えば、実施の形態２で説明したものの場合）に、文書選択部１５が選択した複数の文書に対応する画像をあらかじめ話者に提示し、その話者が適切であると考える画像の順序を選択すると、その選択された画像の順序に対応する文書を、聞き手に対して画像と一緒に提示するようにしてもよい。

また、上記各実施の形態において、画像表示部１９は、表示する画像に対応する用語の属性に応じた表示方法で画像を表示してもよい。用語の属性とは、用語の単数と複数との違いであってもよく、用語の性別（例えば、男性名詞、女性名詞、中性名詞の違いなど）であってもよく、その他の属性であってもよい。そして、画像表示部１９は、例えば、表示する画像に対応する用語が、単数であるか、複数であるかを判断する。そして、単数の用語については、その用語に対応する画像をそのまま表示し、複数の用語については、その用語に対応する画像を２個ずらして表示することにより、複数に見えるようにしてもよい。具体的には、画像表示部１９は、用語「ｂａｔｔｅｒｙ」に対応する画像を表示する場合には、図１６で示されるように、用語「ｂａｔｔｅｒｙ」に対応する画像をそのまま表示する。一方、用語「ｂａｔｔｅｒｉｅｓ」に対応する画像を表示する場合には、図１６で示される画像を画像取得部１７から受け取ると、その画像を複製して２枚にして、両方を少しずらして図１７で示されるように表示してもよい。このようにすることで、例えば、実施の形態２の場合に、話し手は、原言語の単語「電池」が、目的言語の「ｂａｔｔｅｒｙ」に翻訳されたのか、あるいは、「ｂａｔｔｅｒｉｅｓ」に翻訳されたのかを画像を見ることによって確認することができる。そして、もしも、話し手の思っているように翻訳されていない場合には、例えば、「一個の電池」や、「複数の電池」と言い換えることによって、翻訳間違いに起因して、話し手と聞き手との間の意思の疎通がうまくいかないことを解消することができうる。また、用語「ｂａｔｔｅｒｙ」に対応する画像と、用語「ｂａｔｔｅｒｉｅｓ」に対応する画像を別々に対応情報において保持しておく場合よりも、対応情報の情報量を削減することもできうる。

また、同様にして、画像表示部１９は、用語の性別の違いに応じて、表示する画像を変更してもよい。例えば、男性名詞の用語に対応する画像を表示する場合には、青枠で画像を囲み、女性名詞の用語に対応する画像を表示する場合には、赤枠で画像を囲み、中性名詞に対応する画像を表示する場合には、灰色枠で画像を囲むようにしてもよい。このようにすることで、例えば、話し手が、目的言語の学習者である場合に、各名詞の性別を知ることができ、語学学習のために役立てることもできうる。

このように、画像表示部１９が、表示する画像に対応する用語の属性に応じた表示方法で画像を表示する場合には、例えば、用語の属性と、その属性に応じた表示方法とを対応付ける情報である表示対応情報が図示しない記録媒体において保持されており、画像表示部１９は、その表示対応情報を参照することによって、表示方法を判断してもよい。例えば、表示対応情報において、属性「単数」と、表示方法「通常表示」とが対応付けられており、属性「複数」と、表示方法「二重表示」とが対応付けられていてもよい。

また、上記実施の形態２において、情報処理装置２は、機械翻訳前の原言語の情報である音声認識結果情報から用語を抽出し、その用語に対応する画像を取得して、文書出力部１８が翻訳後の文書を出力する際であって、その抽出された用語と対訳関係にある目的言語の用語を文書出力部１８が出力する際に、その取得した画像を画像表示部１９が表示するようにしてもよい。このようにすることで、機械翻訳部２３による翻訳が間違えていたり、不正確であったりする場合でも、出力された画像を見ることによって、翻訳間違いを補うことができうることになる。また、情報処理装置２からの出力を受け取るユーザは、表示された画像と、出力された文書とが異なっている場合に、翻訳間違いを指摘することもできうる。翻訳間違いが指摘された場合には、例えば、原言語の話し手が、同じ内容を別の表現で言い直すことなどによって、正確な翻訳が行われるようにすることもできうる。なお、このような場合には、文書生成部１４による文書の生成を行ってもよく、あるいは、行わなくてもよい。文書の生成を行わない場合には、係り受け情報の取得や文書の選択等の処理も行わなくてもよい。

また、前述の具体例では、非常に簡単な係り受けの場合についてのみ説明したが、入れ子になっている係り受け構造を持っている場合にも、図４〜図６のフローチャートの方法によって、適切に文書を生成することができることを簡単に説明しておく。係り受け情報が、図１８で示されるように、係り受けが階層的になっているとする。なお、文書記憶部１１で記憶されている文書は、ＡＢＣＤＥの順にチャンクの並んだものであるとする。

まず、ｎ＝５（＝総チャンク数）に設定される（ステップＳ３０１）。また、各チャンクに対して次のように固有ＩＤが割り当てられる（ステップＳ３０２）。
チャンクＡ：ＩＤ＝１
チャンクＢ：ＩＤ＝２
チャンクＣ：ＩＤ＝３
チャンクＤ：ＩＤ＝４
チャンクＥ：ＩＤ＝５

また、Ｘ［１］〜Ｘ［５］が次のように準備される（ステップＳ３０３）。
Ｘ［１］＝Ａ
Ｘ［２］＝Ｂ
Ｘ［３］＝Ｃ
Ｘ［４］＝Ｄ
Ｘ［５］＝Ｅ

また、Ｃｄ［１］〜Ｃｄ［５］は次のようになる（ステップＳ３０４）。
Ｃｄ［１］＝３
Ｃｄ［２］＝３
Ｃｄ［３］＝５
Ｃｄ［４］＝５
Ｃｄ［５］＝０

また、Ｃｒ［１］〜Ｃｒ［５］は次のようになる（ステップＳ３０５）。
Ｃｒ［１］＝０
Ｃｒ［２］＝０
Ｃｒ［３］＝２
Ｃｒ［４］＝０
Ｃｒ［５］＝２

したがって、Ｖ＝０！×０！×２！×０！×２！＝４となる（ステップＳ３０６）。すなわち、この文書のバリエーションは４パターン存在することになる。

また、Ｔ［１］〜Ｔ［４］が初期化されて準備される（ステップＳ３０７）。

次に、再帰関数Ｆ（５，１，４）の処理が実行される（ステップＳ３０８）。
具体的には、Ｔ［ｉ］が次のように更新される（ステップＳ４０１〜Ｓ４０４）。
Ｔ［１］＝Ｅ
Ｔ［２］＝Ｅ
Ｔ［３］＝Ｅ
Ｔ［４］＝Ｅ

（再帰関数Ｆ（５，１，４）の処理）
また、Ｃｒ［５］＝２であるため、順列処理、及び再帰関数処理が実行される（ステップＳ４０４〜Ｓ４０７）。
具体的には、Ｎ＝２，ｋ＝１，ｌｏｃａｌｓｔａｒｔ＝１，ｓｔｐ＝２に設定される（ステップＳ５０１〜Ｓ５０３）。また、ｃ［１］、ｃ［２］が次のように準備されたとする（ステップＳ５０４）。
ｃ［１］＝３
ｃ［２］＝４

（再帰関数Ｆ（５，１，４）の処理→再帰関数Ｆ（４，１，２）の処理）
次に、ｋ＝１、すなわち１番目の順列をライブラリ等によって生成させ、ｃ［１］＝３，ｃ［２］＝４という配列の並びを得たとする（ステップＳ５０５）。すると、ｊ＝２に設定され、再帰関数Ｆ（４，１，２）の処理がなされる（ステップＳ５０６，Ｓ５０７）。具体的には、この再帰関数Ｆ（４，１，２）の処理によって、Ｔ［１］、Ｔ［２］が次のように更新されることになる（ステップＳ４０１〜Ｓ４０４）。
Ｔ［１］＝ＤＥ
Ｔ［２］＝ＤＥ

（再帰関数Ｆ（５，１，４）の処理→再帰関数Ｆ（３，１，２）の処理）
その後、ｊ＝１に更新され（ステップＳ５０８，Ｓ５０９）、再帰関数Ｆ（３，１，２）の処理がなされる（ステップＳ５０７）。具体的には、この再帰関数Ｆ（３，１，２）の処理によって、Ｔ［１］、Ｔ［２］が次のように更新されることになる。
Ｔ［１］＝ＣＤＥ
Ｔ［２］＝ＣＤＥ

（再帰関数Ｆ（３，１，２）の処理）
この場合には、Ｃｒ［３］＝２であるため、順列処理、及び再帰関数処理（ステップＳ４０７）についても説明する。

（再帰関数Ｆ（３，１，２）の処理）
具体的には、Ｎ＝２，ｋ＝１，ｌｏｃａｌｓｔａｒｔ＝１，ｓｔｐ＝１に設定される（ステップＳ５０１〜Ｓ５０３）。また、ｃ［１］，ｃ［２］が次のように準備される（ステップＳ５０４）。
ｃ［１］＝１
ｃ［２］＝２

（再帰関数Ｆ（３，１，２）の処理→再帰関数Ｆ（２，１，１）の処理）
次に、ｋ＝１、すなわち１番目の順列をライブラリ等によって生成させ、ｃ［１］＝１，ｃ［２］＝２という配列の並びを得たとする（ステップＳ５０５）。すると、ｊ＝２に設定され、再帰関数Ｆ（２，１，１）の処理がなされる（ステップＳ５０６，Ｓ５０７）。具体的には、この再帰関数Ｆ（２，１，１）の処理によって、Ｔ［１］が次のように更新されることになる。
Ｔ［１］＝ＢＣＤＥ

（再帰関数Ｆ（３，１，２）の処理→再帰関数Ｆ（１，１，１）の処理）
その後、ｊ＝１に更新され（ステップＳ５０８，Ｓ５０９）、再帰関数Ｆ（１，１，１）の処理がなされる（ステップＳ５０７）。具体的には、この再帰関数Ｆ（１，１，１）の処理によって、Ｔ［１］が次のように更新されることになる。
Ｔ［１］＝ＡＢＣＤＥ

（再帰関数Ｆ（３，１，２）の処理→再帰関数Ｆ（１，２，２）の処理）
他の順列の組み合わせが残っているのでｋはインクリメントされ、ｌｏｃａｌｓｔａｒｔ＝２となり（ステップＳ５０８〜Ｓ５１２）、ｋ＝２、すなわち２番目の順列をライブラリ等によって生成させ、ｃ［１］＝２，ｃ［２］＝１という配列の並びを得たとする（ステップＳ５０５）。すると、ｊ＝２に設定され、再帰関数Ｆ（１，２，２）の処理がなされる（ステップＳ５０６，Ｓ５０７）。具体的には、この再帰関数Ｆ（１，２，２）の処理によって、Ｔ［２］が次のように更新されることになる。
Ｔ［２］＝ＡＣＤＥ

（再帰関数Ｆ（３，１，２）の処理→再帰関数Ｆ（２，２，２）の処理）
その後、ｊ＝１に更新され（ステップＳ５０８，Ｓ５０９）、再帰関数Ｆ（２，２，２）の処理がなされる（ステップＳ５０７）。具体的には、この再帰関数Ｆ（２，２，２）の処理によって、Ｔ［２］が次のように更新されることになる。
Ｔ［２］＝ＢＡＣＤＥ
ここまでが、呼び出された関数（再帰関数Ｆ（３，１，２））に関する処理の説明である。この後、処理は呼び出し元に戻る。

（再帰関数Ｆ（５，１，４）の処理→再帰関数Ｆ（３，３，４）の処理）
呼び出し元の関数（再帰関数Ｆ（５，１，４））に戻り、他の順列の組み合わせが残っているのでｋはインクリメントされ、ｌｏｃａｌｓｔａｒｔ＝３となり（ステップＳ５０８〜Ｓ５１２）、ｋ＝２、すなわち２番目の順列をライブラリ等によって生成させ、ｃ［１］＝４，ｃ［２］＝３という配列の並びを得たとする（ステップＳ５０５）。すると、ｊ＝２に設定され、再帰関数Ｆ（３，３，４）の処理がなされる（ステップＳ５０６，Ｓ５０７）。具体的には、この再帰関数Ｆ（３，３，４）の処理によって、Ｔ［３］、Ｔ［４］が次のように更新されることになる。
Ｔ［３］＝ＣＥ
Ｔ［４］＝ＣＥ

（再帰関数Ｆ（３，３，４）の処理）
また、この場合にも、Ｃｒ［３］＝２であるため、さらに順列処理、及び再帰関数処理が実行されることになる。この関数の呼び出し処理は前述と同様であるため、詳細な処理を省略する。この呼び出し処理の結果、Ｔ［３］、Ｔ［４］は、次のように更新される。
Ｔ［３］＝ＡＢＣＥ
Ｔ［４］＝ＢＡＣＥ

（再帰関数Ｆ（５，１，４）の処理→再帰関数Ｆ（４，３，４）の処理）
その後、ｊ＝１に更新され（ステップＳ５０８，Ｓ５０９）、再帰関数Ｆ（４，３，４）の処理がなされる（ステップＳ５０７）。具体的には、この再帰関数Ｆ（４，３，４）の処理によって、Ｔ［３］、Ｔ［４］が次のように更新されることになる。
Ｔ［３］＝ＤＡＢＣＥ
Ｔ［４］＝ＤＢＡＣＥ

この後、再帰関数はリターンを繰り返し、処理は再帰関数Ｆ（４，３，４）→再帰関数Ｆ（５，１，４）と移り、図４のステップ３０８が終了する。
このようにして、次の４個の文書が生成される。
ＡＢＣＤＥ
ＢＡＣＤＥ
ＤＡＢＣＥ
ＤＢＡＣＥ

したがって、図４〜図６のフローチャートの方法によって、係り受けの構造が階層的になっていた場合であっても、適切にチャンクの並び替えを行うことができ、文書を生成することができることが分かる。

また、上記各実施の形態では、情報処理装置がスタンドアロンである場合について説明したが、情報処理装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や表示部、受付部は、通信回線を介して入力を受け付けたり、文書や画面を出力したりすることになる。

また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記各実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。

なお、上記各実施の形態において、文書や用語、画像等は、本来であれば、文書を示す情報や、用語を示す情報、画像を示す情報等と呼ぶべきであるが、単に文書や用語等と呼ぶとして説明した。

また、上記各実施の形態において、情報処理装置に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、文書が記憶される文書記憶部で記憶されている文書から用語を抽出する用語抽出部と、前記文書記憶部で記憶されている文書をチャンクに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する係り受け情報取得部と、前記係り受け情報取得部が取得した係り受け情報を用いて、あるチャンクに２以上のチャンクが係っている場合には、当該２以上のチャンクの位置を入れ替え可能であるとして、前記文書記憶部で記憶されている文書から、入れ替え可能なチャンクの位置を入れ替えた文書を生成する文書生成部と、前記用語抽出部が抽出した用語に対応する画像を、用語と画像とを対応付けて有する情報である対応情報が２以上記憶される対応情報記憶部で記憶されている当該２以上の対応情報を用いて取得する画像取得部と、前記用語抽出部が抽出した用語が均等に出現する文書を、前記文書記憶部で記憶されている文書、及び前記文書生成部が生成した文書から選択する文書選択部と、前記文書選択部が選択した文書に含まれるテキストを、時系列に沿って出力する文書出力部と、前記画像取得部が取得した画像を、当該画像に対応する用語が前記文書出力部によって出力されるタイミングで表示する画像表示部として機能させるためのものである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１９は、上記プログラムを実行して、上記実施の形態による情報処理装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。

図１９において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図２０は、コンピュータシステムを示す図である。図２０において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム１００に、上記実施の形態による情報処理装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記実施の形態による情報処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による情報処理装置等によれば、文書を時系列に沿って出力する際に、その文書に含まれる用語に対応する画像を表示することによって、文書の内容をよりよく理解できるようにすることができ、例えば、音声翻訳システム等において有用である。

本発明の実施の形態１による情報処理装置の構成を示すブロック図 同実施の形態による情報処理装置の動作を示すフローチャート 同実施の形態による情報処理装置の動作を示すフローチャート 同実施の形態による情報処理装置の動作を示すフローチャート 同実施の形態による情報処理装置の動作を示すフローチャート 同実施の形態による情報処理装置の動作を示すフローチャート 同実施の形態における視覚化容易度対応情報の一例を示す図 同実施の形態における視覚化揺らぎ度対応情報の一例を示す図 同実施の形態における対応情報の一例を示す図 同実施の形態における用語の候補ごとの式の値の一例を示す図 同実施の形態における係り受け情報の一例を示す図 同実施の形態における画像の一例を示す図 同実施の形態における画像の一例を示す図 本発明の実施の形態２による情報処理装置の構成を示すブロック図 同実施の形態による情報処理装置の動作を示すフローチャート 上記各実施の形態における画像の表示方法の一例を説明するための図 上記各実施の形態における画像の表示方法の一例を説明するための図 上記各実施の形態における係り受け情報の一例を示す図 上記各実施の形態におけるコンピュータシステムの外観一例を示す模式図 上記各実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１、２ 情報処理装置
１１ 文書記憶部
１２ 用語抽出部
１３ 情報取得部
１４ 文書生成部
１５ 文書選択部
１６ 対応情報記憶部
１７ 画像取得部
１８ 文書出力部
１９ 画像表示部
２１ 音声情報受付部
２２ 音声認識部
２３ 機械翻訳部

Claims (14)

1. 文書が記憶される文書記憶部と、
   前記文書記憶部で記憶されている文書から用語を抽出する用語抽出部と、
   前記文書記憶部で記憶されている文書をチャンクに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する係り受け情報取得部と、
   前記係り受け情報取得部が取得した係り受け情報を用いて、あるチャンクに２以上のチャンクが係っている場合には、当該２以上のチャンクの位置を入れ替え可能であるとして、前記文書記憶部で記憶されている文書から、入れ替え可能なチャンクの位置を入れ替えた文書を生成する文書生成部と、
   前記用語抽出部が抽出した用語に対応する画像を、用語と画像とを対応付けて有する情報である対応情報が２以上記憶される対応情報記憶部で記憶されている当該２以上の対応情報を用いて取得する画像取得部と、
   前記用語抽出部が抽出した用語が均等に出現する文書を、前記文書記憶部で記憶されている文書、及び前記文書生成部が生成した文書から選択する文書選択部と、
   前記文書選択部が選択した文書に含まれるテキストを、時系列に沿って出力する文書出力部と、
   前記画像取得部が取得した画像を、当該画像に対応する用語が前記文書出力部によって出力されるタイミングで表示する画像表示部と、を備えた情報処理装置。
2. 前記文書出力部は、選択された文書に含まれるテキストに対応する音声情報を生成し、当該生成した音声情報を音声出力する、請求項１記載の情報処理装置。
3. 前記文書出力部は、選択された文書に含まれるテキストをティッカー表示する、請求項１記載の情報処理装置。
4. 前記用語抽出部は、前記文書記憶部で記憶されている文書に含まれる内容語と機能語のうち、内容語を抽出する、請求項１から請求項３のいずれか記載の情報処理装置。
5. 前記用語抽出部は、前記文書記憶部で記憶されている文書の長さが長いほど、より多くの用語を抽出する、請求項１から請求項４のいずれか記載の情報処理装置。
6. 前記用語抽出部は、用語と、当該用語の視覚化の容易さの指標である視覚化容易度とを対応付ける情報を用いて、前記文書記憶部で記憶されている文書から、視覚化容易度の高い用語を抽出する、請求項１から請求項５のいずれか記載の情報処理装置。
7. 前記用語抽出部は、用語と、当該用語を視覚化した際における視覚化された画像の種類の多さを示す指標である視覚化揺らぎ度とを対応付ける情報を用いて、前記文書記憶部で記憶されている文書から、視覚化揺らぎ度の低い用語を抽出する、請求項１から請求項６のいずれか記載の情報処理装置。
8. 前記用語抽出部は、用語と当該用語の視覚化の容易さの指標である視覚化容易度とを対応付ける情報、用語と当該用語を視覚化した際における視覚化された画像の種類の多さを示す指標である視覚化揺らぎ度とを対応付ける情報、及び、視覚化容易度が高いほど大きな値となり、視覚化揺らぎ度が低いほど大きな値となる式を用いて、前記文書記憶部で記憶されている文書から、前記式の値の大きい用語を抽出する、請求項１から請求項５のいずれか記載の情報処理装置。
9. 前記文書選択部は、前記用語抽出部が抽出した用語のうち、前記式の値の最も大きい用語が他の抽出された用語に対して先頭となる文書を、前記文書記憶部で記憶されている文書、及び前記文書生成部が生成した文書から選択する、請求項８記載の情報処理装置。
10. 発生された原言語の音声をマイクによって集音した情報である原言語音声情報を受け付ける音声情報受付部と、
    前記音声情報受付部が受け付けた原言語音声情報を音声認識して、当該原言語音声情報に対応するテキスト情報である音声認識結果情報を取得する音声認識部と、
    前記音声認識部が取得した音声認識結果情報を機械翻訳して、当該音声認識結果情報に対応する目的言語のテキストの文書を取得して、前記文書記憶部に蓄積する機械翻訳部と、をさらに備えた、請求項１から請求項９のいずれか記載の情報処理装置。
11. 前記画像表示部は、表示する画像に対応する用語の属性に応じた表示方法で画像を表示する、請求項１から請求項１０のいずれか記載の情報処理装置。
12. 前記属性は、用語の単数と複数との違いである、請求項１１記載の情報処理装置。
13. 文書が記憶される文書記憶部と、用語抽出部と、係り受け情報取得部と、文書生成部と、用語と画像とを対応付けて有する情報である対応情報が２以上記憶される対応情報記憶部と、画像取得部と、文書選択部と、文書出力部と、画像表示部とを用いて処理される情報処理方法であって、
    前記用語抽出部が、前記文書記憶部で記憶されている文書から用語を抽出する用語抽出ステップと、
    前記係り受け情報取得部が、前記文書記憶部で記憶されている文書をチャンクに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する係り受け情報取得ステップと、
    前記文書生成部が、前記係り受け情報取得ステップで取得した係り受け情報を用いて、あるチャンクに２以上のチャンクが係っている場合には、当該２以上のチャンクの位置を入れ替え可能であるとして、前記文書記憶部で記憶されている文書から、入れ替え可能なチャンクの位置を入れ替えた文書を生成する文書生成ステップと、
    前記画像取得部が、前記用語抽出ステップで抽出した用語に対応する画像を取得する画像取得ステップと、
    前記文書選択部が、前記用語抽出ステップで抽出した用語が均等に出現する文書を、前記文書記憶部で記憶されている文書、及び前記文書生成ステップで生成した文書から選択する文書選択ステップと、
    前記文書出力部が、前記文書選択ステップで選択した文書に含まれるテキストを、時系列に沿って出力する文書出力ステップと、
    前記画像表示部が、前記画像取得ステップで取得した画像を、当該画像に対応する用語が前記文書出力ステップで出力されるタイミングで表示する画像表示ステップと、を備えた情報処理方法。
14. コンピュータを、
    文書が記憶される文書記憶部で記憶されている文書から用語を抽出する用語抽出部と、
    前記文書記憶部で記憶されている文書をチャンクに分割し、各チャンクの係り受けを示す情報である係り受け情報を取得する係り受け情報取得部と、
    前記係り受け情報取得部が取得した係り受け情報を用いて、あるチャンクに２以上のチャンクが係っている場合には、当該２以上のチャンクの位置を入れ替え可能であるとして、前記文書記憶部で記憶されている文書から、入れ替え可能なチャンクの位置を入れ替えた文書を生成する文書生成部と、
    前記用語抽出部が抽出した用語に対応する画像を、用語と画像とを対応付けて有する情報である対応情報が２以上記憶される対応情報記憶部で記憶されている当該２以上の対応情報を用いて取得する画像取得部と、
    前記用語抽出部が抽出した用語が均等に出現する文書を、前記文書記憶部で記憶されている文書、及び前記文書生成部が生成した文書から選択する文書選択部と、
    前記文書選択部が選択した文書に含まれるテキストを、時系列に沿って出力する文書出力部と、
    前記画像取得部が取得した画像を、当該画像に対応する用語が前記文書出力部によって出力されるタイミングで表示する画像表示部として機能させるためのプログラム。

Images