JP2006072417A - 情報変換装置及び情報変換プログラム - Google Patents

Abstract

【課題】 入力された言葉（文字列）、又は文を画像や音声等のマルチメディア情報に変換して出力する情報変換装置において、マルチメディア素材のデータ量を抑えつつ、画像や音声による表現力を高める。
【解決手段】 まず、入力文字列から名詞と修飾句を抽出し、名詞に対応する概念と修飾句に対応する概念を特定する。２つの概念が組み合わせ可能であれば、名詞に対応する説明用素材データを選択し、そのデータを、修飾句に対応する素材加工方法で加工することにより、出力用データを生成する。文が入力された場合には、構文解析を行うことにより、文を構成する要素の概念を特定する。
【選択図】 図８

Description

本発明は、入力された言葉（文字列）を画像や音声等のマルチメディア情報に変換して出力する装置に関する。このような装置を本明細書では情報変換装置と呼ぶ。

上記のような情報変換装置の一例として特許文献１に記載の情報処理装置がある。この情報処理装置は、入力された言葉を、それに対応する文字列に変換するだけでなく、その言葉に関連する画像や音声に変換することもできる。例えば、「ねこ」と入力して所定の操作を実行すると、「猫」という漢字を表示するだけでなく、猫の画像を表示したり、猫の鳴き声を再生したりすることができる。

上記情報処理装置では、各言葉に対して予め画像ファイルや音声ファイルを用意しておかなければならない。例えば、「白い猫」と「黒い猫」をそれぞれ画像で示したい場合、白い猫の画像と黒い猫の画像を別個に用意し、それらの画像を「白い猫」及び「黒い猫」という言葉にそれぞれ関連づけておく必要がある。このように、上記情報処理装置では、画像や音声といった素材のデータ量が膨大になり、それを保存するには大容量の記憶装置が必要となる。逆に、上記情報処理装置をデータ記憶容量の小さいハードウェア（例：携帯電話、ＰＤＡ）に応用しようとすると、素材の数を少なくせざるを得ないため、画像や音声による表現力が乏しくなる。

特開平06-290222

本発明は上記課題を解決するために成されたものであり、その目的は、入力された言葉（文字列）又は文を画像や音声等のマルチメディア情報に変換して出力する情報変換装置において、マルチメディア素材のデータ量を抑えつつ、画像や音声による表現力を高めることにある。

上記課題を解決するために成された本発明に係る情報変換装置は、
文字列を入力するための入力部、
前記文字列に対して形態素解析を行い、該文字列から名詞及び該名詞を修飾する修飾句を抽出する形態素解析部、
前記名詞に対応する概念及び前記修飾句に対応する概念をそれぞれ特定し、これら２つの概念の組み合わせの可否を判定する概念解析部、及び、
前記名詞に対応する概念と前記修飾句に対応する概念との組み合わせが可能である場合に、前記名詞に対応する説明用素材データを選択する素材選択部、及び、
前記素材選択部により選択された説明用素材データを、前記修飾句に対応する素材加工方法で加工することにより出力用データを生成するデータ加工部
を備えることを特徴としている。

また、本発明に係る情報変換プログラムは、コンピュータを上記情報変換装置として動作させることを特徴としている。

本発明に係る情報変換装置の各構成要素について以下に説明する。

入力部は、ユーザが情報変換装置に文字列又は文を入力するためのものであり、キーボード、マウス、手書き入力用タブレット等の既存の入力装置を利用して構成することができる。

形態素解析部は、入力部を通じて入力された文字列又は文を所定の規則に従って形態素に分割し、その中から、文字列や文を構成する形態素（名詞、形容詞、形容動詞、動詞等）を抽出する。このような処理は、例えば、奈良先端科学技術大学院大学が開発した「茶筌」のような既存の形態素解析システムを利用して実行することができる。

構文解析部は、本発明に係る情報変換装置によって文を解析する場合のデータ処理部の構成要素である。この構文解析部は、入力部を通じて入力された文を前記形態素解析部によって形態素に分割した後、文の構造を解析し、主語、述語及び各述語修飾語を特定する。述語修飾語とは、述語に係る形態素各々のことであり、各形態素の品詞に対応して述語修飾名詞、述語修飾助詞、述語修飾副詞等が含まれる。また、本明細書では、述語及び述語修飾語からなる部分を述語部とする。

概念解析部は、形態素解析部により抽出された名詞及び修飾句、又は構文解析部により特定された主語、述語、及び各述語修飾語がそれぞれどのような概念に該当するかを調べ、前記名詞に対応する概念と前記修飾句に対応する概念とが組み合わせ可能であるか否か、又は、前記主語、述語、及び各述語修飾語間の概念が組み合わせ可能であるか否かを判定する。このような処理は、例えば、様々な名詞や修飾句、又は、各形態素がどのような概念に該当するかを定義した概念辞書と、概念辞書に登録された概念間の組み合わせの可否を定義した組み合わせ辞書とを利用して実行することができる。

素材選択部は、形態素解析部又は構文解析部により抽出された名詞に対応する説明用素材データを選択する。説明用素材とは、例えば、その名詞の意味を視覚的及び／又は聴覚的に説明するための静止画像（以下、単に画像と呼ぶ）、動画、音声等のことである。説明用素材データの選択は、例えば、各名詞をその名詞に関する情報を含む説明用素材データと関連づけて保存した素材辞書を利用して実行することができる。

データ加工部は、素材選択部により選択された説明用素材データを、形態素解析部により抽出された修飾句又は構文解析部により特定された述語に対応する素材加工方法で加工することにより、出力用データを生成する。この処理については後述する。

本発明に係る情報変換装置の作用について以下に説明する。まず、修飾句及び名詞からなる文字列が入力された場合の作用について説明する。

まず、ユーザが入力部を通じて任意の文字列を入力する。ここでは例として「高いビル」という文字列が入力されたものとする。

文字列が入力されると、形態素解析部がその文字列から、名詞と、その名詞を修飾する修飾句を抽出する。いまの例では、「高い」という修飾句と「ビル」という名詞が抽出される。

名詞と修飾句が抽出されると、概念解析部が、前記名詞に対応する概念及び前記修飾句に対応する概念をそれぞれ特定する。ここでは例として、「ビル」という名詞が「建物」という概念に該当し、「高い」という修飾句が「高低」という概念に該当することが、概念辞書で定義されているものとする。

名詞及び修飾句の概念を特定した後、概念解析部は、２つの概念の組み合わせが可能であるか否かを判定する。例えば、「建物」と「高低」の組み合わせについて考えると、「高い建物」や「低い建物」という表現は論理的に問題なく成立する。従って、「建物」と「高低」の組み合わせは可能であると判定される。これに対し、「丸い」と「三角形」の組み合わせを考えると、「丸い三角形」というものは論理的に存在し得ないと考えるのが普通である。従って、「丸い」と「三角形」の組み合わせは不可能であると判定される。このような判定は、例えば、多数の名詞と多数の修飾句の組み合わせの可否をマトリックス形式で定義した組み合わせ辞書を利用して実行することができる。

２つの概念の組み合わせが可能であると判断されると、素材選択部及びデータ加工部が以下のような手順で出力用データを生成する。
（１）素材選択部が、先に抽出された名詞に対応する説明用素材データを選択する。ここでは、素材辞書により、「ビル」という名詞に対して、ビルが写った画像が関連づけられているものとする。
（２）データ加工部が、先に抽出された修飾句に対応する素材加工方法を選択する。ここでは、辞書により、「高い」という修飾句に対して、「対象物が写った画像の縦サイズを大きくすることにより、背の高い対象物の画像を生成する」という方法が関連づけられているものとする。このような辞書を本明細書では生成辞書と呼ぶ。
（３）データ加工部が、手順１で選択した説明用素材データ（ビルの画像）に対して手順２で選択した素材加工方法を適用することにより、出力用データ（「高いビル」の画像）を生成する。

上記のようにして生成された出力用データが、そのデータの形式に対応する出力デバイスを通じて出力される。例えば、出力用データが画像や動画であればそれが画面に表示される。また、出力用データが音声であれば、それがスピーカを通じて再生される。

高いビルの画像を画面に表示しても、見る者によっては、その画像がビルの高さに注目した画像であることを直ちに理解することができないこともありうる。この問題に対する解決策の一つとして、高いビルの画像と低いビルの画像を同時に表示し、高いビルの画像を目的の画像として矢印等で指示することが考えられる。このような方法は、「高低」だけでなく、「大小」、「長短」あるいは「多少」のように、量的比較が可能な概念に対して有効であると考えられる。このように、修飾句が、量的比較が可能な概念に属する場合は、その概念に相当する表現要素のみ異なる２種類の出力用データを生成し、それらを相互に比較可能な形態で出力することにより、出力用データの意味をより明確に表現することができる。

次に、本発明に係る情報変換装置の他の例において、主語及び述語部を有する文が入力された場合の作用について説明する。

まず、ユーザが入力部を通じて任意の文を入力する。ここでは例として「私は学校へ行く。」という文が入力されたものとする。

文が入力されると、形態素解析部がこの文を構成する各形態素を抽出する。この例では「私」（名詞）「は」（助詞）「学校」（名詞）「へ」（助詞）「行く」（動詞）のように、各形態素が抽出される。

上記形態素解析に基づき、構文解析部が、主語、述語及び述語修飾語を特定する。いまの例では、「私」という名詞が主語であり、「行く」が述語、「学校」が述語修飾名詞、「へ」が述語修飾助詞であると特定される。

主語、述語及び述語修飾語が特定されると、概念解析部が、これらの各語に対応する概念をそれぞれ特定する。ここでは例として、「私」という名詞が「人物」という概念に相当し、「学校」という名詞が「場所」という概念に、「へ」という助詞が「方向」という概念に、「行く」という動詞が「移動」という概念に相当することが、概念辞書で定義されているものとする。

主語及び述語部の各形態素の概念を特定した後、概念解析部は、これらの概念の組合せが可能であるか否かを判定する。これは、上述した文字列における場合と同様に、名詞・形容詞・動詞・助詞等の文の各形態素の概念の組み合わせの可否をマトリックス形式で定義した組み合わせ辞書を利用して実行することができる。この判定を行う方法の一例として、まず述語部における概念の組み合わせが可能であるか否かの判定を行い、次に主語と述語の概念の組み合わせが可能であるか否かの判定を行う。いまの例では、まず「場所」と「方向」と「移動」の概念の可否の判定を行い、その後に「人物」と「移動」という概念の組み合わせの可否の判定を行う。判定方法はこの方法に限られず、各形態素の概念の組み合わせの可否を一度に判定したり、述語部における各要素の概念の組み合わせの可否のみを判定することもできる。

各概念の組み合わせが可能であると判断されると、素材選択部及びデータ加工部が以下のような手順で出力用データを生成する。
（１）素材選択部が、先に抽出された形態素のうち、名詞に対応する説明用素材データを選択する。ここでは、素材辞書により、「私」という名詞に対して、人物が写った画像が関連づけられ、「学校」という名詞に対して、学校が写った画像が関連づけられているものとする。
（２）データ加工部が、先に抽出された述語に対応する素材加工方法を選択する。ここでは、生成辞書により、「行く」という述語に対して、「主語に対応する画像を、画面上の所定の位置から対象となる画像に向かって移動させる」という方法が関連づけられているものとする。
（３）データ加工部が、手順１で選択した説明用素材データ（人物の画像及び学校の画像）に対して手順２で選択した素材加工方法を適用することにより、出力用データ（人物の画像が画面上の所定の位置から学校の画像へ向かって移動する）を生成する。

上記のようにして生成された出力用データが、そのデータの形式に対応する出力デバイスを通じて出力される。例えば、出力用データが動画や画像であればそれが画面に表示される。また、出力用データが音声であれば、それがスピーカを通じて再生される。

文に含まれる形容詞や副詞等の形態素が、量的比較が可能な概念に属する場合は、上述した文字列における場合と同様に、その概念に相当する表現要素のみ異なる２種類のデータを生成し、それらを相互に比較可能な形態で出力することもできる。このことにより、出力用データの意味をより明確に表現することが可能である。

上記の両例において、素材辞書により、同一の名詞に対して複数の説明用素材データを関連づけてもよい。この場合、素材選択部は、所定の規則に従っていずれかの説明用素材データを選択するか、あるいは、ユーザにいずれかの説明用素材データを選択させる。

上記の両例において、生成辞書により、同一の修飾句又は述語に対して複数の素材加工方法を関連づけてもよい。この場合、データ加工部は、所定の規則に従っていずれかの素材加工方法を選択するか、あるいは、ユーザにいずれかの素材加工方法を選択させる。

以上のように、本発明では、文字列を画像や音声等のマルチメディア情報に変換する際に、名詞だけでなくその名詞を修飾する修飾句まで考慮して出力用データを生成することにより、高い表現力が得られる。また、文を動画や画像等のマルチメディア情報に変換する際にも、述語句の構成を考慮して出力用データを生成することにより、高い表現力が得られる。また、本発明では、名詞に対応する説明用素材データを文字列の場合は修飾句、文の場合は述語に対応する素材加工方法で加工することにより出力用データを生成する。この方法によれば、少ないデータ量で多様な表現が可能となる。

本発明に係る情報変換装置の一実施形態の概略構成を図１に示す。本実施形態の情報変換装置１（以下、本装置１と呼ぶ）は、ユーザがコマンドや文字列等を入力するための入力部１０、入力された文字列を所定の方法で処理するデータ処理部１２、文字、画像及び動画等を用いて視覚的に情報を出力するための表示部１４、音声を用いて聴覚的に情報を出力するための音声出力部１６、及び、データ処理で用いられる情報や、データ処理により生成された情報を保存するためのデータ保存部１８を備えている。

データ保存部１８には、名詞又は修飾句と概念とを関連づけた概念辞書２０、概念間の組み合わせの可否を定義した組み合わせ辞書２２、名詞概念又は修飾句概念と説明用素材のメディアタイプとを関連づけたメディア関連辞書２４、名詞と説明用素材データとを関連づけた素材辞書２６、及び、修飾句と素材加工方法とを関連づけた生成辞書２８が保存されている。

データ処理部１２は、形態素解析部３０、概念解析部３２、メディア選択部３４、素材選択部３６、データ加工部３８及びモード切換部３９を含む。これらはいずれも所定のプログラムを実行することによりソフトウェア的に構成される機能部である。

形態素解析部３０は、入力部１０を通じて入力された文字列を所定の規則に従って形態素に分割し、その中から名詞とその名詞を修飾する修飾句との組み合わせを抽出する。形態素解析部３０により抽出された名詞及び修飾句を以下では抽出名詞及び抽出修飾句と呼ぶ。

概念解析部３２は、概念辞書２０を用いて、抽出名詞及び抽出修飾句がそれぞれどのような概念に該当するものであるかを調べる。本装置１の概念辞書２０の一部を図５に示す。さらに、概念解析部３２は、組み合わせ辞書２２を用いて、抽出名詞に対応する概念と抽出修飾句に対応する概念とが組み合わせ可能であるか否かを判定する。本装置１の組み合わせ辞書２２の一部を図６に示す。

メディア選択部３４は、メディア関連辞書２４を用いて、抽出名詞及び抽出修飾句に対応する概念を表現するために利用可能な出力用データのメディアタイプを選択する。本装置１のメディア関連辞書２４の一部を図７に示す。本装置１では、「画像」、「動画」及び「音声」の中からメディアタイプを選択する。メディア選択部３４により選択されたメディアタイプを以下では選択メディアタイプと呼ぶ。なお、本装置１には、メディアタイプの選択を自動的に行う自動モードと、ユーザにメディアタイプを選択させる手動モードとの間でモードを切り換えることが可能である。モード切り換えは、ユーザが入力部１０を所定の方法で操作することにより実行される。

素材選択部３６は、素材辞書２６を用いて、抽出名詞に対応する説明用素材データの中から選択メディアタイプのデータを選択する。素材辞書２６には、名詞毎に、利用可能なメディアタイプの説明用素材データが保存されている。

データ加工部３８は、抽出修飾句に対応する素材加工方法の中から前記選択メディアタイプに対応する方法を特定し、その方法で前記説明用素材データを加工することにより、出力用データを生成する。抽出修飾句に対応する素材加工方法は生成辞書２８で定義されている。

本発明に係る情報変換装置の他の実施形態の概略構成を図２に示す。この装置では、主語と述語を有する文を扱うことができる。本実施形態の情報変換装置２（以下、本装置２と呼ぶ）は、ユーザがコマンドや文等を入力するための入力部１０、入力された文字列を所定の方法で処理するデータ処理部１３、文字、画像及び動画等を用いて視覚的に情報を出力するための表示部１４、音声を用いて聴覚的に情報を出力するための音声出力部１６、及び、データ処理で用いられる情報や、データ処理により生成された情報を保存するためのデータ保存部１９を備えている。

データ保存部１９には、文を構成する各形態素と概念とを関連づけた概念辞書２１、概念間の組み合わせの可否を定義した組み合わせ辞書２３、文の各形態素の概念と説明用素材のメディアタイプとを関連づけたメディア関連辞書２５、名詞と説明用素材データとを関連づけた素材辞書２６、及び、名詞を除く各形態素と素材加工方法とを関連づけた生成辞書２９が保存されている。

データ処理部１３は、前記情報変換装置１のデータ処理部１２に対して、構文解析部３１が付加された構成である。

形態素解析部３０は、入力部１０を通じて入力された文を所定の規則に従って形態素に分割する。そして構文解析部３１は、前記形態素解析部３０によって分割された形態素に基づき文の構造を解析し、主語、述語、及び各述語修飾語を抽出する。構文解析部３１により抽出された主語、述語、及び述語修飾語を以下では抽出主語、抽出述語、及び抽出述語修飾語（抽出述語修飾名詞、抽出述語修飾助詞、抽出述語修飾副詞等）と呼ぶ。

概念解析部３２は、概念辞書２１（図示せず）を用いて、抽出主語、抽出述語、及び各抽出述語修飾語のそれぞれが、どのような概念に該当するものであるかを調べる。さらに、概念解析部３２は、組み合わせ辞書２３（図示せず）を用いて、これらそれぞれに対応する概念が組み合わせ可能であるか否かを判定する。

メディア選択部３４は、図示せぬメディア関連辞書２５（図示せず）を用いて、抽出主語、抽出述語、及び各抽出述語修飾語に対応する概念を表現するために利用可能な出力用データのメディアタイプを選択する。本装置２では、前記装置１と同様に、「画像」、「動画」及び「音声」の中から自動的にメディアタイプを選択する自動モードと、ユーザが入力部１０を所定の方法で操作することによりメディアタイプを選択する手動モードとの間でモードを切り換えることが可能である。自動モードの場合、抽出述語が動詞であればメディアタイプは動画が選択され、抽出述語が形容詞、形容動詞又は名詞であれば、メディアタイプは画像が選択される。

素材選択部３６は、素材辞書２７を用いて、抽出述語に対応するメディアタイプにおいて、抽出主語及び抽出述語修飾名詞に対応する説明用素材をそれぞれ選択する。素材辞書２７には、名詞毎に、利用可能なメディアタイプの説明用素材データが保存されている。

データ加工部３８は、抽出述語に対応する素材加工方法の中から前記選択メディアタイプに対応する方法を特定し、その方法で前記説明用素材データを加工することにより、出力用データを生成する。抽出述語に対応する素材加工方法は生成辞書２９で定義されている。

メディアタイプが動画の場合、前記説明用素材データは画像であって、その画像が述語に対応した所定の動作を表現するようにデータ加工部３８が動画加工することにより出力用データを生成してもよいし、前記説明用素材データ自体が動画であってもよい。

本装置１の作用について説明する。図３に本装置１による処理全体のフローチャートを示す。

まず、ユーザが入力部１０を操作すると（ステップＳ１０）、モード切換部３９が、その操作がモード切り換え操作であるかどうかを判定し（ステップＳ１２）、その操作がモード切り換え操作であれば、装置の動作モードをユーザにより選択されたモード（手動モード又は自動モード）に設定する（ステップＳ１３）。

一方、ユーザが文字列を入力した場合、本装置１は以下のような処理を実行する。ここでも、先と同様に「高いビル」という文字列を例にとって説明する。

まず、形態素解析部３０が入力文字列の形態素解析を実行し、その中から「高い」という修飾句と「ビル」という名詞を抽出する（ステップＳ１４）。以下、「ビル」が抽出名詞となり、「高い」が抽出修飾句となる。

次に、概念解析部３２が、概念辞書２０を参照し、抽出名詞に対応する概念及び抽出飾句に対応する概念をそれぞれ特定する（ステップＳ１６）。概念辞書２０（図５）を見ると、「ビル」という名詞が「建物」という概念に該当し、「高い」という修飾句が「高低比較」という概念に該当することが定義されている。なお、抽出名詞及び抽出修飾句が概念辞書２０に登録されていない場合（ステップＳ１８で「Ｎｏ」）、概念解析部３２は、そのことをユーザに告知するエラーメッセージを出力し（ステップＳ１９）、処理を終了する。

抽出名詞及び修飾句がいずれも概念辞書２０に登録されている場合、概念解析部３２は、組み合わせ辞書２２を参照し、先に特定された２つの概念（すなわち、いまの例では「建物」及び「高低」「比較」）の組み合わせが可能であるか否かを検査する（ステップＳ２０）。組み合わせ辞書２２（図６）を見ると、「建物」と「高低比較」の組み合わせが可能であると定義されている。なお、２つの概念が組み合わせ不可能である場合（ステップＳ２０で「Ｎｏ」）、概念解析部３２は、そのことをユーザに告知するエラーメッセージを出力し（ステップＳ１９）、処理を終了する。

２つの概念の組み合わせが可能であると判定されたら、メディア選択部３４が、メディア関連辞書２４を参照し、抽出名詞の概念及び抽出修飾句の概念に対応するメディアタイプの中からいずれかのメディアタイプを選択する（ステップＳ２２）。対応するメディアタイプが１つしかない場合、そのメディアタイプが自動的に選択される。２以上のメディアタイプが存在する場合、メディア選択部３４は動作モードに応じて異なる処理を行う。すなわち、自動モードの場合、メディア選択部３４は、予め設定された優先順位が最も高いメディアタイプを自動的に選択する。一方、手動モードの場合、メディア選択部３４は、対応するメディアタイプの一覧（図示せず）を表示し、ユーザにいずれかのメディアタイプを選択させる。ここでは、メディアタイプ「画像」が選択されたものとする。

メディアタイプが選択されたら、データ加工部３８がデータ生成処理を実行する（ステップＳ２４）。「高いビル」を表現する画像の生成手順を図８（Ａ）に示す。

まず、素材選択部３６が、素材辞書２６を参照し、抽出名詞に対応する説明用素材データの中から、選択メディアタイプのデータを選択する。いまの例では、抽出名詞が「ビル」、選択メディアタイプが「画像」であるから、ビルの画像６０が選択される。

説明用素材データが選択されたら、データ加工部３８が、生成辞書２８を参照し、抽出修飾句に対応する素材加工方法の中から選択メディアタイプに対応する方法を選択し、その方法で前記説明用素材データを加工することにより出力用データを生成し（ステップＳ２４）、そのデータを表示部１４や音声出力部１６に出力する（ステップＳ２６）。

出力用データの生成手順の例について説明する。いまの例では、説明用素材データが「ビルの画像」、選択メディアタイプが「画像」、抽出修飾句が「高い」である。この場合、データ加工部３８は以下のような処理を実行する。
（１）「高い」という概念を「画像」で表現するための素材加工方法を生成辞書２８から読み出す。ここでは、背の高い物体を表示するための第１画像領域６１１と、背の低い物体を表示するための第２画像領域６１２が設けられた基本画像６１を用いる方法が指定されているものとする。この基本画像６０には、第１画像領域６１１を指示する矢印６１３が描かれている。
（２）ビル画像６０の縦サイズを大きくすることにより、高いビルが写った画像（以下、第１画像６０１）を生成する。
（３）ビル画像６０の縦サイズを小さくすることにより、低いビルが写った画像（以下、第２画像６０２）を生成する。
（４）基本画像の第１画像領域６１１及び第２画像領域６１２に第１画像６０１及び第２画像６０２をそれぞれ嵌め込み合成することにより、出力用画像６２を生成する。

上記の例において、入力文字列が「高い塔」であれば、同一の塔の画像から高い塔の画像と低い塔の画像を生成し、それらを基本画像に合成することにより出力用画像が生成される。他の物体でも同様である。また、入力文字列が「低いビル」や「低い塔」であれば、第１画像領域ではなく第２画像領域を指示する矢印を含む基本画像を使用する。

「高低」のように、２種類の画像を生成して基本画像に嵌め込み合成することにより表現可能な概念の例としては、「大小」「広狭」「太細」「長短」等が挙げられる。

上記の他にも、概念（あるいは修飾句）に応じて様々な表現方法が考えられる。また、使用するメディアタイプも画像に限られず、動画や音声を適宜利用することができる。以下にいくつかの例を示す。
・重さ（重い／軽い）：重い物体と軽い物体を載せた天秤の画像を表示し、いずれか一方の物体を矢印で指示する。
・明度（明るい／暗い）：同じ物体の明るい画像と暗い画像を並べて表示し、いずれか一方の物体を矢印で指示する。
・速度（速い／遅い）：高速で動く物体と低速で動く物体を動画で同時に表示し、いずれか一方の物体を矢印で指示する。
・音の高低（高い／低い）：低い音の音符と高い音の音符を書き込んだ楽譜を表示し、いずれか一方の音符を矢印で指示する。これと合わせて、高い音と低い音を実際に出力してもよい。

また、２種類の画像を用いるのではなく、入力文字列の意味するものを直接画像で表現できる場合もある。例として、「丸い机」を表現する画像の生成手順を図８（Ｂ）に示す。この例では、まず、素材辞書２６に基づき、名詞「机」に対応する説明用素材７０を選択する。この説明用素材７０は、天板と４本の脚を有する線画を描くための描画命令列であり、天板の形状を「四角」「円形」等の値で設定することができる。次に、生成辞書２８に基づき、「丸い」に対応する素材加工方法を選択する。ここでは、「形状設定＝円形」という描画命令の形で素材加工方法が指定されている。最後に、説明用素材７０に前記描画命令を適用すると、円形の天板を有する机の画像７１が生成される。

以上の説明では、「高いビル」や「丸い机」といった簡単な文字列が入力されるものとしたが、複数の名詞を含む長い文字列が入力された場合は、形態素解析により名詞と修飾句の組み合わせを順次抽出しながら、それぞれの名詞及び修飾句の組に対して上記のような処理を実行すればよい。

次に、本装置２の作用について説明する。図４に本装置２による処理全体のフローチャートを示す。

まず、ユーザが入力部１０を操作すると（ステップＳ３０）、モード切替部３９が、その操作がモード切り換え操作であるかどうかを判定し（ステップＳ３２）、その操作がモード切り換え操作であれば、装置の動作モードをユーザにより選択されたモード（手動モード又は自動モード）に設定する（ステップＳ３３）。

一方、ユーザが文を入力した場合、本装置２は以下のような処理を実行する。ここでは、先と同様に「私は学校へ行く。」という文を例にとって説明する。

まず、形態素解析部３０が入力文の形態素解析を実行し、その中から「私」という名詞、「は」という助詞、「学校」という名詞、「へ」という助詞、「行く」という動詞を抽出する（ステップＳ３４）。

構文解析部３１が、前記形態素解析に基づき構文解析を実行し、主語、述語、及び各述語修飾語を特定する（ステップＳ３５）。以下、「私」が抽出主語、「学校」が抽出述語修飾名詞、「へ」が抽出述語修飾助詞、「行く」が抽出述語となる。

次に、概念解析部３２が、概念辞書２１を参照し、抽出主語、抽出述語、及び各抽出述語修飾語に対応する概念をそれぞれ特定する（ステップＳ３６）。図示せぬ概念辞書２１によって、「私」という名詞が「人物」という概念に該当し、「学校」という名詞が「場所」という概念に、「へ」という助詞が「方向」という概念に、「行く」という動詞が「移動」という概念に該当することが定義されている。これらの抽出主語、抽出述語、各抽出述語修飾語が概念辞書２１に登録されていない場合（ステップＳ３８で「Ｎｏ」）、概念解析部３２は、そのことをユーザーに告知するエラーメッセージを出力し（Ｓ３９）、処理を終了する。

抽出主語、抽出述語、及び各抽出述語修飾語がいずれも概念辞書２１に登録されている場合、概念解析部３２は、組み合わせ辞書２３を参照し、これらの概念の組み合わせが可能であるか否かを検査する（ステップＳ４０）。この検査は、まず述語部内の各形態素に対応する概念（すなわち、いまの例では「場所」、「方向」及び「移動」）の組み合わせについて行い、次に主語と述語に対応する概念（いまの例では「人物」及び「移動」）の組み合わせについて行う。概念の組み合わせが不可能である場合（ステップＳ４０で「Ｎｏ」）、概念解析部３２は、そのことをユーザーに告知するエラーメッセージを出力し（Ｓ３９）、処理を終了する。

各概念の組み合わせが可能であると判断されたら、メディア選択部３４が、メディア関連辞書２５を参照し、抽出主語、抽出述語、及び各抽出述語修飾語に対応する概念を表現するために利用可能な出力用データのメディアタイプを選択する（ステップＳ４２）。対応するメディアタイプが１つしかない場合、そのメディアタイプが自動的に選択される。２以上のメディアタイプが存在する場合、メディア選択部３４は動作モードに応じて異なる処理を行う。すなわち、自動モードの場合、メディア選択部３４は、予め設定された優先順位が最も高いメディアタイプを自動的に選択する。一方、手動モードの場合、メディア選択部３４は、対応するメディアタイプの一覧（図示せず）を表示し、ユーザにいずれかのメディアタイプを選択させる。ここでは、メディアタイプ「動画」が選択されたものとする。

メディアタイプが選択されたら、データ加工部３８がデータ生成処理を実行する（ステップＳ４４）。「私は学校へ行く。」を表現する動画の生成手順を図９（Ａ）に示す。

まず、素材選択部３６が、素材辞書２７を参照し、抽出主語及び抽出述語修飾名詞に対応する説明用素材データの中から、選択メディアタイプのデータを選択する。今の例では、前記説明用素材データが「私」及び「学校」であり、選択メディアタイプが「動画」であるから、私を表す人物の画像８０及び学校の画像８５が選択される。人物の画像８０が「私」を指していることを明確に示すために、人物の画像８０の近傍に「私」や、具体的な名前等の文字を表示し、その文字から人物の画像８０を指す矢印を表示する。

説明用素材データが選択されたら、データ加工部３８が、生成辞書２９を参照し、抽出述語に対応する素材加工方法の中から選択メディアタイプに対応する方法を選択し、その方法で前記説明用素材データを加工することにより出力用データを作成し（ステップＳ４４）、そのデータを表示部１４や音声出力部１６に出力する（ステップＳ４６）。

出力用データの生成手順の例について説明する。いまの例では、説明用素材データが「私」及び「学校」、抽出述語修飾助詞が「へ」、抽出述語が「行く」である。この場合、データ加工部３８は以下のような処理を実行する。

生成辞書２９に基づき、「行く」に対応する素材加工方法を選択する。ここでは、「私」及び「学校」の各画像を所定の距離をおいて表示し、「へ」という抽出述語修飾助詞に係る「学校」の画像８５に向かって、「私」の画像８０を移動させることにより、出力用動画９０を生成する。

本例では、メディアタイプとして「動画」が選択されたが、メディアタイプとして「画像」が選択された場合には、「私」及び「学校」の画像を表示し、さらに「私」の画像８０から「学校」の画像８５に向かう矢印を表示すれば、「私は学校へ行く。」という文を画像によって表現することができる。

以上の説明では、「私は学校へ行く。」という、述語が動詞であり、一つの述語修飾名詞及び一つの述語修飾助詞からなる述語修飾語を有している文を例としたが、述語である動詞に対して、二組の述語修飾名詞及び述語修飾助詞が係る文の意味するものを、動画等で表現することもできる場合もある。一例として、「私は家から学校へ走る。」という文を表現する動画の生成手順を図９（Ｂ）に示す。この例では、まず、素材辞書２７に基づき、名詞である「私」、「家」、「学校」に対応する説明用素材７０を選択する。そして、生成辞書２９に基づき、述語である「走る」に対応する素材加工方法を選択する。ここでは、主語である「私」を表す人物の画像８０に対し、走っていることを表現するために、前傾姿勢とし、手足を広げる等の変形を行い、走っている状態が表現された人物８１を生成する。ここにおいて、走っているように手足が動く動画を選択することもできる。このようにして生成された「私」の画像８１（または動画）を、「から」という抽出述語修飾助詞に係る「家」の画像８６から、「へ」という抽出述語修飾助詞に係る「学校」の画像８５に向かって移動させることにより、「私は家から学校へ走る。」の文の意味を表す出力用動画９１を生成する。

生成辞書２９に記載される素材加工方法には、述語のみに基づく素材加工方法に加えて、その述語に係る述語修飾名詞にも対応した素材加工方法を記載しておくことも可能である。例えば、「私はカレーライスを食べる。」という文であれば、まず、「食べる」という述語に対応して、主語である人物の画像の口の部分を開閉させつつ、手を対象物（カレーライス）の画像と人物の画像の口の部分の付近との間で上下させるという動画の生成を行う。一方、「食べる」という述語に係る「カレーライス」という述語修飾名詞に対応して、スプーンの画像が説明用素材から選択され、手にスプーンが保持されるように画像を加工するようにする。この時、「食べる」に係る述語修飾名詞が「うどん」であれば箸が選択され、「パスタ」であればフォークが選択される等のように、述語修飾名詞に対応した説明用素材を選択して加工する。こうすることにより、生成される動画や画像がより自然なものとなる。

上記の例の他にも、文の成り立ちにより、以下のような表現方法が考えられる。
・述語が動詞で、述語修飾語がない場合：主語となる名詞の画像に対して、述語の動作に対応する素材加工方法を適用する。例えば「馬が走る。」という文の場合、この素材加工方法は、馬の画像に対して、走っていることを表すように四肢を動かす動画処理命令を与える。
・述語が名詞の場合：主語となる名詞の画像に対して、述語となる名詞に対応する素材加工方法を適用する。例えば「私はコックです。」という文の場合、「私」を表す人物の画像に対して、コック服及びコック帽の画像を合成することにより、出力用画像を生成する。
・述語が形容詞の場合：本発明に係る装置１と同様の処理に置き換えて適用する。例えば「ビルが高い。」という主語（名詞）と述語（形容詞）からなる文は、「高いビル」という修飾句と名詞の組み合わせからなる文字列と同じ画像、動画、音声等で表現することができる。

主語や述語に対して複数の修飾語句が係る長い文が入力された場合は、それぞれの名詞及び修飾句の組に対して上記のような処理を実行すればよい。

以上のような本発明に係る情報変換装置は、言語情報を動画・画像・音声等のマルチメディア情報に変換する一種の翻訳装置として利用することが可能である。また、言語によるコミュニケーションをマルチメディア素材で支援する参照用データベースとして利用することも可能である。さらに、このような情報変換装置を用いれば、地図や図形等を描画することにより、道案内装置として利用することも可能である。

本発明に係る情報変換装置の一実施形態の概略構成図。 本発明に係る情報変換装置の他の実施形態の概略構成図。 図１の装置による処理全体のフローチャート。 図２の装置による処理全体のフローチャート。 図１の装置の概念辞書の一部を示す図。 図１の装置の組み合わせ辞書の一部を示す図。 図１の装置のメディア関連辞書の一部を示す図。 図３のフローチャートのステップＳ２４で実行されるデータ生成処理の手順例を示す図。 図４のフローチャートのステップＳ４４で実行されるデータ生成処理の手順例を示す図。

符号の説明

１…情報変換装置
１０…入力部
１２、１３…データ処理部
３０…形態素解析部
３１…構文解析部
３２…概念解析部
３４…メディア選択部
３６…素材選択部
３８…データ加工部
１４…表示部
１６…音声出力部
１８、１９…データ保存部
２０、２１…概念辞書
２２、２３…組み合わせ辞書
２４、２５…メディア関連辞書
２６、２７…素材辞書
２８、２９…生成辞書

Claims (5)

1. 文字列を入力するための入力部、
   前記文字列に対して形態素解析を行い、該文字列から名詞及び該名詞を修飾する修飾句を抽出する形態素解析部、
   前記名詞に対応する概念及び前記修飾句に対応する概念をそれぞれ特定し、これら２つの概念の組み合わせの可否を判定する概念解析部、及び、
   前記名詞に対応する概念と前記修飾句に対応する概念との組み合わせが可能である場合に、前記名詞に対応する説明用素材データを選択する素材選択部、及び、
   前記素材選択部により選択された説明用素材データを、前記修飾句に対応する素材加工方法で加工することにより出力用データを生成するデータ加工部
   を備えることを特徴とする情報変換装置。
2. 文を入力するための入力部、
   前記文に対して形態素解析を行い、該文を構成する各形態素を抽出する形態素解析部、
   前形態素解析に基づき構文解析を行い、該文から主語、述語、及び述語に係る複数の形態素である述語修飾語を特定する構文解析部、
   前記主語、述語、及び各述語修飾語に対応する概念をそれぞれ特定し、これらの概念の組み合わせの可否を判定する概念解析部、及び、
   前記各概念の組み合わせが可能である場合に、前記主語及び前記述語修飾語のうち名詞である述語修飾名詞に対応する説明用素材データを選択する素材選択部、及び、
   前記素材選択部により選択された説明用素材データを、前記述語に対応する素材加工方法で加工することにより出力用データを生成するデータ加工部
   を備えることを特徴とする情報変換装置。
3. 前記データ加工部は、前記修飾句が、量的比較が可能な概念に属する場合は、その概念に相当する表現要素のみ異なる２種類の出力用データを生成し、それらを相互に比較可能な形態で出力することを特徴とする請求項１又は２記載の情報変換装置。
4. 前記説明用素材データは、静止画像、動画、音声又はそれらを組合せたもののデータであることを特徴とする請求項１〜３のいずれかに記載の情報変換装置。
5. コンピュータを請求項１〜４のいずれかに記載の情報変換装置として動作させることを特徴とする情報変換プログラム。

Images