JP2009080614A - 表示制御装置、プログラム及び表示システム - Google Patents

Abstract

【課題】話者が使用する言語を切り替えた場合には、新たに使用された言語のコンテンツデータを表示手段に表示させる。
【解決手段】記憶部４５は、各々が複数のページで構成され、それぞれ異なる言語を用いて作成された複数のコンテンツデータを記憶する。言語識別部４２は、話者がある言語を使用して発した音声に基づいて、当該話者が使用した言語を識別する。ページ特定部４４は、コンテンツデータを構成するページのうち、表示対象となるページを特定する。表示制御部４６は、言語識別部４２によって識別された言語に基づいて、話者が使用する言語を切り替えたか否かを判定し、話者が使用する言語を切り替えたと判定した場合には、言語識別部４２によって識別された言語を用いて作成されたコンテンツデータにおいてページ特定部４４によって特定されたページを、記憶部４５から読み出して表示部４７に表示させる。
【選択図】図２

Description

本発明は、複数種類の言語で作成された情報を話者の言語に応じて表示させる技術に関する。

話者が発した音声に基づいて、その話者が使用する言語を識別する技術がある。例えば、特許文献１には、話者によってマイクロフォンに入力された音声に基づいてその話者の使用言語を識別し、識別した使用言語が日本語であった場合には、話者の音声を英語に翻訳して出力し、識別した使用言語が英語であった場合には、話者の音声を日本語に翻訳して出力する技術が開示されている。また、特許文献２には、話者によって端末機に入力された音声に基づいてその話者が使用する言語を識別し、識別した言語で応対する技術が開示されている。
特開平９−２９２９７１号公報 特開２００１−１９７２０７号公報

ところで、お互いに異なる言語を使用する人、例えば日本人とアメリカ人とが参加する会議では、話者が日本語と英語を用いてプレゼンテーションを行う必要がある。この場合、一般的には、話者が同じ内容の資料を日本語と英語で作成し、それらを１ページずつ交互に表示させながら、説明するということが行われている。そこで、話者が日本語を話した時には日本語の資料が表示され、英語を話し始めた時には、その資料が自動的に英語の資料に切り替えられると便利である。しかしながら、例えば上述した特許文献２に記載の技術では、話者の使用言語を識別するタイミングが話者による会話の冒頭の時期だけに限定されているため、会話の途中で話者が言語を切り替えて話したときに、その言語に応じて応対を柔軟に切り替えることはできない。よって、上記のような多言語でのプレゼンテーションに利用するには不向きである。
本発明はこのような背景に鑑みてなされたものであり、話者が使用する言語を切り替えた場合には、新たに使用された言語に応じた情報を表示させることを目的とする。

上述した課題を解決するため、本発明は、各々が１又は複数のページで構成され、それぞれ異なる言語を用いて作成された複数の情報を記憶する記憶手段と、前記情報を構成するページのうち、表示対象となるページを特定するページ特定手段と、話者がある言語を使用して発した音声に基づいて、当該話者が使用した言語を識別する言語識別手段と、前記言語識別手段によって識別された言語に基づいて、前記話者が使用する言語を切り替えたか否かを判定する判定手段と、前記判定手段によって前記話者が使用する言語を切り替えたと判定された場合には、前記言語識別手段によって識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記記憶手段から読み出して表示手段に表示させる表示制御手段とを備えることを特徴とする表示制御装置を提供する。

本発明の好ましい態様において、各々の前記情報は、それぞれ表示順序が付与された複数のページで構成され、前記ページ特定手段は、各々の前記情報において共通の表示順序が付与されたページを全て表示手段に表示させた後に、前記判定手段によって前記話者が言語を切り替えたと判定された場合には、当該ページの次の表示順序が付与されたページを、表示対象のページとして特定してもよい。

本発明の好ましい態様において、前記表示制御手段は、前記言語識別手段によって識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページと、前記識別された言語を用いて作成された情報以外の情報において前記ページ特定手段によって特定されたページとを読み出し、読み出したページを共に表示手段に表示させ、この表示の際に、前記識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記識別された言語を用いて作成された情報以外の情報において前記ページ特定手段によって特定されたページよりも優先的に表示手段に表示させてもよい。

また、本発明は、コンピュータを、各々が１又は複数のページで構成され、それぞれ異なる言語を用いて作成された複数の情報を記憶する記憶手段と、前記情報を構成するページのうち、表示対象となるページを特定するページ特定手段と、話者がある言語を使用して発した音声に基づいて、当該話者が使用した言語を識別する言語識別手段と、前記言語識別手段によって識別された言語に基づいて、前記話者が使用する言語を切り替えたか否かを判定する判定手段と、前記判定手段によって前記話者が使用する言語を切り替えたと判定された場合には、前記言語識別手段によって識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記記憶手段から読み出して表示手段に表示させる表示制御手段として機能させるためのプログラムを提供する。

さらに、本発明は、上記のいずれかに記載の表示制御装置と、前記表示制御手段によって前記ページが表示させられる表示手段である第１の表示装置と、前記表示制御装置に接続された複数の第２の表示装置とを備え、各々の前記第２の表示装置は、各々の前記第２の表示装置に対して指定された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記表示制御装置の前記記憶手段から取得する取得手段と、前記取得手段によって取得された情報を表示する表示手段とを備えることを特徴とする表示システムを提供する。

本発明によれば、話者が使用する言語を切り替えた場合には、新たに使用された言語に応じた情報を表示させることができる。

［構成］
まず、図１を参照して、本発明に係る表示システムの一例であるプレゼンテーションシステム１について説明する。以下の説明では、話者が聴衆に対して情報、企画、提案を提示して説明することを「プレゼンテーション」と呼ぶ。また、本実施形態では、このプレゼンテーションが、日本語、英語、中国語などの異なる複数の言語を用いて行われることを前提とする。

図に示すように、プレゼンテーションシステム１は、マイクロフォン１０と、アンプ装置２０と、スピーカ３０と、コンテンツ表示装置４０とを備えている。マイクロフォン１０は、音声などの音を収集し、収集した音を表す音声信号を出力する。アンプ装置２０は、マイクロフォン１０から出力された音声信号を増幅する。スピーカ３０は、アンプ装置２０によって増幅された音声信号に基づいた音を出力する。マイクロフォン１０から出力された音声信号は、アンプ装置２０の他に、コンテンツ表示装置４０にも入力される。このコンテンツ表示装置４０は、例えばパーソナルコンピュータなどのコンピュータ装置４０ａと、プロジェクタシステムなどの表示機器４０ｂとによって構成されている。コンピュータ装置４０ａは、表示機器４０ｂによる表示を制御する表示制御装置としての役割を担う。

次に、図２を参照して、コンテンツ表示装置４０の機能構成について説明する。
コンテンツ表示装置４０は、音声入力部４１と、言語識別部４２と、操作部４３と、ページ特定部４４と、記憶部４５と、表示制御部４６と、表示部４７とを備えている。言語識別部４２、ページ特定部４４及び表示制御部４６は、コンピュータ装置４０ａのＣＰＵ（Central Processing Unit）が記憶部４５に記憶されているプレゼンテーションソフトウェアを実行することによって実現される。

音声入力部４１は、マイクロフォン１０に接続された入力インタフェースであり、マイクロフォン１０から出力された音声信号が入力されると、その音声信号をアナログ／デジタル変換し、デジタルの音声データを出力する。言語識別部４２は、音声入力部４１から供給される音声データを解析して、マイクロフォン１０に入力された音声が如何なる言語で表現されたものであるかを識別し、識別した言語を表す言語識別情報を表示制御部４６に供給する。この言語の識別には、例えば音声データが表す音声の周波数、振幅、発話速度などを音響分析する方法や、その音声に含まれる語彙を抽出し、抽出した語彙と予め記憶された言語別の語彙データベースとを照合する方法などが用いられる。

操作部４３は、例えばキーボードとマウスであり、話者やその話者の補助者などの利用者によって操作されると、その操作内容に応じた操作信号をページ特定部４４や表示制御部４６などに供給する。ページ特定部４４は、操作部４３から供給された操作信号に基づいて、表示部４７の表示対象となるページを特定し、特定したページを表すページ情報を表示制御部４６に供給する。

記憶部４５は、例えばハードディスクであり、ＣＰＵによって実行されるプレゼンテーションソフトウェアなどの各種のソフトウェアの他に、複数のコンテンツデータを記憶している。これらのコンテンツデータは、プレゼンテーションにて用いられる資料として作成されたデータであり、予め表示順序が付与された１又は複数のページで構成されている。各々のコンテンツデータにおいては、同じ内容のページがそれぞれ異なる言語を用いて作成されており、各言語に対応した文字のほか、表や映像などによって表現されている。すなわち、記憶部４５は、各々が１又は複数のページで構成され、それぞれ異なる言語を用いて作成された複数のコンテンツデータを記憶する記憶手段として機能する。この複数のコンテンツデータは、例えば１つのファイルにまとめて記憶されている。

ここで、図３を参照して、記憶部４５に記憶されているコンテンツデータの一例について説明する。
図３（ａ）は、１ページから１０ページで構成される日本語のコンテンツデータＤ１の構成を表しており、図３（ｂ）は、１ページから１０ページで構成される英語のコンテンツデータＤ２の構成を表しており、図３（ｃ）は、１ページから１０ページで構成される中国語のコンテンツデータＤ３の構成を表している。日本語のコンテンツデータＤ１、英語のコンテンツデータＤ２及び中国語のコンテンツデータＤ３において、それぞれ同一のページは同一の内容である。例えば、各コンテンツデータの１ページ目の内容はタイトルであり、２ページ目の内容は目次であり、１０ページ目の内容は結論である。各々のコンテンツデータには、作成時に用いられた言語を表す言語識別情報と、表示順序を表すページ情報とがタグとして付加されている。例えば、図３（ａ）に示す日本語のコンテンツデータＤ１には、日本語を表す言語識別情報がコンテンツデータの先頭に付加されており、１ページから１０ページまでの各々のページを表すページ情報が各ページのコンテンツデータの先頭に付加されている。同様にして、図３（ｂ）に示す英語のコンテンツデータＤ２には、英語を表す言語識別情報と、１ページから１０ページまでの各々のページを表すページ情報とが付加されており、図３（ｃ）に示す中国語のコンテンツデータＤ３には、中国語を表す言語識別情報と、１ページから１０ページまでの各々のページを表すページ情報とが付加されている。これにより、各々のコンテンツデータが作成時に用いられた言語と、各々のコンテンツデータにおけるページとが識別されるようになっている。

図２に示した表示制御部４６は、操作部４３から供給された操作信号によって指定された言語のコンテンツデータにおける指定されたページ、又は、言語識別部４２から供給される言語識別情報によって識別される言語のコンテンツデータにおいてページ特定部４４から供給されるページ情報が表すページを記憶部４５から読み出し、表示部４７に表示させる。表示部４７は、表示機器４０ｂによって実現される表示手段であり、例えば、プレゼンテーションルームに設置されたスクリーンと、このスクリーンに画像を投影するプロジェクタ装置からなる。この表示部４７は、表示制御部４６による制御の下でコンテンツデータに含まれる各ページを表示する。

［動作］
次に、図４を参照して、上述した構成によるコンテンツ表示装置４０の動作について詳細に説明する。なお、マイクロフォン１０、アンプ装置２０及びスピーカ３０については、プレゼンテーションを行う話者によってマイクロフォン１０に音声が入力される度に、アンプ装置２０がその音声を増幅し、スピーカ３０が増幅された音声を出力するといった具合で動作する。

プレゼンテーションを行う話者は、まず操作部４３を操作して、最初のページとしてコンテンツ表示装置４０の表示部４７に表示させるコンテンツデータの言語及びページを指定する。表示制御部４６は、操作部４３の操作によって指定された言語のコンテンツデータにおける指定されたページを記憶部４５から読み出し、最初のページとして表示部４７に表示させる（ステップＳ１０）。例えば、図５に示すように、話者によって操作部４３が操作されて、表示部４７に表示させる最初のページとして日本語のコンテンツデータＤ１の１ページ目が指定されると、表示制御部４６は、指定された日本語のコンテンツデータＤ１の１ページ目を記憶部４５から読み出し、表示部４７に表示させる。これにより、表示部４７には、同図に示すように、日本語のコンテンツデータＤ１の１ページ目が表示される。続いて、話者は、操作部４３を操作して、言語切替対応処理をオンにすることを指示する。この言語切替対応処理とは、話者の使用言語の切り替えに応じて、表示部４７における表示内容を切り替える処理のことである。言語切替対応処理がオンにされると、コンテンツ表示装置４０は、次に説明するような言語切替対応処理を行う（ステップＳ２０）。

ここで、図６を参照して、言語切替対応処理について詳細に説明する。
まず、音声入力部４１は、マイクロフォン１０からの音声信号の入力があるか否かを判定する（ステップＳ１１０）。例えば、話者によってマイクロフォン１０に音声が入力されていない場合には、音声入力部４１は、マイクロフォン１０からの音声信号の入力がないと判定し（ステップＳ１１０：ＮＯ）、音声信号が入力されるまで待機する。一方、図７（ａ）に示すように、話者によってマイクロフォン１０に日本語の音声が入力された場合には、音声入力部４１は、マイクロフォン１０からの音声信号の入力があると判定する（ステップＳ１１０：ＹＥＳ）。この場合、音声入力部４１は、入力された音声信号をＡ／Ｄ変換した音声データを、言語識別部４２に供給する。

続いて、言語識別部４２は、音声入力部４１から入力された音声データに基づいて、マイクロフォン１０に入力された音声の言語を識別する（ステップＳ１２０）。すなわち、言語識別部４２は、話者がある言語を使用して発した音声に基づいて、その話者が使用した言語を識別する言語識別手段として機能する。この例では、図７（ａ）に示すように、話者によってマイクロフォン１０に日本語の音声が入力されているため、音声の言語として「日本語」が識別される。そして、言語識別部４２は、識別した言語を表す言語識別情報を表示制御部４６に供給する。

続いて、表示制御部４６は、言語識別部４２から供給された言語識別情報に基づいて、話者がマイクロフォン１０に入力する音声の言語を切り替えたか否かを判定する（ステップＳ１３０）。すなわち、表示制御部４６は、言語識別手段によって識別された言語に基づいて、話者が使用する言語を切り替えたか否かを判定する判定手段として機能する。具体的に説明すると、表示制御部４６は、言語識別部４２から前回供給された言語識別情報と今回供給された言語識別情報とを比較して、それらが一致すれば話者がマイクロフォン１０に入力する音声の言語を切り替えていないと判定し、それらが一致しなければ話者がマイクロフォン１０に入力する音声の言語を切り替えたと判定する。この例では、図７（ａ）に示すように、話者によってマイクロフォン１０に日本語の音声しか入力されていないため、話者がマイクロフォン１０に入力する音声の言語を切り替えていないと判定され（ステップＳ１３０：ＮＯ）、ステップＳ１１０の処理に戻る。話者が、表示部４７に表示された日本語のコンテンツデータＤ１の１ページ目に沿ってこの内容を日本語で説明している間は、ステップＳ１３０の判定がＮＯになるため、表示部４７の表示内容は、日本語のコンテンツデータＤ１の１ページ目のまま変わることはない。従って、話者は、表示部４７に表示されている日本語のコンテンツデータＤ１の１ページ目に沿って、その内容を日本語で説明していく。

一方、話者が、１ページ目の内容を日本語で説明し終わり、例えば図７（ｂ）に示すように英語で説明を始めると、マイクロフォン１０に英語の音声が入力される。この場合、ステップＳ１２０では、音声の言語として「英語」が識別され、ステップＳ１３０では、話者がマイクロフォン１０に入力する音声の言語を切り替えたと判定される（ステップＳ１３０：ＹＥＳ）。話者がマイクロフォン１０に入力する音声の言語を切り替えたと判定されると、ページ特定部４４は、操作部４３から供給された操作信号に基づいて、表示部４７の表示対象となるページを特定する（ステップＳ１４０）。すなわち、ページ特定部４４は、記憶部４５に記憶されているコンテンツデータを構成するページのうち、表示対象となるページを特定するページ特定手段として機能する。この例では、図５に示すように、既に話者の操作によって、表示部４７に表示させるコンテンツデータのページとして日本語のコンテンツデータＤ１の１ページ目が指定されており、その後にページ送り操作は行われていないため、表示部４７の表示対象となるページとしては、「１ページ」が特定されることになる。そして、ページ特定部４４は、特定したページを表すページ情報を表示制御部４６に供給する。

続いて、表示制御部４６は、言語識別部４２から供給された言語識別情報によって識別される言語のコンテンツデータにおいて、ページ特定部４４から供給されたページ情報が表すページを記憶部４５から読み出す（ステップＳ１５０）。具体的に説明すると、まず、表示制御部４６は、記憶部４５に記憶されている各々のコンテンツデータに付加されているタグを参照して、言語識別部４２から供給された言語識別情報が付加されているコンテンツデータを特定する。そして、表示制御部４６は、特定したコンテンツデータのうち、ページ特定部４４から供給されたページ情報が付加されているページを読み出す。この例では、ページ特定部４４から「１ページ」を表すページ情報が供給され、言語識別部４２から「英語」を表す言語識別情報が供給されるため、「英語のコンテンツデータＤ２の１ページ目」が記憶部４５から読み出される。

そして、表示制御部４６は、読み出した「英語のコンテンツデータＤ２の１ページ目」を表示部４７に表示させる（ステップＳ１６０）。すなわち、表示制御部４６は、判定手段によって話者が使用する言語を切り替えたと判定された場合には、言語識別手段によって識別された言語を用いて作成されたコンテンツデータにおいてページ特定手段によって特定されたページを、記憶手段から読み出して表示手段に表示させる表示制御手段として機能する。これにより、表示部４７には、図７（ａ）に示した「日本語のコンテンツデータＤ１の１ページ目」に代えて、図７（ｂ）に示した「英語のコンテンツデータＤ２の１ページ目」が表示される。表示部４７に新たなコンテンツデータのページが表示されると、コンテンツ表示装置４０の処理はステップＳ１１０に戻る。

話者は、表示部４７に表示された「英語のコンテンツデータＤ２の１ページ目」に沿ってこの内容を英語で説明していく。そして、１ページ目の内容を英語で説明し終わると、話者は、例えば図７（ｃ）に示すように中国語で説明を始める。この場合には、マイクロフォン１０に中国語の音声が入力されるため、上述したステップＳ１２０では、音声の言語として「中国語」が識別され、ステップＳ１３０では、話者がマイクロフォン１０に入力する音声の言語を切り替えたと判定される。続くステップＳ１４０においても、前述した英語の場合と同じく、既に話者の操作によって１ページ目が指定されており、その後にページ送り操作は行われていないため、前回と同じページ、すなわち「１ページ」が特定される。そして、ステップＳ１５０では、「中国語のコンテンツデータＤ３の１ページ目」が記憶部４５から読み出され、ステップＳ１６０では、この「中国語のコンテンツデータＤ３の１ページ目」が表示部４７に表示される。これにより、表示部４７には、図７（ｂ）に示した「英語のコンテンツデータＤ２の１ページ目」に代えて、図７（ｃ）に示した「中国語のコンテンツデータＤ３の１ページ目」が表示される。表示部４７に新たな言語のコンテンツデータが表示されると、コンテンツ表示装置４０の処理はステップＳ１１０に戻る。

話者は、表示部４７に表示された「中国語のコンテンツデータＤ３の１ページ目」に沿ってこの内容を中国語で説明していく。そして、１ページ目の内容を中国語で説明し終えると、日本語、英語、中国語の各々の言語で１ページ目の内容を説明し終えたことになるため、話者は、操作部４３を操作して、ページ送りの指示を行う。これにより、コンテンツ表示装置４０は、言語切替対応処理を中断する。ページ送りの指示が行われると（図４のステップＳ３０）、表示制御部４６は、図６に示したステップＳ１６０において、表示部４７に表示させた言語のコンテンツデータにおける次ページを記憶部４５から読み出し、表示部４７に表示させる（ステップＳ４０）。この例では、図７（ｃ）に示すようにステップＳ１６０において「中国語のコンテンツデータＤ３の１ページ目」が表示部４７に表示された後のページ送り操作であるため、それに続く「中国語のコンテンツデータＤ３の２ページ目」が記憶部４５から読み出されて、表示部４７に表示される。表示部４７に次のページが表示されると、ステップＳ２０の処理に戻り、言語切替対応処理が再開される。このようにして、話者は、日本語、英語、中国語の各々の言語で、最初のページから最後のページまでの内容を説明していく。

１ページ目の内容を説明し終えると、話者は、２ページ目の内容について説明を始める。この例では、「中国語のコンテンツデータＤ３の２ページ目」が既に表示されているため、中国語のページを使用するべく引き続き中国語で説明しても良いし、この中国語のページを使用せずに他の言語で説明してもよいが、ここでは、例えば話者が、図８（ａ）に示すように日本語で説明を始めたとする。この場合、マイクロフォン１０には日本語の音声が入力されるから、上述したステップＳ１２０では、音声の言語として「日本語」が識別され、ステップＳ１３０では、話者がマイクロフォン１０に入力する音声の言語を切り替えたと判定される。そして、続くステップＳ１４０では、図４のステップＳ３０において既に話者の操作によって２ページ目が指定されており、その後にページ送り操作は行われていないから、「２ページ」が特定されることになる。そして、ステップＳ１５０では、「日本語のコンテンツデータＤ１の２ページ目」が記憶部４５から読み出され、ステップＳ１６０では、この「日本語のコンテンツデータＤ１の２ページ目」が表示部４７に表示される。つまり、図４のステップＳ４０において、「中国語のコンテンツデータＤ３の２ページ目」が表示部４７に表示された後に、話者によって日本語での説明が始まると、すぐに「日本語のコンテンツデータＤ１の２ページ目」が表示部４７に表示されることになる。

話者は、表示部４７に表示された「日本語のコンテンツデータＤ１の２ページ目」に沿って、この内容を日本語で説明していく。そして、話者が２ページ目の内容を日本語で説明し終えて、例えば図８（ｂ）に示すように中国語で説明を始めると、上述と同様にして、「中国語のコンテンツデータＤ３の２ページ目」が表示部４７に表示される。そして、話者が２ページ目の内容を中国語で説明し終えて、例えば図８（ｃ）に示すように英語で説明を始めると、上述と同様にして、「英語のコンテンツデータＤ２の２ページ目」が表示部４７に表示される。そして、最後のページである１０ページ目の内容を各々の言語で説明し終えると、話者は、操作部４３を操作して処理の終了を指示する。処理の終了が指示されると（図４のステップＳ３０）、コンテンツ表示装置４０はこの処理を終了する。

以上説明した実施形態によれば、話者が使用する言語を切り替えた場合には、新たに使用された言語のコンテンツデータを表示部４７に表示させることができる。これにより、たとえ話者が日本語→英語→中国語などの決まった順序で言語を切り替えて話さなくても、話者が使用した言語のコンテンツデータが表示部４７に表示される。また、話者は、プレゼンテーションを行っている間、他の言語のコンテンツデータに切り替えるための操作を行う必要がない。

［変形例］
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の各変形例を適宜組み合わせてもよい。
（１）上述した実施形態において、ページ特定部４４は、操作部４３から供給された操作信号に基づいて、表示部４７の表示対象となるページを特定していた。これに対し、ページ特定部４４は、記憶部４５に記憶されている各々の言語のコンテンツデータにおいて共通の表示順序が付与されたページを全て表示部４７に表示させた後に、話者が言語を切り替えたと判定された場合には、当該ページの次の表示順序が付与されたページを、表示対象のページとして特定してもよい。例えば、日本語のコンテンツデータＤ１の１ページ目、英語のコンテンツデータＤ２の１ページ目、中国語のコンテンツデータＤ３の１ページ目が全て表示部４７に表示された後に、話者が言語を切り替えたと判定された場合には、１ページ目については全ての言語での説明が終わっているはずであるから、ページ特定部４４は、表示部４７に表示されているページである「１ページ」の次のページである「２ページ」を特定するといった具合である。そして、表示制御部４６は、話者が使用する言語を例えば日本語に切り替えたと判定した場合には、日本語のコンテンツデータＤ１における２ページ目を表示部４７に表示させる。これは２ページ以降についても同様である。これにより、話者が操作部４３を操作してページ送りの指示を行わなくても、自動的にページ送りを行うことができる。

また、上述した実施形態では、話者が操作部４３を操作することにより、最初のページとしてコンテンツ表示装置４０の表示部４７に表示させるコンテンツデータの言語及びページを指定し、表示制御部４６は、操作部４３の操作によって指定されたコンテンツデータにおける指定されたページを表示部４７に表示させていた。これに対し、例えば、話者によって最初のページが表示される前にマイクロフォン１０に音声が入力された場合には、表示制御部４６は、入力された音声に基づいて識別された言語のコンテンツデータの１ページ目を記憶部４５から読み出し、最初のページとして表示部４７に表示させてもよい。また、表示制御部４６は、話者によって予め指定された言語のコンテンツデータの１ページ目を記憶部４５から読み出し、最初のページとして表示部４７に表示させてもよい。この構成によれば、話者が操作部４３を操作しなくて、表示部４７に最初のページが表示される。

（２）上述した実施形態では、話者が日本語と英語と中国語を用いてプレゼンテーションを行う例を挙げたが、例えばプレゼンテーションの聴衆が日本人とフランス人である場合には、話者が日本語とフランス語を用いてプレゼンテーションを行うことになる。この場合には、話者が、日本語とフランス語でコンテンツデータを作成し、日本語のコンテンツデータとフランス語のコンテンツデータとを記憶部４５に記憶させておけばよい。つまり、言語の種類は特に限定されない。

（３）上述した実施形態において、表示制御部４６は、記憶部４５に記憶されている複数のコンテンツデータのうち、ステップＳ１２０において言語識別部４２によって識別された言語のコンテンツデータにおいてステップＳ１４０にて特定されたページのみを読み出して、表示部４７に表示させていた。これに対し、表示制御部４６は、記憶部４５に記憶されている全ての言語のコンテンツデータにおいてステップＳ１４０にて特定されたページを記憶部４５から読み出して、読み出したこれらのページを共に表示部４７に表示させてもよい。この場合、表示制御部４６は、ステップＳ１２０にて識別された言語のコンテンツデータにおいて読み出したページについては、それ以外のコンテンツデータにおいて読み出したページよりも優先的に表示部４７に表示させる。

図９は、この変形例に係る表示部４７の表示形態の一例を示す図である。例えば話者が、図９（ａ）に示すように日本語で説明を始めると、ステップＳ１２０では、音声の言語として「日本語」が識別される。そして、ステップＳ１５０において、表示制御部４６は、「日本語のコンテンツデータＤ１の１ページ目」の他に、「英語のコンテンツデータＤ２の１ページ目」と「中国語のコンテンツデータＤ３の１ページ目」とを記憶部４５から読み出し、ステップＳ１２０において識別された「日本語」のコンテンツデータである「日本語のコンテンツデータＤ１の１ページ目」が大きく表示されるようにこれらのページを合成する。そして、ステップＳ１６０において、表示制御部４６は、合成したページを表示部４７に表示させる。これにより、図９（ａ）に示すように、「日本語のコンテンツデータＤ１の１ページ目」と「英語の言語のコンテンツデータの１ページ目」と「中国語のコンテンツデータＤ３の１ページ目」とが共に表示部４７に表示される。また、「日本語のコンテンツデータＤ１の１ページ目」については、他の言語のコンテンツデータの１ページ目よりも大きく表示される。

そして、話者が１ページ目の内容を日本語で説明し終えて、例えば図９（ｂ）に示すように英語で説明を始めると、ステップＳ１２０では、音声の言語として「英語」が識別される。そして、ステップＳ１５０において、表示制御部４６は、「英語のコンテンツデータＤ２の１ページ目」の他に、「日本語のコンテンツデータＤ１の１ページ目」と「中国語のコンテンツデータＤ３の１ページ目」とを記憶部４５から読み出し、ステップＳ１２０において識別された「英語」のコンテンツデータである「英語のコンテンツデータＤ２の１ページ目」が大きく表示されるようにこれらのページを合成する。そして、ステップＳ１６０において、表示制御部４６は、合成したページを表示部４７に表示させる。これにより、図９（ｂ）に示すように、「英語のコンテンツデータＤ２の１ページ目」と「日本語の言語のコンテンツデータの１ページ目」と「中国語のコンテンツデータＤ３の１ページ目」とが共に表示部４７に表示される。また、「英語のコンテンツデータＤ２の１ページ目」については、他の言語のコンテンツデータの１ページ目よりも大きく表示される。図９（ａ）に示した表示内容から図９（ｂ）に示した表示内容に切り替えられると、プレゼンテーションの聴衆からは、日本語のコンテンツデータＤ１の１ページ目と英語のコンテンツデータＤ２の１ページ目とが入れ替わったように見える。
また、この場合、表示制御部４６は、ステップＳ１２０において識別された言語のコンテンツデータにおいて読み出されたページが最も目立つように、このページが表示部４７の上側に表示されるようにページを合成する、あるいはこのページを太枠などの装飾を行って合成してもよい。また、ステップＳ１２０において識別された言語のコンテンツデータにおいて読み出されたページをカラーで表示し、それ以外の言語のコンテンツデータにおいて読み出されたページを白黒で表示するようにしてもよい。要するに、聴衆が、話者の言語に対応したコンテンツデータがどれであるかを特定し得るように、そのコンテンツデータを他のコンテンツデータとは異なる表示態様で表示すればよい。
これにより、表示部４７には、常に記憶部４５に記憶されている全ての言語のコンテンツデータの同一のページが表示されるため、プレゼンテーションの聴衆が表示部４７の表示内容を理解できず、暇になってしまうという事態を防ぐことができる。

（４）上述した実施形態において、プレゼンテーションシステム１は、マイクロフォン１０と、アンプ装置２０と、スピーカ３０と、コンテンツ表示装置４０とを備えていた。これを変形して、プレゼンテーションシステムが、マイクロフォン１０と、アンプ装置２０と、スピーカ３０と、第１の表示装置であるコンテンツ表示装置４０とのほか、コンテンツ表示装置４０に有線又は無線で接続された複数の端末装置５０を備え、コンテンツ表示装置４０に表示されるコンテンツデータと共通のページが有線又は無線を介して各々の端末装置５０に配信されるようにしてもよい。図１０は、この変形例に係るプレゼンテーションシステム２の構成を示す図である。図に示すマイクロフォン１０と、アンプ装置２０と、スピーカ３０については、上述した実施形態と同様であるため、説明を省略する。端末装置５０は、例えばパーソナルコンピュータなどのコンピュータ装置であり、ＣＰＵ、各種メモリ、通信部、表示部及び不揮発性の記憶部等を有しており、第１の表示装置であるコンテンツ表示装置４０に対する第２の表示装置として機能する。

コンテンツ表示装置４０は、上述したステップＳ１６０において、ステップＳ１５０にて読み出したコンテンツデータのページを表示部４７に表示させると、記憶部４５に記憶されている各々の言語のコンテンツデータにおいて共通のページを読み出し、各々の端末装置５０に同報配信する。このとき、各々の端末装置５０にはその端末装置５０を使用する聴衆が理解可能な言語が予め指定されているものとする。例えば、端末装置５０の利用者によって所望の言語が予め指定されていてもよいし、端末装置５０のオペレーティングシステム(Operating System)において通常使用する言語として設定されている言語、あるいは端末装置５０毎に予め設定されている言語が指定されてもよい。各々の端末装置５０のＣＰＵは、コンテンツ表示装置４０から各々の言語のコンテンツデータにおける共通のページが配信されてくると、これを通信部によって受信し、受信したコンテンツデータのうち、自身に予め指定された言語で作成されたコンテンツデータを取得する。そして、各々の端末装置５０のＣＰＵは、取得したコンテンツデータを表示部４７に表示させる。このとき、端末装置５０のＣＰＵは、各々の端末装置５０に対して指定された言語を用いて作成されたコンテンツデータにおいてページ特定手段によって特定されたページを、記憶手段から取得する取得手段として機能する。また、端末装置５０の表示部は、その取得手段によって取得されたコンテンツデータを表示する表示手段として機能する。

例えば、コンテンツ表示装置４０から、日本語のコンテンツデータＤ１の１ページ目と、英語のコンテンツデータＤ２の１ページ目と、中国語のコンテンツデータＤ３の１ページ目とが配信された場合、図に示すように、日本語が指定されている端末装置５０は、日本語のコンテンツデータＤ１の１ページ目を選択して、これを表示部に表示させる。一方、英語が指定されている端末装置５０は、英語のコンテンツデータＤ２の１ページ目を選択して、これを表示部に表示させる。また、中国語が指定されている端末装置５０は、中国語のコンテンツデータＤ３の１ページ目を選択して、これを表示部に表示させる。これにより、コンテンツ表示装置４０の表示部４７の表示内容が英語や中国語のコンテンツデータにおける共通のページに切り替えられても、例えば日本語が指定されている端末装置５０の表示部には、常に日本語のコンテンツデータＤ１の１ページ目が表示される。従って、この端末装置５０を利用する利用者は、自身が利用する端末装置５０の表示部に表示される単一の言語のコンテンツデータにおける共通のページをじっくりと閲覧することができる。
なお、この変形例において、コンテンツ表示装置４０は、記憶部４５に記憶されている各々の言語のコンテンツデータにおける共通のページを読み出し、各々の端末装置５０に同報配信していたが、これに代えて、記憶部４５から読み出した各言語のコンテンツデータのうち、それぞれの端末装置５０に応じたコンテンツデータを個別に配信するようにしてもよい。

また、話者は、操作部４３を操作することにより、コンテンツ表示装置４０の表示部４７に表示されているコンテンツデータに対して、線を引いたり手書きの文字を書き込んだりすることがある。この場合、コンテンツ表示装置４０は、コンテンツデータに付加された線や手書きの文字などの装飾情報を、各々の言語のコンテンツデータとともに端末装置５０に配信してもよい。各々の端末装置５０は、予め指定された言語のコンテンツデータとともに装飾情報を取得し、取得したコンテンツデータにこの装飾情報を付加して表示部に表示させる。

例えば、話者が、操作部４３を操作することにより、コンテンツ表示装置４０の表示部４７に表示されている日本語のコンテンツデータＤ１の１ページ目の右上に、「重要」という手書きの文字を書き込んだとする。この場合、コンテンツ表示部４７は、日本語のコンテンツデータＤ１の１ページ目と英語のコンテンツデータＤ２の１ページ目と中国語のコンテンツデータＤ３の１ページ目とともに、この手書き文字と、手書き文字が書き込まれた位置を表す位置情報を含む装飾情報を配信する。各々の端末装置５０は、予め指定された言語のコンテンツデータの１ページ目とともに装飾情報を取得し、各々の言語のコンテンツデータの右上に「重要」という手書き文字を付加して表示部に表示させる。

また、例えばこのプレゼンテーションシステム２を学校で使用した場合を想定する。この場合、上述したコンテンツ表示装置４０を先生用装置とし、上述した端末装置５０を生徒用装置とすると、各々の生徒用装置を利用する生徒は、自身が利用する生徒用装置の表示部を互いに参照し合うことにより、他の言語を使用する生徒との間で、先生が説明している内容を理解し合うことができる。また、他の言語が指定されている生徒用装置の表示部の表示内容を参照することにより、言語学習を行うことができる。

（５）上述したコンテンツ表示装置４０又は端末装置５０のＣＰＵが実行するソフトウェアなどのプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭなどの記録媒体に記録した状態で提供し得る。また、インターネットなどのネットワーク経由でコンピュータにダウンロードさせることも可能である。即ち、本発明をプログラムとして実現することもできる。

本発明に係るプレゼンテーションシステム１を示す図である。 コンテンツ表示装置４０の構成を示す図である。 記憶部４５に記憶されているコンテンツデータの一例を示す図である。 コンテンツ表示装置４０の動作を示すフロー図である。 最初のページが指定される様子を示す図である。 言語切替対応処理を示すフロー図である。 各々の言語で１ページ目の説明が行われる様子を示す図である。 各々の言語で２ページ目の説明が行われる様子を示す図である。 変形例に係る表示部４７の表示形態の一例を示す図である。 変形例に係るプレゼンテーションシステム２の構成を示す図である。

符号の説明

１，２…プレゼンテーションシステム、１０…マイクロフォン、２０…アンプ装置、３０…スピーカ、４０…コンテンツ表示装置、４０ａ…コンピュータ装置、４０ｂ…表示機器、４１…音声入力部、４２…言語識別部、４３…操作部、４４…ページ特定部、４５…記憶部、４６…表示制御部、４７…表示部、５０…端末装置。

Claims (5)

1. 各々が１又は複数のページで構成され、それぞれ異なる言語を用いて作成された複数の情報を記憶する記憶手段と、
   前記情報を構成するページのうち、表示対象となるページを特定するページ特定手段と、
   話者がある言語を使用して発した音声に基づいて、当該話者が使用した言語を識別する言語識別手段と、
   前記言語識別手段によって識別された言語に基づいて、前記話者が使用する言語を切り替えたか否かを判定する判定手段と、
   前記判定手段によって前記話者が使用する言語を切り替えたと判定された場合には、前記言語識別手段によって識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記記憶手段から読み出して表示手段に表示させる表示制御手段と
   を備えることを特徴とする表示制御装置。
2. 各々の前記情報は、それぞれ表示順序が付与された複数のページで構成され、
   前記ページ特定手段は、各々の前記情報において共通の表示順序が付与されたページを全て表示手段に表示させた後に、前記判定手段によって前記話者が言語を切り替えたと判定された場合には、当該ページの次の表示順序が付与されたページを、表示対象のページとして特定する
   ことを特徴とする請求項１記載の表示制御装置。
3. 前記表示制御手段は、
   前記言語識別手段によって識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページと、前記識別された言語を用いて作成された情報以外の情報において前記ページ特定手段によって特定されたページとを読み出し、読み出したページを共に表示手段に表示させ、
   この表示の際に、前記識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記識別された言語を用いて作成された情報以外の情報において前記ページ特定手段によって特定されたページよりも優先的に表示手段に表示させる
   ことを特徴とする請求項１記載の表示制御装置。
4. コンピュータを、
   各々が１又は複数のページで構成され、それぞれ異なる言語を用いて作成された複数の情報を記憶する記憶手段と、
   前記情報を構成するページのうち、表示対象となるページを特定するページ特定手段と、
   話者がある言語を使用して発した音声に基づいて、当該話者が使用した言語を識別する言語識別手段と、
   前記言語識別手段によって識別された言語に基づいて、前記話者が使用する言語を切り替えたか否かを判定する判定手段と、
   前記判定手段によって前記話者が使用する言語を切り替えたと判定された場合には、前記言語識別手段によって識別された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記記憶手段から読み出して表示手段に表示させる表示制御手段と
   して機能させるためのプログラム。
5. 請求項１乃至３のいずれか１項に記載の表示制御装置と、
   前記表示制御手段によって前記ページが表示させられる表示手段である第１の表示装置と、
   前記表示制御装置に接続された複数の第２の表示装置とを備え、
   各々の前記第２の表示装置は、
   各々の前記第２の表示装置に対して指定された言語を用いて作成された情報において前記ページ特定手段によって特定されたページを、前記表示制御装置の前記記憶手段から取得する取得手段と、
   前記取得手段によって取得された情報を表示する表示手段と
   を備えることを特徴とする表示システム。

Images