JP2022087571A - 表示装置の制御方法、及び表示装置 - Google Patents

Abstract

【課題】ユーザーが着目すべき画像の音声をユーザーが聞き取り易くできるようにすること。【解決手段】プロジェクター１の制御方法は、第１画像ソースから入力された第１入力画像と、第２画像ソースから入力された第２入力画像とを含む合成画像を表示し、第１画像ソースから入力された第１入力音声と、第２画像ソースから入力された第２入力音声とを含む合成音声を出力し、第１入力画像の更新頻度が第２入力画像の更新頻度より大きい場合、第１入力音声の音量を第２入力音声の音量より大きくする。【選択図】図３

Description

本発明は、表示装置の制御方法、及び表示装置に関する。

従来、複数の画像を同時に表示すると共に、複数の画像の音声を出力する技術が知られている。
例えば、特許文献１は、メイン画面とサブ画面との各々で動画を再生する際、サブ画面の透明度に応じてメイン画面における音声とサブ画面における音声との音量比を調整する動画再生装置を開示する。

特開２００９－５５５４１号公報

特許文献１記載の装置では、設定されたサブ画面の透明度に応じて音量比を調整するため、サブ画面が表示する動画をユーザーが着目して視聴したいと望む場合に、サブ画面が表示する動画の音声がユーザーにとって聞き難い場合があり得る。

上記課題を解決する一態様は、第１画像ソースから入力された第１画像と、第２画像ソースから入力された第２画像とを含む第３画像を表示し、前記第１画像ソースから入力された第１音声と、前記第２画像ソースから入力された第２音声とを含む第３音声を出力し、前記第１画像の更新量が前記第２画像の更新量より大きい場合、前記第１音声の音量を前記第２音声の音量より大きくする、表示装置の制御方法である。

上記課題を解決する別の一態様は、第１画像ソースから入力された第１画像と、第２画像ソースから入力された第２画像とを含む第３画像を表示する表示部と、前記第１画像ソースから入力された第１音声と、前記第２画像ソースから入力された第２音声とを含む第３音声を出力する音声出力部と、前記第１画像の更新量が前記第２画像の更新量より大きい場合、前記第１音声の音量を前記第２音声の音量より小さくする制御部と、を備える、表示装置である。

表示システムの構成を示す図。 ＰＣの構成を示す図。 プロジェクターの構成を示す図。 プロジェクターの動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。

図１は、表示システム１０００の構成を示す図である。
表示システム１０００は、プロジェクター１と、ＰＣ（Personal Computer）２Ａ、２Ｂ、２Ｃ、２Ｄの４台のＰＣ２を備える。４台のＰＣ２の各々は、ネットワークＮＷを介してプロジェクター１と通信可能に接続する。ネットワークＮＷは、ローカルネットワークでもよいし、専用回線や、公衆回線網、インターネット等を含んで構成されるグローバルネットワークでもよい。なお、表示システム１０００が備えるＰＣ２の台数は、４台に限定されず、さらに多くてもよく少なくてもよい。
プロジェクター１は、表示装置の一例に対応する。

４台のＰＣ２の各々は、プロジェクター１に画像データを出力する画像供給装置、いわゆる画像ソースである。図１においてＰＣ２のノート型ＰＣを例示しているが、ＰＣ２は、デスクトップ型ＰＣでもタブレット型ＰＣでもスマートフォンでもよい。ＰＣ２がプロジェクター１に出力する画像データは、所定規格に準拠した画像データであり音声データを伴う。ＰＣ２がプロジェクター１に出力する画像データは、静止画像データでも動画像データでもよい。なお、本実施形態では、音声データを伴う画像データを例示するが、ＰＣ２がプロジェクター１に出力する画像データは、音声データが伴っていなくてもよい。

プロジェクター１は、外部装置として画像供給装置が接続され、画像供給装置から入力される画像データに基づいて画像光を投写することで、投写面としてのスクリーンＳＣに画像を表示する。スクリーンＳＣは、幕状のスクリーンであってもよいし、建造物の壁面や設置物の平面をスクリーンＳＣとして利用してもよい。スクリーンＳＣは平面に限らず、曲面や、凹凸を有する面であってもよい。

プロジェクター１は、スクリーンＳＣの表示領域１００が複数に分割された各領域に、複数のＰＣ２の各々から入力される画像データに基づく画像を並べて表示する、いわゆる多画面表示機能を有する。
以下の説明において、分割された各領域を分割領域という。なお、表示領域１００は、１又は複数のＰＣ２から入力された画像データに基づく画像を含む画像が表示される領域である。
また、以下の説明では、１の画像ソースから入力された画像データに基づく画像を「入力画像」といい「ＮＧ」の符号を付す。
また、以下の説明では、１又は複数の入力画像ＮＧを含む画像を「合成画像」といい「ＧＧ」の符号を付す。合成画像ＧＧは、第３画像の一例に対応する。

図１には、４分割された表示領域１００を示す。
スクリーンＳＣの表示領域１００は、分割領域１００Ａ、１００Ｂ、１００Ｃ、１００Ｄの４つの分割領域に分割され、分割領域１００Ａ、１００Ｂ、１００Ｃ、１００Ｄの各々に入力画像ＮＧが表示される。より詳細には、分割領域１００Ａには、ＰＣ２Ａからの入力画像ＮＧ１が表示される。また、分割領域１００Ｂには、ＰＣ２Ｂからの入力画像ＮＧ２が表示される。また、分割領域１００Ｃには、ＰＣ２Ｃからの入力画像ＮＧ３が表示される。また、分割領域１００Ｄには、ＰＣ２Ｄからの入力画像ＮＧ４が表示される。これにより、スクリーンＳＣの表示領域１００には、入力画像ＮＧ１、ＮＧ２、ＮＧ３、ＮＧ４を含み、これら入力画像ＮＧが縦横二列で並んだ合成画像ＧＧが表示される。

図１には、表示領域１００を４分割した場合を示すが、表示領域１００の分割数は任意である。表示領域１００の分割数は、さらに多くてもよく少なくてもよい。また、表示領域１００の分割数は、ネットワークＮＷに接続したＰＣ２の数に応じた分割数でもよい。

図２は、ＰＣ２の構成を示す図である。
図２では、ＰＣ２Ａを代表してＰＣ２の構成を説明する。なお、ＰＣ２Ｂ、２Ｃ、２Ｄの各々は、ＰＣ２Ａの構成と同様の構成である。

ＰＣ２は、ＰＣ制御部２０、ＰＣ通信部２１、ＰＣ表示部２２、及びＰＣ入力部２３を備える。

ＰＣ制御部２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-processing unit）等のプログラムを実行するプロセッサーであるＰＣプロセッサー２００、及びＰＣ記憶部２１０を備え、ＰＣ２の各部を制御する。ＰＣ制御部２０は、ＰＣプロセッサー２００が、ＰＣ記憶部２１０に記憶されたプログラムを読み出し、ハードウェア及びソフトウェアにより各種処理を実行する。

ＰＣ記憶部２１０は、ＰＣプロセッサー２００が実行するプログラムや、ＰＣプロセッサー２００で処理されるデータを記憶する。ＰＣ記憶部２１０は、ＰＣプロセッサー２００が実行するプログラム、プロジェクター１に出力する画像データ、プロジェクター１の多画面表示機能を制御可能なアプリケーションプログラムであるＰＪ制御アプリ２１１、その他の各種データを記憶する。ＰＣ記憶部２１０は、不揮発性の記憶領域を有する。ＰＣ記憶部２１０は、揮発性の記憶領域を備え、ＰＣプロセッサー２００のワークエリアを構成してもよい。

ＰＣ通信部２１は、所定の通信規格で通信を行う通信ハードウェアを備え、ＰＣ制御部２０の制御に従って、ネットワークＮＷを介して接続するプロジェクター１と通信する。ＰＣ通信部２１は、ＰＪ制御アプリ２１１の機能によって、画像データや各種制御情報を含むフレームデータの送受信をプロジェクター１に対して行う。

ＰＣ表示部２２は、ＬＥＤ（Light Emitting Diode）やＯＬＥＤ（Organic Light Emitting Diode）などで構成されるディスプレイであり、ＰＣ制御部２０の制御に従って、所定の態様で情報の表示を実行する。ＰＣ表示部２２は、ＰＣ２と接続する外部機器でもよい。

ＰＣ入力部２３は、ＰＣ２に設けられた操作スイッチや、タッチ入力式のパネル、マウス、キーボード等の入力手段と接続し、ユーザーの入力操作を検出し、検出結果をＰＣ制御部２０に出力する入力インターフェースである。ＰＣ制御部２０は、ＰＣ入力部２３からの入力に基づいて、入力操作に対応する処理を実行する。

図３は、プロジェクター１の構成を示す図である。

プロジェクター１は、ＰＪ制御部１０を備える。
ＰＪ制御部１０は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるＰＪプロセッサー１１０、及びＰＪ記憶部１２０を備え、プロジェクター１の各部を制御する。ＰＪ制御部１０は、ＰＪプロセッサー１１０が、ＰＪ記憶部１２０に記憶された制御プログラム１２１を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。また、ＰＪ制御部１０は、ＰＪプロセッサー１１０が制御プログラム１２１を読み出して実行することにより、投写制御部１１１、バッファー制御部１１２、合成画像制御部１１３、及び音声制御部１１４として機能する。これら機能ブロックの詳細については後述する。

ＰＪ記憶部１２０は、ＰＪプロセッサー１１０が実行するプログラムや、ＰＪプロセッサー１１０により処理されるデータを記憶する記憶領域を有する。ＰＪ記憶部１２０は、プログラムやデータを不揮発的に記憶する不揮発性記憶領域を有する。また、ＰＪ記憶部１２０は、揮発性記憶領域を備え、ＰＪプロセッサー１１０が実行するプログラムや処理対象のデータを一時的に記憶するワークエリアを構成してもよい。

ＰＪ記憶部１２０は、ＰＪプロセッサー１１０が実行する制御プログラム１２１の他に、設定データ１２２を記憶する。設定データ１２２は、プロジェクター１の動作に関する設定値を含む。設定データ１２２に含まれる設定値としては、例えば、スピーカー１８１が出力する音声の音量の設定値や、画像処理部１５及びＯＳＤ処理部１６が実行する処理内容を示す設定値、画像処理部１５及びＯＳＤ処理部１６の処理に用いるパラメーター等である。
スピーカー１８１は、音声出力部の一例に対応する。

プロジェクター１は、第１インターフェース部１１、第２インターフェース部１２、バッファー部１３、フレームメモリー１４、画像処理部１５、ＯＳＤ処理部１６、操作部１７、及び音声処理部１８を備える。これらの各部は、バス２５を介してＰＪ制御部１０とデータ通信可能に接続される。

第１インターフェース部１１は、所定の通信規格に準拠したコネクター及びインターフェース回路等の通信ハードウェアを備える。第１インターフェース部１１は、ＰＪ制御部１０の制御に従って、所定の通信規格に従って、画像供給装置との間で画像データや制御データ等を送受信する。第１インターフェース部１１のインターフェースは、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）や、Ｄｉｓｐｌａｙｐｏｒｔ、ＨＤＢａｓｅＴ、ＵＳＢ Ｔｙｐｅ－Ｃ、３Ｇ－ＳＤＩ（Serial Digital Interface）等の映像及び音声をデジタルで伝送可能なインターフェースを用いることができる。ＨＤＭＩは、登録商標である。ＨＤＢａｓｅＴは、登録商標である。また、インターフェースとして、ＵＳＢ等のデータ通信用のインターフェースを用いることができる。また、インターフェースとして、ＲＣＡ端子や、ＶＧＡ端子、Ｓ端子、Ｄ端子等のアナログの映像端子を備え、アナログの映像信号を送受信可能なインターフェースを用いることができる。

第２インターフェース部１２は、ネットワークＮＷに接続されるコネクターやインターフェース回路等の通信ハードウェアを備え、ネットワークＮＷを介して接続されたＰＣ２と所定の通信規格に従って通信する。第２インターフェース部１２は、ネットワークＮＷを介してＰＣ２からフレームデータを受信し、受信したフレームデータをＰＪ制御部１０に出力する。

バッファー部１３は、フレームデータに含まれる画像データを一時記憶する記憶領域を有する。バッファー部１３は、ＰＪ記憶部１２０の記憶領域に形成されてもよい。バッファー部１３は、画像データを、画像データの送信元であるＰＣ２ごとに記憶するため、独立した記憶領域である画像バッファー１３Ａ、１３Ｂ、１３Ｃ、１３Ｄを有する。画像バッファー１３Ａ、１３Ｂ、１３Ｃ、１３Ｄは、１つの記憶領域を仮想的に分割したものであってもよい。
なお、バッファー部１３が有する画像バッファーの数は任意であるが、バッファー部１３は、表示領域１００を分割する分割数の最大値に応じた画像バッファーを有することが好ましい。本実施形態では、分割数の最大値を４としているため、バッファー部１３が画像バッファー１３Ａ、１３Ｂ、１３Ｃ、１３Ｄを有する場合を例示している。

フレームメモリー１４、画像処理部１５、及びＯＳＤ処理部１６は、例えば集積回路により構成される。集積回路には、ＬＳＩ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System-on-a-chip）等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれてもよく、ＰＪ制御部１０と集積回路とが組み合わる構成でもよい。

フレームメモリー１４は、複数のバンクを備える。各バンクは、１フレームを書き込み可能な記憶容量を有する。フレームメモリー１４は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）により構成される。

画像処理部１５は、フレームメモリー１４に展開された画像データに対して、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等の画像処理を行う。画像処理部１５は、ＰＪ制御部１０により指定された処理を実行し、必要に応じて、ＰＪ制御部１０から入力されるパラメーターを使用して処理を行う。また、画像処理部１５は、上記のうち複数の画像処理を組み合わせて実行することも可能である。
画像処理部１５は、処理の終了した画像データをフレームメモリー１４から読み出してＯＳＤ処理部１６に出力する。

ＯＳＤ処理部１６は、ＰＪ制御部１０の制御に基づいて、画像処理部１５から入力された画像データが示す画像上に、プロジェクター１の設定に係るユーザーインターフェースである設定ＵＩを重畳するための処理を行う。
ＯＳＤ処理部１６は、ＰＪ制御部１０が設定ＵＩの重畳を指示すると、画像処理部１５から入力された画像データが示す画像上の所定の位置に設定ＵＩが重畳されるように、画像処理部１５から入力される画像データに設定ＵＩの画像データを合成する。合成された画像データは、光変調装置駆動回路２４２に出力される。なお、ＰＪ制御部１０から設定ＵＩを重畳する旨の指示がない場合には、ＯＳＤ処理部１６は、画像処理部１５から入力される画像データを、加工することなくそのまま光変調装置駆動回路２４２に出力する。

操作部１７は、操作パネル１７１、リモコン受光部１７２、及び入力処理部１７３を備える。

操作パネル１７１は、プロジェクター１の筐体に設けられ、ユーザーが操作可能な各種スイッチを備える。入力処理部１７３は、操作パネル１７１の各スイッチの操作を検出する。
リモコン受光部１７２は、リモコン３が送信する赤外線信号を受光する。入力処理部１７３は、リモコン受光部１７２が受光した信号をデコードして、操作データを生成し、ＰＪ制御部１０に出力する。
入力処理部１７３は、操作パネル１７１、及びリモコン受光部１７２に接続される。入力処理部１７３は、操作パネル１７１またはリモコン受光部１７２でユーザーの操作を受け付けた場合に、受け付けた操作に対応する操作データを生成してＰＪ制御部１０に出力する。

音声処理部１８は、スピーカー１８１、アンプ１８２、及び信号処理部１８３を備える。なお、音声処理部１８は、マイクを備えていてもよい。

信号処理部１８３は、ＰＪ制御部１０からデジタルの音声データが入力された場合、入力された音声データをデジタルからアナログに変換する。信号処理部１８３は、ＰＪ制御部１０から複数の音声データが入力された場合、複数の音声データを合成し、合成した音声データをデジタルからアナログに変換する。信号処理部１８３は、アナログに変換した音声データをアンプ１８２に出力する。

本実施形態では、プロジェクター１が多画面表示機能を実行中、ＰＪ制御部１０は、１又は複数のＰＣ２から入力された音声データを信号処理部１８３に出力する。信号処理部１８３は、１又は複数の音声データを合成した音声データをアンプ１８２に出力する。

アンプ１８２は、信号処理部１８３から入力された音声データが示す音声の音量を、ユーザーが指定した音量に応じた増幅率で増幅する。スピーカー１８１は、アンプ１８２が増幅した音量で、信号処理部１８３が出力した音声データに基づく音声を出力する。

本実施形態では、プロジェクター１が多画面表示機能を実行中、スピーカー１８１は、信号処理部１８３が合成した音声データに基づく音声を出力する。
以下の説明では、この音声を合成音声という。合成音声は、第３音声の一例に対応する。

プロジェクター１は、投写部１９と、投写部１９を駆動する駆動部２４とを備える。
投写部１９は、光源部１９１、光変調装置１９２、及び投写光学系１９３を備える。駆動部２４は、光源駆動回路２４１、及び光変調装置駆動回路２４２を備える。

光源駆動回路２４１は、バス２５を介してＰＪ制御部１０に接続され、また、光源部１９１に接続される。光源駆動回路２４１は、ＰＪ制御部１０の制御に従って光源部１９１を点灯又は消灯させる。

光変調装置駆動回路２４２は、バス２５を介してＰＪ制御部１０に接続され、また、光変調装置１９２が接続される。光変調装置駆動回路２４２は、ＰＪ制御部１０の制御に従って、光変調装置１９２を駆動し、光変調装置１９２が具備する光変調素子にフレーム単位で画像を描画する。光変調装置駆動回路２４２には、画像処理部１５からＲ、Ｇ、Ｂの各原色に対応する画像データが入力される。光変調装置駆動回路２４２は、入力された画像データを、光変調装置１９２が具備する光変調素子である液晶パネルの動作に適したデータ信号に変換する。光変調装置駆動回路２４２は、変換したデータ信号に基づいて、各液晶パネルの各画素に電圧を印加し、各液晶パネルに画像を描画する。

光源部１９１は、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ、或いは、ＬＥＤやレーザー光源等の固体光源で構成される。光源部１９１は、光源駆動回路２４１から供給される電力により点灯し、光変調装置１９２に向けて光を発する。

光変調装置１９２は、例えば、Ｒ、Ｇ、及び、Ｂの三原色に対応した３枚の液晶パネルを備える。Ｒは赤色を示し、Ｇは緑色を示し、Ｂは青色を示す。光源部１９１から射出される光は、ＲＧＢの３色の色光に分離され、それぞれ対応する液晶パネルに入射される。３枚の液晶パネルの各々は、透過型の液晶パネルであり、透過する光を変調して画像光を生成する。各液晶パネルを通過して変調された画像光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投写光学系１９３に射出される。
本実施形態では、光変調装置１９２が光変調素子として透過型の液晶パネルを備える場合を例示するが、光変調素子は反射型の液晶パネルであってもよいし、デジタルミラーデバイス（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）でもよい。

投写光学系１９３は、光変調装置１９２により変調された画像光をスクリーンＳＣ上に結像させるレンズやミラー等を備える。投写光学系１９３は、スクリーンＳＣに投写される画像を拡大又は縮小させるズーム機構や、フォーカスの調整を行うフォーカス調整機構等を備えてもよい。

上述した通り、ＰＪ制御部１０は、投写制御部１１１、バッファー制御部１１２、合成画像制御部１１３、及び音声制御部１１４として機能する。

投写制御部１１１は、画像処理部１５や、ＯＳＤ処理部１６、駆動部２４等を制御して、スクリーンＳＣに画像を投写させる。

具体的には、投写制御部１１１は、画像処理部１５を制御して、フレームメモリー１４に展開された画像データを画像処理部１５に処理させる。この際、投写制御部１１１は、画像処理部１５が処理に必要なパラメーターをＰＪ記憶部１２０から読み出して画像処理部１５に出力する。

また、投写制御部１１１は、ＯＳＤ処理部１６を制御して、画像処理部１５から入力された画像データをＯＳＤ処理部１６に処理させる。

また、投写制御部１１１は、光源駆動回路２４１及び光変調装置駆動回路２４２を制御して、光源駆動回路２４１によって光源部１９１を点灯させ、光変調装置駆動回路２４２により光変調装置１９２を駆動させ、投写部１９によって画像光を投写してスクリーンＳＣに画像を表示する。また、投写制御部１１１は、投写光学系１９３を制御してモーターを起動させ、投写光学系１９３のズームやフォーカスを調整する。

バッファー制御部１１２は、第２インターフェース部１２からフレームデータを取得する。バッファー制御部１１２は、取得したフレームデータから、フレームデータの送信元を示す送信元アドレス、及び画像データを取得する。次いで、バッファー制御部１１２は、取得した送信元アドレスに基づいて送信元のＰＣ２を特定し、特定したＰＣ２に対応する画像バッファーに取得した画像データを記憶させる。

本実施形態では、バッファー制御部１１２は、第２インターフェース部１２がＰＣ２Ａからフレームデータを受信した場合、フレームデータに含まれる画像データを、画像バッファー１３Ａに記憶させる。また、バッファー制御部１１２は、第２インターフェース部１２がＰＣ２Ｂからフレームデータを受信した場合、フレームデータに含まれる画像データを、画像バッファー１３Ｂに記憶させる。また、バッファー制御部１１２は、第２インターフェース部１２がＰＣ２Ｃからフレームデータを受信した場合、フレームデータに含まれる画像データを、画像バッファー１３Ｃに記憶させる。また、バッファー制御部１１２は、第２インターフェース部１２がＰＣ２Ｄからフレームデータを受信した場合、フレームデータに含まれる画像データを、画像バッファー１３Ｄに記憶させる。

合成画像制御部１１３は、合成画像設定情報を生成し、生成した合成画像設定情報を画像処理部１５に出力する。

合成画像設定情報とは、表示領域１００を分割する分割数、及び、１の分割領域とネットワークＮＷを介して接続する１のＰＣ２との対応関係、が少なくとも設定された情報である。ここで、分割数、及び、分割領域とＰＣ２との対応関係は、プロジェクター１が表示する設定ＵＩによって設定されてもよいし、ＰＣ２において設定されてもよい。後者の構成の場合、ＰＣ２のＰＣ制御部２０は、ＰＪ制御アプリ２１１の機能によって、分割数、及び、分割領域とＰＣ２との対応関係を少なくとも設定可能なユーザーインターフェースをＰＣ表示部２２に表示する。そして、ＰＣ制御部２０は、ＰＪ制御アプリ２１１の機能によって、このユーザーインターフェースによって受け付けた設定を示す情報をＰＣ通信部２１によりプロジェクター１に送信する。プロジェクター１の合成画像制御部１１３は、第２インターフェース部１２によって設定を示す情報を受信し、受信した設定を示す情報に基づいて合成画像設定情報を生成する。

画像処理部１５は、画像バッファー１３Ａ、１３Ｂ、１３Ｃ、１３Ｄから画像データを読み出し、読み出した画像データを合成画像制御部１１３から取得した合成画像設定情報に従ってフレームメモリー１４に展開する。

例えば、合成画像設定情報では、分割数が４に設定され、分割領域１００ＡとＰＣ２Ａとが対応付けられ、分割領域１００ＢとＰＣ２Ｂとが対応付けられ、分割領域１００ＣとＰＣ２Ｃとが対応付けられ、分割領域１００ＤとＰＣ２Ｄとが対応付けられているとする。
この例の場合、画像処理部１５は、画像バッファー１３Ａから読み出した画像データを、分割領域１００Ａに対応するフレームメモリー１４の記憶領域に展開する。また、画像処理部１５は、画像バッファー１３Ｂから読み出した画像データを、分割領域１００Ｂに対応するフレームメモリー１４の記憶領域に展開する。また、画像処理部１５は、画像バッファー１３Ｃから読み出した画像データを、分割領域１００Ｃに対応するフレームメモリー１４の記憶領域に展開する。また、画像処理部１５は、画像バッファー１３Ｄから読み出した画像データを、分割領域１００Ｄに対応するフレームメモリー１４の記憶領域に展開する。

画像処理部１５は、展開した入力画像ＮＧの画像データに対して各種画像処理を行い、画像処理を施した画像データをフレームメモリー１４から読み出し、表示用の画像データとして光変調装置駆動回路２４２に出力する。

音声制御部１１４は、１又は複数のＰＣ２から入力された音声データが示す音声の音量を、図４に示す動作を実行して制御する。以下の説明では、１又は複数のＰＣ２から入力された音声データが示す音声を「入力音声」という。

次に、プロジェクター１の動作について説明する。
図４は、プロジェクター１の動作を示すフローチャートである。
図４に示すフローチャートでは、プロジェクター１が多画面表示機能を実行しているとする。また、図４に示すフローチャートでは、複数のＰＣ２から画像データと音声データとがプロジェクター１に入力されているとする。

音声制御部１１４は、入力画像ＮＧの画像データを出力する複数のＰＣ２に、優先画像ソースとして設定されたＰＣ２があるか否かを判別する（ステップＳＡ１）。

優先画像ソースとは、音声出力を他の画像ソースより優先する画像ソースを示す。優先画像ソースであるか否かは、設定ＵＩにおいて設定されてもよいし、ＰＪ制御アプリ２１１の機能によってＰＣ２で設定されてもよい。後者の構成の場合、ＰＣ２のＰＣ制御部２０は、ＰＪ制御アプリ２１１の機能によって、優先画像ソースを少なくとも設定可能なユーザーインターフェースをＰＣ表示部２２に表示する。そして、ＰＣ制御部２０は、ＰＪ制御アプリ２１１の機能によって、このユーザーインターフェースによって受け付けた設定を示す情報をＰＣ通信部２１によりプロジェクター１に送信する。プロジェクター１の音声制御部１１４は、第２インターフェース部１２によってこの情報を受信し、受信した情報に基づいて優先画像ソースが設定されているか否かを判別する。

音声制御部１１４は、優先画像ソースとして設定されたＰＣ２があると判別した場合（ステップＳＡ１：ＹＥＳ）、優先画像ソースからの入力音声について合成音声における音量の割合を１００％に決定し、他の画像ソースからの入力音声については合成音声における音量の割合を０％に決定する（ステップＳＡ２）。

音声制御部１１４は、ステップＳＡ２で決定した音量の割合で合成音声をスピーカー１８１に出力させる（ステップＳＡ３）。例えば、音声制御部１１４は、合成画像に含まれる各入力音声の音量がステップＳＡ２で決定した音量の割合となるように、ＰＣ２から入力された音声データを加工し、加工した音声データを信号処理部１８３に出力する。また、例えば、音声制御部１１４は、合成画像に含まれる各入力音声の音量がステップＳＡ２で決定した音量の割合となるように音声データを加工する指示を、信号処理部１８３に出力する。

例えば、図１の表示システム１０００の表示態様において、ＰＣ２Ａが優先画像ソースに設定されている場合、音声制御部１１４は、ＰＣ２Ａからの入力音声について合成音声における音量の割合を１００％に決定し、ＰＣ２Ｂ、２Ｃ、２Ｄからの入力音声については合成音声における音量の割合を０％に決定する。これにより、音声制御部１１４は、優先画像ソースでないＰＣ２Ｂ、２Ｃ、２Ｄから音声データが入力されても、優先画像ソースであるＰＣ２Ａからの入力音声のみをユーザーが聞き取ることができる。

ステップＳＡ１の説明に戻り、音声制御部１１４は、優先画像ソースとして設定されたＰＣ２がないと判別した場合（ステップＳＡ１：ＮＯ）、全入力音声について音量レベルをゼロにする（ステップＳＡ４）。音量レベルは、最も音量が小さいレベルを「０」とし、最も音量が大きいレベルまで段階的な値をとる。

次いで、音声制御部１１４は、予め定められた所定時間が経過したか否かを判別する（ステップＳＡ５）。

フローチャート開始後に初めてステップＳＡ５の処理を実行する場合、音声制御部１１４は、例えば、フローチャート開始後から予め定められた所定時間が経過したか否かを判別する。フローチャート開始後、ステップＳＡ５の処理回数が２回目以降の場合、音声制御部１１４は、前回に所定時間が経過したと判別してから、予め定められた所定時間が経過したか否かを判別する。

音声制御部１１４は、予め定められた所定時間が経過していないと判別した場合（ステップＳＡ５：ＮＯ）、再度、ステップＳＡ５の処理を行う。

一方、音声制御部１１４は、予め定められた所定時間が経過したと判別した場合（ステップＳＡ５：ＹＥＳ）、音声レベル決定処理を行う（ステップＳＡ６）。

図５は、音声レベル決定処理におけるプロジェクター１の動作を示すフローチャートである。

音声制御部１１４は、ネットワークＮＷに接続する１のＰＣ２、すなわちプロジェクター１に接続する１の画像ソースを、ステップＳＡ６２以降の処理対象として特定する（ステップＳＡ６１）。

音声制御部１１４は、ステップＳＡ６１で特定したＰＣ２からの入力画像ＮＧの更新頻度が、所定頻度を上回るか否かを判別する（ステップＳＡ６２）。
更新頻度は、更新量の一例に対応する。

更新頻度は、単位時間あたりにおいて入力画像ＮＧが更新された頻度を示す。一般に、単位時間あたりの更新頻度は、静止画より動画像のほうが大きい。また、静止画でもポインターが画面上を移動すれば、ポインターが移動しない場合より更新頻度が大きくなる。音声制御部１１４は、単位時間におけるフレームデータの受信数を更新頻度とし、当該受信数が所定頻度としての所定数を上回るか否かを判別する。この所定数は、予め定められている。

音声制御部１１４は、更新頻度が所定頻度を上回ると判別した場合（ステップＳＡ６２：ＹＥＳ）、ステップＳＡ６１で特定したＰＣ２からの入力音声の音量レベルを１段階上げる（ステップＳＡ６３）。

音声制御部１１４は、更新頻度が所定頻度を上回らないと判別した場合（ステップＳＡ６２：ＮＯ）、ステップＳＡ６１で特定したＰＣ２からの入力音声の音量レベルを変更しない（ステップＳＡ６４）。

次いで、音声制御部１１４は、ネットワークＮＷを介して接続する全てのＰＣ２をステップＳＡ６１で特定したか否かを判別する（ステップＳＡ６５）。

音声制御部１１４は、ステップＳＡ６５において、ネットワークＮＷを介して接続する全てのＰＣ２をステップＳＡ６１で特定していないと判別した場合（ステップＳＡ６５：ＮＯ）、処理をステップＳＡ６１に戻し、未特定のＰＣ２を１つ特定して、ステップＳＡ６２以降の処理を再度行う。

一方、音声制御部１１４は、ステップＳＡ６５において、ネットワークＮＷを介して接続する全てのＰＣ２をステップＳＡ６１で特定したと判別した場合（ステップＳＡ６５：ＹＥＳ）、音声レベル決定処理を終了する。

図４に示すフローチャートの説明に戻り、音声制御部１１４は、音声レベル決定処理で決定した音声レベルに基づいて、入力音声の各々について合成音声における音量の割合を、次の式（１）に基づいて算出する（ステップＳＡ７）。

音量の割合＝（音量レベル／音量レベルの合計）×１００・・・（１）

式（１）において、分子は、算出対象の入力音声の音声レベルであって、直近の音声レベル決定処理で決定された音量レベルである。式（１）において、分母は、直近の音声レベル決定処理で決定された全入力音声の音量レベルの合計である。

例えば、フローチャートを開始してから、音声レベル決定処理を２回以上実行し、音声制御部１１４が、ＰＣ２Ａからの入力音声の音量レベルを「２」に決定し、ＰＣ２Ｂからの入力音声の音量レベルを「１」に決定し、ＰＣ２Ｃ、ＰＣ２Ｄからの入力音声の音量レベルを「０」に決定したとする。

この例の場合、音声制御部１１４は、ＰＣ２Ａからの入力音声について、合成音声における音量の割合を、式（１）に基づいて、「（２／２＋１＋０＋０）×１００」の演算を行うことで、６７％と算出する。
また、この例の場合、音声制御部１１４は、ＰＣ２Ｂからの入力音声について、合成音声における音量の割合を、式（１）に基づいて、「（１／２＋１＋０＋０）×１００」の演算をし、３３％と算出する。
また、この例の場合、音声制御部１１４は、ＰＣ２Ｃ、２Ｄからの入力音声について、合成音声における音量の割合を、式（１）に基づいて、「（０／２＋１＋０＋０）×１００」の演算をし、０％と算出する。

音声制御部１１４は、ステップＳＡ７で算出した音量の割合で合成音声をスピーカー１８１に出力させる（ステップＳＡ８）。ステップＳＡ３と同様に、例えば、音声制御部１１４は、合成画像に含まれる各入力音声の音量がステップＳＡ７で算出した音量の割合となるように、ＰＣ２から入力された音声データを加工し、加工した音声データを信号処理部１８３に出力する。また、例えば、音声制御部１１４は、合成画像に含まれる各入力音声の音量がステップＳＡ７で算出した音量の割合となるように音声データを加工する指示を、信号処理部１８３に出力する。

次いで、音声制御部１１４は、処理をステップＳＡ１に戻すトリガーが発生したか否かを判別する（ステップＳＡ９）。

このトリガーとしては、例えば、新たなＰＣ２がネットワークＮＷを介して接続されたことや、優先画像ソースの設定が行われたこと等が挙げられる。

音声制御部１１４は、処理をステップＳＡ１に戻すトリガーが発生していないと判別した場合（ステップＳＡ９：ＮＯ）、処理をステップＳＡ５に戻し、再度、ステップＳＡ５以降の処理を行う。

一方、音声制御部１１４は、処理をステップＳＡ１に戻すトリガーが発生したと判別した場合（ステップＳＡ９：ＹＥＳ）、処理をステップＳＡ１に戻し、ステップＳＡ１以降の処理を行う。

次に、上述した実施形態の変形例を複数説明する。
＜変形例１＞
上述した実施形態は、入力画像ＮＧの更新頻度が所定頻度以下の場合に、この入力画像ＮＧの音声の音量を、更新頻度が所定頻度を上回る入力画像ＮＧの音声の音量より小さくする構成である。変形例１は、入力画像ＮＧの更新頻度が所定頻度以下の場合に、この入力画像ＮＧの音量をオフにする。

＜変形例２＞
変形例２は、音量の変更に加えて、入力画像ＮＧの更新頻度が所定頻度を上回る場合、この入力画像ＮＧの表示サイズを、更新頻度が所定頻度以下の入力画像ＮＧの表示サイズより大きくする。
例えば、入力画像ＮＧを３段階の表示サイズで表示可能であり、デフォルトが３段階中、２番目に大きい表示サイズであるとする。この例の場合、ＰＣ２Ａからの入力画像ＮＧ１の更新頻度が所定頻度を上回り、ＰＣ２Ｂ、２Ｃ、２Ｄからの入力画像ＮＧの更新頻度が所定頻度以下である場合、入力画像ＮＧ１の表示サイズを３段階中最も大きい表示サイズにし、入力画像ＮＧ２、ＮＧ３、ＮＧ４の表示サイズを３段階中最も小さい表示サイズにする。

上述した実施形態及び変形例によれば、以下の効果を奏する。
以下の効果の説明で用いる第１画像ソース及び第２画像ソースは、特定のＰＣ２を指し示していない。第１画像ソースは、画像ソースとしてあるＰＣ２を指し示し、第２画像ソースは、第１画像ソースと異なる他の画像ソースを指し示す。
また、以下の効果の説明で用いる第１入力画像及び第２入力画像は、特定の入力画像ＮＧを指し示していない。第１入力画像は、第１画像ソースからの入力画像ＮＧを指し示し、第２入力画像は、第２画像ソースからの入力画像ＮＧを指し示す。第１入力画像は、第１画像の一例に対応し、第２入力画像は、第２画像の一例に対応する。
また、以下の効果の説明で用いる第１入力音声及び第２入力音声は、特定の入力音声を指し示していない。第１入力音声は、第１画像ソースからの入力音声を指し示し、第２入力音声は、第２画像ソースからの入力音声を指し示す。第１入力音声は、第１音声の一例に対応し、第２入力音声は、第２音声の一例に対応する。

プロジェクター１の制御方法は、第１画像ソースから入力された第１入力画像と、第２画像ソースから入力された第２入力画像とを含む合成画像ＧＧを投写し、第１画像ソースから入力された第１入力音声と、第２画像ソースから入力された第２入力音声とを含む合成音声を出力し、第１入力画像の更新頻度が第２入力画像の更新頻度より大きい場合、第１入力音声の音量を第２入力音声の音量より大きくする。

ユーザーが着目すべき画像は、更新頻度の高い画像である。よって、プロジェクター１の制御方法によれば、ユーザーが着目するべき画像の音声を他の画像の音声より大きくできるため、合成画像ＧＧを投写する場合において、ユーザーが着目すべき画像の音声をユーザーが聞き取り易くできる。

プロジェクター１の制御方法は、第１入力画像及び第２入力画像の更新頻度が所定頻度を上回るか否かを判別し、第１入力画像の更新頻度が所定頻度を上回り、且つ、第２入力画像の更新頻度が所定頻度を上回らないと判別した場合、第１入力音声の音量を第２入力音声の音量より大きくし、第１入力画像及び第２入力画像の更新頻度が所定頻度を上回らないと判別した場合、及び、第１入力画像及び第２入力画像の更新頻度が所定頻度を上回ると判別した場合、第１入力音声及び第２入力音声の音量を変更しない。

これによれば、第１入力画像の更新頻度が所定頻度を上回り、且つ、第２入力画像の更新頻度が所定頻度を上回らない場合に、第１入力音声の音量を第２入力音声の音量より大きくする。そのため、第１入力画像の更新頻度が第２入力画像の更新頻度より大きくなるたびに、投写されている画像の音量が変更されることを防止できる。よって、合成画像ＧＧが投写されている場合において、ユーザーが着目すべき画像でない画像の更新頻度が、少しでも、ユーザーが着目すべき画像の更新頻度より高まるたびに、ユーザーが着目すべき画像でない画像の音声が大きくなってしまうことを防止できる。よって、ユーザーが着目すべき画像の音声をユーザーが安定して聞き取ることができる。

プロジェクター１の制御方法は、第１画像ソース又は第２画像ソースが優先画像ソースとして設定されているか否かを判別し、第１画像ソース及び第２画像ソースが優先画像ソースとして設定されていないと判別した場合に、第１入力画像及び第２入力画像の更新頻度が所定頻度を上回るか否かを判別し、第１画像ソースが優先画像ソースとして設定されていると判別した場合、第１入力画像及び第２入力画像の更新頻度が所定頻度を上回るか否かの判別を行わない。

優先画像ソースが設定されている場合、ユーザーが着目すべき画像は、優先画像ソースから入力される入力画像ＮＧである蓋然性が高い。よって、ユーザーが着目すべき画像の音声がどの画像ソースからの入力音声であるかが定まるため、プロジェクター１は、優先画像ソースが設定される場合については、更新頻度が所定頻度を上回るか否かの判別を行う必要がない。よって、プロジェクター１の制御方法は、音量の変更に係わる処理負荷を軽減できる。

プロジェクター１の制御方法は、第１画像ソースが優先画像ソースとして設定されていると判別した場合、合成音声における第２入力音声の音量の割合をゼロにする。

これによれば、優先画像ソースが設定されている場合、優先画像ソースからの入力音声のみが出力されるように音量の割合が設定されるため、ユーザーが着目すべき画像の音声をユーザーがより聞き取り易くできる。

プロジェクター１の制御方法は、第１入力画像の更新頻度が第２入力画像の更新頻度より大きい場合、第２入力音声をオフにすることで、第１入力音声の音量を第２入力音声の音量より大きくする。

これによれば、ユーザーが着目すべき画像以外の画像の音声が出力されないため、ユーザーが着目すべき画像の音声をユーザーがより聞き取り易くできる。

プロジェクター１の制御方法は、第１入力画像の更新頻度が第２入力画像の更新頻度より大きい場合、第１入力画像の表示サイズを第２入力画像の表示サイズより大きくする。

これによれば、ユーザーが着目すべき画像の音量が大きくなると共に表示サイズも他の画像より大きくなるため、ユーザーが着目すべき画像についてユーザーが視聴し易くできる。

プロジェクター１は、第１画像ソースから入力された第１入力画像と、第２画像ソースから入力された第２入力画像とを含む合成画像ＧＧを投写する投写部１９と、第１画像ソースから入力された第１入力音声と、第２画像ソースから入力された第２入力音声とを含む合成音声を出力するスピーカー１８１と、第１入力画像の更新頻度が第２入力画像の更新頻度より大きい場合、第１入力音声の音量を第２入力音声の音量より小さくするＰＪ制御部１０と、を備える。

プロジェクター１によれば、プロジェクター１の制御方法が奏する効果と同様の効果を奏する。

上述した実施形態及び変形例は、一態様を示すものであり任意に変形および応用が可能である。

表示装置としてプロジェクター１を例示したが、表示装置は、プロジェクター１に限定されず、例えば、液晶表示パネルに画像を表示する液晶表示装置や、有機ＥＬパネルに画像を表示する表示装置など、モニター若しくは液晶テレビ等の自発光型の表示装置を含み、また、その他の各種の表示装置も含まれる。

ＰＣ２の具体的な構成は制限されず、プロジェクター１に接続可能であって、プロジェクター１に音声データを伴う画像データを出力できる機器であればよい。例えば、ＰＣ２としては、ディスク型記録メディア再生装置や、テレビチューナー装置等を用いてもよい。

上述した実施形態及び変形例では、更新量として更新頻度を例示したが、更新量は更新頻度に限定されない。更新量は、単位時間あたりに入力画像ＮＧがどのくらい更新されたかを示す値であればよく、例えば、単位時間あたりＰＣ２から受信した入力画像ＮＧに係わるデータ量でもよい。この場合、更新量と比較される所定量は、所定のデータ量になる。

また、ＰＪ制御部１０及びＰＣ制御部２０の機能は、複数のプロセッサー、又は、半導体チップにより実現してもよい。

例えば、図２及図３に示したＰＣ２及びプロジェクター１の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態及び変形例においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、ＰＣ２及びプロジェクター１の他の各部の具体的な細部構成についても、任意に変更可能である。

また、図４及び図５に示すフローチャートの処理単位は、プロジェクター１の処理を理解容易にするために、主な処理内容に応じて分割したものである。フローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、プロジェクター１の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

１…プロジェクター（表示装置）、２、２Ａ、２Ｂ、２Ｃ、２Ｄ…ＰＣ、３…リモコン、１０…ＰＪ制御部（制御部）、１１…第１インターフェース部、１２…第２インターフェース部、１３…バッファー部、１３Ａ、１３Ｂ、１３Ｃ、１３Ｄ…画像バッファー、１４…フレームメモリー、１５…画像処理部、１６…ＯＳＤ処理部、１７…操作部、１８…音声処理部、１９…投写部（表示部）、２４…駆動部、２５…バス、１１０…ＰＪプロセッサー、１１１…投写制御部、１１２…バッファー制御部、１１３…合成画像制御部、１１４…音声制御部、１２０…ＰＪ記憶部、１２１…制御プログラム、１２２…設定データ、１７１…操作パネル、１７２…リモコン受光部、１７３…入力処理部、１８１…スピーカー（音声出力部）、１８２…アンプ、１８３…信号処理部、１９１…光源部、１９２…光変調装置、１９３…投写光学系、２４１…光源駆動回路、ＧＧ…合成画像（第３画像）、ＮＧ、ＮＧ１、ＮＧ２、ＮＧ３、ＮＧ４…入力画像（第１画像、第２画像）、ＮＷ…ネットワーク、ＳＣ…スクリーン。

Claims (7)

1. 第１画像ソースから入力された第１画像と、第２画像ソースから入力された第２画像とを含む第３画像を表示し、
   前記第１画像ソースから入力された第１音声と、前記第２画像ソースから入力された第２音声とを含む第３音声を出力し、
   前記第１画像の更新量が前記第２画像の更新量より大きい場合、前記第１音声の音量を前記第２音声の音量より大きくする、
   表示装置の制御方法。
2. 前記第１画像及び前記第２画像の更新量が所定量を上回るか否かを判別し、
   前記第１画像の更新量が前記所定量を上回り、且つ、前記第２画像の更新量が前記所定量を上回らないと判別した場合、前記第１音声の音量を前記第２音声の音量より大きくし、
   前記第１画像及び前記第２画像の更新量が前記所定量を上回らないと判別した場合、及び、前記第１画像及び前記第２画像の更新量が前記所定量を上回ると判別した場合、前記第１音声及び前記第２音声の音量を変更しない、
   請求項１に記載の表示装置の制御方法。
3. 前記第１画像ソース又は前記第２画像ソースが音声出力を他の画像ソースより優先する優先画像ソースとして設定されているか否かを判別し、
   前記第１画像ソース及び前記第２画像ソースが前記優先画像ソースとして設定されていないと判別した場合に、前記第１画像及び前記第２画像の更新量が前記所定量を上回るか否かを判別し、
   前記第１画像ソースが前記優先画像ソースとして設定されていると判別した場合、前記第１画像及び前記第２画像の更新量が前記所定量を上回るか否かの判別を行わない、
   請求項２のいずれか一項に記載の表示装置の制御方法。
4. 前記第１画像ソースが前記優先画像ソースとして設定されていると判別した場合、前記第３音声における前記第２音声の音量の割合をゼロにする、
   請求項３に記載の表示装置の制御方法。
5. 前記第１画像の更新量が前記第２画像の更新量より大きい場合、前記第２音声をオフにすることで、前記第１音声の音量を前記第２音声の音量より大きくする、
   請求項１から４のいずれか一項に記載の表示装置の制御方法。
6. 前記第１画像の更新量が前記第２画像の更新量より大きい場合、前記第１画像の表示サイズを前記第２画像の表示サイズより大きくする、
   請求項１から５のいずれか一項に記載の表示装置の制御方法。
7. 第１画像ソースから入力された第１画像と、第２画像ソースから入力された第２画像とを含む第３画像を表示する表示部と、
   前記第１画像ソースから入力された第１音声と、前記第２画像ソースから入力された第２音声とを含む第３音声を出力する音声出力部と、
   前記第１画像の更新量が前記第２画像の更新量より大きい場合、前記第１音声の音量を前記第２音声の音量より小さくする制御部と、を備える、
   表示装置。

Images