JP2011244023A - 表示制御装置および表示制御方法 - Google Patents

Abstract

【課題】 スピーカなどの複数の音声発生装置の向きや位置を変更したとしても、それらから出力される音声を適切に出力できるようにすることを目的とする。
【解決手段】 コンテンツを表示手段に表示させる表示制御手段と、前記表示手段に接近した音声出力装置の位置を検出する位置検出手段と、前記音声出力装置に接近する、前記表示手段に表示中のコンテンツを選択する選択手段と、前記音声出力装置が音声を出力する方向を検出する方向検出手段と、前記音声出力装置の位置と方向とに基づいて、前記音声出力装置から出力させる音声データを決定する出力音声制御手段と、前記決定された音声データを前記音声出力装置へ送信するデータ送信制御手段とを備えたことを特徴とする表示制御装置。
【選択図】 図４

Description

本発明は、画像の表示とともに音声の出力を行う技術に関する。

近年、携帯電話やノート型パソコンにおいて、コンテンツを表示するパネルが回転パネルであるものが普及している。これらは、表示するコンテンツに応じて、長方形型の表示パネルを縦長のパネルとして利用したり、横長のパネルとして利用したりすることで、ユーザビリティを向上させている。

従来、上記回転パネルを縦長パネルとして利用する場合と、横長パネルとして利用する場合とで、それぞれに専用の内蔵スピーカーを利用する技術が知られている。

また、近年、ＰＣ（パーソナルコンピュータ）の普及によりマルチウィンドウシステムが広く一般的に使われている。マルチウィンドウシステムとは、複数の仮想的な領域を表示装置上に定義し、異なるアプリケーションを仮想的な領域に割り当てるシステムである。操作者は、マウスなどの入力装置によりこの仮想的な領域を切り替えながら、同時に複数のアプリケーションを利用する。また、近年、表示パネルの大型化や高精細化が進んだことや、高解像度をサポートするグラフィックカードが開発されたことにより、上述のマルチウィンドウシステムを用いて、多くのアプリケーションを扱うことが可能である。そして、テーブル型の大きな表示装置を、複数人でシェアして使用する状況なども存在する。

特開２００３−２４４７８６

従来、例えば、テーブル型の表示装置に複数の操作者が対面して着座し、その表示装置上にスピーカを置いて使用するような場合、操作者がスピーカの向きや位置を変化させると正しい音像位置で試聴できない。例えば、２つのスピーカを用いてステレオ音声を再生する場合に、これらスピーカの向きを、一方の操作者に向く方向から、対面の操作者に向く方向に変えた場合、出力されるべきステレオ音声は左右が逆になってしまう。

本発明は上記課題に鑑みてなされたものであり、スピーカなどの複数の音声発生装置の向きや位置を変更したとしても、それらから出力される音声を適切に出力できるようにすることを目的とする。

上記課題を解決するために、本発明の表示制御装置によれば、コンテンツを表示手段に表示させる表示制御手段と、前記表示手段に接近した音声出力装置の位置を検出する位置検出手段と、前記音声出力装置に接近する、前記表示手段に表示中のコンテンツを選択する選択手段と、前記音声出力装置が音声を出力する方向を検出する方向検出手段と、前記音声出力装置の位置と方向とに基づいて、前記音声出力装置から出力させる音声データを決定する出力音声制御手段と、前記決定された音声データを前記音声出力装置へ送信するデータ送信制御手段とを備えることを特徴とする。

上記構成によれば、スピーカなどの複数の音声発生装置の向きや位置を変更したとしても、それらから出力される音声を適切に出力できる。

実施形態に適用するシステムの処理構成図 実施形態に適用するシステムの外観図 実施形態に適用するシステムの処理手順を示す図 本システムに関する各部の様子を説明する図 本システムに関する各部の様子を説明する図 本システムに関する各コンテンツの情報を示す図

以下、添付の図面を参照して、本発明に好適な実施形態を説明する。なお、本実施形態では、表示装置の一例として、水平に設置したテーブル型のディスプレイを想定して説明するが、後述するスピーカに利用可能な表示装置であれば、本発明に適用可能である。

図１および図２は、本実施形態に関わる基本的なシステムを示した図である。図１は、本実施形態に関わるシステム内の処理部の構成を示したものであり、図２は、そのシステムの外観図に相当する。図１の表示手段１１０は、液晶ディスプレイやプラズマディスプレイに代表されるディスプレイである。表示手段１１０は、図２における表示手段２１０に相当する。また、表示手段１１０は、水平に設置されており、写真、動画像、文章や音楽ファイル等のコンテンツ２４０〜２４２を表示できる。図１の音声出力装置１２０は、スピーカなどの音声を出力する機能を備える装置である。この音声出力装置１２０は、図２の音声出力装置２２０、音声出力装置２２１の２つに相当する。この音声出力装置１２０は、小型で可搬なスピーカであることが好ましく、本実施形態では、それぞれが表示手段１１０の上に置かれる。図１の接近検知手段１３０は、上記音声出力装置１２０が表示手段１１０へ接近したことを検知する手段である。接近検知手段１３０は、上記接近が検知された場合、データ送信制御手段１６０を介して、音声出力装置１２０との通信を確立する。ここでは、Ｂｌｕｅｔｏｏｔｈなどの公知の通信技術を用いることとし、詳細な説明は省略する。図１の位置検出手段１４０は、接近検知手段１３０で検知された音声出力装置１２０の接近位置を特定する手段である。コンテンツ選択手段１５０は、上記接近位置付近にコンテンツが存在するか判断し、規定の範囲内にコンテンツが存在していた場合には、そのコンテンツの音声データをデータ送信手段１６０を介して、音声出力装置１２０に無線送信する。表示制御手段１７０は、コンテンツ２４０〜２４２の表示制御を行う。また、表示制御手段１７０は、位置検出手段１４０によって特定された音声出力装置１２０（２２０、２２１）の位置の周辺に、コンテンツ選択手段１５０が「コンテンツが存在する」と判断する領域（円）を表示させる。方向検出手段１８０は、接近検知手段１３０で検知された音声出力装置１２０の方向を特定する手段である。出力音声制御手段１９０は、位置検出手段１４０と方向検出手段１８０によって得られた音声出力装置１２０の位置と方向によって、音声出力装置から出力する音声を決定する。なお、図２では、接近検知手段１３０、位置検出手段１４０、コンテンツ選択手段１５０、データ送信手段１６０、表示制御手段１７０、方向検出手段１８０、出力音声制御手段１９０は、本体２００（表示制御装置）に内蔵されているものとする。また、本体２００と表示手段２１０は一体型であっても良いし、取り外し可能であっても良い。

図３は、本実施形態の本体２００（表示制御装置）の処理手順を示したフローチャートである。図３の詳細については後述する。

図４および図５は、上記処理手順を視覚的に説明するための図である。ここで、図４の本体４００と本体５００は、図２の本体２００に相当する。表示装置４１０と５１０は、図２の表示装置２１０に相当する。音声出力装置４２０と４２１、あるいは音声出力装置４６０と４６１、あるいは音声出力装置５２０と５２１は、図２の音声出力装置２２０、２２１に相当する。またコンテンツ４４０〜４４２あるいは５４０〜５４２は、図２のコンテンツ２４０〜２４２に相当する。また、ここでは、操作者４５０と操作者４５１は、本体４００を間にはさんで、対面しており、操作者５５０と操作者５５１は、本体５００を間にはさんで、対面している。また、図４では２つの状態を表しており、図５では１つの状態を表している。例えば、図４の左側に示した状態Iでは、音声出力装置４２０、４２１の方向（音声が出力される方向）は、概ね操作者４５０の方を向いている。また図４の右側に示した状態ＩＩでは、音声出力装置４６０、４６１の方向（音声が出力される方向）は、概ね操作者４５１の方向を向いている。また、図５に示した状態ＩＩＩでは、音声出力装置５２０の方向は、概ね操作者５５１の方向を向いており、音声出力装置５２１の方向は、概ね操作者５５０の方向を向いている。なお、図４の下部には、音声出力装置４２０、４２１の設置されている座標と方向を４８０に示し、音声出力装置４６０、４６１の設置されている座標と方向を４９０に示す。ここでは、表示装置４１０の左上を座標（Ｘ＝０，Ｙ＝０）とし、矢印の方向にＸ軸とＹ軸を設定するものとする。また図５の下部には、音声出力装置５２０、５２１の設置されている座標と方向を５８０、５９０に示す。ここでも、図４と同様に、表示装置５１０の左上を座標（Ｘ＝０，Ｙ＝０）とし、矢印の方向にＸ軸とＹ軸を設定するものとする。

図６は、表示手段４１０に表示中のコンテンツ４４０〜４４２の座標、音声データの有無、チャンネル数の一例を示す。

以下、図３のフローチャートについて、図４〜図６を参照しながら説明する。まず、ステップ３００において、本体２００（表示制御装置）が起動すると、表示制御装置は以下の処理を行う。

ステップ３１０では、接近検知手段１３０によって、音声出力装置１２０と表示手段１１０の距離が測定される。例えば、音声出力装置４２０、４２１は、表示手段４１０上に設置されているので、接近検知手段１３０が測定した距離は０ｃｍである。

ステップ３２０では、接近検知手段１３０によって、距離Ｎ以内に接近してる音声出力装置１２０があるか判定される。そして、距離Ｎｃｍ以内に音声出力装置１２０が存在すると判定した場合には、ステップ３３０に遷移する。本実施形態では、距離Ｎが３ｃｍに設定されているとして以下説明する。例えば、図４の状態Iでは、音声出力装置４２０、４２１と表示手段４１０の距離は０ｃｍであり、距離Ｎの３ｃｍ以内であるので音声出力手段４２０、４２１の２つが検知される。もし、ステップ３２０において、距離３ｃｍ以内に音声出力手段が無かった場合には、ステップ３１０に遷移し、再び接近している音声出力装置との距離を測定する。そして、ステップ３１０とステップ３２０を一定時間毎に繰り返し距離の再測定を行う。本実施形態では、距離再測定までの時間間隔は０．５秒とする。

ステップ３３０では、位置検出手段１４０によって、現在接近している音声出力装置（状態Iの例では音声出力装置４２０と４２１）の座標を特定する。例えば状態Iでは、図４の４８０に示されるように、音声出力装置４２０は、座標（ｘ，ｙ）＝（６００，５５０）に設置されており、音声出力装置４２１は、座標（ｘ，ｙ）＝（１０８０，５５０）に設置されている。

ステップ３４０では、コンテンツ選択手段１５０によって、表示中のコンテンツ４４０〜４４２の座標を特定される。なお、コンテンツ４４０〜４４２はそれぞれ、図６に示した座標６１０〜６１２のそれぞれに表示されているものとする。この座標は、上述した座標（ｘ，ｙ）を基準にしており、図６において各コンテンツに示されている４つの座標は、そのコンテンツを矩形として認識した場合の４頂点に相当する。

ステップ３５０では、コンテンツ選択手段１５０によって、音声出力装置（状態Iの例では音声出力装置４２０、４２１）の近傍にコンテンツが存在するか判断される。ここでは、音声出力装置に接近している座標を中心とする領域（図４、図５では所定半径の円）に含まれるコンテンツを「音声出力装置の近傍に存在するコンテンツである」と判断する。もし、コンテンツが音声出力装置の近傍にある場合にはステップ３６０に遷移する。もし近傍にコンテンツが無い場合には、ステップ３３０に遷移し、一定時間毎にステップ３３０、ステップ３４０、ステップ３５０を繰り返す。例えば、音声出力装置４２０の近傍範囲は円４３０であり、音声出力装置４２１の近傍範囲は円４３１である。これら円４３０と４３１は、操作者がそれを認識できるように、表示手段４１０上に画像として表示される。そして、ここでは、円４３０および円４３１と各コンテンツ４４０〜４４２とが、座標上でオーバーラップするかどうか計算する。ここでは、表示中のコンテンツ４４０が音声出力装置の近傍円４３０と４３１にオーバーラップするので、ステップ３６０に遷移する。

ステップ３６０では、コンテンツ選択手段１５０によって、音声を出力するコンテンツが決定される。ここで、コンテンツ選択手段１５０は、まず、音声出力装置の近傍の各コンテンツが音声データを有しているか否かを確認する。もし、確認中のコンテンツが、動画像や音楽ファイルなどの音声データを有している場合には、その音声データを取得する。そして、このコンテンツを音声出力の対象として決定する。もし音声データを有していないコンテンツがあれば、以降の処理対象から除外する。なお、図６の６２０〜６２２に、コンテンツ４４０〜４４２が音声データを有しているか否かの一例を示しておく。例えば、状態Iにおけるコンテンツ４４０は、音声データを有しているので、コンテンツ４４０は音声出力の対象として決定される。そしてコンテンツ４４０が有する音声データが取得される。

ステップ３７０では、方向検出手段１８０によって、音声出力装置の方向を特定する。例えば、図４の４８０では、音声出力装置４２０はＸ軸と６０°の角度を形成するように配置され、音声出力装置４２１は、Ｘ軸と９０°の角度を形成するように配置されている。方向検出手段１８０は、これらの方向を情報として取得する。

ステップ３８０では、出力音声制御手段１９０によって、位置検出手段１４０と方向検出手段１８０が特定した音声出力装置の座標と方向（角度）に基づき、各音声出力装置から出力するべき音声データが決定される。

ステップ３８０の内部フローをステップ３８１〜３８９として説明する。ステップ３８１においてステップ３８０のフローの開始を検知すると、以下を行う。

ステップ３８２では、互いの音声出力装置が形成する角度を算出する。例えば、図４の状態Iの場合には、音声出力装置４２０と４２１が形成する角度は「９０°−６０°＝３０°」であるとして算出される。

ステップ３８３では、上記算出された角度が９０°以下であるか判断する。この判断処理は、互いの音声出力装置が形成する角度によって、「音声出力装置が１人の操作者に向けられている状態なのか、複数人の操作者に向けられている状態なのか」を判定するものである。例えば、図４の状態Iでは、互いの音声出力装置が形成する角度は９０°以内であるので、２つの音声出力装置が１人の操作者に向けられている状態と判断する。また例えば、図５の状態ＩＩＩでは、互いの音声出力装置が形成する角度は９０°以上であるので、それぞれの音声出力装置が別の操作者に向けられている、即ち２つの音声出力装置は複数人に利用されていると判断する。ここで、もし図５の状態ＩＩＩの場合には、ステップ３８３では、上記角度が９０°以上であると判断される。従って、この場合には、ステップ３８８に遷移する。そしてステップ３８８において、１つの音声出力装置から１つのコンテンツの音声に相当する複数チャネルを合成出力（モノラル出力）するよう設定する。よって、図５の状態ＩＩＩにおいては、例えば複数人の操作者（操作者５５０、５５１）が同一のコンテンツの音声を聞く場合であっても、それぞれの音声出力装置からモノラル出力されている音声を聞くことになる。

ステップ３８４では、音声出力装置（状態Iでは４２０と４２１）の座標を結んだ線分と、音声出力装置の方向を表す線分の回転方向を算出する。音声出力装置の方向を表す線分は、上述した角度６０°と９０°であり、線分の長さは１０であるとする。音声出力装置（図４の状態Iでは４２０と４２１）の設置されている座標をそれぞれＡ、Ｂとし、これら音声出力装置の方向を示す線分をＡ−Ａ’、Ｂ−Ｂ’とする。例えば、状態Iの場合には、Ａ，Ａ’，Ｂ，Ｂ’の座標は、それぞれ、（Ａｘ，Ａｙ）＝（６００，５５０），（Ａ’ｘ，Ａ’ｙ）＝（６０６，５５８），（Ｂｘ，Ｂｙ）＝（１０８０，５５０），（Ｂ’ｘ，Ｂ’ｙ）＝（１０８０，５６０）となる。以上の座標と後述する式を用いて、線分Ａ−Ａ’とＢ−Ｂ’の線分ＡＢ（線分ＢＡ）に対して回転方向を求める。式（１）では、Ｘ軸が９０°回転するとＹ軸になる方向を正方向とすると、式（１）で求めた値が正であれば正方向に回転すると線分ＡＢの方向になり、負であれば負方向に回転すると線分ＡＢの方向となる。
（Ａ’ｘ−Ａｘ）×（Ｂｙ−Ａｙ）−（Ａ’ｙ−Ａｙ）×（Ｂｘ−Ａｘ） ．．．式（１）
（６０６−６００）×（５５０−５５０）−（５５８−５５０）×（１０８０−６００）＜０ ．．．式（２）
このステップ３８４において、音声出力装置４２０については、式（１）を用いて演算を行う。線分ＡＢに対しての線分Ａ−Ａ’の回転方向は、式（１）を用いて、式（２）に示すように負であることから、回転方向は負方向であると判断される。よって、ステップ３８５の判断の下で、ステップ３８７に遷移する。

ステップ３８７では、音声出力装置４２０は、上記式から回転方向が負方向であったことから、「操作者に対して左側に設置されている」と判断され、音声出力装置４２０には、左側のチャネルの音声データが設定される。

また、上記と同様に、音声出力装置４２１に対しても演算を行う。即ち、ステップ３８４において、音声出力装置４２１については、線分ＢＡに対しての線分Ｂ−Ｂ’の回転方向を算出する。
（Ｂ’ｘ−Ｂｘ）×（Ａｙ−Ｂｙ）−（Ｂ’ｙ−Ｂｙ）×（Ａｘ−Ｂｘ） ．．．式（３）
（１０８０−１０８０）×（５５０−５５０）−（５６０−５５０）×（６００−１０８０）＞０ ．．．式（４）
上記式（４）に示すように、演算結果が正であることから、その回転方向は正方向であると判断される。よって、ステップ３８５の判断の下で、ステップ３８６に遷移する。

ステップ３８６では、音声出力装置４２１は、上記式から回転方向が正方向であったことから、「操作者に対して右側に設置されている」と判断され、音声出力装置４２１には、右側のチャネルの音声データが設定される。

ステップ３９０では、データ送信制御手段１６０によって、上述したようにそれぞれ設定された音声チャネルの音声データを、それに対応する音声出力装置に送信する。

ステップ３９１では、音声出力装置によって、データ送信制御手段１６０から送信された音声データを出力される。なお、このステップ３９１だけは、上述した本体２００（あるいは本体４００、５００）が行うのではなく、それらとは別体の音声出力装置が行う。

以上のよれば、互いの音声出力装置を結んだ線分ＡＢとの回転方向を求めることにより、それら音声出力装置が、操作者に対して左右どちらの位置に置かれているか判断できる。音声出力装置４２０は、上記式から回転方向が負方向なので、操作者に対して左側に設置されていると判断され、音声出力装置４２１は、上記式から回転方向は正方向なので、操作者に対して右側に設置されていると判断される。以上により、操作者に対して正しい音像位置で音声データを出力できる。

以下に図４の状態ＩＩについて説明する。この状態ＩＩは、状態Iにおける音声出力装置４２０、４２１の方向が、音声出力装置４６０、４６１のように変更されたものであり、それぞれの音声出力装置が操作者４５１の方向に向けられた状態である。ここでは、音声出力装置４２０、４２１の方向は、Ｘ軸となす角で１２０°と６０°とする。また、音声出力装置の設置されている座標をそれぞれＡ，Ｂとし、音声出力装置の方向を示す線分をＡ−Ａ’、Ｂ−Ｂ’とする。Ａ、Ａ’、Ｂ、Ｂ’の座標は、それぞれ、
（Ａｘ，Ａｙ）＝（６００，５５０），（Ａ’ｘ，Ａ’ｙ）＝（５９４，５４２），（Ｂｘ，Ｂｙ）＝ｘ（１０８０，５５０），（Ｂ’ｘ，Ｂ’ｙ）＝（１０８８，５４２）となる。状態ＩＩの場合には、上記ステップ３８３で音声出力装置４６０、４６１のなす角は６０°と算出される。状態ＩＩの場合には、ステップ３８４では、式（１）に基づいて、音声出力装置４６０の線分ＡＢに対する回転方向が以下のように算出される。
（５９４−６００）×（５５０−５５０）−（５４２−５５０）×（１０８０−６００）＞０ ．．．式（５）
上記式（５）に示すように、回転方向は正方向であると判断される。そして、音声出力装置４６０は、「操作者に対して右側に設置されている」と判断される。これは、状態Iにおいて音声出力装置４２０が「操作者に対して左側に設置されている」と判断した結果をは逆になっている。これと同様に、音声出力装置４６１は、上記式（３）に基づく式（６）の結果から、回転方向は負方向であると判断される。そして、音声出力装置４６１は、「操作者に対して左側に設置されている」と判断される。これは、状態Iにおいて音声出力装置４２１が「操作者に対して右側に設置されている」と判断した結果は逆になっている。
（１０８８−１０８０）×（５５０−５５０）−（５４２−５５０）×（６００−１０８０）＜０ ．．．式（６）
以上の結果から、データ送信制御手段１６０は、音声出力装置４６０には右側のチャネルの音声データを送信し、音声出力装置４６１には左側のチャネルの音声データを送信することになる。

以上説明したように、音声出力装置２２０は、状態Ｉ（音声出力装置４２０）では左側のチャネルを出力し、状態ＩＩ（音声出力装置４６０）では右側のチャネルを出力する。また、音声出力装置２２１は、状態Ｉ（音声出力装置４２１）では右側のチャネルを出力し、状態ＩＩ（音声出力装置４６１）では左側のチャネルを出力する。従って、本実施形態によれば、操作者がスピーカの向きを状態Ｉから状態ＩＩに変更した場合であっても、適切な音像位置のステレオ音声を出力することができる。

［変形例］
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。

Claims (6)

1. コンテンツを表示手段に表示させる表示制御手段と、
   前記表示手段に接近した音声出力装置の位置を検出する位置検出手段と、
   前記音声出力装置に接近する、前記表示手段に表示中のコンテンツを選択する選択手段と、
   前記音声出力装置が音声を出力する方向を検出する方向検出手段と、
   前記音声出力装置の位置と方向とに基づいて、前記音声出力装置から出力させる音声データを決定する出力音声制御手段と、
   前記決定された音声データを前記音声出力装置へ送信するデータ送信制御手段とを備えたことを特徴とする表示制御装置。
2. 前記音声出力装置に接近すると判断する領域を、前記表示手段へ画像として表示させることを特徴とする請求項１に記載の表示制御装置。
3. 前記表示手段は、テーブル型のディスプレイであることを特徴とする請求項１乃至２のいずれか１項に記載の表示制御装置。
4. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至３のいずれか１項に記載の表示制御装置として機能させるコンピュータプログラム。
5. 請求項４に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
6. 表示装置を制御する表示制御方法であって、
   表示制御手段によって、コンテンツを表示手段に表示させる表示制御工程と、
   位置検出手段によって、前記表示手段に接近した音声出力装置の位置を検出する位置検出工程と、
   選択手段によって、前記音声出力装置に接近する、前記表示手段に表示中のコンテンツを選択する選択工程と、
   方向検出手段によって、前記音声出力装置が音声を出力する方向を検出する方向検出工程と、
   音声制御手段によって、前記音声出力装置の位置と方向とに基づいて、前記音声出力装置から出力させる音声データを決定する出力音声制御工程と、
   データ送信制御手段によって、前記決定された音声データを前記音声出力装置へ送信するデータ送信制御工程とを備えたことを特徴とする表示制御方法。

Images