JP2013007921A - 音制御装置、プログラム及び制御方法 - Google Patents

Abstract

【課題】画面上に表示されるオブジェクトについての情報が、画面内でのオブジェクトの位置又は面積に応じた音量で聞こえてくる技術を提供すること。
【解決手段】本技術の一形態に係る音制御装置は、表示部と、制御部とを具備する。前記表示部は、画面上にオブジェクトを表示させる。前記制御部は、前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御する。
【選択図】図４

Description

本技術は、ヘッドホン、イヤホン、スピーカ等から聞こえる音を制御する音制御装置等の技術に関する。

従来から、音が特定の方向から聞こえてくるように、音信号を制御する技術が知られている。

下記特許文献１には、楽曲についての複数の仮想音源が仮想音源空間内に配置され、複数の仮想音源の方向から楽曲が聞こえるように、ヘッドホンの音信号を制御する技術が記載されている。例えば、ヘッドホンを装着したユーザが正面を向いている状態から右を向いたとする。この場合、正面を向いていたときに前方から聞こえてきた楽曲が左方向から聞こえてきて、正面を向いていたときに右方向から聞こえてきの楽曲が前方から聞こえてくる。

特開２００８−９２１９３号公報

画面上に表示されるオブジェクトについての情報が、画面内でのオブジェクトの位置又は面積に応じた音量で聞こえてくる技術が望まれている。

本技術の一形態に係る音制御装置は、表示部と、制御部とを具備する。
前記表示部は、画面上にオブジェクトを表示させる。
前記制御部は、前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御する。

例えば、画面上に、楽曲のジャケット、広告等（オブジェクト）が表示されている場合を想定する。このとき、画面上に表示されている楽曲のジャケット、広告等の位置又は面積に応じた音量で、楽曲、広告の内容等が聞こえてくる。

上記音制御装置において、前記制御部は、前記オブジェクトについての情報が、前記画面内での前記オブジェクトの位置に応じた方向から聞こえてくるように、音出力部の音信号を制御してもよい。

この音制御装置では、画面上に表示されている楽曲のジャケット、広告（オブジェクト）の位置に応じた方向から、楽曲、広告の内容等（オブジェクトについての情報）が、楽曲のジャケット、広告等の位置又は面積に応じた音量で聞こえてくる。

上記音制御装置において、前記制御部は、前記画面の中心位置と前記オブジェクトの位置との間の距離に基づいて、前記オブジェクトについての情報の音量を制御してもよい。

上記音制御装置において、前記画面の中心位置と前記オブジェクトの位置との間の距離が近づくに従って、前記オブジェクトについての情報の音量が大きくなるように、前記音量を制御してもよい。

これにより、画面の中心位置にオブジェクトが近づくのに従って、オブジェクトについての情報の音量が大きくなる。

上記音制御装置において、前記制御部は、前記画面内での前記オブジェクトの面積が大きくなるに従って、前記オブジェクトについての情報の音量が大きくなるように、前記音量を制御してもよい。

これにより、画面上のオブジェクトの面積が大きくなるに従って、オブジェクトについての情報の音量が大きくなる。

上記音制御装置において、前記制御部は、前記画面内でのオブジェクトの位置及び面積の両方に基づいて、前記オブジェクトについての情報の音量を制御してもよい。

上記音制御装置は、入力部をさらに具備していてもよい。この場合、前記制御部は、前記入力部を介した前記オブジェクトの選択操作を判定し、前記オブジェクトの選択操作に応じて、前記オブジェクトについての情報の音量を変化させてもよい。

上記音制御装置において、前記制御部は、選択された前記オブジェクトについての情報の音量が大きくなるように、前記音量を変化させてもよい。

上記音制御装置は、空間内に実在する実オブジェクトを撮像する撮像部をさらに具備していてもよい。この場合、前記制御部は、前記撮像部により撮像された実オブジェクトを前記オブジェクトとして前記画面上に表示させ、前記画面内での前記実オブジェクトの位置又は面積に基づいて、前記実オブジェクトについての情報の音量を制御してもよい。

この音制御装置では、ユーザが空間内に実在する楽曲のジャケット、広告等（実オブジェクト）を撮像部により撮像すると、撮像された楽曲のジャケット、広告が画面上に表示される。そして、画面内での楽曲のジャケット、広告等の位置又は面積に応じた音量で、楽曲、広告の内容等（実オブジェクトについての情報）が聞こえてくる。

上記音制御装置において、前記制御部は、前記撮像部により撮像された前記実オブジェクトの画面内での位置又は面積が変化した場合に、前記実オブジェクトの画面内での位置又は面積の変化に応じて、前記実オブジェクトについての情報の音量を変化させてもよい。

この音制御装置では、例えば、ユーザが実オブジェクトに対する撮像部の位置を変化させて、実オブジェクトの画面内での位置又は面積が変化した場合、実オブジェクトの画面内での位置又は面積の変化に応じて、実オブジェクトについての情報の音量が変化される。

上記の音制御装置であって、前記制御部は、前記オブジェクトとして仮想オブジェクトを画面上に表示させ、前記画面内での前記仮想オブジェクトの位置又は面積に基づいて、前記仮想オブジェクトについての情報の音量を制御してもよい。

この音制御装置では、画面上に楽曲のジャケット、広告等が仮想オブジェクトとして画面上に表示される。そして、画面内での楽曲のジャケット、広告等の位置又は面積に応じた音量で、楽曲、広告の内容等（仮想オブジェクトについての情報）が聞こえてくる。

上記音制御装置において、前記制御部は、前記画面内での仮想オブジェクトの位置又は面積を変化させ、前記画面内での前記仮想オブジェクトの位置又は面積を変化に応じて、前記仮想オブジェクトについての情報の音量を変化させてもよい。

上記音制御装置は、前記音制御装置の動きを検出するセンサをさらに具備していてもよい。この場合、前記制御部は、前記センサにより検出された前記音制御装置の動きに応じて、前記画面内での仮想オブジェクトの位置又は面積を変化させてもよい。

この音制御装置では、ユーザが、音制御装置を傾けると、音制御装置の動きに応じて、画面内での仮想オブジェクトの位置又は面積が変化される。画面内での仮想オブジェクトの位置又は面積が変化されると、仮想オブジェクトの画面内での位置又は面積の変化に応じて、仮想オブジェクトについての情報の音量が変化される。

本技術の一形態に係るプログラムは、音制御装置に、画面上にオブジェクトを表示させるステップを実行させる。また、プログラムは、音制御装置に、前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御するステップを実行させる。

本技術の一形態に係る制御方法は、画面上にオブジェクトを表示させることを含む。
前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量が制御される。

以上のように、本技術によれば、画面上に表示されるオブジェクトについての情報が、画面内でのオブジェクトの位置又は面積に応じた音量で聞こえてくる技術を提供することができる。

本技術の一形態に係る音制御装置（携帯電話機）と、ヘッドホンとを示す図である。 音制御装置の電気的な構成を示すブロック図である。 本技術の一形態に係る携帯電話機（制御部）の処理を示すフローチャートである。 ユーザがレコードジャケットや、ＣＤジャケット等の楽曲ジャケット（実オブジェクト）を撮像部により撮像したときの様子を示す図である。 画面の中心位置と、画面上に表示される楽曲ジャケットの中心位置との距離についての一例を示す図である。 図５に示す位置関係で楽曲ジャケットが画面上に表示されているときの、楽曲ジャケットの音源の位置と、楽曲の音量との一例を示す図である。 ユーザが特定の楽曲ジャケットをタッチ操作したときの様子を示す図である。 楽曲アルバムが表示されていた位置に、アルバムに含まれる複数の楽曲が並べて表示された様子を示す図である。 大きさの異なる複数の楽曲ジャケットが画面上に表示された場合の一例を示す図である。 本技術の他の形態に係る携帯電話機（制御部）の処理を示すフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［音制御装置の全体構成及び各部の構成］
図１は、本技術の一形態に係る音制御装置１０と、ヘッドホン２０とを示す図である。図２は、音制御装置１０の電気的な構成を示すブロック図である。第１実施形態の説明では、音制御装置１０の一例として、携帯電話機１０を例に挙げて説明する。

携帯電話機１０は、制御部１１と、表示部１２と、入力部１３と、アンテナ１４と、通信部１５と、記憶部１６と、撮像部１７とを備えている。また、携帯電話機１０は、図示しない通話用スピーカや、通話用マイクロフォン等を備えている。

記憶部１６は、揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））と、不揮発のメモリ（例えば、ＲＯＭ（Read Only Memory））とを含む。揮発性のメモリは、制御部１１の作業領域として用いられ、制御部１１の処理に用いられるプログラムや、楽曲データ、映像データ等のデータを一時的に記憶する。不揮発性のメモリは、制御部１１の処理に必要な各種のプログラムや、楽曲データ、ビデオデータ等のデータを固定的に記憶する。不揮発性のメモリに記憶されるプログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。

制御部１１は、ＣＰＵ（Central Processing Unit）等により構成される。制御部１１は、記憶部１６に記憶されたプログラムに基づいて、種々の演算を実行する。

撮像部１７は、例えば、ＣＣＤセンサ（ＣＣＤ：Charge Coupled Device）、ＣＭＯＳセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）等の撮像素子により構成される。撮像部１７により出力された信号は、アナログ／デジタル変換された後、制御部１１に入力される。

この撮像部１７により、空間内に実在する実オブジェクト１（ＡＲマーカ）が撮像される（図４参照）。実オブジェクト１としては、例えば、レコードジャケット、ＣＤジャケット（ＣＤ：Compact Disc）等の楽曲ジャケット１（シングルジャケット、アルバムジャケットを含む）が挙げられる。また、実オブジェクト１としては、例えば、ビデオテープジャケット、ＤＶＤジャケット等の動画ジャケットや、商品の広告、映画の広告用ポスター等の広告が挙げられる。

表示部１２は、例えば、液晶ディスプレイや、ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。表示部１２は、制御部１１の制御に基づき、撮像部１７により撮像された画像を画面上に表示させる。

入力部１３は、指やスタイラスペン等による表示部１２へのユーザ操作を検出するタッチセンサと、携帯電話機１０に設けられた入力ボタンとを含む。

通信部１５は、アンテナ１４により送受信される電波の周波数変換や、変調及び復調等の処理を実行する。アンテナ１４は、通話用の電波や、電子メール、Ｗｅｂデータ等のパケット通信用の電波を送受信する。

通信部１５は、図示しない情報管理サーバと通信可能とされている。情報管理サーバは、撮像部１７により撮像される実オブジェクト１（ＡＲマーカ）と、実オブジェクト１についての情報とを関連づけて記憶している。

実オブジェクト１についての情報とは、例えば、実オブジェクト１（ＡＲマーカ）がレコードジャケットや、ＣＤジャケット等の楽曲ジャケット１である場合、レコード、ＣＤに含まれる楽曲の音情報である。例えば、実オブジェクト１がビデオテープジャケット、ＤＶＤジャケット等の動画ジャケットである場合、実オブジェクト１についての情報は、動画の音情報である。また、例えば、実オブジェクト１が商品の広告、映画の広告用ポスター等の広告である場合に、実オブジェクト１についての情報は、商品、映画の広告の内容を示す音情報である。

情報管理サーバは、音制御装置１０の要求に応じて、実オブジェクト１についての情報を音制御装置１０に送信する等の処理を実行する。

ヘッドホン２０は、携帯電話機１０と無線又は無線により接続される。

［動作説明］
次に、本実施形態に係る携帯電話機１０の制御部１１の処理について説明する。図３は、本実施形態に係る携帯電話機１０（制御部１１）の処理を示すフローチャートである。図４〜図６は、図３に示す処理を説明するための補足図である。

ユーザは、まず、ヘッドホン２０を装着する。そして、ユーザは、携帯電話機１０を手に持ち、撮像部１７を起動させる。そして、ユーザは、空間内に実在する実オブジェクト１を撮像部１７により撮像する。

撮像される実オブジェクト１としては、上記したように、レコードジャケット、ＣＤジャケット等の楽曲ジャケット１、ビデオテープジャケット、ＤＶＤジャケット等の動画ジャケット、商品の広告、映画の広告用ポスター等の広告が挙げられる。

図４には、ユーザがレコードジャケットや、ＣＤジャケット等の楽曲ジャケット１（実オブジェクト１）を撮像部１７により撮像したときの様子が示されている。例えば、ユーザは、自己が所有する楽曲ジャケット１（１ａ〜１ｅ）を、テーブル上などに配置し、この楽曲ジャケット１を撮像部１７により撮像する。あるいは、ユーザは、レコード、ＣＤ販売店、レコード、ＣＤレンタル店に展示されている楽曲ジャケット１を撮像部１７により撮像しても構わない。

図３を参照して、携帯電話機１０の制御部１１は、撮像部１７により画像が撮像されたかを判定する（ステップ１０１）。撮像部１７により画像が撮像された場合（ステップ１０１のＹＥＳ）、制御部１１は、撮像された画像を表示部１２の画面上に表示させる（ステップ１０２）。また、この場合、制御部１１は、撮像された画像の情報を、通信部１５を介して情報管理サーバへ送信する（ステップ１０３）。

情報管理サーバは、画像の情報を受信すると、画像情報に基づいて、画像内に、音情報と関連付けられた実オブジェクト１（ＡＲマーカ）が存在するかを判定する。画像内に音情報と関連付けられた実オブジェクト１が存在するかは、例えば、画像マッチング等の方法により判定される。

情報管理サーバは、画像内に音情報と関連づけられた実オブジェクト１が存在する場合には、その実オブジェクト１についての情報を携帯電話機１０に送信する。例えば、実オブジェクト１が楽曲ジャケット１である場合、情報管理サーバは、レコード、ＣＤに含まれる楽曲の音情報を携帯電話機１０に送信する。また、例えば、実オブジェクト１がＤＶＤジャケット等の動画ジャケット、あるいは、商品の広告、映画の広告用ポスター等の広告である場合、動画の音情報、あるいは、商品、映画の広告の内容を示す音情報を携帯電話機１０に送信する。

情報管理サーバは、画像内に音情報と関連付けられた複数の実オブジェクト１が存在する場合には、複数の実オブジェクト１それぞれについての音情報を携帯電話機１０に送信する。ユーザにより、複数種類の実オブジェクト１が撮像され、この複数種類の実オブジェクト１を含む画像が情報管理サーバに送信される場合もある。例えば、楽曲ジャケット１、動画ジャケットの２種類の実オブジェクト１を含む画像が情報管理サーバに送信される場合もある。この場合、情報管理サーバは、実オブジェクト１の種類に応じた音情報を携帯電話機１０に送信する。

さらに、１つの実オブジェクト１に対して、複数の音情報が関連付けられている場合もある。この場合、情報管理サーバは、１つの実オブジェクト１ついて関連付けられた複数の音情報を携帯電話機１０に送信する。例えば、実オブジェクト１が楽曲のアルバムジャケットである場合、情報管理サーバは、アルバムジャケットに含まれる複数の楽曲の音情報を携帯電話機１０に送信する。

図４での一例では、ユーザにより複数の楽曲ジャケット１が撮像されているので、複数の楽曲ジャケット１それぞれについての音情報が情報管理サーバから携帯電話機１０に送信されることになる。

図３を参照して、携帯電話機１０の制御部１１は、撮像された画像の情報を情報管理サーバに送信すると、画像情報の送信から所定時間内に実オブジェクト１についての情報を受信したかを判定する（ステップ１０４）。例えば、この時間は、５秒〜１０秒程度の時間とされる。実オブジェクト１についての情報を受信せずに所定時間が経過した場合（ステップ１０４のＮＯ）、すなわち、撮像された画像内に音情報と関連付けられた実オブジェクト１が存在しなかった場合、携帯電話機１０の制御部１１は、処理を終了する。

一方、所定時間内に実オブジェクト１についての情報を受信した場合、制御部１１は、画面上での実オブジェクト１の中心位置を算出する（ステップ１０５）。画面内に複数の実オブジェクト１が存在する場合、制御部１１は、複数の実オブジェクト１それぞれについて画面内の中心位置を算出する。

次に、制御部１１は、画面の中心位置と、実オブジェクト１の中心位置との距離を算出する（ステップ１０６）。画面内に複数の実オブジェクト１が存在する場合には、複数の実オブジェクト１それぞれについて上記距離が算出される。

図５には、画面の中心位置と、画面上に表示される楽曲ジャケット１の中心位置との距離についての一例が示されている。図５に示す例では、画面の中心位置と、画面中央に表示された楽曲ジャケット１ｂの中心位置との間の距離ｄ１が０である場合が示されている。また、図５に示す例では、画面の中心位置と、画面左側に表示された楽曲ジャケット１ａの中心位置との間の距離ｄ２と、画面の中心位置と、画面右側に表示された楽曲ジャケット１ｃの中心位置との間の距離ｄ３とが等しい場合が示されている。

図３を参照して、画面の中心位置と、実オブジェクト１の中心位置との間の距離を算出すると、制御部１１は、算出された距離に応じて、実オブジェクト１についての情報の音量を決定する（ステップ１０７）。この場合、制御部１１は、画面の中心位置と前記実オブジェクト１の中心位置との間の距離が近づくに従って、実オブジェクト１についての情報の音量が大きくなるようにする。画面内に複数の実オブジェクト１が存在する場合、制御部１１は、複数の実オブジェクト１それぞれについて、情報の音量を決定する。

次に、制御部１１は、実オブジェクト１についての音源を配置するヘッドホン２０（ユーザ）からの距離と、実オブジェクト１についての音源を配置する方向とを算出する（ステップ１０８）。実オブジェクト１を配置する方向は、画面内における実オブジェクト１の中心位置に基づいて算出される。画面内に複数の実オブジェクト１が存在する場合、制御部１１は、複数の実オブジェクト１それぞれについて、音源の距離と音源を配置する方向とを算出する。

次に、制御部１１は、実オブジェクト１についての音源の位置から実オブジェクト１についての情報がヘッドホン２０から聞こえるように、音信号を制御する（ステップ１０９）。

図６は、楽曲ジャケット１の音源の位置と、楽曲の音量との一例を示す図である。図６では、図５に示す位置関係で楽曲ジャケット１が画面上に表示されているときの、楽曲ジャケット１の音源の位置と、楽曲の音量との一例が示されている。

図５及び図６を参照して、画面上の中央に配置された楽曲ジャケット１ｂの音源は、ユーザの（ヘッドホン２０）正面に配置される。また、画面上の左側に配置された楽曲のジャケット１ａの音源は、ユーザ（ヘッドホン２０）の左側前方に配置され、画面の右側に配置された楽曲ジャケット１ｃの音源は、ユーザ（ヘッドホン２０）の右側前方に配置される。そして、画面の中心位置からの距離が近い、画面の中央に表示された楽曲ジャケット１ｂの楽曲が１００の音量で聞こえてくるように、音量が制御される。そして、画面の中心位置からの距離が遠い、画面右側及び左側に表示された楽曲ジャケット１ａ、１ｃの楽曲が５０の音量で聞こえてくるように、音量が制御される。

図４及び図５を参照して、例えば、ユーザが、手に持った携帯端末を左側に移動させた場合を想定する。この場合、画面上に表示されていた複数の楽曲ジャケット１は、それぞれ画面上で、右側に移動する。このとき、画面上での楽曲ジャケット１の右側への移動に応じて、各楽曲ジャケット１の音源の位置が右側にずれるように音源の位置が変化される。また、このとき、画面上での楽曲ジャケット１の右側への移動に応じて、各楽曲ジャケット１の楽曲の音量が変化される。

すなわち、制御部１１は、撮像部１７により撮像された実オブジェクト１の画面内での位置が変化した場合に、実オブジェクト１の画面内での位置の変化に応じて、実オブジェクト１についての情報の音量を変化させる。ここでの一例では、図５の画面の中央に表示されている楽曲ジャケット１ｂと、画面の右側に表示されている楽曲ジャケット１ｂとが、右側に移動して画面の中心位置から離れる。従って、画面の中央及び画面の左側に表示されている楽曲ジャケット１ｂ、１ｃの楽曲は、音量が小さくなる。一方、図５の画面左側に表示されている楽曲ジャケット１ａは、右側に移動して画面の中心位置に近づくので、この楽曲ジャケット１ａの楽曲の音量は、大きくなる。

例えば、実オブジェクト１が楽曲のアルバムジャケットである場合、上記したように、アルバムジャケットに関連付けられた複数の楽曲の音情報が情報管理サーバから送信されてくる。この場合、アルバムに含まれる楽曲が順番、あるいは、ランダムに再生される。

図７には、ユーザが特定の楽曲ジャケット１（アルバムジャケット）を選択してタッチ操作したときの様子が示されている。図８には、ユーザが楽曲ジャケット（アルバムジャケット）をタッチ操作した後の画面上の様子が示されている。

図７及び図８に示すように、ユーザが特定の楽曲ジャケット１（アルバムジャケット）を選択してタッチ操作した場合、楽曲ジャケット１が表示されていた位置に、アルバムに含まれる複数の楽曲が並べて表示される。ユーザは、複数の楽曲から任意の楽曲を選択して、タッチ操作することで、アルバムに含まれる楽曲を選択することができる。

図７に示すように、ユーザが特定の楽曲ジャケット１（実オブジェクト１）を選択した場合、選択された楽曲ジャケットの楽曲の音量が変化されてもよい。この場合、制御部は、入力部を介した楽曲ジャケット１の選択操作を判定し、楽曲ジャケット１の選択操作に応じて、選択された楽曲ジャケット１の楽曲の音量を変化させる。このとき、制御部は、典型的には、選択された楽曲ジャケット１の音量が大きくなるように、音量を変化させる。制御部は、選択された楽曲ジャケット１楽曲のみの再生を開始してもよい。

図３に示す処理により、例えば、ユーザは、自己が所有する楽曲ジャケット１を、テーブル上などに配置し、この楽曲ジャケット１を撮像部１７により撮像することで、楽曲を楽しむことができる。また、ユーザは、レコード、ＣＤ販売店、レコード、ＣＤレンタル店などに展示されている楽曲ジャケット１を撮像部１７により撮像することで、楽曲のサンプルを聞くことができる。なお、レコード、ＣＤ販売店、レコード、ＣＤレンタル店で楽曲ジャケット１が撮像される場合に提供される楽曲は、楽曲全部ではなく、サンプルの音楽とされる。ユーザは、サンプルを聞いて、気に入ったレコード、ＣＤなどを選択することができる。

また、画面上に表示される楽曲ジャケット１についての楽曲が、画面内での楽曲ジャケット１の位置に応じた方向から、画面内での楽曲ジャケット１の位置に応じた音量で聞こえてくるので、楽曲の方向などを直感的に認識することができる。

以上の説明では、撮像部１７により撮像されて画面上に表示される実オブジェクト１が楽曲ジャケット１である場合について、具体例を挙げて説明した。一方、画面上に表示される実オブジェクト１が動画ジャケット、広告等である場合も、ユーザは、同様の楽しみを得ることができる。

例えば、ユーザは、自己が所有するビデオテープジャケット、ＤＶＤジャケット等の動画ジャケットを、テーブル上などに配置し、この動画ジャケットを撮像部１７により撮像して画面上に表示させたとする。この場合、ユーザは、動画の音情報を楽しむことができる。また、ユーザは、ビデオ、ＤＶＤ販売店、ビデオ、ＤＶＤレンタル店などに展示されている動画ジャケットを撮像部１７により撮像することで、動画の内容についての紹介情報等を聞くことができる。

一方、例えば、ユーザが道を歩いているときに、商品の広告、映画の広告用ポスター等の広告を見つけて、この広告を撮像して、画面上に表示させたとする。この場合、商品の広告の内容や、映画の広告の内容を聞くことができる。

［第１実施形態変形例］
以上の説明では、画面内に表示される実オブジェクト１の位置に基づいて、実オブジェクト１についての情報の音量が制御される場合について説明した。一方、画面内に表示される実オブジェクト１の面積に基づいて、実オブジェクト１についての情報の音量が制御されてもよい。この場合、制御部１１は、図３のステップ１０６〜ステップ１０７の代わりに、画面上に表示される実オブジェクト１の面積を算出する処理と、算出された面積に応じて音量を決定する処理とを実行する。この場合、制御部１１は、典型的には、画面内での実オブジェクト１の面積が大きくなるに従って、音量が大きくなるように、音量を制御する。

例えば、大きさの異なる複数の楽曲ジャケット１が撮像されたり、撮像部１７（携帯電話機１０）からの距離が異なる複数のジャケットが撮像されたりした場合を想定する。この場合、大きさの異なる複数の楽曲ジャケット１が画面上に表示される。

図９は、大きさの異なる複数の楽曲ジャケット１が画面上に表示された場合の一例を示す図である。図９に示す例では、画面の左側に表示された楽曲ジャケット１ｆの面積が、画面の右側に表示された楽曲ジャケット１ｇの面積よりも大きい。従って、画面の左側に表示された楽曲ジャケット１ｆの楽曲の音量が、画面の右側に表示された楽曲ジャケット１ｇの楽曲の音量よりも大きくなる。

また、例えば、図４及び図５に示すように、同じ大きさの楽曲ジャケット１が撮像された場合にも、楽曲ジャケット１が画面内に入りきらないことにより、画面内での楽曲ジャケット１の面積が異なる場合もある。図５に示す例では、画面左側に表示されている楽曲ジャケット１ａの面積と、画面右側に表示されている楽曲ジャケット１ｃの面積とは、画面中央に表示されている楽曲ジャケット１ｂの面積の約半分とされている。

図６を参照して、この場合、例えば、画面上での面積が最も大きい、画面の中央に表示された楽曲ジャケット１ｂの楽曲が１００の音量で聞こえてくるように、音量が制御される。そして、画面上での面積が相対的に小さい、画面右側及び左側に表示された楽曲ジャケット１ａ、１ｃの楽曲が５０の音量で聞こえてくるように、音量が制御される。

一方、例えば、ユーザが、楽曲ジャケット１を撮像しながら、携帯電話機１０を楽曲ジャケット１に近づけたり、遠ざけたりした場合を想定する。この場合、画面上で、その楽曲ジャケット１の大きさが変化する。同様に、例えば、ユーザが、楽曲ジャケット１を撮像しながら、携帯電話機１０を上下左右に動かした場合に、楽曲ジャケットが、画面内に移動してきたり、画面内から外れていったりすることで、画面上で、その楽曲ジャケット１の大きさが変化する。この場合、制御部１１は、撮像部１７により撮像された楽曲ジャケット１の画面内での面積が変化した場合に、画面内での楽曲ジャケット１の面積の変化に応じて、楽曲の音量を変化させる。

第１実施形態の変形例の説明では、具体例として、撮像される実オブジェクト１が楽曲ジャケット１である場合について説明したが、撮像される実オブジェクト１が動画ジャケット、広告の場合も同様である。

以上の説明では、画面内に表示される実オブジェクト１の位置及び実オブジェクト１の面積のうち、何れか一方に基づいて、実オブジェクト１についての情報の音量を制御する場合について説明した。しかし、これに限られず、制御部１１は、画面内での実オブジェクト１の位置及び面積の両方に基づいて、実オブジェクト１についての情報の音量を制御してもよい。

＜第２実施形態＞
次に、本技術の第２実施形態について説明する。以降の説明では、上述の第１実施形態と同様の構成及び機能を有する部分については、説明を省略又は簡略化する。

第２実施形態に係る携帯電話機１０（音制御装置１０）では、携帯電話機１０の動きを検出するモーションセンサ（図示せず）が追加される点で、第１実施形態と異なっている。モーションセンサは、例えば、加速度センサ、角速度センサ、速度センサ、角度センサ等が挙げられる。その他の点は、第１実施形態と同様の構成であるので、説明は、省略する。

図１０は、第２実施形態に係る携帯電話機１０の処理を示すフローチャートである。

ユーザは、まず、ヘッドホン２０を装着して、携帯電話機１０を手に持つ。

携帯電話機１０の制御部１１は、まず、仮想オブジェクト２を含む画像を記憶部１６から読み出して、画面上に表示させる（ステップ２０１）。画面上に表示される仮想オブジェクト２として、レコードジャケット、ＣＤジャケット等の楽曲ジャケット１、ビデオテープジャケット、ＤＶＤジャケット等の動画ジャケット、商品の広告、映画の広告用ポスター等の広告が挙げられる。

すなわち、仮想オブジェクト２は、撮像部１７により撮像されて画面上に表示されるのではなく、記憶部１６に記憶された画像として画面上に表示される点を除いて、上記した実オブジェクト１と典型的に同じである。

ステップ２０１では、例えば、図５に示すような楽曲ジャケット２ａ〜２ｃが仮想オブジェクト２として、画面上に表示される。楽曲ジャケット２は、同じアーティスト、あるいは、同じジャンルの楽曲ジャケット２が１グループとして表示されてもよい。

制御部１１は、画面上に仮想オブジェクト２を含む画像を表示させると、画面上での仮想オブジェクト２の中心位置を算出する（ステップ２０２）。画面内に複数の仮想オブジェクト２が存在する場合、制御部１１は、複数の仮想オブジェクト２それぞれについて画面内の中心位置を算出する。

次に、制御部１１は、画面の中心位置と、仮想オブジェクト２の中心位置との距離を算出する（ステップ２０３）（図５参照）。画面内に複数の仮想オブジェクト２が存在する場合には、複数の仮想オブジェクト２それぞれについて上記距離が算出される。

画面の中心位置と、仮想オブジェクト２の中心位置との間の距離を算出すると、制御部１１は、算出された距離に応じて、仮想オブジェクト２についての情報の音量を決定する（ステップ２０４）。この場合、制御部１１は、画面の中心位置と仮想オブジェクト２の中心位置との間の距離が近づくに従って、仮想オブジェクト２についての情報の音量が大きくなるようにする。画面内に複数の仮想オブジェクト２が存在する場合、制御部１１は、複数の仮想オブジェクト２それぞれについて、音情報の音量を決定する。

次に、制御部１１は、仮想オブジェクト２についての音源を配置するヘッドホン２０（ユーザ）からの距離と、仮想オブジェクト２についての音源を配置する方向とを算出する（ステップ２０５）。画面内に複数の仮想オブジェクト２が存在する場合、制御部１１は、複数の仮想オブジェクト２それぞれについて、音源の距離と音源を配置する方向とを算出する。

次に、制御部１１は、仮想オブジェクト２についての音源の位置から仮想オブジェクト２についての情報がヘッドホン２０から聞こえるように、音信号を制御する（ステップ２０６）。仮想オブジェクト２についての情報は、上記した実オブジェクト１についての情報と典型的に同様である。仮想オブジェクト２についての情報は、携帯電話機１０の記憶部１６にあらかじめ記憶されていてもよいし、情報管理サーバから通信部１５を介して取得してもよい。

次に、制御部１１は、モーションセンサからの出力に基づいて、携帯電話機１０が移動したかを判定する（ステップ２０７）。携帯電話機１０が移動したと判定された場合（ステップ２０７）、制御部１１は、携帯電話機１０の動きに応じて、画面上で仮想オブジェクト２を移動させる。

例えば、ユーザが、手に持った携帯電話機１０を上下左右に移動させた場合を想定する。この場合、制御部１１は、画面上に表示されている仮想オブジェクト２を携帯電話機１０の動きとは、反対方向に移動させる。例えば、ユーザが携帯電話機１０を左側に移動させた場合、画面上では、仮想オブジェクト２は右側に移動される。

制御部１１は、画面上で、仮想オブジェクト２を移動させると、ステップ２０２に戻り、再び、画面上でのオブジェクトの中心位置を算出する。そして、ステップ２０３〜ステップ２０６の処理を実行する。これにより、ユーザが携帯端末を移動させて、仮想オブジェクト２の画面内での位置が変化した場合に、仮想オブジェクト２の画面内での位置の変化に応じて、仮想オブジェクト２の音源の位置と、仮想オブジェクト２についての情報の音量が変化される。

以上のような処理により、画面上に表示される仮想オブジェクト２についての情報が、画面内での仮想オブジェクト２の位置に応じた方向から、画面内での仮想オブジェクト２の位置に応じた音量で聞こえてくる。これにより、ユーザは、仮想オブジェクト２の方向などを直感的に認識することができる。

図７を参照して、ユーザが特定の楽曲ジャケット２（仮想オブジェクト２）を選択した場合、選択された楽曲ジャケットの楽曲の音量が変化されてもよい。

［第２実施形態変形例］
以上の説明では、仮想オブジェクト２の位置に基づいて、仮想オブジェクト２についての情報の音量が制御される場合について説明した。一方、画面内に表示される仮想オブジェクト２の面積に基づいて、仮想オブジェクト２についての情報の音量が制御されてもよい。この場合、制御部１１は、図１０のステップ２０３〜ステップ２０４の代わりに、画面上に表示される仮想オブジェクト２の面積を算出する処理と、算出された面積に応じて音量を決定する処理とを実行する。この場合、制御部１１は、典型的には、画面内での仮想オブジェクト２の面積が大きくなるに従って、音量が大きくなるように、音量を制御する。

例えば、大きさの異なる複数の仮想オブジェクト２が画面上に表示される場合、画面上での面積が大きい仮想オブジェクト２の方が、面積が小さい仮想オブジェクト２よりも音量が大きくされる（図５、図９参照）。

例えば、ユーザが、手に持った携帯電話機１０を上下左右に移動させた場合、画面上に表示されている仮想オブジェクト２が携帯電話機１０の動きとは、反対方向に移動される。従って、この場合、仮想オブジェクト２が、画面内に移動してきたり、画面内から外れていったりすることで、画面上で、仮想オブジェクト２の大きさが変化する。この場合、制御部１１は、仮想オブジェクト２の画面内での面積が変化した場合に、画面内での仮想オブジェクト２の面積の変化に応じて、仮想オブジェクト２についての情報の音量を変化させてもよい。

また、制御部１１は、携帯電話機１０が移動された場合に、携帯電話機１０の動きに応じて、画面上で仮想オブジェクト２の面積を積極的に変化させてもよい。例えば、ユーザが、携帯電話機１０を持った手を手前に近づけたり、前方へ遠ざけたりした場合に、画面上での仮想オブジェクト２の面積を変化させてもよい。この場合、制御部１１は、仮想オブジェクト２の画面内での面積が変化した場合に、画面内での仮想オブジェクト２の面積の変化に応じて、仮想オブジェクト２についての情報の音量を変化させる。

制御部１１は、画面内での仮想オブジェクト２の位置及び面積の両方に基づいて、仮想オブジェクト２についての情報の音量を制御してもよい。

＜各種変形例＞
以上の説明では、音を出力する音出力部の一例として、ヘッドホン２０を例に挙げて説明したが、ヘッドホン２０の代わりにイヤホン（音出力部）が用いられてもよい。あるいは、ヘッドホン２０の代わりに、携帯電話機１０自体に設けられたスピーカや、携帯電話機１０とは別体のスピーカが用いられてもよい。

以上の説明では、音制御装置１０の一例として、携帯電話機１０を例に挙げて説明したが音制御装置１０は、これに限られない。音制御装置１０は、携帯音楽プレイヤー、ＰＤＡ（Personal Digital Assistance）、タブレットＰＣ（Personal Computer）等であっても構わない。

本技術は、以下の構成をとることもできる。
（１）画面上にオブジェクトを表示させる表示部と、
前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御する制御部と
を具備する音制御装置。
（２）上記（１）に記載の音制御装置であって、
前記制御部は、前記オブジェクトについての情報が、前記画面内での前記オブジェクトの位置に応じた方向から聞こえてくるように、音出力部の音信号を制御する
音制御装置。
（３）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記画面の中心位置と前記オブジェクトの中心位置との間の距離に基づいて、前記オブジェクトについての情報の音量を制御する
音制御装置。
（４）上記（３）に記載の音制御装置であって、
前記制御部は、前記画面の中心位置と前記オブジェクトの中心位置との間の距離が近づくに従って、前記オブジェクトについての情報の音量が大きくなるように、前記音量を制御する
音制御装置。
（５）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記画面内での前記オブジェクトの面積が大きくなるに従って、前記オブジェクトについての情報の音量が大きくなるように、前記音量を制御する
音制御装置。
（６）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記画面内でのオブジェクトの位置及び面積の両方に基づいて、前記オブジェクトについての情報の音量を制御する
音制御装置。
（７）上記（１）又は（２）に記載の音制御装置であって、
入力部をさらに具備し、
前記制御部は、前記入力部を介した前記オブジェクトの選択操作を判定し、前記オブジェクトの選択操作に応じて、選択された前記オブジェクトについての情報の音量を変化させる
音制御装置。
（８）上記（７）に記載の音制御装置であって、
前記制御部は、選択された前記オブジェクトについての情報の音量が大きくなるように、前記音量を変化させる
音制御装置。
（９）上記（１）又は（２）に記載の音制御装置であって、
空間内に実在する実オブジェクトを撮像する撮像部をさらに具備し、
前記制御部は、前記撮像部により撮像された実オブジェクトを前記オブジェクトとして前記画面上に表示させ、前記画面内での前記実オブジェクトの位置又は面積に基づいて、前記実オブジェクトについての情報の音量を制御する
音制御装置。
（１０）上記（９）に記載の音制御装置であって、
前記制御部は、前記撮像部により撮像された前記実オブジェクトの画面内での位置又は面積が変化した場合に、前記実オブジェクトの画面内での位置又は面積の変化に応じて、前記実オブジェクトについての情報の音量を変化させる
音制御装置。
（１１）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記オブジェクトとして仮想オブジェクトを画面上に表示させ、前記画面内での前記仮想オブジェクトの位置又は面積に基づいて、前記仮想オブジェクトについての情報の音量を制御する
音制御装置。
（１２）上記（１１）に記載の音制御装置であって、
前記制御部は、前記画面内での仮想オブジェクトの位置又は面積を変化させ、前記画面内での前記仮想オブジェクトの位置又は面積を変化に応じて、前記仮想オブジェクトについての情報の音量を変化させる
音制御装置。
（１３）上記（１２）に記載の音制御装置であって、
前記音制御装置の動きを検出するセンサをさらに具備し、
前記制御部は、前記センサにより検出された前記音制御装置の動きに応じて、前記画面内での仮想オブジェクトの位置又は面積を変化させる
音制御装置。
（１４）音制御装置に、
画面上にオブジェクトを表示させるステップと、
前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御するステップと
を実行させるプログラム。
（１５） 画面上にオブジェクトを表示させ、
前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御する
制御方法。

１…実オブジェクト
２…仮想オブジェクト
１０…音制御装置（携帯電話機）
１１…制御部
１２…表示部
１３…入力部
１４…アンテナ
１５…通信部
１６…記憶部
１７…撮像部
２０…ヘッドホン

Claims (15)

1. 画面上にオブジェクトを表示させる表示部と、
   前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御する制御部と
   を具備する音制御装置。
2. 請求項１に記載の音制御装置であって、
   前記制御部は、前記オブジェクトについての情報が、前記画面内での前記オブジェクトの位置に応じた方向から聞こえてくるように、音出力部の音信号を制御する
   音制御装置。
3. 請求項１に記載の音制御装置であって、
   前記制御部は、前記画面の中心位置と前記オブジェクトの中心位置との間の距離に基づいて、前記オブジェクトについての情報の音量を制御する
   音制御装置。
4. 請求項３に記載の音制御装置であって、
   前記制御部は、前記画面の中心位置と前記オブジェクトの中心位置との間の距離が近づくに従って、前記オブジェクトについての情報の音量が大きくなるように、前記音量を制御する
   音制御装置。
5. 請求項１に記載の音制御装置であって、
   前記制御部は、前記画面内での前記オブジェクトの面積が大きくなるに従って、前記オブジェクトについての情報の音量が大きくなるように、前記音量を制御する
   音制御装置。
6. 請求項１に記載の音制御装置であって、
   前記制御部は、前記画面内でのオブジェクトの位置及び面積の両方に基づいて、前記オブジェクトについての情報の音量を制御する
   音制御装置。
7. 請求項１に記載の音制御装置であって、
   入力部をさらに具備し、
   前記制御部は、前記入力部を介した前記オブジェクトの選択操作を判定し、前記オブジェクトの選択操作に応じて、選択された前記オブジェクトについての情報の音量を変化させる
   音制御装置。
8. 請求項７に記載の音制御装置であって、
   前記制御部は、選択された前記オブジェクトについての情報の音量が大きくなるように、前記音量を変化させる
   音制御装置。
9. 請求項１に記載の音制御装置であって、
   空間内に実在する実オブジェクトを撮像する撮像部をさらに具備し、
   前記制御部は、前記撮像部により撮像された実オブジェクトを前記オブジェクトとして前記画面上に表示させ、前記画面内での前記実オブジェクトの位置又は面積に基づいて、前記実オブジェクトについての情報の音量を制御する
   音制御装置。
10. 請求項９に記載の音制御装置であって、
    前記制御部は、前記撮像部により撮像された前記実オブジェクトの画面内での位置又は面積が変化した場合に、前記実オブジェクトの画面内での位置又は面積の変化に応じて、前記実オブジェクトについての情報の音量を変化させる
    音制御装置。
11. 請求項１に記載の音制御装置であって、
    前記制御部は、前記オブジェクトとして仮想オブジェクトを画面上に表示させ、前記画面内での前記仮想オブジェクトの位置又は面積に基づいて、前記仮想オブジェクトについての情報の音量を制御する
    音制御装置。
12. 請求項１１に記載の音制御装置であって、
    前記制御部は、前記画面内での仮想オブジェクトの位置又は面積を変化させ、前記画面内での前記仮想オブジェクトの位置又は面積を変化に応じて、前記仮想オブジェクトについての情報の音量を変化させる
    音制御装置。
13. 請求項１２に記載の音制御装置であって、
    前記音制御装置の動きを検出するセンサをさらに具備し、
    前記制御部は、前記センサにより検出された前記音制御装置の動きに応じて、前記画面内での仮想オブジェクトの位置又は面積を変化させる
    音制御装置。
14. 音制御装置に、
    画面上にオブジェクトを表示させるステップと、
    前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御するステップと
    を実行させるプログラム。
15. 画面上にオブジェクトを表示させ、
    前記画面内での前記オブジェクトの位置又は面積に基づいて、前記オブジェクトについての情報の音量を制御する
    制御方法。

Images