JP2013138352A - テレビジョン装置及びテレビジョン装置の制御方法 - Google Patents
テレビジョン装置及びテレビジョン装置の制御方法 Download PDFInfo
- Publication number
- JP2013138352A JP2013138352A JP2011288584A JP2011288584A JP2013138352A JP 2013138352 A JP2013138352 A JP 2013138352A JP 2011288584 A JP2011288584 A JP 2011288584A JP 2011288584 A JP2011288584 A JP 2011288584A JP 2013138352 A JP2013138352 A JP 2013138352A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- output
- call
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Receiver Circuits (AREA)
- Stereophonic System (AREA)
Abstract
【課題】テレビジョン番組を視聴しながら映像/音声通話した際にライブ感が得られるテレビジョン装置を提供する。
【解決手段】映像/音声通話部121は、ネットワークを介して映像/音声通話を行う。音声出力部130は、映像/音声通話の通話音声及び他の映像/音声ソースの音声を、複数のスピーカで出力する。映像/音声出力調整部122は、音声出力部130に、複数のスピーカのうちRLスピーカ70、RRスピーカ80、及びサブウーファ60から通話音声を出力させるよう調整する。また、映像/音声出力調整部122は、他の映像/音声ソースの音声については、音声出力部130に、FLスピーカ30、FRスピーカ40、Cスピーカ50、RLスピーカ70、RRスピーカ80、サブウーファ60から出力させる。
【選択図】 図2
【解決手段】映像/音声通話部121は、ネットワークを介して映像/音声通話を行う。音声出力部130は、映像/音声通話の通話音声及び他の映像/音声ソースの音声を、複数のスピーカで出力する。映像/音声出力調整部122は、音声出力部130に、複数のスピーカのうちRLスピーカ70、RRスピーカ80、及びサブウーファ60から通話音声を出力させるよう調整する。また、映像/音声出力調整部122は、他の映像/音声ソースの音声については、音声出力部130に、FLスピーカ30、FRスピーカ40、Cスピーカ50、RLスピーカ70、RRスピーカ80、サブウーファ60から出力させる。
【選択図】 図2
Description
本発明はテレビジョン装置及びテレビジョン装置の制御方法に係り、特に音響の制御をするテレビジョン装置及びテレビジョン装置の制御方法に関する。
近年、インターネット接続等を用いて遠隔地のユーザと、例えばSkype(登録商標)のような方式を用いて、映像/音声通話を行うことが可能となっている。
この映像/音声通話は、従来は、PC(Personal Computer)や携帯電話等を用いて行われていた。しかしながら、近年、家庭用のテレビジョン装置でも、映像/音声通話ができるようになってきた。
この映像/音声通話は、従来は、PC(Personal Computer)や携帯電話等を用いて行われていた。しかしながら、近年、家庭用のテレビジョン装置でも、映像/音声通話ができるようになってきた。
ここで図8と図9とを参照して、従来のテレビジョン装置11による映像/音声通話の例について説明する。
図8によると、従来のテレビジョン装置11は、大画面の液晶、プラズマ、有機EL等のディスプレイパネルによる表示部110を備えており、例えばSkype(登録商標)や各種メッセンジャー等による映像/音声通話に対応している。
テレビジョン装置11は、例えば上部に、USBカメラ等であるカメラ21を備える。加えて、テレビジョン装置11は、例えば、5.1チャンネル・サラウンド方式(以下、「5.1ch方式」と呼ぶ。)の各音声チャンネルに対応した音声出力用の各スピーカを接続している。
図8の例では、テレビジョン装置11は、各スピーカとして、FLスピーカ30、FRスピーカ40、Cスピーカ50、RLスピーカ70、RRスピーカ80のような音声出力用のスピーカを備えて配置される。
図8によると、従来のテレビジョン装置11は、大画面の液晶、プラズマ、有機EL等のディスプレイパネルによる表示部110を備えており、例えばSkype(登録商標)や各種メッセンジャー等による映像/音声通話に対応している。
テレビジョン装置11は、例えば上部に、USBカメラ等であるカメラ21を備える。加えて、テレビジョン装置11は、例えば、5.1チャンネル・サラウンド方式(以下、「5.1ch方式」と呼ぶ。)の各音声チャンネルに対応した音声出力用の各スピーカを接続している。
図8の例では、テレビジョン装置11は、各スピーカとして、FLスピーカ30、FRスピーカ40、Cスピーカ50、RLスピーカ70、RRスピーカ80のような音声出力用のスピーカを備えて配置される。
図9によると、一般的に、ユーザP1がテレビジョン装置11を5.1ch方式で視聴する場合、ユーザP1がテレビジョン装置11を閲覧する方向であるフロント(前方)には、FLスピーカ30、Cスピーカ50、FRスピーカ40が配置される。サブウーファ60は、指向性の低い低音専用のスピーカであるので、どこに配置してもよいが、テレビジョン装置11のフロント側面等に置かれることが多い。また、リア(後方)からの「サラウンド」音声を再生するために、ユーザP1の後方にRLスピーカ70と、RRスピーカ80が配置される。
図9は、このような状態で、テレビジョン装置11を視聴するユーザP1が、遠隔地のユーザP2と、いわゆる「音声チャット」として映像/音声通話する例について示している。図9の例で、映像/音声通話の通話音声は、一般的に、フロント・スピーカである、FLスピーカ30、Cスピーカ50、FRスピーカ40と、サブウーファ60で再生される。これは、映像/音声通話の通話音声は、5.1chの音声ソースではなく、通常はモノラルかLRステレオの音声ソースのためである。
この際、テレビジョン装置11の番組等の他の映像/音声ソースの音声は、FLスピーカ30〜RRスピーカ80のすべてのスピーカから同時に再生されることとなる。
図9は、このような状態で、テレビジョン装置11を視聴するユーザP1が、遠隔地のユーザP2と、いわゆる「音声チャット」として映像/音声通話する例について示している。図9の例で、映像/音声通話の通話音声は、一般的に、フロント・スピーカである、FLスピーカ30、Cスピーカ50、FRスピーカ40と、サブウーファ60で再生される。これは、映像/音声通話の通話音声は、5.1chの音声ソースではなく、通常はモノラルかLRステレオの音声ソースのためである。
この際、テレビジョン装置11の番組等の他の映像/音声ソースの音声は、FLスピーカ30〜RRスピーカ80のすべてのスピーカから同時に再生されることとなる。
ここで、特許文献1を参照すると、多画面表示機能を有するテレビジョン装置において音声出力回路の簡素化するため、音声出力切り替え機能制御手段を備えたことを特徴とするテレビジョン受信装置が記載されている。
しかしながら、従来のテレビジョン装置や特許文献1に開示された技術では、テレビジョン装置11で同じ番組を見ながら通話する場合、フロント・スピーカで映像/音声通話の通話音声と、番組等の他の映像/音声ソースの音声の大半が混ざることとなり、聞きづらくなっていた。
また、テレビジョン装置11の正面から映像/音声通話の通話音声が聞こえている状況では、映像/音声通話の接続相手であるユーザP2が正面にいるように感じられる。このため、スポーツ等の番組の視聴をしていると、ユーザ同士のライブ感や一体感が得づらいという課題があった。
また、テレビジョン装置11の正面から映像/音声通話の通話音声が聞こえている状況では、映像/音声通話の接続相手であるユーザP2が正面にいるように感じられる。このため、スポーツ等の番組の視聴をしていると、ユーザ同士のライブ感や一体感が得づらいという課題があった。
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
本発明のテレビジョン装置は、ネットワークを介して他のユーザとの間で映像/音声通話を行う映像/音声通話部と、前記映像/音声通話の通話音声及び他の映像/音声ソースの音声を、複数のスピーカで出力する音声出力部と、前記音声出力部に、前記通話音声を、後方とサブウーファの音声信号出力に対応する前記スピーカから出力させ、前方と後方と前記サブウーファの音声出力に対応する前記スピーカから他の映像/音声ソースの音声を出力させるよう調整する映像/音声出力調整部とを備えることを特徴とする。
本発明のテレビジョン装置は、前記映像/音声出力調整部が、後方の音声出力に対応する前記スピーカの周波数特性に合わせて前記通話音声の出力を調整することを特徴とする。
本発明のテレビジョン装置は、前記映像/音声通話部が、複数の前記ユーザの表示画面上の立ち位置を設定し、前記映像/音声出力調整部は、前記立ち位置から、後方の音声出力に対応する前記スピーカにおける左右の出力の重み付けを行うことを特徴とする。
本発明のテレビジョン装置は、前記映像/音声出力調整部は、前記通話音声の前記サブウーファの音声出力について、後方の音声出力と相関する重み付けをしないことを特徴とする。
本発明のテレビジョン装置は、前記映像/音声出力調整部が、前記音声出力部に、前記通話音声を、前方の音声信号出力に対応する前記スピーカからも、後方の音声信号出力よりも小音量で出力させることを特徴とする。
本発明のテレビジョン装置は、前記映像/音声通話部が、複数の前記ユーザのテレビジョン装置の1つをマスターとし、それ以外の前記ユーザのテレビジョン装置をスレーブと設定し、前記マスターのユーザの指示を検知して、他の映像/音声ソースを切り換えることを特徴とする。
本発明のテレビジョン装置の制御方法は、前記映像/音声通話部により、ネットワークを介して映像/音声通話を行い、音声出力部により、前記映像/音声通話の通話音声及び他の映像/音声ソースの音声を、複数のスピーカで出力し、映像/音声出力調整部により、前記音声出力部に、前記通話音声を、後方とサブウーファの音声信号出力に対応する前記スピーカから出力させ、前方と後方と前記サブウーファの音声出力に対応する前記スピーカから他の映像/音声ソースの音声を出力させるよう調整することを特徴とする。
本発明のテレビジョン装置は、前記映像/音声出力調整部が、後方の音声出力に対応する前記スピーカの周波数特性に合わせて前記通話音声の出力を調整することを特徴とする。
本発明のテレビジョン装置は、前記映像/音声通話部が、複数の前記ユーザの表示画面上の立ち位置を設定し、前記映像/音声出力調整部は、前記立ち位置から、後方の音声出力に対応する前記スピーカにおける左右の出力の重み付けを行うことを特徴とする。
本発明のテレビジョン装置は、前記映像/音声出力調整部は、前記通話音声の前記サブウーファの音声出力について、後方の音声出力と相関する重み付けをしないことを特徴とする。
本発明のテレビジョン装置は、前記映像/音声出力調整部が、前記音声出力部に、前記通話音声を、前方の音声信号出力に対応する前記スピーカからも、後方の音声信号出力よりも小音量で出力させることを特徴とする。
本発明のテレビジョン装置は、前記映像/音声通話部が、複数の前記ユーザのテレビジョン装置の1つをマスターとし、それ以外の前記ユーザのテレビジョン装置をスレーブと設定し、前記マスターのユーザの指示を検知して、他の映像/音声ソースを切り換えることを特徴とする。
本発明のテレビジョン装置の制御方法は、前記映像/音声通話部により、ネットワークを介して映像/音声通話を行い、音声出力部により、前記映像/音声通話の通話音声及び他の映像/音声ソースの音声を、複数のスピーカで出力し、映像/音声出力調整部により、前記音声出力部に、前記通話音声を、後方とサブウーファの音声信号出力に対応する前記スピーカから出力させ、前方と後方と前記サブウーファの音声出力に対応する前記スピーカから他の映像/音声ソースの音声を出力させるよう調整することを特徴とする。
本発明によれば、映像/音声通話の音声をリア・スピーカとサブウーファから出力することで、映像/音声通話を行うと同時に他の映像/音声ソースを視聴していても、映像/音声通話の音声が聞き取りやすくユーザ同士のライブ感や一体感が得られるテレビジョン装置及びテレビジョン装置の制御方法を提供できる。
<実施の形態>
〔映像/音声通話システムXの構成〕
まず、図1を参照すると、本発明の実施の形態に係るテレビジョン装置10は、ネットワーク5を介して、他のテレビジョン装置10と、ロビーサーバ16とに接続される。
テレビジョン装置10は、テレビジョン放送、DVD/Blu−rayディスク、ネットワーク映像配信等に対応した表示装置である。また、テレビジョン装置10は、Skype(登録商標)等の映像/音声通話に対応し、カメラ20(図2)や、例えば5.1chの音声出力システムを備えている。テレビジョン装置10は、主に自機器のテレビジョン装置10のユーザであるユーザP1(図2)と、他機器であるテレビジョン装置10のユーザであるユーザP2、P3等(他のユーザ)同士で映像/音声通話を行う。また、各テレビジョン装置10は、他のテレビジョン装置10に対して、映像/音声通話時に後述する「マスター」「スレーブ」を選択させることができる。
ロビーサーバ16は、各テレビジョン装置10との間で映像/音声通話を行うために、各テレビジョン装置10のネットワーク5での接続状態を検知し、接続の仲介をする。
〔映像/音声通話システムXの構成〕
まず、図1を参照すると、本発明の実施の形態に係るテレビジョン装置10は、ネットワーク5を介して、他のテレビジョン装置10と、ロビーサーバ16とに接続される。
テレビジョン装置10は、テレビジョン放送、DVD/Blu−rayディスク、ネットワーク映像配信等に対応した表示装置である。また、テレビジョン装置10は、Skype(登録商標)等の映像/音声通話に対応し、カメラ20(図2)や、例えば5.1chの音声出力システムを備えている。テレビジョン装置10は、主に自機器のテレビジョン装置10のユーザであるユーザP1(図2)と、他機器であるテレビジョン装置10のユーザであるユーザP2、P3等(他のユーザ)同士で映像/音声通話を行う。また、各テレビジョン装置10は、他のテレビジョン装置10に対して、映像/音声通話時に後述する「マスター」「スレーブ」を選択させることができる。
ロビーサーバ16は、各テレビジョン装置10との間で映像/音声通話を行うために、各テレビジョン装置10のネットワーク5での接続状態を検知し、接続の仲介をする。
〔テレビジョン装置10、カメラ20、及び各スピーカの構成〕
次に、図2を参照すると、本発明の実施の形態に係るテレビジョン装置10は、5.1ch方式の音声の再生と、映像/音声通話に対応する部位として、従来のテレビジョン装置11(図8)と同様にカメラ20と、各スピーカであるFLスピーカ30、FRスピーカ40、Cスピーカ50、サブウーファ60、RLスピーカ70、及びRRスピーカ80と接続している。
各スピーカのうち、FLスピーカ30、Cスピーカ50、FRスピーカ40、及びサブウーファ60がフロント・スピーカである。また、各スピーカのうち、RLスピーカ70及びRRスピーカ80がリア・スピーカである。
次に、図2を参照すると、本発明の実施の形態に係るテレビジョン装置10は、5.1ch方式の音声の再生と、映像/音声通話に対応する部位として、従来のテレビジョン装置11(図8)と同様にカメラ20と、各スピーカであるFLスピーカ30、FRスピーカ40、Cスピーカ50、サブウーファ60、RLスピーカ70、及びRRスピーカ80と接続している。
各スピーカのうち、FLスピーカ30、Cスピーカ50、FRスピーカ40、及びサブウーファ60がフロント・スピーカである。また、各スピーカのうち、RLスピーカ70及びRRスピーカ80がリア・スピーカである。
カメラ20は、映像/音声通話のためのCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサによる電子撮像機能を備えたUSBカメラ等である。カメラ20は、CCDやCMOSイメージセンサで入力した動画像や静止画像を、所定のフォーマットでデジタル化して、USB2.0/3.0規格等を用いて映像信号としてテレビジョン装置10に出力する。
カメラ20は、モード切り換えボタン210(映像/通話モード移行手段)と、音声入力部220(音声入力手段)とを備えている。
モード切り換えボタン210は、映像/音声通話の作動状態(モード)に移行するためのボタンやスイッチ等である。カメラ20は、切り換えスイッチの押下を指示信号として、テレビジョン装置10へ送信する。
音声入力部220は、指向性/無指向性のマイクロフォン、マイクロフォン・アンプ、A/Dコンバータ等を備えた部位である。カメラ20は、音声入力部220から入力したアナログ又はデジタルの音声信号を、テレビジョン装置10へ出力する。テレビジョン装置10は、この音声信号を、ユーザP1の映像/音声通話に係る通話音声の信号として用いる。
なお、カメラ20は、接続状態等を報知するLED等の報知部も備えていてもよい。
また、カメラ20として無線接続のウェブカメラやインターネットカメラを用いることもできる。さらに、スマートフォン等の携帯端末のカメラを用いることもできる。また、音声入力部は、別途、テレビジョン装置10に備えられていてもよい。
カメラ20は、モード切り換えボタン210(映像/通話モード移行手段)と、音声入力部220(音声入力手段)とを備えている。
モード切り換えボタン210は、映像/音声通話の作動状態(モード)に移行するためのボタンやスイッチ等である。カメラ20は、切り換えスイッチの押下を指示信号として、テレビジョン装置10へ送信する。
音声入力部220は、指向性/無指向性のマイクロフォン、マイクロフォン・アンプ、A/Dコンバータ等を備えた部位である。カメラ20は、音声入力部220から入力したアナログ又はデジタルの音声信号を、テレビジョン装置10へ出力する。テレビジョン装置10は、この音声信号を、ユーザP1の映像/音声通話に係る通話音声の信号として用いる。
なお、カメラ20は、接続状態等を報知するLED等の報知部も備えていてもよい。
また、カメラ20として無線接続のウェブカメラやインターネットカメラを用いることもできる。さらに、スマートフォン等の携帯端末のカメラを用いることもできる。また、音声入力部は、別途、テレビジョン装置10に備えられていてもよい。
FLスピーカ30は、前方左側のスピーカである。FLスピーカ30は、例えば、床置き(フロア)型のダイナミック・スピーカであり、20〜4,0000Hzといった広帯域の周波数応答をする。このため、FLスピーカ30は、5.1chではFL音声を高音質で再生する。
FRスピーカ40は、例えば、床置き(フロア)タイプの前方右(Front Right)スピーカである。このため、FRスピーカ40は、FLスピーカ30と、各スピーカユニットの配置を線対称としたような、ほぼ同一の構成のものを用いる。よって、FRスピーカ40は、5.1ch音声のFR音声を、高音質で再生する。
Cスピーカ50は、例えば、ブックシェルフ型のセンタースピーカである。
Cスピーカ50は、例えば、主にヒトの会話に対応する500〜8000Hz程度の帯域に対して特に音声出力の周波数応答の特性がよいフルレンジのスピーカユニットを備えている。
Cスピーカ50は、5.1chでは、主に映画の台詞等のセンター音声を再生することができる。
Cスピーカ50は、例えば、主にヒトの会話に対応する500〜8000Hz程度の帯域に対して特に音声出力の周波数応答の特性がよいフルレンジのスピーカユニットを備えている。
Cスピーカ50は、5.1chでは、主に映画の台詞等のセンター音声を再生することができる。
サブウーファ60は、例えば、床置き型の低音専用のサブウーファ(Subwoofer)である。サブウーファ60は、5.1chでは、通常の音声信号より情報量の少ない「.1」のサブウーファ信号を出力する。
このサブウーファ信号は、効果音のように、ほぼ無指向性の低音として記録されていることが多い。このため、サブウーファ60は、例えば、150Hz程度以下の低音を大口径のスピーカユニット、ヘルムホルツ共鳴、ダブルドライブ、エキサイタ等を用いて再生することができる。
このサブウーファ信号は、効果音のように、ほぼ無指向性の低音として記録されていることが多い。このため、サブウーファ60は、例えば、150Hz程度以下の低音を大口径のスピーカユニット、ヘルムホルツ共鳴、ダブルドライブ、エキサイタ等を用いて再生することができる。
RLスピーカ70は、例えば、床置き型やブックシェルフ型の後方左スピーカである。RLスピーカ70は、5.1ch音声において、主にサラウンド音声であるRL信号を出力する。
5.1ch方式において、RL/RR信号は、FL/FR信号のように広帯域ではなくてもよい。このためRLスピーカ70は、8〜10cmフルレンジのスピーカユニット等から構成することができる。つまり、RLスピーカ70は、例えば、150〜18000Hz程度の周波数帯域の音声を出力できる。
5.1ch方式において、RL/RR信号は、FL/FR信号のように広帯域ではなくてもよい。このためRLスピーカ70は、8〜10cmフルレンジのスピーカユニット等から構成することができる。つまり、RLスピーカ70は、例えば、150〜18000Hz程度の周波数帯域の音声を出力できる。
RRスピーカ80は、例えば、床置き型やブックシェルフ型の後方右スピーカである。RRスピーカ80は、5.1ch音声において、主にサラウンド音声であるRR信号を出力する。
このため、RRスピーカ80は、RLスピーカ70とほぼ同様の構成のものを用いることができる。
このため、RRスピーカ80は、RLスピーカ70とほぼ同様の構成のものを用いることができる。
なお、テレビジョン装置10に接続する各スピーカとして、5.1ch方式以外にも、7.1ch方式や6ch方式等、他のサラウンド方式のスピーカを用いてもよい。
また、例えばCスピーカ50を、テレビジョン装置10のスピーカで兼用したり、Cスピーカ50やサブウーファ60がない構成も用いることができる。
また、例えばCスピーカ50を、テレビジョン装置10のスピーカで兼用したり、Cスピーカ50やサブウーファ60がない構成も用いることができる。
テレビジョン装置10は、映像/音声通話の通話音声出力重み付け処理(図3)に対応する部位として、制御部100(制御手段)、表示部110(表示手段)、映像/音声制御部120(映像/音声処理手段)、音声出力部130(音声出力手段)、ネットワーク接続部140(ネットワーク接続手段)を備えている。
制御部100は、一般的なCPU(Central Processing Unit)やMPU(Micro Processing Unit)等の回路である。
制御部100は、映像/音声処理部120の記憶部123に記憶されたプログラムやデータに従って、後述する音声通話出力割り当て重み付け処理を、ハードウェア資源を用いて実行する。
制御部100は、映像/音声処理部120の記憶部123に記憶されたプログラムやデータに従って、後述する音声通話出力割り当て重み付け処理を、ハードウェア資源を用いて実行する。
表示部110は、液晶やプラズマやリアプロジェクタ等のフラットパネル・ディスプレイである。
表示部110は、カメラ20により取得された映像/音声通話の映像と、テレビ番組等の映像を重ね合わせ(スーパーインポーズ)して表示することができる。
表示部110は、カメラ20により取得された映像/音声通話の映像と、テレビ番組等の映像を重ね合わせ(スーパーインポーズ)して表示することができる。
映像/音声処理部120は、CPU、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)等の制御演算手段と、記憶部を含む部位である。
映像/音声処理部120は、主に後述する音声通話出力割り当て重み付け処理の、ユーザ・インターフェイスを提供し、各スピーカへの割り当てや重み付けのための演算等を行う。
映像/音声処理部120は、主に後述する音声通話出力割り当て重み付け処理の、ユーザ・インターフェイスを提供し、各スピーカへの割り当てや重み付けのための演算等を行う。
音声出力部130は、例えば、5.1ch方式の音声を出力するためのDSP、デコーダ、サラウンドプロセッサ、デジタルミキサ、デジタルアンプ等を含む部位である。
音声出力部130は、例えば、テレビジョンの番組や光学メディア等の他の映像/音声ソースを再生した際の5.1chの音声信号を、各スピーカに割り振って出力できる。また、音声出力部130は、映像/音声通話のモノラルやステレオの通話音声を、音量の重み付け等を行った上で、各スピーカに出力することができる。
その他の機能として、音声出力部130は、いわゆるバーチャルサラウンド等の音場付加処理により、サラウンド音声を残響処理等してフロント・スピーカから出力することができる。この場合でも、リア・スピーカに対応する音声信号を、フロント・スピーカから出力できる。
また、Cスピーカ50やサブウーファ60がない構成の場合には、これらの音声信号を他のスピーカに割り当てることもできる。この場合でも、音声出力部130は、Cスピーカ50やサブウーファ60に対応する音声信号を、他のスピーカから出力できる。
なお、音声出力部130は、各音声チャンネルの数V程度の音声信号の出力のみ行い、別途各音声信号を増幅するアンプ等を備えるような構成とすることもできる。この場合、各スピーカとして、アンプ内蔵のシアター・システム等を用いることもできる。
音声出力部130は、例えば、テレビジョンの番組や光学メディア等の他の映像/音声ソースを再生した際の5.1chの音声信号を、各スピーカに割り振って出力できる。また、音声出力部130は、映像/音声通話のモノラルやステレオの通話音声を、音量の重み付け等を行った上で、各スピーカに出力することができる。
その他の機能として、音声出力部130は、いわゆるバーチャルサラウンド等の音場付加処理により、サラウンド音声を残響処理等してフロント・スピーカから出力することができる。この場合でも、リア・スピーカに対応する音声信号を、フロント・スピーカから出力できる。
また、Cスピーカ50やサブウーファ60がない構成の場合には、これらの音声信号を他のスピーカに割り当てることもできる。この場合でも、音声出力部130は、Cスピーカ50やサブウーファ60に対応する音声信号を、他のスピーカから出力できる。
なお、音声出力部130は、各音声チャンネルの数V程度の音声信号の出力のみ行い、別途各音声信号を増幅するアンプ等を備えるような構成とすることもできる。この場合、各スピーカとして、アンプ内蔵のシアター・システム等を用いることもできる。
ネットワーク接続部140は、ネットワーク5と接続するための、例えば無線LAN、有線LAN、携帯電話等のインターフェイスである。
テレビジョン装置10は、ネットワーク接続部140を介して、映像/音声通話の映像の信号や通話の音声信号を、他のテレビジョン装置10との間で送受信する。
テレビジョン装置10は、ネットワーク接続部140を介して、映像/音声通話の映像の信号や通話の音声信号を、他のテレビジョン装置10との間で送受信する。
これに加えて、テレビジョン装置10は、電源部、リモートコントローラの受光/受信回路や各種のボタン等である入力部、RF(Radio Frequency)部、DVD/Blu−rayディスク等の光学記憶媒体用ドライブ部、外部HDD等接続用のUSB端子やフラッシュメディアカードインターフェイス等も備えている。
つまり、テレビジョン装置10は、地上/衛星テレビジョン放送やカメラ20以外からの他の映像/音声ソースの映像信号を表示部110に表示し、音声信号を各スピーカから出力できる。この際、5.1chに対応している音声信号は、音声出力部130から各スピーカへ出力する。
また、テレビジョン装置10は、音声出力部130のいわゆる「バーチャルサラウンド」により、ステレオやモノラルの音声ソースも、ステレオ化して残響を加える等の手法で5.1ch化して各スピーカから出力することができる。
つまり、テレビジョン装置10は、地上/衛星テレビジョン放送やカメラ20以外からの他の映像/音声ソースの映像信号を表示部110に表示し、音声信号を各スピーカから出力できる。この際、5.1chに対応している音声信号は、音声出力部130から各スピーカへ出力する。
また、テレビジョン装置10は、音声出力部130のいわゆる「バーチャルサラウンド」により、ステレオやモノラルの音声ソースも、ステレオ化して残響を加える等の手法で5.1ch化して各スピーカから出力することができる。
また、テレビジョン装置10の映像/音声処理部120は、主に映像/音声通話部121(映像/音声通話手段)、映像/音声出力調整部122(音声出力調整手段)、及び記憶部123(記憶手段)を備えている。
映像/音声通話部121は、テレビジョン装置10の映像/音声通話に係る処理を行う部位である。
映像/音声通話部121は、複数の他のテレビジョン装置10との間で、カメラ20から取得した画像と音声を、映像/音声信号に変換して、送受信することで映像/音声通話を行う。
また、映像/音声通話部121は、映像/音声通話に係るユーザ・インターフェイスを提供する。このため、映像/音声通話部121は、テレビジョン装置10のネットワーク接続を確認し、ロビーサーバ16に接続する。
また、映像/音声通話部121は、後述するように、テレビジョン番組や記憶媒体の動画ファイルやネットワーク動画等である「他の映像/音声ソース」を、他のユーザと一致して再生させるための「マスター」/「スレーブ」の設定を行い、記憶部123に設定情報として記憶する。
また、映像/音声通話部121は、表示部110上の「立ち位置」を設定し、記憶部123に設定情報として記憶する。ここで、本実施形態の「立ち位置」は、各ユーザの位置や並び等の関係を示す情報である。立ち位置の情報は、表示部110内に表示される、映像/音声通話の映像表示枠(以下、「ウィンドウ」という。)の座標、大きさ、透過率、フレームの形状等を含む。
映像/音声通話部121は、複数の他のテレビジョン装置10との間で、カメラ20から取得した画像と音声を、映像/音声信号に変換して、送受信することで映像/音声通話を行う。
また、映像/音声通話部121は、映像/音声通話に係るユーザ・インターフェイスを提供する。このため、映像/音声通話部121は、テレビジョン装置10のネットワーク接続を確認し、ロビーサーバ16に接続する。
また、映像/音声通話部121は、後述するように、テレビジョン番組や記憶媒体の動画ファイルやネットワーク動画等である「他の映像/音声ソース」を、他のユーザと一致して再生させるための「マスター」/「スレーブ」の設定を行い、記憶部123に設定情報として記憶する。
また、映像/音声通話部121は、表示部110上の「立ち位置」を設定し、記憶部123に設定情報として記憶する。ここで、本実施形態の「立ち位置」は、各ユーザの位置や並び等の関係を示す情報である。立ち位置の情報は、表示部110内に表示される、映像/音声通話の映像表示枠(以下、「ウィンドウ」という。)の座標、大きさ、透過率、フレームの形状等を含む。
映像/音声出力調整部122は、他のユーザの映像/音声通話に係る通話音声を、音声出力部130に接続された各スピーカへ割り当て、重み付けをして出力する処理を行う部位である。映像/音声出力調整部122は、この各スピーカへの音声出力の重み付けを、後述する相関関数によって行う。
また、映像/音声出力調整部122は、「他の映像/音声ソース」と、他ユーザからの映像/音声通話の画像を、表示部110に重ねて表示する。
この際、映像/音声出力調整部122は、他ユーザからの映像/音声通話の画像を、各ユーザの立ち位置の設定情報に従って配置して表示する。
さらに、映像/音声出力調整部122は、立ち位置の設定情報に従って、各スピーカへ通話音声の出力の割り当てと重み付けを行う。
なお、映像/音声通話部121と映像/音声出力調整部122とを、専用の回路を用いて実現することもできる。
また、映像/音声出力調整部122は、「他の映像/音声ソース」と、他ユーザからの映像/音声通話の画像を、表示部110に重ねて表示する。
この際、映像/音声出力調整部122は、他ユーザからの映像/音声通話の画像を、各ユーザの立ち位置の設定情報に従って配置して表示する。
さらに、映像/音声出力調整部122は、立ち位置の設定情報に従って、各スピーカへ通話音声の出力の割り当てと重み付けを行う。
なお、映像/音声通話部121と映像/音声出力調整部122とを、専用の回路を用いて実現することもできる。
記憶部123は、RAM、ROM、フラッシュメモリ等を含む記憶部位であり、制御部100が音声通話出力割り当て重み付け処理を実行し、映像/音声通話部121や映像/音声出力調整部122を含む各部位を制御するためのプログラムやデータ等を記憶している。
〔通話音声出力割り当て/重み付け処理〕
次に、図3〜図7を参照して、本発明の実施の形態に係る音声通話出力割り当て重み付け処理について説明する。
本実施形態の音声通話出力割り当て重み付け処理において、制御部100は、映像/音声通話部121と映像/音声出力調整部122とを用いて:
1)映像/音声通話と、「他の映像/音声ソース」が入力されたときに、各スピーカへの音声割り当てを行う。
2)割り当てに加え、表示部110の画面上の位置等に係る「立ち位置」の設定情報により、各スピーカの音声出力の重み付けを行う。
3)複数のテレビジョン装置10間で、マスター/スレーブの設定をして、マスターの指示信号により、同じ映像/音声を出力する。また、ユーザ同士の立ち位置の関係に応じて、各スピーカへの割り当てや重み付けを行い、カメラ20の映像の表示位置を連動させる。
以下で、図3のフローチャートを参照して、音声通話出力割り当て重み付け処理の各処理についてステップ毎に詳しく説明する。
次に、図3〜図7を参照して、本発明の実施の形態に係る音声通話出力割り当て重み付け処理について説明する。
本実施形態の音声通話出力割り当て重み付け処理において、制御部100は、映像/音声通話部121と映像/音声出力調整部122とを用いて:
1)映像/音声通話と、「他の映像/音声ソース」が入力されたときに、各スピーカへの音声割り当てを行う。
2)割り当てに加え、表示部110の画面上の位置等に係る「立ち位置」の設定情報により、各スピーカの音声出力の重み付けを行う。
3)複数のテレビジョン装置10間で、マスター/スレーブの設定をして、マスターの指示信号により、同じ映像/音声を出力する。また、ユーザ同士の立ち位置の関係に応じて、各スピーカへの割り当てや重み付けを行い、カメラ20の映像の表示位置を連動させる。
以下で、図3のフローチャートを参照して、音声通話出力割り当て重み付け処理の各処理についてステップ毎に詳しく説明する。
(ステップS101)
まず、制御部100は、映像/音声通話部121を用いて、モード切り換えボタン検知処理を行う。
ここでは、制御部100は、ユーザが映像/音声通話を行うためのモード切り換えボタン210の押下を検知する。なお、このモード切り換えボタンは、カメラ20又は図示しないリモコンとテレビジョン装置10の入力部とに備えられている。
検知後、制御部100は、OSD(On Screen Display)画面等で、映像/音声通話モードに移行する旨、表示部110に表示し、音声出力部130から確認音声を出力する。
この際、制御部100は、自機器のユーザP1に、例えば「通常映像/音声通話モード」又は「複数拠点同映像/音声ソース視聴モード」を選択させることができる。
通常映像/音声通話モードは、主に2人のユーザ間で、映像/音声通話を行うモードである。
また、複数拠点同映像/音声ソース視聴モードは、2人以上のユーザが映像/音声通話をすると同時に、同じテレビジョン番組等の他の映像/音声ソースを視聴する。つまり、このモードでは、映像/音声通話の接続相手のユーザのテレビジョン装置10に、同じ番組等を表示する。これにより、スポーツ番組や同じネットワーク動画等を、複数のユーザでほぼ同時に鑑賞することができる。
まず、制御部100は、映像/音声通話部121を用いて、モード切り換えボタン検知処理を行う。
ここでは、制御部100は、ユーザが映像/音声通話を行うためのモード切り換えボタン210の押下を検知する。なお、このモード切り換えボタンは、カメラ20又は図示しないリモコンとテレビジョン装置10の入力部とに備えられている。
検知後、制御部100は、OSD(On Screen Display)画面等で、映像/音声通話モードに移行する旨、表示部110に表示し、音声出力部130から確認音声を出力する。
この際、制御部100は、自機器のユーザP1に、例えば「通常映像/音声通話モード」又は「複数拠点同映像/音声ソース視聴モード」を選択させることができる。
通常映像/音声通話モードは、主に2人のユーザ間で、映像/音声通話を行うモードである。
また、複数拠点同映像/音声ソース視聴モードは、2人以上のユーザが映像/音声通話をすると同時に、同じテレビジョン番組等の他の映像/音声ソースを視聴する。つまり、このモードでは、映像/音声通話の接続相手のユーザのテレビジョン装置10に、同じ番組等を表示する。これにより、スポーツ番組や同じネットワーク動画等を、複数のユーザでほぼ同時に鑑賞することができる。
(ステップS102)
次に、制御部100は、映像/音声通話部121を用いて、テレビジョン装置10がネットワーク5に接続され映像/音声通話が可能な状態になっているか否かを判定する。
制御部100は、ネットワーク接続部140でネットワーク5への接続を検知でき、ロビーサーバ16に接続が可能である場合、Yesと判定する。それ以外の場合は、映像/音声通話が不可能としてNoと判定する。
Yesの場合、制御部100は、処理をステップS104に進める。
Noの場合、制御部100は、処理をステップS103に進める。
次に、制御部100は、映像/音声通話部121を用いて、テレビジョン装置10がネットワーク5に接続され映像/音声通話が可能な状態になっているか否かを判定する。
制御部100は、ネットワーク接続部140でネットワーク5への接続を検知でき、ロビーサーバ16に接続が可能である場合、Yesと判定する。それ以外の場合は、映像/音声通話が不可能としてNoと判定する。
Yesの場合、制御部100は、処理をステップS104に進める。
Noの場合、制御部100は、処理をステップS103に進める。
(ステップS103)
制御部100は、映像/音声通話が不可能である場合、映像/音声通話部121を用いて、ネット接続催促処理を行う。
ネットワーク5に接続できない場合、例えば、制御部100は、OSDにて表示部110にネットワーク設定の画面を表示する。そして、制御部100は、ユーザP1の指示を入力部から検知し、IPアドレスや無線LANのSSIDやパスワード等を設定する。
また、制御部100は、例えば、ロビーサーバ16への接続が不可能である場合、OSDにて表示部110に、「サーバに接続できません。ネットワーク接続を確認して下さい」等のメッセージを表示する。また、制御部100は、ロビーサーバ16のアクセス認証等が失敗した場合には、例えば、アカウントのIDやパスワードを入力させるダイアログボックス等を表示して、ユーザP1に設定させる。
その後、制御部100は、処理をステップS101に戻し、接続等をまた確認する。
制御部100は、映像/音声通話が不可能である場合、映像/音声通話部121を用いて、ネット接続催促処理を行う。
ネットワーク5に接続できない場合、例えば、制御部100は、OSDにて表示部110にネットワーク設定の画面を表示する。そして、制御部100は、ユーザP1の指示を入力部から検知し、IPアドレスや無線LANのSSIDやパスワード等を設定する。
また、制御部100は、例えば、ロビーサーバ16への接続が不可能である場合、OSDにて表示部110に、「サーバに接続できません。ネットワーク接続を確認して下さい」等のメッセージを表示する。また、制御部100は、ロビーサーバ16のアクセス認証等が失敗した場合には、例えば、アカウントのIDやパスワードを入力させるダイアログボックス等を表示して、ユーザP1に設定させる。
その後、制御部100は、処理をステップS101に戻し、接続等をまた確認する。
(ステップS104)
制御部100は、ネットワーク5に接続されて映像/音声通話が可能な場合、映像/音声通話部121を用いて、マスター/スレーブ設定処理を行う。
この処理で、まず、制御部100は、入力部のユーザP1の指示を検知し、映像/音声通話を行う1人又は複数の他のユーザを選択する。
具体的に、制御部100は、まず、ロビーサーバ16にアクセスして、映像/音声通話が可能な「オンライン」のユーザを、ユーザP1の入力部からの指示により選択する。
制御部100は、ネットワーク5に接続されて映像/音声通話が可能な場合、映像/音声通話部121を用いて、マスター/スレーブ設定処理を行う。
この処理で、まず、制御部100は、入力部のユーザP1の指示を検知し、映像/音声通話を行う1人又は複数の他のユーザを選択する。
具体的に、制御部100は、まず、ロビーサーバ16にアクセスして、映像/音声通話が可能な「オンライン」のユーザを、ユーザP1の入力部からの指示により選択する。
次に、制御部100は、「マスター」と「スレーブ」とを設定する。マスターは、映像/音声通話で他のユーザへ設定情報を送信するテレビジョン装置10で、スレーブは当該設定情報を受信してマスターと同様の設定を行うテレビジョン装置10である。
マスターとなったテレビジョン装置10は、複数拠点同映像/音声ソース視聴モードにおいて、テレビジョン番組や記憶媒体/ネットワーク配信の動画等の「他の映像/音声ソース」を選択できる。つまりマスターは、「他の映像/音声ソース」の設定情報を、スレーブのテレビジョン装置10へ送信する。複数拠点同映像/音声ソース視聴モードの場合、マスター及びスレーブのテレビジョン装置10は、ほぼ同一の「他の映像/音声ソース」を表示部110に、ほぼ同時に表示する。なお、スレーブのテレビジョン装置10は、通常は、「他の映像/音声ソース」を選択することはできない。
マスターとなったテレビジョン装置10は、複数拠点同映像/音声ソース視聴モードにおいて、テレビジョン番組や記憶媒体/ネットワーク配信の動画等の「他の映像/音声ソース」を選択できる。つまりマスターは、「他の映像/音声ソース」の設定情報を、スレーブのテレビジョン装置10へ送信する。複数拠点同映像/音声ソース視聴モードの場合、マスター及びスレーブのテレビジョン装置10は、ほぼ同一の「他の映像/音声ソース」を表示部110に、ほぼ同時に表示する。なお、スレーブのテレビジョン装置10は、通常は、「他の映像/音声ソース」を選択することはできない。
制御部100は、通常、モード切り換えボタン210を押下したユーザのテレビジョン装置10をマスターに設定する。そして、制御部100は、映像/音声通話の通話相手である他のユーザをすべてスレーブに設定し、その設定情報を送信する。
以下では、図3のユーザP1の自機器であるテレビジョン装置10をマスター、それ以外のユーザのテレビジョン装置10をスレーブとして説明する。
なお、制御部100は、モード切り換えボタン210の押下を検知した後、マスター/スレーブの設定をユーザに、別途行わせることもできる。また、複数のテレビジョン装置10をマスターとすることもできる。
以下では、図3のユーザP1の自機器であるテレビジョン装置10をマスター、それ以外のユーザのテレビジョン装置10をスレーブとして説明する。
なお、制御部100は、モード切り換えボタン210の押下を検知した後、マスター/スレーブの設定をユーザに、別途行わせることもできる。また、複数のテレビジョン装置10をマスターとすることもできる。
(ステップS105)
次に、制御部100は、映像/音声通話部121を用いて、自機器のテレビジョン装置10にカメラ20が接続されているか否かを判定する。この際、制御部100は、音声入力部220から所定レベルで音声信号が入力できるか否かも判定する。制御部100は、カメラ20が接続され、音声入力部220から音声信号も入力できた場合、Yesと判定する。それ以外の場合には、Noと判定する。
Yesの場合、制御部100は、処理をステップS107に進める。
Noの場合、制御部100は、処理をステップS106に進める。
次に、制御部100は、映像/音声通話部121を用いて、自機器のテレビジョン装置10にカメラ20が接続されているか否かを判定する。この際、制御部100は、音声入力部220から所定レベルで音声信号が入力できるか否かも判定する。制御部100は、カメラ20が接続され、音声入力部220から音声信号も入力できた場合、Yesと判定する。それ以外の場合には、Noと判定する。
Yesの場合、制御部100は、処理をステップS107に進める。
Noの場合、制御部100は、処理をステップS106に進める。
(ステップS106)
制御部100は、カメラ20が接続されていないか音声信号が入力できない場合、映像/音声通話部121を用いて、カメラ接続催促表示処理を行う。
具体的には、カメラ20が接続されていない場合、制御部100は、自機器のテレビジョン装置10に対して、「カメラを接続して下さい」等と表示部110に表示させ、ユーザP1へ、カメラ20の接続を促す。
また、音声信号が入力できない場合、制御部100は、「音声入力のテストを行いますか?」等と表示部110に表示させる。
制御部100は、カメラ20の接続が確認でき、所定レベルでの音声入力が確認できた場合、処理をステップS107に進める。
制御部100は、カメラ20が接続されていないか音声信号が入力できない場合、映像/音声通話部121を用いて、カメラ接続催促表示処理を行う。
具体的には、カメラ20が接続されていない場合、制御部100は、自機器のテレビジョン装置10に対して、「カメラを接続して下さい」等と表示部110に表示させ、ユーザP1へ、カメラ20の接続を促す。
また、音声信号が入力できない場合、制御部100は、「音声入力のテストを行いますか?」等と表示部110に表示させる。
制御部100は、カメラ20の接続が確認でき、所定レベルでの音声入力が確認できた場合、処理をステップS107に進める。
(ステップS107)
制御部100は、映像/音声通話部121を用いて、自機器の音声出力部130から5.1ch音声出力等の「サラウンド接続」が行われているか否か判定する。
制御部100は、各スピーカが接続され、5.1ch等のサラウンド音声の出力が可能である場合には、Yesと判定する。これに対して、制御部100は、例えば、FLスピーカ30とFRスピーカ40等だけが接続されたステレオLR出力の場合は、Noと判定する。
Yesの場合、制御部100は、処理をステップS108に進める。
Noの場合、制御部100は、音声出力部130をバーチャルサラウンド等の音声出力モードに設定して、処理をステップS110に進める。
制御部100は、映像/音声通話部121を用いて、自機器の音声出力部130から5.1ch音声出力等の「サラウンド接続」が行われているか否か判定する。
制御部100は、各スピーカが接続され、5.1ch等のサラウンド音声の出力が可能である場合には、Yesと判定する。これに対して、制御部100は、例えば、FLスピーカ30とFRスピーカ40等だけが接続されたステレオLR出力の場合は、Noと判定する。
Yesの場合、制御部100は、処理をステップS108に進める。
Noの場合、制御部100は、音声出力部130をバーチャルサラウンド等の音声出力モードに設定して、処理をステップS110に進める。
(ステップS108)
制御部100は、映像/音声通話部121を用いて、自機器が「サラウンド接続」になっている場合、映像/音声通話を行う全ユーザが接続されたか否か判定する。
制御部100は、他機器のテレビジョン装置10が、5.1ch等のサラウンド接続されている場合に、Yesと判定する。制御部100は、それ以外の場合には、Noと判定する。
Yesの場合、制御部100は、処理をステップS110に進める。
Noの場合、制御部100は、処理をステップS109に進める。
制御部100は、映像/音声通話部121を用いて、自機器が「サラウンド接続」になっている場合、映像/音声通話を行う全ユーザが接続されたか否か判定する。
制御部100は、他機器のテレビジョン装置10が、5.1ch等のサラウンド接続されている場合に、Yesと判定する。制御部100は、それ以外の場合には、Noと判定する。
Yesの場合、制御部100は、処理をステップS110に進める。
Noの場合、制御部100は、処理をステップS109に進める。
(ステップS109)
自機器の制御部100は、映像/音声通話部121を用いて、全てのユーザが映像/音声通話が可能でないかサラウンド接続されていない場合、サラウンド音声切り換え処理を行う。
具体的には、自機器の制御部100は、5.1ch等のサラウンド接続されていない他機器のテレビジョン装置10に対して、ネットワーク接続部140を介して、サラウンド音声に切り換える指示信号を送信する。
これを受信した他機器の制御部100は、RLスピーカ70とRRスピーカ80が接続されているにも関わらず、5.1ch等のサラウンド接続ではない音声出力モードになっていた場合には、サラウンド音声を出力するモードに変更する。また、制御部100は、他機器がステレオLR出力の場合には、バーチャルサラウンド等に設定する。
自機器の制御部100は、映像/音声通話部121を用いて、全てのユーザが映像/音声通話が可能でないかサラウンド接続されていない場合、サラウンド音声切り換え処理を行う。
具体的には、自機器の制御部100は、5.1ch等のサラウンド接続されていない他機器のテレビジョン装置10に対して、ネットワーク接続部140を介して、サラウンド音声に切り換える指示信号を送信する。
これを受信した他機器の制御部100は、RLスピーカ70とRRスピーカ80が接続されているにも関わらず、5.1ch等のサラウンド接続ではない音声出力モードになっていた場合には、サラウンド音声を出力するモードに変更する。また、制御部100は、他機器がステレオLR出力の場合には、バーチャルサラウンド等に設定する。
(ステップS110)
全てのユーザがサラウンド接続となり、映像/音声通話が可能となった場合、自機器の制御部100は、映像/音声通話部121を用いて、マスター/スレーブ開始指示処理を行う。
この処理では、自機器の制御部100は、映像/音声通話が可能な他機器へ、映像/音声通話を開始する指示信号を送信する。
すると、マスターの制御部100は、スレーブとなるテレビジョン装置10にモード設定開始の指示信号を送信する。これにより、マスターとスレーブの全ユーザのテレビジョン装置10の制御部100は、表示部110に設定に係るOSD表示を行う。
この上で、マスターの制御部100は、マスターのユーザの設定画面での指示を検知して、設定情報として送信する。この設定情報を受信した、スレーブのテレビジョン装置10の制御部100は、表示部110にOSD表示する。このように、マスターとスレーブとの間で、設定画面を同期させる(以下、設定画面連動という。)ことができる。
全てのユーザがサラウンド接続となり、映像/音声通話が可能となった場合、自機器の制御部100は、映像/音声通話部121を用いて、マスター/スレーブ開始指示処理を行う。
この処理では、自機器の制御部100は、映像/音声通話が可能な他機器へ、映像/音声通話を開始する指示信号を送信する。
すると、マスターの制御部100は、スレーブとなるテレビジョン装置10にモード設定開始の指示信号を送信する。これにより、マスターとスレーブの全ユーザのテレビジョン装置10の制御部100は、表示部110に設定に係るOSD表示を行う。
この上で、マスターの制御部100は、マスターのユーザの設定画面での指示を検知して、設定情報として送信する。この設定情報を受信した、スレーブのテレビジョン装置10の制御部100は、表示部110にOSD表示する。このように、マスターとスレーブとの間で、設定画面を同期させる(以下、設定画面連動という。)ことができる。
(ステップS111)
次に、制御部100は、映像/音声通話部121を用いて、立ち位置パターン設定処理を行う。
この処理では、マスターのテレビジョン装置10は、各ユーザの「立ち位置」を設定して、設定情報として送信する。
マスターのテレビジョン装置10は、あらかじめ用意された所定の立ち位置のパターンの中から、マスターのユーザが選択することができる。つまり、マスターがスレーブのユーザの立ち位置も決定する。
マスターのテレビジョン装置10の制御部100は、設定された立ち位置を、設定情報として記憶部123に記憶する。
次に、制御部100は、映像/音声通話部121を用いて、立ち位置パターン設定処理を行う。
この処理では、マスターのテレビジョン装置10は、各ユーザの「立ち位置」を設定して、設定情報として送信する。
マスターのテレビジョン装置10は、あらかじめ用意された所定の立ち位置のパターンの中から、マスターのユーザが選択することができる。つまり、マスターがスレーブのユーザの立ち位置も決定する。
マスターのテレビジョン装置10の制御部100は、設定された立ち位置を、設定情報として記憶部123に記憶する。
この立ち位置のパターンとして、例えば、マスターのウィンドウを表示部110の画面下部の中央に配置し、この左右に他のスレーブのウィンドウを固定し、いわゆる「マルチ画面」表示を行うように設定できる。このパターンでは、マスターの表示部110は、マスターのウィンドウ自体は表示しない。
この他の立ち位置のパターンとして、スレーブのウィンドウを画面の上下左右の端に配置したり、所定の三次元画像に重ねて配置することもできる。ウィンドウの大きさとしては、画面全体〜画面の1/16程度のパターンを選択できる。また、フレームの形状も、金色の額や動物の絵といった複数の形状から選択できる。
この他の立ち位置のパターンとして、スレーブのウィンドウを画面の上下左右の端に配置したり、所定の三次元画像に重ねて配置することもできる。ウィンドウの大きさとしては、画面全体〜画面の1/16程度のパターンを選択できる。また、フレームの形状も、金色の額や動物の絵といった複数の形状から選択できる。
また、立ち位置のパターンには、複数拠点同映像/音声ソース視聴モードで通話と同時に表示される「他の映像/音声ソース」のウィンドウの座標、大きさ、透過率、フレームの形状等も含まれる。すなわち、「他の映像/音声ソース」が全画面表示され、マスターとスレーブの映像/音声通話の映像のウィンドウが手前に表示される設定をしたり、「他の映像/音声ソース」を画面の上半分に表示し、映像/音声通話の映像のウィンドウを画面の下部に並べる「タイリング」の設定をしたりできる。
マスターの制御部100は、設定画面をリアルタイム(実時間)でスレーブに送信する設定画面連動を行う。
なお、マスターがリモコンの十字ボタンと決定ボタン等を用いて、スレーブのユーザの立ち位置を自由に決定するように構成してもよい。
マスターの制御部100は、設定画面をリアルタイム(実時間)でスレーブに送信する設定画面連動を行う。
なお、マスターがリモコンの十字ボタンと決定ボタン等を用いて、スレーブのユーザの立ち位置を自由に決定するように構成してもよい。
(ステップS112)
ここで、制御部100は、映像/音声通話部121を用いて、立ち位置情報送信処理を行う。
この処理では、マスターのテレビジョン装置10の制御部100が、記憶部123から決定された立ち位置の設定情報を取得し、各スレーブのテレビジョン装置10へ設定情報として送信する。
ここで、制御部100は、映像/音声通話部121を用いて、立ち位置情報送信処理を行う。
この処理では、マスターのテレビジョン装置10の制御部100が、記憶部123から決定された立ち位置の設定情報を取得し、各スレーブのテレビジョン装置10へ設定情報として送信する。
(ステップS113)
制御部100は、映像/音声出力調整部122を用いて、スピーカ割り当て/重み付け処理を行う。
具体的には、マスターとスレーブの各テレビジョン装置10の制御部100は、立ち位置の設定情報に従って、表示部110に映像/音声通話の映像のウィンドウを配置する。この上で、制御部100は、映像/音声通話の通話音声について、「スピーカ割り当て」と「重み付け」の情報の計算を行う。
制御部100は、映像/音声出力調整部122を用いて、スピーカ割り当て/重み付け処理を行う。
具体的には、マスターとスレーブの各テレビジョン装置10の制御部100は、立ち位置の設定情報に従って、表示部110に映像/音声通話の映像のウィンドウを配置する。この上で、制御部100は、映像/音声通話の通話音声について、「スピーカ割り当て」と「重み付け」の情報の計算を行う。
〔立ち位置情報からのスピーカ割り当ての例〕
図4を参照して説明すると、本実施形態においては、制御部100は、立ち位置の設定情報に従って、各スピーカへの音声の出力の割り当て及びバランス(重み付け)を決定する。つまり、制御部100は、表示部110上の画面上のユーザの表示位置により、音声の出力も変化させる。
図4を参照して説明すると、本実施形態においては、制御部100は、立ち位置の設定情報に従って、各スピーカへの音声の出力の割り当て及びバランス(重み付け)を決定する。つまり、制御部100は、表示部110上の画面上のユーザの表示位置により、音声の出力も変化させる。
図4は、スレーブのユーザP2が表示部110の右寄り下にウィンドウ111として表示される例である。
このような位置情報の場合、まず、制御部100は、映像/音声通話の相手方であるユーザP2の通話音声を主にRLスピーカ70、RRスピーカ80、及びサブウーファ60で出力するように割り当てる。そして、制御部100は、後述するように、音声出力部130を用い、ユーザP2の通話音声が右寄りから聞こえるよう重み付けして出力する。
また、制御部100は、「他の映像/音声ソース」を、表示部110に表示する。この際に、制御部100は、テレビジョン番組等の「他の映像/音声ソース」の音声は、FLスピーカ30〜RRスピーカ80の全てのスピーカから、5.1chの音声を出力するよう割り当てる。
なお、「他の映像/音声ソース」の音声をフロント・スピーカのみから出力するように設定することもできる。このように構成しても、リア・スピーカに対応する音声をバーチャル・サラウンドで再生することで、サラウンド再生と、明瞭な通話音声の再生を両立させることができる。
このような位置情報の場合、まず、制御部100は、映像/音声通話の相手方であるユーザP2の通話音声を主にRLスピーカ70、RRスピーカ80、及びサブウーファ60で出力するように割り当てる。そして、制御部100は、後述するように、音声出力部130を用い、ユーザP2の通話音声が右寄りから聞こえるよう重み付けして出力する。
また、制御部100は、「他の映像/音声ソース」を、表示部110に表示する。この際に、制御部100は、テレビジョン番組等の「他の映像/音声ソース」の音声は、FLスピーカ30〜RRスピーカ80の全てのスピーカから、5.1chの音声を出力するよう割り当てる。
なお、「他の映像/音声ソース」の音声をフロント・スピーカのみから出力するように設定することもできる。このように構成しても、リア・スピーカに対応する音声をバーチャル・サラウンドで再生することで、サラウンド再生と、明瞭な通話音声の再生を両立させることができる。
〔立ち位置の設定情報からの重み付けの例〕
次に、図5を参照して、音声出力の再生割合を変更する「重み付け」の例について説明する。
図5は、通話音声をリア・スピーカであるRLスピーカ70、RRスピーカ80から出力する際の重み付けの例である。この場合、例えば、下記の相関関数の式(1)のように重み付けを設定する:
fl(x)+fr(x)=A ……式(1)
上記の式(1)において、fl(x),fr(x)≧0、A=所定値である。また、fl(x)はRLスピーカ70の重み付け関数、fr(x)はRRスピーカ80の重み付け関数である。
式(1)において、Aは、例えば、通話音声を出力する際の出力レベルの最大値で計算しやすい値である、A=1.0、10、256等の値を設定する。図5では、A=10の例を示す。
また、fl(x)、fr(x)のxは、マスターの右側を「+」とした場合の、マスターとスレーブとの距離を示す。
このxは、例えば、立ち位置の設定情報の画面上の座標とAとを基に、下記の式(2)で算出する。
x=(画面上の座標−画面の中心)/画面の大きさ*A ……式(2)
つまり、例えば、ユーザP2のウィンドウの座標が表示部110の画面の右側で、画面の大きさが横1920px(pixel)でユーザP2のウィンドウの横(X軸)座標の中心が1536pxの場合、1920/2=960が画面の中心となり、
x=(1536−960)/1920*10=+3
と算出できる。
次に、図5を参照して、音声出力の再生割合を変更する「重み付け」の例について説明する。
図5は、通話音声をリア・スピーカであるRLスピーカ70、RRスピーカ80から出力する際の重み付けの例である。この場合、例えば、下記の相関関数の式(1)のように重み付けを設定する:
fl(x)+fr(x)=A ……式(1)
上記の式(1)において、fl(x),fr(x)≧0、A=所定値である。また、fl(x)はRLスピーカ70の重み付け関数、fr(x)はRRスピーカ80の重み付け関数である。
式(1)において、Aは、例えば、通話音声を出力する際の出力レベルの最大値で計算しやすい値である、A=1.0、10、256等の値を設定する。図5では、A=10の例を示す。
また、fl(x)、fr(x)のxは、マスターの右側を「+」とした場合の、マスターとスレーブとの距離を示す。
このxは、例えば、立ち位置の設定情報の画面上の座標とAとを基に、下記の式(2)で算出する。
x=(画面上の座標−画面の中心)/画面の大きさ*A ……式(2)
つまり、例えば、ユーザP2のウィンドウの座標が表示部110の画面の右側で、画面の大きさが横1920px(pixel)でユーザP2のウィンドウの横(X軸)座標の中心が1536pxの場合、1920/2=960が画面の中心となり、
x=(1536−960)/1920*10=+3
と算出できる。
また、サブウーファ60に関しては、制御部100は、上述の式(1)、(2)とは関係なく、つまりリア・スピーカの出力と相関する重み付けを行わない。つまり、制御部100は、サブウーファ60からは、通話音声を所定音量でそのまま出力する。
サブウーファ60から、通話音声を重み付けせず出力することで、複数のユーザでの通話音声と、他の映像ソースの音声の低音がそのまま放出される。これにより、通話音声が背後のみから聞こえる感じを和らげることができる。つまり、他のユーザが近くにいるように感じられるため、一体感が得られる。
なお、制御部100は、立ち位置の設定情報におけるユーザのウィンドウの大きさを基に、重み付けすることもできる。すなわち、制御部100は、サブウーファ60においても式(1)と式(2)を用い、ウィンドウが大きいほど、Aまでの範囲でxを大きくするといった処理も可能である。
サブウーファ60から、通話音声を重み付けせず出力することで、複数のユーザでの通話音声と、他の映像ソースの音声の低音がそのまま放出される。これにより、通話音声が背後のみから聞こえる感じを和らげることができる。つまり、他のユーザが近くにいるように感じられるため、一体感が得られる。
なお、制御部100は、立ち位置の設定情報におけるユーザのウィンドウの大きさを基に、重み付けすることもできる。すなわち、制御部100は、サブウーファ60においても式(1)と式(2)を用い、ウィンドウが大きいほど、Aまでの範囲でxを大きくするといった処理も可能である。
なお、この上述の式(1)と式(2)はX軸の座標に注目して、リア・スピーカの音声出力についての重み付けを行う例であるが、これ以外の重み付けも可能である。たとえば、ユーザの映像/音声通話のウィンドウの画面上の上下位置の座標(Y座標)により、リア・スピーカの音声出力を変更することもできる。
また、ユーザP2の通話音声を、フロント・スピーカから、重み付けして、通常はリア・スピーカよりも小音量で再生することもできる。この場合も、リア・スピーカから重み付けされた音声を出力する。また、後述するように、フロント・スピーカは通話音声の残響成分のみ再生するような構成も可能である。このように構成すると、映像/音声通話の接続相手が背後にいるように聞こえることを防ぐことができる。これは、他の映像/音声ソースが5.1chの音声の場合、リア・スピーカからも音声が再生されるためである。つまり、映像/音声通話の通話音声をフロント・スピーカにも重み付けし、小音量で再生することで、より自ユーザの近くに、他ユーザの通話音声を音像定位させることができるため、ライブ感、一体感が高まる。
また、ユーザP2の通話音声を、フロント・スピーカから、重み付けして、通常はリア・スピーカよりも小音量で再生することもできる。この場合も、リア・スピーカから重み付けされた音声を出力する。また、後述するように、フロント・スピーカは通話音声の残響成分のみ再生するような構成も可能である。このように構成すると、映像/音声通話の接続相手が背後にいるように聞こえることを防ぐことができる。これは、他の映像/音声ソースが5.1chの音声の場合、リア・スピーカからも音声が再生されるためである。つまり、映像/音声通話の通話音声をフロント・スピーカにも重み付けし、小音量で再生することで、より自ユーザの近くに、他ユーザの通話音声を音像定位させることができるため、ライブ感、一体感が高まる。
図5(a)は、自機器のユーザP1がマスターの際、スレーブのユーザP2の位置関係の例を示す図である。つまり、図5(a)は、ユーザP2の立ち位置の情報が、ユーザP1の右側+3の位置であることを示している。
図5(b)は、x=+3の際の、fl(x)の値を示すグラフである。この図では、fl(x)が+2となる。
図5(c)は、x=+3の際の、fr(x)の値を示すグラフである。この図では、fr(x)が+8となる。
図5(b)は、x=+3の際の、fl(x)の値を示すグラフである。この図では、fl(x)が+2となる。
図5(c)は、x=+3の際の、fr(x)の値を示すグラフである。この図では、fr(x)が+8となる。
次に、図6を参照して、RLスピーカ70とRRスピーカ80の最終的な出力信号について説明する。
RLスピーカ70、RRスピーカ80の出力信号(出力ゲイン)は、上述の重み付けの相関関数のxにより、通話音声の周波数帯域毎の音声信号と、それぞれのスピーカの周波数特性を基に、下記の式(3)及び式(4)で一意的に決定される。
S_Out,l(f)=S_In(f)*Gl(f)*fl(x)/A ……式(3)
S_Out,r(f)=S_In(f)*Gr(f)*fr(x)/A ……式(4)
上述の式(3)と式(4)において、S_Out,l(f)、S_Out,r(f)とは、それぞれ、RLスピーカ70、RRスピーカ80における、周波数帯域毎の出力信号である。
また、S_In(f)は、映像/音声通話における、各他機器からの周波数帯域毎の通話音声の信号である。
また、Gl(f)、Gr(f)は、それぞれ、RLスピーカ70、RRスピーカ80の周波数特性の値である。
サブウーファ60に関しては、制御部100は、低音域のみ出力するため、周波数帯域に対応した演算をせず、音量のみ調整して音声出力することができる。
RLスピーカ70、RRスピーカ80の出力信号(出力ゲイン)は、上述の重み付けの相関関数のxにより、通話音声の周波数帯域毎の音声信号と、それぞれのスピーカの周波数特性を基に、下記の式(3)及び式(4)で一意的に決定される。
S_Out,l(f)=S_In(f)*Gl(f)*fl(x)/A ……式(3)
S_Out,r(f)=S_In(f)*Gr(f)*fr(x)/A ……式(4)
上述の式(3)と式(4)において、S_Out,l(f)、S_Out,r(f)とは、それぞれ、RLスピーカ70、RRスピーカ80における、周波数帯域毎の出力信号である。
また、S_In(f)は、映像/音声通話における、各他機器からの周波数帯域毎の通話音声の信号である。
また、Gl(f)、Gr(f)は、それぞれ、RLスピーカ70、RRスピーカ80の周波数特性の値である。
サブウーファ60に関しては、制御部100は、低音域のみ出力するため、周波数帯域に対応した演算をせず、音量のみ調整して音声出力することができる。
図6(a)は、上述の式(3)と式(4)のS_In(f)の例を示す概念図である。このように、S_In(f)は、例えば数ms程度の所定時間範囲の入力信号をFFT(高速フーリエ変換)等して、周波数帯域f’毎に入力のレベルを算出したものである。
図6(b)は、式(3)と式(4)のGl(f)又はGr(f)の例を示す概念図である。Gl(f)又はGr(f)は、周波数帯域f’毎の周波数応答(dB)等の計算式やテーブル等を用いる。この計算式やテーブル等は、それぞれのスピーカに合わせて、各テレビジョン装置10でユーザがいくつかのパターン等から設定できる。また、制御部1000は、音声入力部220から、各スピーカの周波数応答を測定し。各スピーカにおけるGl(f)又はGr(f)に対応する周波数応答のデータを作成し、記憶部123に記憶することもできる。
図6(b)は、式(3)と式(4)のGl(f)又はGr(f)の例を示す概念図である。Gl(f)又はGr(f)は、周波数帯域f’毎の周波数応答(dB)等の計算式やテーブル等を用いる。この計算式やテーブル等は、それぞれのスピーカに合わせて、各テレビジョン装置10でユーザがいくつかのパターン等から設定できる。また、制御部1000は、音声入力部220から、各スピーカの周波数応答を測定し。各スピーカにおけるGl(f)又はGr(f)に対応する周波数応答のデータを作成し、記憶部123に記憶することもできる。
具体例として、図5のようにスレーブのユーザP2が、マスターのユーザP1の右側+3の位置にいるとした場合、マスターのスピーカの音分布は{fl(x)、fr(x)}=(2,8)となる。
この際、制御部100は、周波数f'の出力信号を、下式で計算できる。
S_Out,l(f')=S_In(f')*Gl(f')×2/10
S_Out,r(f')=S_In(f')*Gr(f')×8/10
このように、本実施形態では、リア・スピーカの周波数応答に合わせた出力信号を出力する。これにより、フロント・スピーカのように周波数特性が広帯域でないリア・スピーカに左右の重み付けして出力しても、明瞭な通話音声を出力することができる。
この際、制御部100は、周波数f'の出力信号を、下式で計算できる。
S_Out,l(f')=S_In(f')*Gl(f')×2/10
S_Out,r(f')=S_In(f')*Gr(f')×8/10
このように、本実施形態では、リア・スピーカの周波数応答に合わせた出力信号を出力する。これにより、フロント・スピーカのように周波数特性が広帯域でないリア・スピーカに左右の重み付けして出力しても、明瞭な通話音声を出力することができる。
なお、上述の式(3)と式(4)では、リア・スピーカの周波数応答についての出力調整を行ったが、これに限られない。たとえば、制御部100は、音声出力部130により、映像/音声通話の位相応答や残響レベル等を調整することもできる。これにより、フロント・スピーカからも残響成分を出力し、他のユーザがあたかも自機器のユーザの側にいるかのような音場を作成できる。
また、映像/音声通話のウィンドウの画面上の上下位置の座標(Y座標)の値、ウィンドウの大きさ、及び種類により、フロント・スピーカ及びリア・スピーカから出力する音量や残響を調整することもできる。たとえば、ウィンドウの大きさが大きかったり、Y座標が上であると、フロント・スピーカからの出力音量を大きくすることができる。これにより、映像/音声通話の臨場感を調整することができる。
また、映像/音声通話のウィンドウの画面上の上下位置の座標(Y座標)の値、ウィンドウの大きさ、及び種類により、フロント・スピーカ及びリア・スピーカから出力する音量や残響を調整することもできる。たとえば、ウィンドウの大きさが大きかったり、Y座標が上であると、フロント・スピーカからの出力音量を大きくすることができる。これにより、映像/音声通話の臨場感を調整することができる。
図7は、三人横並びで、マスターを中心にして、左右下にスレーブのユーザP2、P3のウィンドウ112、113がそれぞれ表示される例である。この例でも、「他の映像/音声ソース」が、表示部110に全画面表示されている。
ここで、ユーザP2の上述の式(2)でx=−3、ユーザP3の式(2)でx=+3とすると、
ユーザP2:{fl(x)、fr(x)}=(8,2)
ユーザP3:{fl(x)、fr(x)}=(2,8)
となる。
これらの重み付けに従って、制御部100は、立ち位置が左側のユーザP2では、映像/音声通話の通話音声について、RLスピーカ70に対して音量を大きくするよう重み付けして出力する。また、制御部100は、右側のユーザP3の通話音声に対しては、RRスピーカ80の音量を大きくするよう重み付けして出力する。
また、制御部100は、サブウーファ60からは、ユーザP2、ユーザP3とも、映像/音声通話の音声をほぼ同一の音量で出力する。
このように、本実施形態では、リア・スピーカから、立ち位置の設定情報に従って重み付けをして映像/音声通話の音声を出力する。
これにより、接続相手のユーザP2、P3が、自機器のユーザP1の左隣や右隣にいるかのような音場を生成できる。
ここで、ユーザP2の上述の式(2)でx=−3、ユーザP3の式(2)でx=+3とすると、
ユーザP2:{fl(x)、fr(x)}=(8,2)
ユーザP3:{fl(x)、fr(x)}=(2,8)
となる。
これらの重み付けに従って、制御部100は、立ち位置が左側のユーザP2では、映像/音声通話の通話音声について、RLスピーカ70に対して音量を大きくするよう重み付けして出力する。また、制御部100は、右側のユーザP3の通話音声に対しては、RRスピーカ80の音量を大きくするよう重み付けして出力する。
また、制御部100は、サブウーファ60からは、ユーザP2、ユーザP3とも、映像/音声通話の音声をほぼ同一の音量で出力する。
このように、本実施形態では、リア・スピーカから、立ち位置の設定情報に従って重み付けをして映像/音声通話の音声を出力する。
これにより、接続相手のユーザP2、P3が、自機器のユーザP1の左隣や右隣にいるかのような音場を生成できる。
(ステップS114)
ここで、制御部100は、映像/音声通話部121を用いて、番組決定/送信処理を行う。
この処理において、マスターのテレビジョン装置10の制御部100は、マスターのユーザによる、リモコン等の入力部による「他の映像/音声ソース」の選択を検知する。この上で、マスターのテレビジョン装置10の制御部100は、各ユーザのテレビジョン装置10に、検知した選択に係る制御信号を送信する。
これを受信した各スレーブのテレビジョン装置10の制御部100は、「他の映像/音声ソース」を切り換える。
ここで、制御部100は、映像/音声通話部121を用いて、番組決定/送信処理を行う。
この処理において、マスターのテレビジョン装置10の制御部100は、マスターのユーザによる、リモコン等の入力部による「他の映像/音声ソース」の選択を検知する。この上で、マスターのテレビジョン装置10の制御部100は、各ユーザのテレビジョン装置10に、検知した選択に係る制御信号を送信する。
これを受信した各スレーブのテレビジョン装置10の制御部100は、「他の映像/音声ソース」を切り換える。
(ステップS115)
次に制御部100は、映像/音声通話部121を用い、映像/音声出力処理を行う。
具体的には、マスターのテレビジョン装置10の制御部100は、全ユーザのテレビジョン装置10で設定OSD表示を閉じるよう指示信号を送信する。
これにより、全ユーザのテレビジョン装置10で、制御部100は、立ち位置の設定情報に従って、表示部110の映像/音声通話のウィンドウ内に映像出力する。
この上で、各テレビジョン装置10の制御部100は、立ち位置の設定情報に従った上述の演算の結果により、音声出力部130のDSPやミキサ等を制御する。
これにより、各スピーカへ映像/音声通話の通話音声を割り振り、重み付けされた音声が出力開始される。
以上により、本発明の実施の形態に係る音声通話出力割り当て重み付け処理を終了する。
次に制御部100は、映像/音声通話部121を用い、映像/音声出力処理を行う。
具体的には、マスターのテレビジョン装置10の制御部100は、全ユーザのテレビジョン装置10で設定OSD表示を閉じるよう指示信号を送信する。
これにより、全ユーザのテレビジョン装置10で、制御部100は、立ち位置の設定情報に従って、表示部110の映像/音声通話のウィンドウ内に映像出力する。
この上で、各テレビジョン装置10の制御部100は、立ち位置の設定情報に従った上述の演算の結果により、音声出力部130のDSPやミキサ等を制御する。
これにより、各スピーカへ映像/音声通話の通話音声を割り振り、重み付けされた音声が出力開始される。
以上により、本発明の実施の形態に係る音声通話出力割り当て重み付け処理を終了する。
以上のように構成することで、以下のような効果を得ることができる。
まず、本発明の実施の形態に係るテレビジョン装置10は、映像/音声通話と、他の映像/音声ソースの視聴を同時にするときに、主に、RLスピーカ70、RRスピーカ80、及びサブウーファ60から映像/音声通話の通話音声を出力する。これにより、映像/音声通話の通話音声とTV映像の音声が混ざって、どちらの音声も聞きづらくなることを避けることができる。この際、リア・スピーカ以外にサブウーファ60からも通話音声を出力することで、通話音声が背後に音像定位することを防ぎ、臨場感が得られる。
また、テレビジョン装置10は、二つ以上の異なるユーザと映像/音声通話をするときに、立ち位置の設定情報に従って、画面の描画と通話音声の各スピーカへの割り振りと重み付けを制御できる。これにより、それぞれのテレビジョン装置10の設置場所で、まるで横に並んでスポーツ観戦等の番組を視聴しているかのようなライブ感、一体感が得られる。
まず、本発明の実施の形態に係るテレビジョン装置10は、映像/音声通話と、他の映像/音声ソースの視聴を同時にするときに、主に、RLスピーカ70、RRスピーカ80、及びサブウーファ60から映像/音声通話の通話音声を出力する。これにより、映像/音声通話の通話音声とTV映像の音声が混ざって、どちらの音声も聞きづらくなることを避けることができる。この際、リア・スピーカ以外にサブウーファ60からも通話音声を出力することで、通話音声が背後に音像定位することを防ぎ、臨場感が得られる。
また、テレビジョン装置10は、二つ以上の異なるユーザと映像/音声通話をするときに、立ち位置の設定情報に従って、画面の描画と通話音声の各スピーカへの割り振りと重み付けを制御できる。これにより、それぞれのテレビジョン装置10の設置場所で、まるで横に並んでスポーツ観戦等の番組を視聴しているかのようなライブ感、一体感が得られる。
なお、上述の実施の形態においては、テレビジョン装置10を用いて映像/音声通話をする例について説明した。
しかしながら、本発明は、テレビジョン装置10の表示部110を用いない音声通話においても対応できる。つまり、音声通話の通話音声を、5.1ch等のサラウンド出力する場合でも、スピーカの割り当てと重み付けをすることが可能である。これにより、複数のユーザ同士での音声チャットにおいて、臨場感、ライブ感、一体感が得られる。また、テレビジョン装置以外にも、AVアンプ・システム、DLNAネットワークプレーヤ、プロジェクタ、BD/DVDプレーヤ/レコーダ、PC(Personal Computer)等においても用いることができる。
また、5.1chでない、例えば7.1chのサラウンド音声の場合は、同じくリア側のスピーカの位置関係に従った重み付けを行うことができる。
また、音声出力部130が音の方向性を強調する演算を行うことで、例えば、他の映像/音声ソースの台詞等のヒトの声をCスピーカ50から主に出力するようにする構成も可能である。この場合、映像/音声通話の通話音声は、リア・スピーカの他に、ユーザ毎にFLスピーカ30又はFRスピーカ40から出力しても、通話音声と台詞等とを区別しやすい。
また、いわゆる「サウンドビーム」方式のように、フロント側に設置された複数のスピーカの位相を調整して、壁等の反射を用いてリア側の音声を再生させる方式や、バーチャルサラウンド方式の場合でも、リア・スピーカに対応する音声出力の重み付けを行うことが好適である。つまり、この重み付けを行った音声信号を、対応するスピーカから出力することができる。
また、テレビジョン装置10が3D(三次元)映像を表示するテレビジョン装置の場合には、立ち位置の設定情報に、三次元座標での情報を用いることもできる。この場合、各ユーザの奥行き情報を基に、フロント・スピーカとリア・スピーカの間で重み付けをすることができる。
しかしながら、本発明は、テレビジョン装置10の表示部110を用いない音声通話においても対応できる。つまり、音声通話の通話音声を、5.1ch等のサラウンド出力する場合でも、スピーカの割り当てと重み付けをすることが可能である。これにより、複数のユーザ同士での音声チャットにおいて、臨場感、ライブ感、一体感が得られる。また、テレビジョン装置以外にも、AVアンプ・システム、DLNAネットワークプレーヤ、プロジェクタ、BD/DVDプレーヤ/レコーダ、PC(Personal Computer)等においても用いることができる。
また、5.1chでない、例えば7.1chのサラウンド音声の場合は、同じくリア側のスピーカの位置関係に従った重み付けを行うことができる。
また、音声出力部130が音の方向性を強調する演算を行うことで、例えば、他の映像/音声ソースの台詞等のヒトの声をCスピーカ50から主に出力するようにする構成も可能である。この場合、映像/音声通話の通話音声は、リア・スピーカの他に、ユーザ毎にFLスピーカ30又はFRスピーカ40から出力しても、通話音声と台詞等とを区別しやすい。
また、いわゆる「サウンドビーム」方式のように、フロント側に設置された複数のスピーカの位相を調整して、壁等の反射を用いてリア側の音声を再生させる方式や、バーチャルサラウンド方式の場合でも、リア・スピーカに対応する音声出力の重み付けを行うことが好適である。つまり、この重み付けを行った音声信号を、対応するスピーカから出力することができる。
また、テレビジョン装置10が3D(三次元)映像を表示するテレビジョン装置の場合には、立ち位置の設定情報に、三次元座標での情報を用いることもできる。この場合、各ユーザの奥行き情報を基に、フロント・スピーカとリア・スピーカの間で重み付けをすることができる。
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
5 ネットワーク
10、11 テレビジョン装置
16 ロビーサーバ
20、21 カメラ
30 FLスピーカ
40 FRスピーカ
50 Cスピーカ
60 サブウーファ
70 RLスピーカ
80 RRスピーカ
100 制御部
110 表示部
111、112、113 ウィンドウ
120 映像/音声処理部
121 映像/音声通話部
122 映像/音声出力調整部
123 記憶部
130 音声出力部
140 ネットワーク接続部
210 モード切り換えボタン
220 音声入力部
P1、P2、P3 ユーザ
X 映像/音声通話システム
10、11 テレビジョン装置
16 ロビーサーバ
20、21 カメラ
30 FLスピーカ
40 FRスピーカ
50 Cスピーカ
60 サブウーファ
70 RLスピーカ
80 RRスピーカ
100 制御部
110 表示部
111、112、113 ウィンドウ
120 映像/音声処理部
121 映像/音声通話部
122 映像/音声出力調整部
123 記憶部
130 音声出力部
140 ネットワーク接続部
210 モード切り換えボタン
220 音声入力部
P1、P2、P3 ユーザ
X 映像/音声通話システム
Claims (7)
- ネットワークを介して他のユーザとの間で映像/音声通話を行う映像/音声通話部と、
前記映像/音声通話の通話音声及び他の映像/音声ソースの音声を、複数のスピーカで出力する音声出力部と、
前記音声出力部に、前記通話音声を、後方とサブウーファの音声信号出力に対応する前記スピーカから出力させ、前方と後方と前記サブウーファの音声出力に対応する前記スピーカから他の映像/音声ソースの音声を出力させるよう調整する映像/音声出力調整部とを備える
ことを特徴とするテレビジョン装置。 - 前記映像/音声出力調整部は、後方の音声出力に対応する前記スピーカの周波数特性に合わせて前記通話音声の出力を調整する
ことを特徴とする請求項1に記載のテレビジョン装置。 - 前記映像/音声通話部は、
複数の前記ユーザの表示画面上の立ち位置を設定し、
前記映像/音声出力調整部は、前記立ち位置から、後方の音声出力に対応する前記スピーカにおける左右の出力の重み付けを行う
ことを特徴とする請求項1又は2に記載のテレビジョン装置。 - 前記映像/音声出力調整部は、
前記通話音声の前記サブウーファの音声出力について、後方の音声出力と相関する重み付けをしない
ことを特徴とする請求項1乃至3のいずれか1項に記載のテレビジョン装置。 - 前記映像/音声出力調整部は、
前記音声出力部に、前記通話音声を、前方の音声信号出力に対応する前記スピーカからも、後方の音声信号出力よりも小音量で出力させる
ことを特徴とする請求項1乃至4のいずれか1項に記載のテレビジョン装置。 - 前記映像/音声通話部は、
複数の前記ユーザのテレビジョン装置の1つをマスターとし、それ以外の前記ユーザのテレビジョン装置をスレーブと設定し、前記マスターのユーザの指示を検知して、他の映像/音声ソースを切り換える
ことを特徴とする請求項1乃至5のいずれか1項に記載のテレビジョン装置。 - 前記映像/音声通話部により、ネットワークを介して映像/音声通話を行い、
音声出力部により、前記映像/音声通話の通話音声及び他の映像/音声ソースの音声を、複数のスピーカで出力し、
映像/音声出力調整部により、前記音声出力部に、前記通話音声を、後方とサブウーファの音声信号出力に対応する前記スピーカから出力させ、前方と後方と前記サブウーファの音声出力に対応する前記スピーカから他の映像/音声ソースの音声を出力させるよう調整する
ことを特徴とするテレビジョン装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011288584A JP2013138352A (ja) | 2011-12-28 | 2011-12-28 | テレビジョン装置及びテレビジョン装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011288584A JP2013138352A (ja) | 2011-12-28 | 2011-12-28 | テレビジョン装置及びテレビジョン装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013138352A true JP2013138352A (ja) | 2013-07-11 |
Family
ID=48913734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011288584A Pending JP2013138352A (ja) | 2011-12-28 | 2011-12-28 | テレビジョン装置及びテレビジョン装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013138352A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023084933A1 (ja) * | 2021-11-11 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2011
- 2011-12-28 JP JP2011288584A patent/JP2013138352A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023084933A1 (ja) * | 2021-11-11 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11277703B2 (en) | Speaker for reflecting sound off viewing screen or display surface | |
JP6486833B2 (ja) | 三次元拡張オーディオを提供するシステム及び方法 | |
JP6082814B2 (ja) | 音響を最適化する装置及び方法 | |
US9622010B2 (en) | Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers | |
CN104871558B (zh) | 用于协作式声音系统的图像产生的方法和装置 | |
WO2014077374A1 (ja) | オーディオ信号処理装置、位置情報取得装置、およびオーディオ信号処理システム | |
US20120155657A1 (en) | Communication device and communication methods | |
JP2011515942A (ja) | 対象指向性の3d音声ディスプレイ装置 | |
US10587982B2 (en) | Dual-orientation speaker for rendering immersive audio content | |
JP6111611B2 (ja) | オーディオアンプ | |
JP2012191524A (ja) | 音響装置および音響システム | |
EP4211904A1 (en) | Wearable audio device within a distributed audio playback system | |
US11234094B2 (en) | Information processing device, information processing method, and information processing system | |
JP5331805B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
WO2013022483A1 (en) | Methods and apparatus for automatic audio adjustment | |
JP2013138352A (ja) | テレビジョン装置及びテレビジョン装置の制御方法 | |
WO2018198790A1 (ja) | コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム | |
TW201426529A (zh) | 通訊設備及其播放方法 | |
JP2014107764A (ja) | 位置情報取得装置、およびオーディオシステム | |
CN220543284U (zh) | 一种智能影音一体机 | |
US11895472B2 (en) | Audio system with mixed rendering audio enhancement | |
US20220360896A1 (en) | Modular conferencing system | |
WO2023079682A1 (ja) | 表示装置、表示装置連携システム、及び音声再生方法 | |
TWI739429B (zh) | 喇叭聲道音訊控制系統 | |
WO2023212883A1 (zh) | 音频输出方法和装置、通信装置和存储介质 |