JP2009017187A - 映像音声再生装置、映像音声再生システム及び映像音声再生方法 - Google Patents

Abstract

【課題】たとえば２画面表示においてのいずれか一方の映像からの音の位置と左右のスピーカからの音の位置とを一致させて映像の視聴を違和感なく行うことができるようにする。
【解決手段】たとえばテレビ受信機にたとえばＨＤＭＩケーブルを介してオーディオ機器を接続するようにしたシステムにおいて、少なくとも２画面表示が可能な表示部に対する２画面表示が指示されると、それぞれ異なる映像信号が映像信号処理部により選択されて表示部に出力され、さらに表示部におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置とたとえばテレビ受信機の左右のフロントスピーカ１２９，１３０による虚音像１３１ａの位置とが一致するように音場変更処理が行われるようにし、その映像内での音の位置とフロントスピーカ１２９，１３０からの音の位置とが整合するようにした。
【選択図】図１２

Description

本発明は、映像音声再生装置、映像音声再生システム及び映像音声再生方法に係り、特に複数画面表示での音声再生に適した映像音声再生装置、映像音声再生システム及び映像音声再生方法に関する。

デジタル放送の映像を表示するテレビ受信機には、ＡＶ信号（オーディオ・ビジュアル信号；映像信号と音声信号とを含む）とそれに付加された付加情報（ジャンル情報やチャンネル情報等の番組情報）を受信し、これらの付加情報を基に番組内容に適した音場モードに切り替える等の制御を行うことができるようにしたものがある。

また、このようなテレビ受信機では、複数の外部入力端子を備え、ＤＶＤからの映像／音声信号、ゲーム機器からの映像／音声信号、ビデオカメラからの映像／音声信号、デジタルカメラからの映像／音声信号、ＰＣ（パソコン）からの映像／音声信号等を取り込むことで、デジタル放送の映像／音声に限らず他の機器からの映像／音声の視聴も可能となっている。

また、このようなテレビ受信機では、１つの画面にそれぞれ異なる複数の映像を表示できるようにしたマルチウィンドウ機能を搭載しているものがあり、ある程度の画面サイズであれば、たとえば画面の左側にデジタル放送の映像を表示し、画面の右側にゲーム機器からの映像を表示してのいわゆる２画面表示であっても、デジタル放送の映像とゲーム機器からの映像とを同時に楽しむことが可能となっている。

また、たとえば画面の左側にデジタル放送の映像を表示し、画面の右側にパソコンの画面を表示して、デジタル放送の映像を見ながら、その映像に関する情報をインターネットで検索するというような楽しみ方も可能となっている。

当然に、画面サイズが大きくなると、２画面表示に限らず、３画面以上の表示であっても、それぞれの画面の映像を楽しむことが可能である。

ところで、このようなテレビ受信機では、たとえば２画面表示を行っているとき、両画面の映像の音が左右のスピーカから同時に再生されると、両者の音が混じってしまって聞き取れ難くなることから、いずれか一方の映像に対応する音が左右のスピーカから再生されるように選択して切り替える必要がある。

このような２画面表示での再生音声の切り替えに関するものとして、特許文献１では、２画面テレビ受像機において、主画面のテレビ信号から検波された音声信号のレベルと、副画面のテレビ信号から検波された音声信号のレベルとを比較し、主画面音声の信号レベルを用いて、副画面の音声信号のレベルを主画面の音声信号のレベルに制御し、主副画面の音声信号レベルを合致させるようにした２画面テレビ受像機の音量制御装置を提案している。
特開平１１−３５５６９１号公報

上述した特許文献１では、主画面音声の信号レベルを用い、副画面の音声信号のレベルを主画面の音声信号のレベルに制御することで、再生音声を主副いずれのかの画面の音声に切り替えた際、テレビ信号中の音声信号の変調度や伝送路特性の相違による再生音声の音量レベルが変動することなく、ユーザが設定した好みの音量で主副いずれの画面の音声も再生できるようになっている。

ところが、このような２画面表示での再生音声の切り替え方法では、図１３に示すように、たとえば画面の左側にデジタル放送の映像を表示（主画面）し、画面の右側にゲーム機器からの映像を表示（副画面）しているものとし、たとえばデジタル放送の映像の音声が左右（Ｌ，Ｒ）のスピーカ１ａ，１ｂから再生されるようにすると、音の定位は常に画面１の中心に位置することになる。

この場合、視聴者が同図のように画面の中央にて主画面のデジタル放送の映像を視聴しているとすると、その映像内での人物が発する音声の位置、あるいはその映像内で発生される音等（車等の音や他の物音等）の位置と、左右（Ｌ，Ｒ）のスピーカ１ａ，１ｂからの音の位置とが合わず違和感を感じてしまうという問題があった。

本発明は、このような状況に鑑みてなされたものであり、上記問題点を解決することができる映像音声再生装置、映像音声再生システム及び映像音声再生方法を提供することを目的とする。

本発明の映像音声再生装置は、少なくとも左右のスピーカを有するテレビ受信機における映像音声再生装置であって、少なくとも２画面表示が可能な表示手段と、前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する映像信号選択手段と、前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う音場変更処理手段とを備えることを特徴とする。
また、前記音場変更処理手段は、前記左右のスピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理するようにすることができる。
また、前記音場変更処理手段は、前記左右のスピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理するようにすることができる。
また、前記音場変更処理手段は、前記左右のスピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理するようにすることができる。
本発明の映像音声再生システムは、少なくとも左右のスピーカと少なくとも２画面表示が可能な表示手段とを有するテレビ受信機と、該テレビ受信機に接続され、少なくとも左右の外部スピーカを有するオーディオ機器とにおける映像音声再生システムであって、前記テレビ受信機は、前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する映像信号選択手段と、前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う第１音場変更処理手段とを有し、前記オーディオ機器は、前記テレビ受信機に少なくとも該テレビ受信機からの音声信号を受け取るＨＤＭＩケーブルを介して接続され、前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右の外部スピーカによる虚音像の位置とが一致するように、音場変更処理を行う第２音場変更処理手段を有し、音声再生指示に応じて、前記第１音場変更処理手段又は前記第２音場変更処理手段により前記音場変更処理が行われることを特徴とする。
また、前記第１音場変更処理手段又は前記第２音場変更処理手段は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理するようにすることができる。
また、前記第１音場変更処理手段又は前記第２音場変更処理手段は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理するようにすることができる。
また、前記第１音場変更処理手段又は前記第２音場変更処理手段は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理するようにすることができる。
また、前記オーディオ機器は、光ケーブルを介して前記テレビ受信機に接続され、前記ＨＤＭＩケーブル及び／又は前記光ケーブルを介して前記テレビ受信機からの音声信号が前記オーディオ機器に伝達されるようにすることができる。
本発明の映像音声再生方法は、少なくとも左右のスピーカを有するテレビ受信機における映像音声再生方法であって、少なくとも２画面表示が可能な表示手段における前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する工程と、前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う工程とを有することを特徴とする。
また、前記音場変更処理は、前記左右のスピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理することであるようにすることができる。
また、前記音場変更処理は、前記左右のスピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理することであるようにすることができる。
また、前記音場変更処理は、前記左右のスピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理することであるようにすることができる。
本発明の映像音声再生方法は、少なくとも左右のスピーカと少なくとも２画面表示が可能な表示手段とを有するテレビ受信機と、該テレビ受信機に接続され、少なくとも左右の外部スピーカを有するオーディオ機器とにおける映像音声再生方法であって、前記テレビ受信機は、前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する工程と、前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う工程とを有し、前記オーディオ機器は、前記テレビ受信機に少なくとも該テレビ受信機からの音声信号を受け取るＨＤＭＩケーブルを介して接続され、前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右の外部スピーカによる虚音像の位置とが一致するように、音場変更処理を行う工程を有し、音声再生指示に応じて、前記スピーカ又は前記外部スピーカにおける前記音場変更処理が行われることを特徴とする。
また、前記テレビ受信機での音場変更処理又は前記オーディオ機器での音場変更処理は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理することであるようにすることができる。
また、前記テレビ受信機での音場変更処理又は前記オーディオ機器での音場変更処理は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理することであるようにすることができる。
また、前記テレビ受信機での音場変更処理又は前記オーディオ機器での音場変更処理は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理することであるようにすることができる。
本発明の映像音声再生装置、映像音声再生システム及び映像音声再生方法では、少なくとも２画面表示が可能な表示手段に対する２画面表示が指示されると、それぞれ異なる映像信号が選択されて表示手段に出力され、さらに表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置とたとえば左右のスピーカによる虚音像の位置とが一致するように、音場変更処理が行われる。

本発明の映像音声再生装置、映像音声再生システム及び映像音声再生方法によれば、少なくとも２画面表示が可能な表示手段に対する２画面表示が指示されると、それぞれ異なる映像信号が選択されて表示手段に出力され、さらに表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置とたとえば左右のスピーカによる虚音像の位置とが一致するように、音場変更処理が行われるようにしたので、その映像内での音の位置とたとえば左右のスピーカからの音の位置とが整合し、映像の視聴を違和感なく行うことができる。

本実施形態では、たとえばテレビ受信機において、少なくとも２画面表示が可能な表示手段に対する２画面表示が指示されると、それぞれ異なる映像信号が選択されて表示手段に出力され、さらに表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と左右のスピーカによる虚音像の位置とが一致するように、音場変更処理が行われる。

このような音場変更処理が行われることで、その映像内での音の位置と左右のスピーカからの音の位置とが整合するため、映像の視聴を違和感なく行うことができる。

また、たとえばテレビ受信機にたとえばＨＤＭＩケーブルを介してオーディオ機器を接続するようにしたシステムでは、少なくとも２画面表示が可能な表示手段に対する２画面表示が指示されると、それぞれ異なる映像信号が選択されて表示手段に出力され、さらに表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と左右のスピーカ又は左右の外部スピーカによる虚音像の位置とが一致するように音場変更処理が行われる。

以下、本発明の実施例の詳細について説明する。図１は、本発明の映像音声再生システムの一実施例を説明するための図である。

同図に示す映像音声再生システムは、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子１０を備えたテレビ受信機１と、ＨＤＭＩ端子１４を備えたオーディオ機器２とをＨＤＭＩケーブル６と光ケーブル１８とで接続し、ＡＶ信号や番組情報信号の授受を行い、映像や音声の再生を行うようにした構成となっている。

なお、本発明の映像音声再生システムは、図２に示すように、ＨＤＭＩ端子１１，１２を備えたテレビ受信機１と、ＨＤＭＩ端子１５，１６を備えたレコーダ３，４とをＨＤＭＩケーブル７，８によって接続し、ＡＶ信号や番組情報信号の授受を行い、映像や音声の再生を行うような構成をとることも可能である。

また、本発明の映像音声再生システムは、図３に示すように、ＨＤＭＩ端子１０を備えたテレビ受信機１と、ＨＤＭＩ端子１４を備えたオーディオ機器２とをＨＤＭＩケーブル６と光ケーブル１８とで接続し、さらにオーディオ機器２のＨＤＭＩ端子１３とレコーダ５のＨＤＭＩ端子１７とをＨＤＭＩケーブル９で接続し、ＡＶ信号や番組情報信号の授受を行い、映像や音声の再生を行うような構成をとることも可能である。

なお、上述した図１〜図３におけるテレビ受信機１は、放送番組を直接受信して再生することができるとともに、ＨＤＭＩケーブル６〜９を介して外部機器から入力されたＡＶ信号を基に番組を再生することができるものである。また、オーディオ機器２は、ＨＤＭＩケーブル６〜９、光ケーブル１８を介して入力された音声信号を基に音声を再生することができるものである。また、レコーダ３〜５は、放送番組のＡＶ信号を直接受信して記録、再生することができるととともに、再生されたＡＶ信号をＨＤＭＩケーブル６〜９を介して外部に出力することができるものである。また、図示はしていないがレコーダ３〜５は外部からのＡＶ信号を入力して記録、再生することができるものである。

上述した図１〜図３におけるＨＤＭＩ端子１０〜１７は、ディスプレイ接続技術のＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子をＡＶ（オーディオ・ビジュアル）関連機器向けにアレンジして開発されたもので、次世代テレビ向けのインターフェース規格に基づいた接続端子である。ＨＤＭＩ端子では１本のケーブルで映像信号、音声信号、制御信号を合わせて送ることができ、制御信号は双方向にも伝送させることができるため、機器間をシンプルに接続でき、後述の１台のリモコン１１７で複数のＡＶ機器（オーディオ・ビジュアル機器）を制御することができるようになる。

図１〜図３におけるＨＤＭＩケーブル６〜９部分の詳細な接続関係を図４に示す。

図４において、２１は映像データと音声データの送り側であるＨＤＭＩソース、２２は映像データと音声データの受け側のＨＤＭＩシンクを示している。たとえば図２でいえばレコーダ３とレコーダ４とがＨＤＭＩソース２１に相当し、テレビ受信機１がＨＤＭＩシンク２２に相当している。ＨＤＭＩソース２１にはＨＤＭＩ送信機２３が備わり、ＨＤＭＩシンク２２にはＨＤＭＩ受信機２４が備わっている。２５は両端にＨＤＭＩ端子２６，２７を備えたＨＤＭＩケーブルである。

ＨＤＭＩ送信機２３に入力された映像信号、音声信号及び制御状態信号がＴＭＤＳチャンネル２８（ＴＭＤＳチャンネル０〜２とＴＭＤＳクロックチャンネル）を通してＨＤＭＩシンク２２にシリアル伝送される。ＨＤＭＩシンク２２ではＴＭＤＳクロックチャンネルを通して送られたクロック信号を基に、ＴＭＤＳチャンネル２８を通して送られた映像信号、音声信号、制御状態信号を再生する。なお、音声信号と制御状態信号は映像信号のブランキング期間を利用して伝送される。

また、ＨＤＭＩケーブル２５にはＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）ライン２９とＤＤＣ（Ｄｉｓｐｌａｙ Ｄａｔａ Ｃｈａｎｎｅｌ）ライン３０も配置されている。ＣＥＣライン２９とＤＤＣライン３０は双方向ラインであり、これらの信号ラインを通じ機器間で制御信号のやり取りが行われる。

たとえば、後述するように、テレビ受信機１やオーディオ機器２の音場モードを切り替えるため、テレビ受信機１、オーディオ機器２及びレコーダ３〜５の間で、番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）に応じた制御信号がＣＥＣライン２９を通してやり取りされる。また、たとえば、テレビ受信機１やレコーダ３〜５は、自己に直接的又は間接的に外部接続された機器の映像表示仕様や音声出力仕様などを、ＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）−ＲＯＭ３１からＤＤＣライン３０を通して読み取り、接続されている機器の仕様にあった映像信号と音声信号とを送信するようになっている。

図５は、図３の構成に対応させた場合の概略の制御ブロック図を示すものである。

図５において、４１〜４３はホストＣＰＵである。また、４４はモニタマイコン、４５、４６はフロントマイコンである。４７〜４９はインターフェース回路である。また、５０、５１はＨＤＭＩ受信用ＬＳＩである。また、５２、５３はＨＤＭＩ送信用ＬＳＩである。インターフェース４７，４８，４９間はＣＥＣラインで接続されている。ＨＤＭＩ受信用ＬＳＩはＨＤＭＩ受信機２４をＬＳＩ化したもの、ＨＤＭＩ送信用ＬＳＩ５２，５３はＨＤＭＩ送信機２３をＬＳＩ化したものである。

ＨＤＭＩ送信用ＬＳＩ５３には送信先としてＨＤＭＩ受信用ＬＳＩ５０が接続されている。またＨＤＭＩ送信用ＬＳＩ５２には送信先としてＨＤＭＩ受信用ＬＳＩ５１が接続されている。またＨＤＭＩ送信用ＬＳＩ５３は、ＨＤＭＩ受信用ＬＳＩ５１がＨＤＭＩ送信用ＬＳＩ５２から受信したデータを受け取ることができるように、ＨＤＭＩ受信用ＬＳＩ５１に接続されている。

ホストＣＰＵ４１〜４３は、モニタマイコン４４、フロントマイコン４５，４６、インターフェース回路４７〜４９、ＣＥＣラインを介して相互に通信することができる。また、ホストＣＰＵ４１〜４３は、ＨＤＭＩ送信用ＬＳＩ５２，５３を制御し、ＴＭＤＳチャンネルを介して映像信号、音声信号、制御状態信号を送信することができる。また、ＨＤＭＩ受信用ＬＳＩ５０，５１を制御し、ＴＭＤＳチャンネルを介して映像信号、音声信号、制御状態信号を受信することができる。

ＨＤＭＩケーブル６は、映像信号、音声信号、制御状態信号の伝送方向が一方向のみ可能なので、テレビ受信機１が放送局から受信した番組の音声をオーディオ機器２のスピーカで再生する場合には、テレビ受信機１からオーディオ機器２へ音声データを送る光ケーブル１８が設けられる。５４，５５は光ケーブル用インターフェースである。

たとえば、ユーザによって操作される後述のリモコン１１７からの指令により、テレビ受信機１がレコーダ５の映像信号、音声信号を受信して映像表示及び音声出力する場合には、テレビ受信機１のホストＣＰＵ４１はレコーダ５のホストＣＰＵ４３に対して映像信号と音声信号を送信するよう制御信号を送る。

この制御信号はモニタマイコン４４、インターフェース回路４７、ＣＥＣライン、インターフェース回路４９、フロントマイコン４６を介してホストＣＰＵ４３に伝達される。ホストＣＰＵ４１からの制御信号を受け取ったホストＣＰＵ４３はＨＤＭＩ送信用ＬＳＩ５２を制御してテレビ受信機１に向けて映像信号と音声信号を送信する。ＨＤＭＩ送信用ＬＳＩ５２から送信された映像信号と音声信号は一旦オーディオ機器２のＨＤＭＩ受信用ＬＳＩ５１で受信される。このときホストＣＰＵ４２は受信された信号が自己向けでないと判断し、再びＨＤＭＩ送信用ＬＳＩ５３からテレビ受信機１に向けて映像信号と音声信号を送信する。ＨＤＭＩ送信用ＬＳＩ５３から送信された映像信号と音声信号はテレビ受信機１のＨＤＭＩ受信用ＬＳＩ５０で受信され、自己向けに送信された信号と判断したら受信したデータを取り込む。

テレビ受信機１は、このようにしてレコーダ５からの映像信号と音声信号を基に映像表示、音声出力を行うことができる。また、レコーダ５で再生された番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）をレコーダ５のホストＣＰＵ４３からテレビ受信機１のホストＣＰＵ４１に、フロントマイコン４６、インターフェース回路４９、ＣＥＣライン、インターフェース回路４７、モニタマイコン４４を介して送信する。

テレビ受信機１は、上記番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）に応じてスピーカ出力モードを番組に適した構成に制御する。別の手段として、レコーダ５から再生された番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）そのものを送るのではなく、この情報をもとにスピーカ出力モードが番組に適したものになるような「番組情報に基づく制御情報」（ここでの番組情報に基づく制御情報とは、複数の音場モードの中で番組に対応した音場モードになるように制御するための情報である）を指定するコマンド等を送ってもよい。

また、他の例として、たとえば、ユーザによって操作される後述のリモコン１１７からの指令により、レコーダ５の映像信号を基にテレビ受信機１で映像表示し、レコーダ５の音声信号を基にオーディオ機器２で音声出力する場合、ホストＣＰＵ４１はレコーダ５のホストＣＰＵ４３に対して、映像信号をテレビ受信機１に送信し音声信号をオーディオ機器２に送信するよう制御信号を送る。

この制御信号はモニタマイコン４４、インターフェース回路４７、ＣＥＣライン、インターフェース回路４９、フロントマイコン４６を介してホストＣＰＵ４３に伝達される。ホストＣＰＵ４１からの制御信号を受け取ったホストＣＰＵ４３はＨＤＭＩ送信用ＬＳＩ５２を制御してテレビ受信機１に向けて映像信号を送信し、オーディオ機器２に向けて音声信号を送信する。ＨＤＭＩ送信用ＬＳＩ５２から送信された映像信号と音声信号は一旦オーディオ機器２のＨＤＭＩ受信用ＬＳＩ５１で受信される。

このとき、ホストＣＰＵ４２は受信された信号の内映像信号は自己向けでないと判断し、映像信号を再びＨＤＭＩ送信用ＬＳＩ５３からテレビ受信機１のＨＤＭＩ受信用ＬＳＩ５０に向けて映像信号を送信する。ＨＤＭＩ送信用ＬＳＩ５３から送信された映像信号はテレビ受信機１のＨＤＭＩ受信用ＬＳＩ５０で受信される。そして、ホストＣＰＵ４１は自己向けに送信された映像信号と判断し、受信したデータを取り込む。このようにしてテレビ受信機１は自己の映像表示部に映像を表示する。

一方、ホストＣＰＵ４２は音声信号が自己向けであると判断するので自己向け音声データとして取り込み、オーディオ機器２は取り込んだ音声データを基に自己のスピーカから音声を出力する。また、レコーダ５で再生された番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）をレコーダ５のホストＣＰＵ４３からオーディオ機器２のホストＣＰＵ４２に、フロントマイコン４６、インターフェース回路４９、ＣＥＣライン、インターフェース回路４８、フロントマイコン４５を介して送信する。

オーディオ機器２は、上記番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）に応じてスピーカ出力モードを番組に適した構成に制御する。別の手段として、レコーダ５から再生された番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）そのものを送るのではなく、この情報をもとにスピーカ出力モードが番組に適したものになるような番組情報に基づく制御情報を送ってもよい。

このようにレコーダ５の映像信号、音声信号を基に、テレビ受信機１で映像表示し、オーディオ機器２で音声を出力することができる。また、ホストＣＰＵ４３はＨＤＭＩケーブル９のＣＥＣラインを介して番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）もしくは、この情報をもとにスピーカ出力モードが番組に適したものになるような番組情報に基づく制御情報を送る。これらの情報を受信して、オーディオ機器２はスピーカ出力モードを番組に適した構成に制御する。

また、さらに他の例として、たとえば、テレビ受信機１のホストＣＰＵ４１が、ユーザによって操作される後述のリモコン１１７からの指令により、テレビ受信機１が放送局からの放送番組を受信して映像をテレビ受信機１で表示し、音声をオーディオ機器２から出力する場合には、テレビ受信機１の通常の処理でテレビ受信機１の表示部に映像を表示し、音声はテレビ受信機に備わるスピーカからの出力を停止し、代わりに光ケーブル１８を通して音声データをオーディオ機器２へ送る。

また、ホストＣＰＵ４１は番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）をオーディオ機器２のホストＣＰＵ４２に、モニタマイコン４４、インターフェース回路４７、ＣＥＣライン、インターフェース回路４８、フロントマイコン４５を介して送信する。オーディオ機器２は、上記番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）に応じてスピーカ出力モードを番組に適した構成に制御する。別の手段として、テレビ受信機１は番組ジャンル情報やチャンネル数（コンテンツに関する付加情報）そのものを送るのではなく、この情報をもとにスピーカ出力モードが番組に適したものになるような番組情報に基づく制御情報を送ってもよい。

これにより、テレビ受信機１が受信した放送番組の映像をテレビ受信機１の後述の表示部１０９により表示し、放送番組内容に対応した音場モードでオーディオ機器２のスピーカから音声を出力することができるようになる。

このように、ＨＤＭＩケーブルと光ケーブルにより相互接続されたテレビ受信機１、オーディオ機器２、レコーダ５は、後述のリモコン１１７でテレビ受信機１に操作信号を送ることにより種々の再生モードを実現できるようになる。上記再生モードの例の他にも種々の再生モードが考えられ、この場合、種々の再生モードを実現するに当たり音声データを双方向に送受信することが必要な箇所には光ケーブルが追加的に備えられる。

図６は、図３の構成における、テレビ受信機１、オーディオ機器２、レコーダ５の制御構成をさらに詳細に示した図である。

図６に示すように、テレビ受信機１は、アンテナ１０４と、チューナ１０５と、多重化復元部１０６と、映像復号部１０７と、音声復号部１２０と、コンテンツ情報復号部１１１と、表示部１０９と、オーディオ制御部１２１と、システムコントローラ１１５と、左右のフロントスピーカ１２９、１３０と、センタスピーカ１３１と、サブウーファ１３２と、リモコン受光部１１６と、リモコン１１７と、アンプ１２５〜１２８と、ボリューム１２４と、メモリ１１８と、操作部１１９と、映像信号処理部１０８、１１２と、ＨＤＭＩ受信ＬＳＩ１１０と、デジタルオーディオインターフェース変調部１１３と、発光素子１１４と、双方向インターフェース回路１３３と、ＥＤＩＤ−ＲＯＭ１３４とを具備している。

チューナ１０５は、アンテナ１０４によって受信された放送信号から所望の周波数のチャンネルを選局し、復調処理を行う。なお、アンテナ１０４によって受信される放送信号は、地上デジタル放送、ＢＳデジタル放送、１１０度ＣＳデジタル放送等であり、チューナ１０５によって復調される信号は、コンテンツの映像信号と音声信号及び当該コンテンツに関する付加情報が時分割複合化された多重化信号として多重化復元部１０６に出力される。また、コンテンツとは、放送局からの放送信号によって供給される番組に限らず、インターネット等のネットワークを介して得られる番組を含むものとし、この場合には、ネットワークからコンテンツの映像信号と音声信号及び当該コンテンツに関する付加情報が時分割複合化された多重化信号が多重化復元部１０６に出力される。

多重化復元部１０６は、チューナ１０５（もしくはネットワーク、記録媒体の再生装置）から入力された多重化信号を基に、視聴したい番組の映像信号、音声信号、付加情報を分離する。分離した映像信号は映像復号部１０７に出力され、分離した音声信号は音声復号部１２０に出力され、分離した付加情報はコンテンツ情報復号部１１１に出力される。なお、付加情報は、入力信号に多重されているジャンルコードや、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍｍｉｎｇ Ｇｕｉｄｅ）等の情報であり、コンテンツのジャンル（「映画」、「ドラマ」、「音楽」、「ドキュメンタリ」、「ニュース」等）が含まれているものとする。

映像復号部１０７は、多重化復元部１０６から入力された映像信号を復号化し、復号化された映像信号は映像信号処理部１０８を介して表示部１０９に出力され映像表示される。映像信号処理部１０８は入力された映像信号が複数ある場合にいずれかを選択して出力するセレクタの役目や、入力された複数の映像信号を基に多画面表示できるよう映像合成したりする機能を有している。表示部１０９としては、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴ等の表示手段が用いられる。

音声復号部１２０は、セレクタ１１２を介して多重化復元部１０６から入力された音声信号を復号化し、復号化された音声信号は、オーディオ制御部１２１によって加工された後、ボリューム１２４を介してアンプ１２５〜１２８で増幅され、左右のフロントスピーカ１２９、１３０と、センタスピーカ１３１と、サブウーファ１３２とから音声出力される。なお、図示はしていないが、他画面表示して複数人でそれぞれの画面を視聴する場合には、主画面の音声をスピーカから出力すると共に、副画面の音声を多重化復元部１０６から分離抽出して、ヘッドフォンやイヤフォン用として出力できるように構成することもできる。

コンテンツ情報復号部１１１は、多重化復元部１０６から入力された付加情報を復号化すると共に、復号化された付加情報からジャンルを抽出し、抽出したジャンルがコンテンツ情報としてシステムコントローラ１１５に出力される。なお、同一のコンテンツに複数のジャンルが設定されている場合、すなわち付加情報として同一のコンテンツに複数のジャンルが含まれている場合には、抽出した複数のジャンルがシステムコントローラ１１５に出力される。

オーディオ制御部１２１は、音声復号部１２０によって復号化された音声信号に加工を施す音質調整手段であり、チャンネル数変換処理部１９１と、音場変更処理部１９２と、強調処理部１９３と、イコライザ処理部１９４とからなる。

チャンネル数変換処理部１９１は、音声復号部１２０によって復号化された音声信号の入力チャンネル数を変換する機能を有し、チャンネル数変換処理として、たとえば、５．１ｃｈの音声信号を３．１ｃｈ又は１ｃｈに、２ｃｈの音声信号を１ｃｈに、３．１ｃｈの音声信号を１ｃｈにそれぞれ変換するダウンミックス処理、５．１ｃｈの音声信号を３．１ｃｈ又は２ｃｈに変換するバーチャルサラウンド処理、２ｃｈの音声信号を３．１ｃｈ又は５．１ｃｈに変換するマトリクスデコード処理、１ｃｈの音声信号を２ｃｈに変換するステレオ変換処理が行われる。

音場変更処理部１９２は、音場、すなわちリスニング環境を変更する機能を有し、たとえば、後方にスピーカが存在しないにもかかわらず、あたかも後方に音源があるかのように感じるバーチャルサラウンド処理、仮想的なスピーカ位置をスピーカの外側に移動させるスピーカ位置変更処理などを行う。

また、音場変更処理部１９２は、たとえばリモコン１１７からの２画面表示の操作指示と、いずれか一方の画面の映像に対する音声出力指示とに基づいたシステムコントローラ１１５から指示により、いずれか一方の画面の映像に対する音場変更を行う。この音場変更は、上述したバーチャルサラウンド処理等とは異なり、たとえば画面の中央にて２画面の映像を視聴しているとき、いずれか一方の映像内での人物が発する音声の位置、あるいはその映像内で発生される音等（車等の音や他の物音等）の位置と、たとえば左右のフロントスピーカ１２９、１３０からの音の位置とが合うようにするものであるが、その詳細については後述する。

チャンネル数変換処理部１９１と音場変更処理部１９２とによる処理はバーチャルサラウンドやプロロジック２（登録商法）などの各音場モードを実現する処理である。

強調処理部１９３は、センタスピーカ１３１からの音声出力を他のスピーカからの音声出力よりも強調する機能を有し、たとえば、センタスピーカ１３１から出力される音声信号のみを増幅するセンタ強調処理、センタスピーカ１３１から出力される音声信号を増幅すると共に、他のスピーカから出力される音声信号を減幅するバランス調整処理が行われる。このセンタスピーカ１３１からの音声出力を他のスピーカから音声出力よりも強調する音場モードを「声強調モード」ということにする。

イコライザ処理部１９４は、周波数帯域毎に、ゲインを増減して音質をコントロールする機能を有し、フロントスピーカ１２９、１３０の指向性による周波数特性を補正する指向性補正処理を行うと共に、低音を増幅する低音増強処理を行う。

ボリューム１２４は、システムコントローラ１１５の指示にしたがって各スピーカの音圧（音量）を制御する。リモコン受光部１１６は、リモコン１１７からの操作信号（赤外線）を受信し、受信した操作信号を電気信号に変換してシステムコントローラ１１５に出力する。

メモリ１１８は、コンテンツ情報復号部１１１によって抽出されたコンテンツ情報が記憶されると共に、コンテンツのジャンル及びチャンネル数に応じた音場モードが定義されている音場モードテーブルが記憶されている。

ＨＤＭＩ受信用ＬＳＩ１１０は、ＨＤＭＩケーブル６を介して受信した信号から映像信号と映像信号を分離再生し、映像信号を映像信号処理部１０８へ出力し、音声信号をセレクタ１１２へ出力する。

映像信号処理部１０８は、システムコントローラ１１５からの指示により映像復号部１０７からの映像信号、又はＨＤＭＩ受信用ＬＳＩ１１０からの映像信号のいずれか一方を選択して表示部１０９へ出力する。また、映像信号処理部１０８は、システムコントローラ１１５からのたとえば２画面表示の指示があると、映像復号部１０７からの映像信号とＨＤＭＩ受信用ＬＳＩ１１０からの映像信号とを表示部１０９へ出力する。なお、システムコントローラ１１５からの映像信号処理部１０８へのたとえば２画面表示の指示は、リモコン１１７からの２画面表示の操作指示を受けて実行されるものである。

また、ここでは、映像信号処理部１０８に、映像復号部１０７からの映像信号とＨＤＭＩ受信用ＬＳＩ１１０からの映像信号との２系統の映像信号が取り込まれている場合で示しているが、３系統以上の映像信号が取り込まれるようにしてもよいことは勿論である。ここで、映像信号処理部１０８に３系統以上の映像信号が取り込まれているとき、リモコン１１７からの３画面以上のいわゆるマルチ画面表示の操作指示があると、システムコントローラ１１５からの指示で映像信号処理部１０８がその３系統以上の映像信号を３画面に合成して表示部１０９へ出力することになる。

このような２画面表示又は３画面以上のいわゆるマルチ画面表示は、たとえばメモリ１１８にこれらの２画面表示又はマルチ画面表示を行わせるためのプログラムを記憶させておき、リモコン１１７からの操作指示に応じて、これらの２画面表示又はマルチ画面表示が選択されるようにすればよい。

また、セレクタ１１２は、システムコントローラ１１５からの指示により多重化復元部１０６からの音声信号、又はＨＤＭＩ受信用ＬＳＩ１１０からの音声信号のいずれか一方を選択して音声復号部１２０とデジタルオーディオインターフェース変調部１１３へ出力する。

デジタルオーディオインターフェース変調部１１３は、セレクタ１１２から入力した音声データを光ケーブル伝送用信号に変調して発光素子１１４に出力する。発光素子１１４はデジタルオーディオインターフェース変調部１１３からの信号に応じて発光し、この光は光ケーブル１８によりオーディオ機器２に向けて伝送される。

また、双方向インターフェース回路１３３がシステムコントローラ１１５とＨＤＭＩケーブル６のＣＥＣラインとの間に備わり、送受信される信号の双方向バッファ回路を構成する。

ＥＤＩＤ−ＲＯＭ１３４には、テレビ受信機１の映像表示仕様や音声出力仕様が記憶されており、ＨＤＭＩケーブル６、９のＤＤＣラインを介してオーディオ機器２やレコーダ５にこれらの映像表示仕様又は音声出力仕様情報を伝達する。図示はしていないが、ＨＤＭＩ端子にはホットプラグ検出端子が備わっているので、ＨＤＭＩ端子が接続されたときにホットプラグ検出機能を使用してこれらの映像表示仕様又は音声出力仕様情報がオーディオ機器２あるいはレコーダ５に伝達される。

また、オーディオ機器２は、システムコントローラ１５６と、セレクタ１４２と、音声復調部１４３と、オーディオ制御部１４４と、ボリューム１４７と、アンプ１４８〜１５１と、左右のフロントスピーカ１５２、１５３と、センタスピーカ１５４と、サブウーファ１５５と、ＨＤＭＩ受信用ＬＳＩ１５０と、ＨＤＭＩ送信用ＬＳＩ１６０と、受光素子１４０と、デジタルオーディオインターフェース復調部１４１と、双方向インターフェース回路１５７と、ＥＤＩＤ−ＲＯＭ１５８とを具備している。

光ケーブル１８を介して発光素子１１４からの音声信号がオーディオ機器２の受光素子１４０に入力されると、受光素子１４０は光信号を電気信号に変換して、デジタルオーディオインターフェース復調部１４１に出力する。デジタルオーディオインターフェース復調部１４１は光伝送用に変調された信号を復調し、該復調された信号はセレクタ１４２を介して音声復調部１４３に入力されて音声信号として復調される。復調された音声信号はオーディオ制御部１４４に入力される。

オーディオ制御部１４４に入力された音声信号はオーディオ制御部１４４によって加工された後、ボリューム１４７を介してアンプ１４８〜１５１で増幅され、左右のフロントスピーカ１５２、１５３と、センタスピーカ１５４と、サブウーファ１５５とから音声出力される。ボリューム１４７はシステムコントローラ１５６の指示にしたがって各スピーカの音圧を制御する。

オーディオ制御部１４４は、音声復調部１４３によって復調された音声信号に加工を施すものであり、チャンネル数変換処理部１８１と、音場変更処理部１８２と、強調処理部１８３と、イコライザ処理部１８４とからなる。

チャンネル数変換処理部１８１は、音声復調部１４３によって復調された音声信号のチャンネル数を変換する機能を有し、チャンネル数変換処理として、たとえば、５．１ｃｈの音声信号を３．１ｃｈ又は１ｃｈに、２ｃｈの音声信号を１ｃｈに、３．１ｃｈの音声信号を１ｃｈにそれぞれ変換するダウンミックス処理、５．１ｃｈの音声信号を３．１ｃｈ又は２ｃｈに変換するバーチャルサラウンド処理、２ｃｈの音声信号を３．１ｃｈ又は５．１ｃｈに変換するマトリクスデコード処理、１ｃｈの音声信号を２ｃｈに変換するステレオ変換処理を行う。

音場変更処理部１８２は、音場、すなわちリスニング環境を変更する機能を有し、たとえば、後方にスピーカが存在しないにもかかわらず、あたかも後方に音源があるかのように感じるバーチャルサラウンド処理、仮想的なスピーカ位置をスピーカの外側に移動させるスピーカ位置変更処理などを行う。

また、音場変更処理部１８２は、上述した音場変更処理部１９２と同様に、たとえばリモコン１１７からの２画面表示の操作指示と、いずれか一方の画面の映像に対する音声出力指示とに基づいたシステムコントローラ１５６から指示により、いずれか一方の画面の映像に対する音場変更を行う。この音場変更は、上述したように、バーチャルサラウンド処理等とは異なり、たとえば画面の中央にて２画面の映像を視聴しているとき、いずれか一方の映像内での人物が発する音声の位置、あるいはその映像内で発生される音等（車等の音や他の物音等）の位置と、たとえば左右のフロントスピーカ１５２、１５３からの音の位置とが合うようにするものである。

チャンネル数変換処理部１８１と音場変更処理部１８２による処理は、前述のチャンネル数変換処理部１９１、音場変更処理部１９２と同様に各音場モードを実現するものである。

強調処理部１８３による処理は、強調処理部１９３と同様に「声強調モード」を実現するものである。

イコライザ処理部１８４は、イコライザ処理部１９４と同様に、周波数帯域毎に、ゲインを増減して音質をコントロールする機能を有し、フロントスピーカ１５２、１５３の指向性による周波数特性を補正する指向性補正処理を行うと共に、低音を増幅する低音増強処理を行う。

また、双方向インターフェース回路１５７がシステムコントローラ１５６とＨＤＭＩケーブル６、９のＣＥＣラインとの間に備わり、送受信される信号の双方向バッファ回路を構成する。

また、ＥＤＩＤ−ＲＯＭ１５８には、オーディオ機器２の音声出力仕様が記憶されており、ＨＤＭＩケーブル６、９のＤＤＣラインを介してテレビ受信機１やレコーダ５にこの音声出力仕様情報を伝達する。図示はしていないが、ＨＤＭＩ端子にはホットプラグ検出端子が備わっているので、ＨＤＭＩ端子が接続されたときにホットプラグ検出機能を使用してこれらの映像表示仕様や音声出力仕様情報がテレビ受信機１あるいはレコーダ５に伝達される。

ＨＤＭＩ受信用ＬＳＩ１５９は、ＨＤＭＩケーブルを介して受信したレコーダ５からの映像信号と映像信号を分離再生し、映像信号をＨＤＭＩ送信用ＬＳＩ１６０へ出力し、音声信号をＨＤＭＩ送信用ＬＳＩ１６０とセレクタ１４２へ出力する。

また、ＨＤＭＩ送信用ＬＳＩ１６０はＨＤＭＩ受信用ＬＳＩ１５９から入力した映像信号と音声信号をＨＤＭＩケーブル６のＴＭＤＳチャンネル１６７を介してテレビ受信機１のＨＤＭＩ受信用ＬＳＩ１１０に出力する。ＨＤＭＩ送信用ＬＳＩ１６０からＨＤＭＩ受信用ＬＳＩ１１０に出力される信号は、図４に示したようにＨＤＭＩ規格に基づいた信号（ＴＭＤＳリンクといわれる映像、音声、クロック信号）とされて送信される。

セレクタ１４２はシステムコントローラ１５６からの指示によりデジタルオーディオインターフェース復調部１４１からの音声信号、又はＨＤＭＩ受信用ＬＳＩ１５９からの音声信号のいずれか一方を選択して音声複合部１４３へ出力する。

また、レコーダ５は、システムコントローラ１７２と、ＨＤＭＩ送信用ＬＳＩ１７１を具備している。ＨＤＭＩ送信用ＬＳＩ１７１はシステムコントローラ１７２の指示に従い、レコーダ５内部の記憶手段に記憶した映像データ、ＨＤＭＩ送信用ＬＳＩ１７１からオーディオ機器２のＨＤＭＩ受信用ＬＳＩ１５９に向けて映像信号と音声データを送信する。

また、システムコントローラ１７２は、図示されていないホットプラグ検出機能を使用して、テレビ受信機１のＥＤＩＲ−ＲＯＭに記憶された映像表示仕様、音声出力仕様、あるいはオーディオ機器２のＥＤＩＲ−ＲＯＭに記憶された音声出力仕様のデータをＤＤＣライン１６６を通して読み取ることができる。

また、システムコントローラ１７２はＣＥＣライン１６５を通してテレビ受信機１又はオーディオ機器２のシステムコントローラ１１５、１５６と制御信号の授受ができるようになっている。図示していないがレコーダ内部では、ＣＥＣラインには双方向バッファ、ＤＤＣラインにはＥＤＩＤーＲＯＭがテレビ受信機１の双方向バッファ１３３やＥＤＩＤーＲＯＭ１３４と同様の構成で接続されている。

次に、ユーザによって操作されるリモコン１１７からの指令により、テレビ受信機１が放送局からの放送番組を受信してテレビ受信機１の表示部１０９で映像表示し、オーディオ機器２のスピーカ１５２〜１５５から音声出力する場合の、映像信号、音声信号、及び制御信号の流れを、図７に従って説明する。なお、図７は図６に示した構成と同じである。

オーディオ機器２の音声出力仕様は、テレビ受信機１がオーディオ機器２にＨＤＭＩケーブル６を介して接続された際、システムコントローラ１１５によりＥＤＩＤ−ＲＯＭ１５８の音声出力仕様データが読み取られて、予めメモリ１１８に記憶されている。

まず、テレビ受信機１はアンテナ１０４からの放送番組を受信できる状態にあるとする。ユーザがリモコン１１７を操作して、テレビ受信機１が放送局からの放送番組を受信しその映像をテレビ受信機１の表示部１０９で表示し、音声をオーディオ機器２のスピーカ１５２〜１５５から出力するように切り替えるよう指示すると、リモコン１１７からの指令を受け取ったシステムコントローラ１１５は、映像復号部１０７の信号を選択するように映像信号処理部１０８を切り替える。また、多重化復元部１０６からの信号を選択するようにセレクタ１１２を切り替える。また、ボリューム１２４のゲインを０として音声出力がスピーカ１２９〜１３２から出力されないように処理する。なお、このときオーディオ制御部１２１は動作を停止するとよい。

また、システムコントローラ１１５は、ＣＥＣラインを通してシステムコントローラ１５６に音声をオーディオ機器２のスピーカ１５２〜１５５から出力するよう指示する。この指令を受け取ったシステムコントローラ１５６はセレクタ１４２をデジタルオーディオインターフェース復調部１４１の信号を選択するように切り替え、また、システムコントローラ１１５からＣＥＣライン１６９を通して送られてくる放送番組のジャンルと入力チャンネル数に応じて、最適な音場モードになるようにオーディオ制御部１４４の処理構成を切り替える。

したがって、映像復号部１０７で復号された映像信号は映像信号処理部１０８により選択されて表示部１０９に送られ、これにより表示部１０９は放送番組の映像を表示する。この映像信号は図７の実線（イ）で示した信号の流れで示される。

また、コンテンツ情報復号部１１１で抽出されたジャンルがシステムコントローラ１１５に出力される。コンテンツ情報復号部１１１は、多重化復元部１０６から入力された付加情報を復号化すると共に、復号化された付加情報からジャンルを抽出してシステムコントローラ１１５に出力される。また、多重化復元部１０６からの音声信号はセレクタ１１２により選択されて音声復号部１２０とデジタルオーディオインターフェース変調部１１３に出力される。

そして音声復号部１２０によって音声信号の入力チャンネル数が復号化される。システムコントローラ１１５は、放送番組のジャンルをコンテンツ情報復号部１１１から読み取り、また、チャンネル数を音声復号部１２０から読み取る。システムコントローラ１１５は、読み取った放送番組のジャンルと入力チャンネル数に応じた信号をオーディオ機器２のシステムコントローラ１５６に送る。この指令は図７の一点鎖線（ロ）で示した信号の流れで示される。

この放送番組のジャンルと入力チャンネル数に応じた信号を受けたシステムコントローラ１５６は、オーディオ制御部１４４に対して、放送番組のジャンルと入力チャンネル数に最適な音場モードを実現するように、オーディオ機器２の出力チャンネル数と音場モードの変更処理を行う。

セレクタ１１２から出力された音声信号はデジタルオーディオインターフェース変調部１１３にも出力されているので、この音声信号は、デジタルオーディオインターフェース変調部１１３、発光素子１１４、光ケーブル１８、受光素子１０、デジタルオーディオインターフェース復調部１４１に伝送される。セレクタ１４２はデジタルオーディオインターフェース復調部１４１からの信号を選択し音声復調部１４３に送る。

オーディオ制御部１４４は既に放送番組のジャンルと入力チャンネル数に最適な音場モードを実現する処理構成に切り替えられているので、オーディオ制御部１４４により加工が施された音声信号を基にスピーカ１５２〜１５５から出力される。この音声信号は図７の点線（ハ）で示した信号の流れで示される。スピーカ１５２〜１５５から出力される音声は、放送番組のジャンルと入力チャンネル数に応じた最適な音場モードを実現する。

次に、ユーザによって操作されるリモコン１１７からの指令により、レコーダ５の録画番組の映像信号を基にテレビ受信機１で映像表示し、レコーダ５の録画番組の音声信号を基にオーディオ機器２で音声出力する場合の、映像信号、音声信号、及び制御信号の流れを、図８に従って説明する。なお、図８は図６に示した構成と同じである。

オーディオ機器２の音声出力仕様は、レコーダ５がオーディオ機器２にＨＤＭＩケーブル９を介して接続された際、システムコントローラ１７２によりＥＤＩＤ−ＲＯＭ１５８の音声出力仕様データが読み取られて、予めシステムコントローラ１７２の記憶手段に記憶されている。

まず、レコーダ５は放送番組を録画しているとする。このとき、録画情報として放送番組のジャンル情報も記録されている。ユーザがリモコン１１７を操作して、レコーダ５の映像信号を基にテレビ受信機１で映像表示し、レコーダ５の音声信号を基にオーディオ機器２で音声出力するように切り替えるようシステムコントローラ１１５に指示すると、リモコン１１７からの指令を受け取ったシステムコントローラ１１５は、ＨＤＭＩ受信機１１０の映像信号を選択するように映像信号処理部１０８を切り替える。また、ボリューム１２４のゲインを０として音声出力がスピーカ１２９〜１３２から出力されないように処理する。

なお、このときテレビ受信機１の放送受信部（チューナ１０５と、多重化復元部１０６と、映像復号部１０７、コンテンツ情報復号部１１１、）、音声処理部（音声復号部１２０、オーディオ制御部１２１、デジタルオーディオインターフェース変調部１１３、発光素子１１４）は動作を停止するとよい。

また、システムコントローラ１１５は、ＨＤＭＩケーブル６のＣＥＣライン１６９を通してシステムコントローラ１５６にレコーダ５からの音声信号をオーディオ機器２のスピーカ１５２〜１５５で再生するよう指示する。この指令を受け取ったシステムコントローラ１５６はＨＤＭＩ受信機１５９の音声信号を選択するようにセレクタ１４２を切り替える。また、レコーダ５からＨＤＭＩケーブル９のＣＥＣライン１６５を通して送られてくる放送番組のジャンルと入力チャンネル数に応じて、最適な音場モードになるようにオーディオ制御部１４４の処理構成を切り替える。

したがって、レコーダ５のＨＤＭＩ送信用ＬＳＩ１７１、オーディオ機器２のＨＤＭＩ受信用ＬＳＩ１５９、ＨＤＭＩ送信用ＬＳＩ１６０、テレビ受信機１のＨＤＭＩ受信用ＬＳＩ１１０を介して送られた映像信号は映像信号処理部１０８により選択されて表示部１０９に送られ、これにより表示部１０９は放送番組の映像を表示する。この映像信号の流れは図８の実線（ニ）で示される。

また、システムコントローラ１７２で抽出されたジャンルとチャンネル数の情報がオーディオ機器２のシステムコントローラ１５６に出力される。この制御信号の流れは図８の一点鎖線（ホ）で示される。この放送番組のジャンルと入力チャンネル数に応じた信号を受けたシステムコントローラ１５６は、オーディオ機器２の出力チャンネル数と音場モードの変更処理を行い、録画番組のジャンルと入力チャンネル数に最適な音場モードを実現するように処理構成を切り替える。

レコーダ５のＨＤＭＩ送信用ＬＳＩ１７１、オーディオ機器２のＨＤＭＩ受信用ＬＳＩ１５９を介してセレクタ１４２に入力された音声信号は、セレクタ１４２で選択されて音声復調部１４３に送られる。オーディオ制御部１４４は既に放送番組のジャンルと入力チャンネル数に最適な音場モードを実現する処理構成に切り替えられているので、オーディオ制御部１４４により加工が施された音声信号を基にスピーカ１５２〜１５５から出力される。この音声信号の流れは図８の点線（ヘ）で示される。スピーカ１５２〜１５５から出力される音声は、録画番組のジャンルと入力チャンネル数に応じた最適な音場モードを実現する。

次に、たとえばリモコン１１７からの２画面表示の操作指示と、いずれか一方の画面の映像に対する音声出力指示とに基づいたシステムコントローラ１１５又は１５６から指示により、いずれか一方の画面の映像に対する、上述したバーチャルサラウンド処理等とは異なる音場変更を行う場合について、図９〜図１２を用いて説明する。

なお、以下に説明するバーチャルサラウンド処理等とは異なる音場変更は、テレビ受信機１側の左右のフロントスピーカ１２９、１３０、又はオーディオ機器２側の左右のフロントスピーカ１５２、１５３のいずれかで実施されるものであるが、両者の処理はほぼ同じであるため、テレビ受信機１側の左右のフロントスピーカ１２９、１３０による処理を代表させるものとする。

また、以下に説明するバーチャルサラウンド処理等とは異なる音場変更の際は、バーチャルサラウンド処理等で用いられるセンタスピーカ１３１（又はセンタスピーカ１５４）とサブウーファ１３２（又はサブウーファ１５５）との駆動は停止されるものとする。これは、２画面表示が行われていていずれか一方の画面の映像内での人物が発する音声の位置、あるいはその映像内で発生される音等（車等の音や他の物音等）の位置が明確になるようにするためである。

まず、図９に示すように、１画面表示では、視聴者が左側の領域Ａと右側の領域Ｂとが等しくなる画面の中央（映像の中心位置１３１ｂ）に位置していて映像を視聴しているとき、映像の中心位置１３１ｂと左右のフロントスピーカ１２９，１３０による虚音像｛ファントムＣｃｈ（センタチャンネル）に相当する｝１３１ａとが一致するため、その映像内での人物が発する音声の位置、あるいはその映像内で発生される音等（車等の音や他の物音等）の位置と、たとえば左右のフロントスピーカ１２９、１３０からの音の位置とが合うことから、映像を違和感無く視聴することができる。

一方、図１０に示すように、２画面表示では、画面の左側（領域Ａ）にたとえばデジタル放送の映像が表示され、画面の右側（領域Ｂ）にたとえばゲーム機器からの映像が表示されていて、左右のフロントスピーカ１２９、１３０からは画面の左側（領域Ａ）のデジタル放送の映像に対応する音が再生されるものとすると、その映像の中心位置１３１ｂと虚音像１３１ａとがずれる（不一致）ことになる。

このことは言い換えれば、たとえば人物がその映像内の領域ａで音声を発したとすると、その領域ａの音声は画面全体の左側の領域Ａで聞こえることになり、またたとえばその映像内での音等（車等の音や他の物音等）が領域ｂで発したとすると、その領域ｂの音声は画面全体の右側の領域Ｂで聞こえることになる。このように、映像内から発せられる音の位置と左右のフロントスピーカ１２９、１３０からの音の位置とが合わないと、その映像を視聴しているときに違和感を感じてしまうことになる。

そこで、システムコントローラ１１５からの指示により、音場変更処理部１９２が図１１に示すように、その映像の中心位置１３１ｂと虚音像１３１ａとが一致するように、ボリューム１２４を介して左右のフロントスピーカ１２９、１３０のたとえば音量レベルをＬ＞Ｒとする。なお、図１１は、仮に、右のフロントスピーカ１３０が画面の中央、すなわち視聴者の正面位置に設けられている場合を示している。

ここで、左右のフロントスピーカ１２９、１３０のたとえば音量レベルをＬ＞Ｒとする際の値は、予め測定しておいた適正値を用いるようにすればよい。なお、その適正値を測定する場合、液晶テレビあるいはプラズマテレビを例にすると、一般に画面から視聴者までの距離は画面の高さ×３が適正視聴位置とされているため、その適正視聴位置で映像の中心位置１３１ｂと虚音像１３１ａとが一致するように、左右のフロントスピーカ１２９、１３０の音量レベルを測定するようにすればよい。

なお、ここでは、２画面表示のときに、左側の領域Ａと右側の領域Ｂとの画面サイズが均等である場合としているが、画面サイズが均等でないときは、左右のフロントスピーカ１２９、１３０のたとえば音量レベルをＬ＞Ｒとする際の値を変更すればよい。この場合、画面サイズが均等とされないことを考慮して予め音量レベルをＬ＞Ｒとする際の値を複数測定しておき、リモコン１１７による画面サイズの変更操作に応じてその測定しておいた値を用いて映像の中心位置１３１ｂと虚音像１３１ａとが一致するような処理が行われるようにすればよい。

また、このように音量レベルをＬ＞Ｒとするような処理に限らず、たとえば右のフロントスピーカ１３０からの音に対して左のフロントスピーカ１２９からの音に所定の遅れをもたせるようにしても、映像の中心位置１３１ｂと虚音像１３１ａとが一致するようにすることができる。

この場合も上記同様に、左のフロントスピーカ１２９からの音と右のフロントスピーカ１３０からの音の時間差を予め測定しておけばよいし、さらに画面サイズが均等とされないことを考慮して予めその時間差を複数測定しておき、リモコン１１７による画面サイズの変更操作に応じてその測定しておいた値を用いて映像の中心位置１３１ｂと虚音像１３１ａとが一致するような処理が行われるようにすればよい。

また、図１２に示すように、たとえば右側のＲｃｈソースに対応するアンプ１２６の増幅率を、左側のＬｃｈソースに対応する上述したアンプ１２５の増幅率に対して１／２とし、そのアンプ１２６からの右側のＲｃｈソースの成分を右のフロントスピーカ１３０から出力させるとともに、そのＲｃｈソースの成分を、左側のＬｃｈソースの成分に加算器１２９ａによってミキシングして、左のフロントスピーカ１２９から出力させるようにしてもよい。

この場合、右のフロントスピーカ１３０の音像位置が点線で示す仮想的な音像位置１３０ａのように画面の中心に移動し、その映像の中心位置１３１ｂと、その仮想的な音像位置１３０ａ及び左のフロントスピーカ１２９による虚音像１３１ａとが一致し、上記同様に、映像を違和感無く視聴することができる。

この場合も上記同様に、右側のＲｃｈソースの成分を左側のＬｃｈソースの成分にミキシングする割合を予め測定しておけばよいし、さらに画面サイズが均等とされないことを考慮して予めそのミキシングする割合を複数測定しておき、リモコン１１７による画面サイズの変更操作に応じてその測定しておいた値を用いて映像の中心位置１３１ｂと虚音像１３１ａとが一致するような処理が行われるようにすればよい。

なお、以上の説明では、テレビ受信機１側の左右のフロントスピーカ１２９、１３０による２画面表示での音像処理の場合としているが、オーディオ機器２側の左右のフロントスピーカ１５２、１５３をテレビ受信機１の左右に配置しておけば、上記同様の音像処理を行うことで、２画面表示での違和感の無い映像の視聴が可能となる。

このように、本実施例では、たとえばテレビ受信機１にたとえばＨＤＭＩケーブル６を介してオーディオ機器２を接続するようにしたシステムにおいて、少なくとも２画面表示が可能な表示手段としての表示部１０９に対する２画面表示が指示されると、それぞれ異なる映像信号が映像信号選択手段としての映像信号処理部１０８により選択されて表示部１０９に出力され、さらに表示部１０９におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置とテレビ受信機１の左右のスピーカとしてのフロントスピーカ１２９，１３０又はオーディオ機器２の左右の外部スピーカとしてのフロントスピーカ１５２，１５３による虚音像の位置とが一致するように音場変更処理が行われるようにしたので、その映像内での音の位置とテレビ受信機１の左右のフロントスピーカ１２９，１３０又はオーディオ機器２の左右のフロントスピーカ１５２，１５３からの音の位置とが整合することから、映像の視聴を違和感なく行うことができる。

なお、本実施例では、たとえばテレビ受信機１にたとえばＨＤＭＩケーブル６を介してオーディオ機器２を接続するようにしたシステムにおける音場変更処理について説明したが、この例に限らず、テレビ受信機１単独での音場変更処理を行うことも可能である。

この場合には、少なくとも２画面表示が可能な表示手段としての表示部１０９に対する２画面表示が指示されると、それぞれ異なる映像信号が映像信号選択手段としての映像信号処理部１０８により選択されて表示部１０９に出力され、さらに表示部１０９におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置とテレビ受信機１のフロントスピーカ１２９，１３０による虚音像の位置とが一致するように音場変更処理が行われるようにすればよい。

また、本実施例では、テレビ受信機１に少なくとも左右のフロントスピーカ１２９，１３０が一体化されている場合で説明したが、この例に限らず、その左右のフロントスピーカ１２９，１３０がテレビ受信機１とは一体化されず、外部スピーカとして配置されているようなテレビ受信機１であっても上述した音場変更処理を行うことは可能である。

テレビ受信機に限らず、映像を表示する他のモニタ装置にも適用可能である。

本発明の映像音声再生システムの一実施例を説明するための図である。 本発明の映像音声再生システムの他の例を説明するための図である。 本発明の映像音声再生システムの他の例を説明するための図である。 図１〜図３におけるＨＤＭＩケーブル部分の詳細な接続関係を説明するための図である。 図３の構成に対応させた場合の概略の制御ブロック図を示すものである。 図３の構成における、テレビ受信機、オーディオ機器、レコーダの制御構成をさらに詳細に示した図である。 図６の構成における、映像信号、音声信号、及び制御信号の流れを説明するための図である。 図６の構成における、映像信号、音声信号、及び制御信号の流れを説明するための図である。 図６のシステムコントローラによる２画面表示においてのバーチャルサラウンド処理等とは異なる音場変更を説明するための図である。 図６のシステムコントローラによる２画面表示においてのバーチャルサラウンド処理等とは異なる音場変更を説明するための図である。 図６のシステムコントローラによる２画面表示においてのバーチャルサラウンド処理等とは異なる音場変更を説明するための図である。 図６のシステムコントローラによる２画面表示においてのバーチャルサラウンド処理等とは異なる音場変更を説明するための図である。 従来の２画面表示での再生音声の切り替え方法について説明するための図である。

符号の説明

１ テレビ受信機
２ オーディオ機器
３〜５ レコーダ
６〜９ ＨＤＭＩケーブル
１８ 光ケーブル
２１ ＨＤＭＩソース
２２ ＨＤＭＩシンク
２３ ＨＤＭＩ送信機
２４ ＨＤＭＩ受信機
２８ ＴＭＤＳチャンネル
２９，１６５，１６９ ＣＥＣライン
３０，１６６，１７０ ＤＤＣライン
３１，１３４，１５８ ＥＤＩＤ−ＲＯＭ
４１〜４３ ホストＣＰＵ
４４ モニタマイコン
４５，４６ フロントマイコン
４７〜４９，５４，５５ インターフェース回路
５０，５１，１１０，１５９ ＨＤＭＩ受信用ＬＳＩ
５２，５３，１６０，１７１ ＨＤＭＩ送信用ＬＳＩ
１０４ アンテナ
１０５ チューナ
１０６ 多重化復元部
１０７ 映像復号部
１０８ 映像信号処理部（映像信号選択手段）
１１２，１４２ セレクタ
１０９ 表示部（表示手段）
１１１ コンテンツ情報復号部
１１３ デジタルオーディオインターフェース変調部
１１４ 発光素子
１１５，１５６，１７２ システムコントローラ
１１６ リモコン受光部
１１７ リモコン
１１８ メモリ
１１９ 操作部
１２０ 音声復号部
１２１，１４４ オーディオ制御部
１２４，１４７ ボリューム
１２５〜１２８，１４８〜１５１ アンプ
１２９，１３０ フロントスピーカ（スピーカ）
１５２，１５３ フロントスピーカ（外部スピーカ）
１３１，１５４ センタスピーカ
１３２，１５５ サブウーファ
１３３，１５７ 双方向インターフェース回路
１４０ 受光素子
１４１ デジタルオーディオインターフェース復調部
１４３ 音声復調部
１６１，１６７ ＴＭＤＳチャンネル
１８１ チャンネル数変換処理部
１８２ 音場変更処理部（第２音場変更処理手段）
１８３ 強調処理部
１８４ イコライザ処理部
１９１ チャンネル数変換処理部
１９２ 音場変更処理部（音場変更処理手段、第１音場変更処理手段）
１９３ 強調処理部
１９４ イコライザ処理部

Claims (17)

1. 少なくとも左右のスピーカを有するテレビ受信機における映像音声再生装置であって、
   少なくとも２画面表示が可能な表示手段と、
   前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する映像信号選択手段と、
   前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う音場変更処理手段とを備える
   ことを特徴とする映像音声再生装置。
2. 前記音場変更処理手段は、前記左右のスピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理することを特徴とする請求項１に記載の映像音声再生装置。
3. 前記音場変更処理手段は、前記左右のスピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理することを特徴とする請求項１に記載の映像音声再生装置。
4. 前記音場変更処理手段は、前記左右のスピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理することを特徴とする請求項１に記載の映像音声再生装置。
5. 少なくとも左右のスピーカと少なくとも２画面表示が可能な表示手段とを有するテレビ受信機と、該テレビ受信機に接続され、少なくとも左右の外部スピーカを有するオーディオ機器とにおける映像音声再生システムであって、
   前記テレビ受信機は、
   前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する映像信号選択手段と、
   前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う第１音場変更処理手段とを有し、
   前記オーディオ機器は、
   前記テレビ受信機に少なくとも該テレビ受信機からの音声信号を受け取るＨＤＭＩケーブルを介して接続され、
   前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右の外部スピーカによる虚音像の位置とが一致するように、音場変更処理を行う第２音場変更処理手段を有し、
   音声再生指示に応じて、前記第１音場変更処理手段又は前記第２音場変更処理手段により前記音場変更処理が行われる
   ことを特徴とする映像音声再生システム。
6. 前記第１音場変更処理手段又は前記第２音場変更処理手段は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理することを特徴とする請求項５に記載の映像音声再生システム。
7. 前記第１音場変更処理手段又は前記第２音場変更処理手段は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理することを特徴とする請求項５に記載の映像音声再生システム。
8. 前記第１音場変更処理手段又は前記第２音場変更処理手段は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理することを特徴とする請求項５に記載の映像音声再生システム。
9. 前記オーディオ機器は、光ケーブルを介して前記テレビ受信機に接続され、
   前記ＨＤＭＩケーブル及び／又は前記光ケーブルを介して前記テレビ受信機からの音声信号が前記オーディオ機器に伝達される
   ことを特徴とする請求項５〜８のいずれかに記載の映像音声再生システム。
10. 少なくとも左右のスピーカを有するテレビ受信機における映像音声再生方法であって、
    少なくとも２画面表示が可能な表示手段における前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する工程と、
    前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う工程とを有する
    ことを特徴とする映像音声再生方法。
11. 前記音場変更処理は、前記左右のスピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理することであることを特徴とする請求項１０に記載の映像音声再生方法。
12. 前記音場変更処理は、前記左右のスピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理することであることを特徴とする請求項１０に記載の映像音声再生方法。
13. 前記音場変更処理は、前記左右のスピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理することであるを特徴とする請求項１０に記載の映像音声再生方法。
14. 少なくとも左右のスピーカと少なくとも２画面表示が可能な表示手段とを有するテレビ受信機と、該テレビ受信機に接続され、少なくとも左右の外部スピーカを有するオーディオ機器とにおける映像音声再生方法であって、
    前記テレビ受信機は、
    前記２画面表示が指示されると、それぞれ異なる映像信号を選択して前記表示手段に出力する工程と、
    前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右のスピーカによる虚音像の位置とが一致するように、音場変更処理を行う工程とを有し、
    前記オーディオ機器は、
    前記テレビ受信機に少なくとも該テレビ受信機からの音声信号を受け取るＨＤＭＩケーブルを介して接続され、
    前記表示手段におけるいずれかの画面の映像に対する音声の再生が指示されると、その映像の中心位置と前記左右の外部スピーカによる虚音像の位置とが一致するように、音場変更処理を行う工程を有し、
    音声再生指示に応じて、前記スピーカ又は前記外部スピーカにおける前記音場変更処理が行われる
    ことを特徴とする映像音声再生方法。
15. 前記テレビ受信機での音場変更処理又は前記オーディオ機器での音場変更処理は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音量レベルが他方の音量レベルより下回るように処理することであることを特徴とする請求項１４に記載の映像音声再生方法。
16. 前記テレビ受信機での音場変更処理又は前記オーディオ機器での音場変更処理は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音が他方の音より所定の遅れをもつように処理することであることを特徴とする請求項１４に記載の映像音声再生方法。
17. 前記テレビ受信機での音場変更処理又は前記オーディオ機器での音場変更処理は、前記左右のスピーカ又は前記左右の外部スピーカのいずれか一方の音の成分を他方の音の成分にミキシングするように処理することであることを特徴とする請求項１４に記載の映像音声再生方法。

Images