JP2013135309A - 信号処理装置、信号処理方法、プログラム、および記録媒体、並びに、信号処理システム - Google Patents

Abstract

【課題】主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができるようにする。
【解決手段】主音響同期特徴量取得部は、放送波を通じて取得された主音響信号の特徴量を抽出する。副音響同期特徴量取得部は、ネットワークを通じて取得された副音響信号の特徴量を抽出する。音響同期処理部は、主音響信号と副音響信号の特徴量に基づいて、主音響信号と副音響信号の同期情報を生成する。音響合成部４０は、同期情報に基づいて、主音響信号と副音響信号を合成する。本技術は、例えば、テレビジョン受像機に適用することができる。
【選択図】図２

Description

本技術は、信号処理装置、信号処理方法、プログラム、および記録媒体、並びに、信号処理システムに関し、特に、主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができるようにした信号処理装置、信号処理方法、プログラム、および記録媒体、並びに、信号処理システムに関する。

従来より、音響信号処理装置において、ユーザのニーズに合わせて出力音響の高音質化等が実現されている。

例えば、音響信号処理装置としてのテレビジョン受像機の製造業者は、音の広がりが出るようにテレビジョン受像機のデザインを工夫したり、テレビジョン受像機が備えるスピーカの性能を上げたり、高性能のスピーカを別売したりすることにより、出力音響の高音質化を実現している。また、ユーザが、テレビジョン受像機とは別にオーディオアンプやスピーカ等を用意することにより、出力音響の高音質化を実現する場合もある。

このように、ハードウェアによる高音質化が実現される一方、ソフトウェアによる高音質化も実現されている。例えば、周波数帯域を広げたり（例えば、特許文献１参照）、音の広がりを付加したり、聞き易い音質に調整したりするデジタル信号処理により、出力音響の高音質化が実現されている。

また、テレビジョン放送等は、使用可能な電波を周波数帯域を分け合って使用するため、伝送帯域が制限され、音響信号は、所定の圧縮符号化方式で伝送される。

例えば、日本の地上デジタル放送では、圧縮符号化方式としてMPEG2（Moving Picture Experts Group phase 2） AAC（Advanced Audio Coding）方式が採用されている。この圧縮符号化方式の符号化は、符号化前後の音響信号が一致しない不可逆符号化であり、符号化の過程で音質が劣化することが知られている。このような音質劣化により、特に携帯機器等で受信される、ワンセグ放送と呼ばれる、携帯電話機や移動体端末向けの1セグメントの地上デジタル放送では、音響が聞き取りにくいことがある。

また、インターネットを介してストリーミングされる音響も、不可逆符号化されていることが多い。

一方、移動体通信の通信規格としては、LTE（Long Term Evolution）等が考案されている。これにより、より多くの情報を通信することができる。

特開２００８−１３９８４４号公報

例えば、上述したように、圧縮符号化等により音響信号の音質が劣化する場合、その音響信号の代わりに、音質劣化が少ない音響信号を出力することが望ましい。また、音響信号が、ユーザの所望する言語の音響信号ではない場合、その音響信号の代わりに、ユーザの所望する言語の音響信号を出力することが望ましい。また、音響信号が、ユーザの所望するタイプの音響信号ではない場合、その音響信号の代わりに、ユーザの所望するタイプの音響信号を出力することが望ましい。

即ち、音響信号処理装置において、所定の音響信号である主音響信号に同期させて、音質劣化が少ない音響信号、言語の異なる音響信号、タイプの異なる音響信号などの、主音響信号と同一または類似の副音響信号を出力することが望まれている。

主音響信号と副音響信号を同期する方法として、タイムコードを用いる方法が考えられるが、タイムコードを全ての副音響信号に設定する必要があり、放送番組等の副音響信号の編集に手間を要する。また、副音響信号が、自宅のサーバに記録された楽曲等のタイムコードが設定されていない音響信号である場合、同期を取ることができない。

本技術は、このような状況に鑑みてなされたものであり、主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができるようにするものである。

本技術の第１の側面の信号処理装置は、第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを備える信号処理装置である。

本技術の第１の側面の信号処理方法、プログラム、および記録媒体に記録されるプログラムは、本技術の第１の側面の信号処理装置に対応する。

本技術の第１の側面においては、第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量がそれぞれ算出され、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報が生成され、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号が合成される。

本技術の第２の側面の信号処理システムは、第１の通信経路を通じて第１の音響信号を送信する第１の送信部を有する第１の信号処理装置と、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信する第２の送信部を有する第２の信号処理装置と、前記第１の送信部から送信されてくる前記第１の音響信号を受信する第１の受信部と、前記第２の送信部から送信されてくる前記第２の音響信号を受信する第２の受信部と、前記第１の受信部により受信された前記第１の音響信号と、前記第２の受信部により受信された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを有する第３の信号処理装置とを備える信号処理システムである。

本技術の第２の側面の信号処理方法は、本技術の第２の側面の信号処理システムに対応する。

本技術の第２の側面においては、第１の信号処理装置が、第１の通信経路を通じて第１の音響信号を送信し、第３の信号処理装置が、前記第１の信号処理装置から前記第１の音響信号を受信し、第２の信号処理装置が、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信し、前記第３の信号処理装置が、前記第２の信号処理装置から前記第２の音響信号を受信し、受信された前記第１の音響信号と前記第２の音響信号の、特徴量をそれぞれ算出し、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する。

本技術の第３の側面の信号処理装置は、所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを備える信号処理装置である。

本技術の第３の側面の信号処理方法、プログラム、および記録媒体に記録されるプログラムは、本技術の第３の側面の信号処理装置に対応する。

本技術の第３の側面においては、所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量がそれぞれ算出され、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報が生成され、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号が合成される。

本技術の第４の側面の信号処理システムは、所定の通信経路を通じて第１の音響信号を送信する送信部を有する第１の信号処理装置と、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部を有する第２の信号処理装置と、前記送信部から送信されてくる前記第１の音響信号を受信する受信部と、前記記憶部から読み出された前記第２の音響信号を取得する取得部と、前記受信部により受信された前記第１の音響信号と、前記取得部により取得された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを有する第３の信号処理装置とを備える信号処理システムである。

本技術の第４の側面の信号処理方法は、本技術の第４の側面の信号処理システムに対応する。

本技術の第４の側面においては、第１の信号処理装置が、所定の通信経路を通じて第１の音響信号を送信し、第３の信号処理装置が、前記第１の信号処理装置から前記第１の音響信号を受信し、第２の信号処理装置が、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部から前記第２の音響信号を読み出し、前記第３の信号処理装置は、前記第２の信号処理装置により読み出された前記第２の音響信号を取得し、受信された前記第１の音響信号と、読み出された前記第２の音響信号の、特徴量をそれぞれ算出し、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する。

本技術の第１乃至第４の側面によれば、主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができる。

本技術を適用した信号処理システムの第１実施の形態の構成例を示す図である。 図１のテレビジョン受像機の第１の構成例を示すブロック図である。 図２の放送受信部の構成例を示すブロック図である。 図２のテレビジョン受像機における合成音響信号を説明する図である。 図２のテレビジョン受像機の番組出力処理を説明するフローチャートである。 図５の選局処理の詳細を説明するフローチャートである。 図５の放送受信処理の詳細を説明するフローチャートである。 図５の出力処理の詳細を説明するフローチャートである。 図８の副音響信号受信処理の詳細を説明するフローチャートである。 図１のテレビジョン受像機の第２の構成例を示すブロック図である。 図１０のテレビジョン受像機の出力処理の詳細を説明するフローチャートである。 図１１の副音響信号受信処理の詳細を説明するフローチャートである。 図１１の合成処理の詳細を説明するフローチャートである。 本技術を適用した信号処理システムの第２実施の形態の構成例を示す図である。 本技術を適用した信号処理システムの第３実施の形態の構成例を示す図である。 図１５のテレビジョン受像機の構成例を示すブロック図である。 図１６のテレビジョン受像機の番組出力処理を説明するフローチャートである。 図１７の選択処理の詳細を説明するフローチャートである。 図１７の取得処理の詳細を説明するフローチャートである。 本技術を適用した信号処理システムの第４実施の形態の構成例を示す図である。 図２０のテレビジョン受像機の構成例を示すブロック図である。 図２１の受信部による放送受信処理を説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。

＜第１実施の形態＞
［信号処理システムの第１実施の形態の構成例］
図１は、本技術を適用した信号処理システムの第１実施の形態の構成例を示す図である。

図１の信号処理システム１０は、テレビジョン受像機１１が、ネットワークを介して、クラウドサービス装置１２、放送局サーバ１３、および自宅サーバ１４と接続されることにより構成される。

テレビジョン受像機１１は、信号処理装置として機能する。テレビジョン受像機１１は、例えば、信号処理装置としての放送局からアンテナ１１Ａを介して送信されてくる地上デジタル放送の放送波を受信し、その放送波で送信されてくる放送信号を取得する。放送信号には、圧縮符号化された、地上デジタル放送の映像信号および主音響信号、付随情報としての番組情報などが含まれる。番組情報とは、主音響信号と同一または類似の副音響信号の取得先としてクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４を示す供給元情報、副音響信号を特定する特定情報などの情報である。

テレビジョン受像機１１は、圧縮符号化された番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１１は、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。

テレビジョン受像機１１は、地上デジタル放送の圧縮符号化された映像信号および主音響信号を復号する。テレビジョン受像機１１は、復号の結果得られる主音響信号と副音響信号を同期させて合成し、合成音響信号を生成する。テレビジョン受像機１１は、合成音響信号を、復号された映像信号とともに出力する。

なお、副音響信号の取得開始タイミングや通信速度により、映像信号の出力時にまだ副音響信号が取得されていない場合には、テレビジョン受像機１１は、副音響信号が取得されるまで待機するようにしてもよいし、副音響信号が取得されるまで主音響信号を出力するようにしてもよい。ここでは、テレビジョン受像機１１は、副音響信号が取得されるまで主音響信号を出力するものとする。

クラウドサービス装置１２は、クラウドサービスを提供する信号処理装置であり、副音響信号を記憶する。クラウドサービス装置１２は、テレビジョン受像機１１の要求に応じて、記憶している副音響信号をテレビジョン受像機１１に送信する。

放送局サーバ１３は、地上デジタル放送の放送局により管理される信号処理装置としてのサーバであり、副音響信号を記憶している。放送局サーバ１３は、テレビジョン受像機１１の要求に応じて、記憶している副音響信号をテレビジョン受像機１１に送信する。

自宅サーバ１４は、テレビジョン受像機１１のユーザが所有する信号処理装置としてのDLNA（Digital Living Network Alliance）サーバ、オーディオ機器に内蔵するサーバ等のサーバであり、副音響信号を記憶している。自宅サーバ１４は、テレビジョン受像機１１の要求に応じて、記憶している副音響信号をテレビジョン受像機１１に送信する。なお、自宅サーバ１４は、テレビジョン受像機１１に内蔵されていてもよい。

また、副音響信号は、主音響信号と同一の圧縮符号化方式で符号化される必要はなく、一般的なテレビジョン受像機で再生可能な符号化されない音響信号であってもよい。また、副音響信号は、必要に応じて、ロスレス符号化やロッシー符号化等で符号化されてもよいが、副音響信号の符号化方式としては、テレビジョン受像機が復号化できる符号化方式が適切に選択される必要がある。

以上のような信号処理システム１０では、例えば、副音響信号が、主音響信号とは異なる圧縮符号化方式で圧縮符号化された音響信号、圧縮符号化されていない音響信号等の音質劣化の少ない音響信号である場合、テレビジョン受像機１１は、主音響信号に代えて、より高音質の副音響信号を出力することができる。

また、副音響信号が、主音響信号とは異なる言語の音響信号である場合、テレビジョン受像機１１は、主音響信号に代えて、言語の異なる副音響信号を出力することができる。さらに、副音響信号が、主音響信号に対応する楽曲のカラオケ用の音響信号である場合、テレビジョン受像機１１は、主音響信号に代えて、カラオケ用の副音響信号を出力することができる。また、副音響信号が、主音響信号のBGM(Background music)の音響信号である場合、テレビジョン受像機１１は、主音響信号と逆位相の副音響信号を主音響信号と合成して出力することにより、主音響信号に対応する音響のうちのBGMを小さくすることができる。

さらに、副音響信号が、収録カメラの裏の観覧席や、数か所の応援席などで収録された試合の音響信号を、収録場所ごとに異なるチャンネルの音響信号として有する音響信号である場合、所定のチャンネルの副音響信号のみを、主音響信号に代えて出力することができる。これにより、例えば、２チームの試合の番組の副音響信号のうちの、所定のチームの応援席の音響信号のみを出力することができる。

［テレビジョン受像機の第１の構成例］
図２は、図１のテレビジョン受像機１１の第１の構成例を示すブロック図である。

図２のテレビジョン受像機１１は、副音響信号として、主音響信号とは異なる圧縮符号化方式で圧縮符号化された音響信号、圧縮符号化されていない音響信号等の音質劣化の少ない音響信号を受信し、主音響信号に代えて副音響信号を出力する。

具体的には、テレビジョン受像機１１の放送受信部３１は、アンテナ１１Ａを介して地上デジタル放送の放送波を受信する受信処理を行い、その放送波で送信されてくる放送信号のTS（Transport Stream）を取得し、DeMux処理部３２に供給する。

DeMux処理部３２は、放送受信部３１から供給されるTSから、符号化された映像信号（以下、符号化映像信号という）、符号化された主音響信号（以下、符号化主音響信号という）、および符号化された番組情報（以下、符号化番組情報という）を抽出する。DeMux処理部３２は、符号化映像信号を映像復号化部３３に供給し、符号化番組情報をデータ復号化部３６に供給し、符号化主音響信号を音響復号化部３９に供給する。

映像復号化部３３は、DeMux処理部３２から供給される符号化映像信号を復号化し、その結果得られる映像信号を映像調整部３４に供給する。映像調整部３４は、映像復号化部３３から供給される映像信号に対して、例えば、明るさ調整処理、色合い調整処理、輝度調整処理、傾き調整処理等の調整処理を行う。映像調整部３４は、表示制御部として機能し、調整処理後の映像信号を映像出力部３５に供給することにより映像を表示させる。映像出力部３５は、映像調整部３４から供給される映像信号に基づいて、映像を表示する。

データ復号化部３６は、DeMux処理部３２から供給される符号化番組情報を復号化し、その結果得られる番組情報をデータ処理部３７に供給する。データ処理部３７は、データ復号化部３６から新たな番組情報が供給されたとき、保持している番組情報を更新する処理等を行う。データ処理部３７は、更新された番組情報をパケット受信設定部３８に供給する。

パケット受信設定部３８は、データ処理部３７から供給される番組情報の供給元情報が示す副音響信号の供給元を接続先として示すとともに、特定情報を示す制御信号をパケット受信部４５に供給する。

音響復号化部３９は、DeMux処理部３２から供給される符号化主音響信号を復号化し、その結果得られる主音響信号を音響合成部４０と主音響同期特徴量取得部４３に供給する。

音響合成部４０は、音響復号化部３９から供給される主音響信号と副音響調整部５３から供給される副音響信号を、所定の比率で合成し、合成音響信号を生成する。例えば、合成音響信号をAm、主音響信号をA1、主音響信号と副音響信号の合成比率をC1:C2、副音響信号をA2とすると、音響合成部４０は、チャンネルごとに、以下の式（１）を用いて合成音響信号Amを生成する。

Am=C1×A1+C2×A2
・・・（１）

式（１）によれば、例えば、C1が0.5であり、C2が0.5である場合、主音響信号と副音響信号が平等に合成される。

なお、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合の合成比率C1:C2は、副音響信号の供給元で決定されてもよいし、テレビジョン受像機１１のユーザにより決定されてもよい。ここでは、テレビジョン受像機１１は、主音響信号に代えて副音響信号を出力するので、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合、C1が0であり、C2が1である。音響同期処理部５１から主音響信号のみを出力する制御信号が供給される場合、C1は1であり、C2は0である。

このように、C1またはC2のいずれか一方が0である場合、音響合成部４０は、上述した式（１）による合成を行わず、主音響信号または副音響信号をそのまま合成音響信号とするようにしてもよい。音響合成部４０は、合成音響信号を音響調整部４１に供給する。

音響調整部４１は、音響合成部４０から供給される合成音響信号に対して、音量調整処理、左右のバランス調整処理、広がりの付加処理等の調整処理を施し、調整処理後の合成音響信号Amの振幅が閾値（例えば、1.0）を超える場合、その振幅が閾値以下となるように、例えば、合成音響信号に対して、閾値でクリップする処理等を行う。音響調整部４１は、その結果得られる合成音響信号を音響出力部４２に供給する。

音響出力部４２は、デジタルアンプ、D/A変換部、スピーカ等（いずれも図示せず）からなる。音響出力部４２のデジタルアンプは、音響調整部４１から供給される合成音響信号の音量を調整し、D/A変換部は、その結果得られる合成音響信号に対してD/A変換を行う。音響出力部４２のスピーカは、D/A変換の結果得られるアナログ信号に対応する音響を出力する。

主音響同期特徴量取得部４３は、特徴量算出部として機能し、音響復号化部３９から供給される主音響信号から、所定の特徴量を、設計時に決定された分析長（以下、分析フレームという）ごとに取得する。例えば、分析フレーム長が256サンプルである場合、主音響同期特徴量取得部４３は、256サンプルごとに帯域分割し、各帯域の時間信号のゲイン情報を特徴量として取得する。または、主音響同期特徴量取得部４３は、256サンプルごとに時間周波数変換を施し、得られた周波数スペクトルから、周波数スペクトルが最大となる周波数、周波数スペクトルのパワーエンベロープの形状（例えば、ピークパワーの大きさ、ピークパワーからの傾き、第２ピークパワーの位置など）、基本周波数等を特徴量として取得する。

なお、特徴量は正規化されてもよいし、上述した特徴量の２以上であってもよい。また、主音響同期特徴量取得部４３は、分析フレーム長ずつ移動して特徴量を抽出するのではなく、例えば分析フレーム長の半分のサンプル数（例えば、128サンプル）ずつ移動して、特徴量を抽出してもよい。即ち、主音響同期特徴量取得部４３は、分析フレーム長をオーバーラップさせて特長量を抽出するようにしてもよい。主音響同期特徴量取得部４３は、特徴量を主音響同期特徴量更新部４４に供給する。

主音響同期特徴量更新部４４は、循環バッファ等からなり、設計時に決定された数の特徴量を蓄積する。具体的には、主音響同期特徴量更新部４４は、主音響同期特徴量取得部４３から供給される特徴量を蓄積する。このとき、既に設計時に決定された数の特徴量が蓄積されている場合には、最も古い特徴量を、主音響同期特徴量取得部４３から供給される特徴量に更新する。主音響同期特徴量更新部４４は、蓄積されている特徴量を音響同期処理部５１に供給する。

パケット受信部４５は、パケット受信設定部３８から供給される制御信号に応じて初期化処理等を行う。また、パケット受信部４５は、制御信号に応じて、接続先であるクラウドサービス装置１２と接続し、クラウドサービス装置１２に特定情報で特定される副音響信号を要求する。さらに、パケット受信部４５は、要求に応じてクラウドサービス装置１２から送信されてくる副音響信号のパケットを受信し、一時的に保持する。

ペイロードデータ取得部４６は、パケット受信部４５に蓄積されたパケットからペイロードデータを取得し、保持する。また、ペイロードデータ取得部４６は、ペイロードデータの中から、符号化された副音響信号（以下、符号化副音響信号という）、または、符号化されていない副音響信号を取得し、副音響復号化部４７に供給する。

副音響復号化部４７は、ペイロードデータ取得部４６から符号化副音響信号が供給される場合、符号化副音響信号を復号化し、その結果得られる副音響信号を副音響信号更新部４８に供給する。また、副音響復号化部４７は、ペイロードデータ取得部４６から副音響信号が供給される場合、その副音響信号をそのまま副音響信号更新部４８に供給する。

副音響信号更新部４８は、循環バッファ等からなり、設計時に決定された数の副音響信号を蓄積する。副音響信号更新部４８は、蓄積されている副音響信号を副音響同期特徴量取得部４９に供給する。

副音響同期特徴量取得部４９は、特徴量算出部として機能し、主音響同期特徴量取得部４３と同様に、副音響信号更新部４８から供給される副音響信号から、所定の特徴量を分析フレームごとに取得し、副音響同期特徴量更新部５０に供給する。なお、特徴量の抽出対象は、副音響信号のうちの、放送局により予め指定されたチャンネルの副音響信号だけであってもよい。

副音響同期特徴量更新部５０は、主音響同期特徴量更新部４４と同様に、循環バッファ等からなり、設計時に決定された数の特徴量を蓄積する。副音響同期特徴量更新部５０は、蓄積されている特徴量を音響同期処理部５１に供給する。

音響同期処理部５１は、主音響同期特徴量更新部４４と副音響同期特徴量更新部５０から供給される特徴量に基づいて、副音響信号が主音響信号に同期するための補正量を、主音響信号と副音響信号の同期情報として算出する。

具体的には、例えば、音響同期処理部５１は、主音響信号の各分析フレームの特徴量のベクトルと、副音響信号の各分析フレームの特徴量のベクトルの相関値を計算する。そして、音響同期処理部５１は、相関値の最大値が、設計時に決定される閾値（例えば、0.7）以上である場合、同期位置が存在すると判断し、その相関値に対応する主音響信号と副音響信号の分析フレーム（以下、同期分析フレームという）の先頭位置間のサンプル数を補正量として算出する。一方、相関値の最大値が閾値未満である場合、同期位置が存在しないと判断する。

音響同期処理部５１は、補正量が算出された場合、その補正量を副音響同期信号取得部５２に供給する。一方、同期位置が存在しないと判断された場合、または、副音響同期特徴量更新部５０から副音響信号の特徴量が供給されない場合、音響同期処理部５１は、副音響同期信号取得部５２と副音響調整部５３に処理を行わない制御信号を供給する。また、音響同期処理部５１は、音響合成部４０に主音響信号のみを出力する制御信号を供給する。これにより、主音響信号と副音響信号の同期位置がない場合、または、副音響信号が取得されない場合、主音響信号に対応する音響が、映像とともに出力される。

なお、C1が0ではない場合などには、音響同期処理部５１は、補正量を分析フレーム単位ではなく、サンプル単位で算出するようにしてもよい。

この場合、音響同期処理部５１は、同期分析フレームを中心に、設計時に決定される一定時間分（例えば、１分析フレーム分）の音響信号の信号波形どうしの相関値を計算する。そして、音響同期処理部５１は、その相関値の最大値が設計時に決定される閾値以上の場合には、同期位置が存在するとして、その相関値に対応する主音響信号と副音響信号のサンプル（以下、同期サンプルという）の位置間のサンプル数を補正量として算出する。一方、その相関値の最大値が閾値未満である場合、同期位置が存在しないと判断してもよいし、同期分析フレームの先頭位置間のサンプル数を補正量として算出してもよい。

なお、音響同期処理部５１は、音響信号の信号波形どうしの相関値を、所定の帯域（例えば16バンド）単位で計算するようにしてもよい。この場合、音響同期処理部５１は、主音響信号と副音響信号を所定の帯域単位で分割し、その結果得られる帯域分割信号の相関値を計算する。そして、同期サンプルの位置は、全帯域の相関値の最大値に対応する主音響信号と副音響信号のサンプルの位置、所定の帯域ごとの相関値の最大値が最も多い主音響信号と副音響信号のサンプルの位置、または所定の帯域ごとの相関値の最大値に対応する主音響信号と副音響信号のサンプルの平均位置とされる。

このように、音響同期処理部５１は、所定の帯域ごとの相関値を用いて同期サンプルの位置を求めることにより、主音響信号または副音響信号が特定の帯域に相関値を小さくする要因となる音響信号を含む場合であっても、高精度の補正量を求めることができる。

副音響同期信号取得部５２は、音響同期処理部５１から供給される補正量に基づいて、副音響信号更新部４８から副音響信号を読み出す。

副音響調整部５３は、副音響同期信号取得部５２から供給される副音響信号に対して既定の調整処理を行う。

例えば、副音響信号が、ドラマや映画等の主要な音響（例えば台詞など）の音響信号とBGMの音響信号を異なるチャンネルの音響信号として有する、音質劣化の少ない音響信号である場合、副音響調整部５３は、BGMのチャンネルの音響信号に対して、レベルを下げる処理、頭部伝達関数(HRTF(Head-Related Transfer Function))を畳み込む等して仮想的にBGMを奥行きのある位置へ定位させる処理等を調整処理として行う。また、副音響調整部５３は、主要な音響のチャンネルの音響信号に対して、レベルを上げる処理、HRTFを畳み込む等して仮想的に主要な音響をテレビジョン受像機１１の正面に定位させる処理等を調整処理として行う。これにより、例えば、主要な音響が強調され、主要な音響が聞き易くなる。

なお、音響出力部４２が、5.1chのシアターシステム等のマルチチャンネル再生システムである場合には、副音響調整部５３は、例えば、BGMのチャンネルをリアスピーカのチャンネルとし、主要な音響のチャンネルをフロントスピーカのチャンネルとし、HRTFを畳み込む処理等を調整処理として行うようにしてもよい。

また、副音響信号が、収録カメラの裏の観覧席や、数ヶ所の応援席などで収録された試合の音響信号を、収録場所ごとに異なるチャンネルの音響信号として有する、音質劣化の少ない音響信号である場合、チャンネルごとにHRTFを畳み込む等して仮想的に後ろに定位させる処理等を調整処理として行う。これにより、試合の臨場感が向上する。

なお、音響出力部４２がマルチチャンネル再生システムである場合には、副音響調整部５３は、例えば、全チャンネルをリアスピーカのチャンネルとし、HRTFを畳み込む処理等を調整処理として行うようにしてもよい。副音響調整部５３は、調整処理後の音響信号を、音響合成部４０に供給する。

なお、本明細書では、副音響信号が常に存在し、常に主音響信号と副音響信号を合成して出力するものとするが、副音響信号は常に存在しなくてもよい。また、本明細書では、主音響信号と副音響信号を合成して出力する機能である拡張音響機能が常に有効であるものとするが、拡張音声機能を有効または無効にするユーザからの指示に応じて、副音響信号を取得するかしないかを決定するようにしてもよい。さらに、副音響信号の有無や、拡張音響機能を有効または無効にするユーザからの指示に応じて、音響復号化部３９は、音響信号を主音響同期特徴量取得部４３に供給してもよい。

［放送受信部の構成例］
図３は、図２の放送受信部３１の構成例を示すブロック図である。

図３の放送受信部３１は、チューナ７０、A/D変換部７１、復調処理部７２、TS蓄積部７３、およびTS取得部７４により構成される。

チューナ７０は、アンテナ１１Ａを介して受信される放送波から所定のチャンネルの放送波を抽出し、A/D変換部７１に供給する。A/D変換部７１は、チューナ７０から供給される放送波に対してA/D変換を行い、その結果得られるデジタル信号を復調処理部７２に供給する。

復調処理部７２は、A/D変換部７１から供給されるデジタル信号を復調し、その結果得られる放送信号のTSをTS蓄積部７３に供給する。TS蓄積部７３は、循環バッファ等からなり、復調処理部７２から供給されるTSを一時的に蓄積する。TS取得部７４は、TS蓄積部７３から一定時間間隔でTSを取得し、図２のDeMux処理部３２に供給する。

[合成音響信号の説明]
図４は、図２のテレビジョン受像機１１における合成音響信号を説明する図である。

図４に示すように、副音響信号は、主音響信号より音質劣化の少ない音響信号である。音響合成部４０では、主音響信号がミュートされ、主音響信号に同期する副音響信号が合成音響信号として出力される。

[テレビジョン受像機の処理の第１の例の説明]
図５は、図２のテレビジョン受像機１１の番組出力処理を説明するフローチャートである。この番組出力処理は、例えば、ユーザが図示せぬ入力部を操作して視聴の開始をテレビジョン受像機１１に指示したとき、開始される。

図５のステップＳ１１において、テレビジョン受像機１１の放送受信部３１は、受信対象のチャンネルを選局する選局処理を行う。この選局処理の詳細は、後述する図６を参照して説明する。

ステップＳ１２において、放送受信部３１は、所定のチャンネルの放送信号を受信する放送受信処理を行う。この放送受信処理の詳細は、後述する図７を参照して説明する。

ステップＳ１３において、テレビジョン受像機１１は、映像信号と合成音響信号を出力する出力処理を行う。この出力処理の詳細は、後述する図８を参照して説明する。

ステップＳ１４において、テレビジョン受像機１１は、ユーザが図示せぬ入力部を操作して視聴の終了を指示したかどうかを判定する。ステップＳ１４でユーザが視聴の終了を指示していないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１乃至Ｓ１４の処理が繰り返される。

一方、ステップＳ１４でユーザが視聴の終了を指示したと判定された場合、処理は終了する。

図６は、図５のステップＳ１１の選局処理の詳細を説明するフローチャートである。

図６のステップＳ３１において、放送受信部３１のチューナ７０（図３）は、ユーザが図示せぬ入力部を操作して視聴するチャンネルの変更を指示したかどうかを判定する。なお、最初のステップＳ３１の処理時には、ユーザが視聴するチャンネルの変更を指示したと判定される。

ステップＳ３１でユーザが視聴するチャンネルの変更を指示したと判定された場合、ステップＳ３２において、チューナ７０は、保持している、受信対象のチャンネルが変更されたことを示す変更フラグを有効にし、受信準備が整っていることを示す準備フラグをオフにする選局変更処理を行う。そして、処理は図５のステップＳ１１に戻り、ステップＳ１２に進む。

一方、ステップＳ３１でユーザが視聴するチャンネルの変更を指示していないと判定された場合、処理は図５のステップＳ１１に戻り、ステップＳ１２に進む。

図７は、図５のステップＳ１２の放送受信処理の詳細を説明するフローチャートである。

図７のステップＳ５１において、放送受信部３１のチューナ７０（図３）は、変更フラグに基づいて、受信対象のチャンネルが変更されたかどうかを判定する。ステップＳ５１で受信対象のチャンネルが変更されたと判定された場合、処理はステップＳ５２に進む。

ステップＳ５２において、チューナ７０は、選局するチャンネルをユーザにより指示されたチャンネルに設定する処理や初期化処理等を受信局設定処理として行う。そして、チューナ７０は、変更フラグを無効にするとともに、準備フラグをオンにし、処理をステップＳ５３に進める。

一方、ステップＳ５１で受信対象のチャンネルが変更されていないと判定された場合、処理はステップＳ５３に進む。

ステップＳ５３において、チューナ７０は、アンテナ１１Ａを介して受信される放送波から、ステップＳ５２で選局するチャンネルとして設定されたチャンネルの放送波を抽出し、A/D変換部７１に供給する。

ステップＳ５４において、A/D変換部７１は、チューナ７０から供給される放送波に対してA/D変換を行い、その結果得られるデジタル信号を復調処理部７２に供給する。

ステップＳ５５において、復調処理部７２は、A/D変換部７１から供給されるデジタル信号を復調する。

ステップＳ５６において、復調処理部７２は、復調の結果得られる放送信号のTSをTS蓄積部７３に供給し、蓄積させる。

ステップＳ５７において、TS取得部７４は、保持している、TS蓄積部７３に蓄積されたTSの状態情報（例えば、まだ読み出されていないTSの量等）を更新する。そして、処理は図５のステップＳ１２に戻り、ステップＳ１３に進む。

図８は、図５のステップＳ１３の出力処理の詳細を説明するフローチャートである。

図８のステップＳ７１において、DeMux処理部３２は、図３のTS取得部７４に保持されているTSの状態情報を確認し、まだ読み出されていないTSが存在するかどうかを判定する。ステップＳ７１でまだ読み出されていないTSが存在すると判定された場合、ステップＳ７２において、DeMux処理部３２は、TS取得部７４からTSを取得する。

ステップＳ７３において、DeMux処理部３２は、TS取得部７４から取得したTSから、符号化映像信号、符号化主音響信号、および符号化番組情報を抽出する。DeMux処理部３２は、符号化映像信号は映像復号化部３３に供給し、符号化番組情報をデータ復号化部３６に供給し、符号化主音響信号を音響復号化部３９に供給する。

ステップＳ７４において、映像復号化部３３は、DeMux処理部３２から供給される符号化映像信号を復号化し、その結果得られる映像信号を映像調整部３４に供給する。ステップＳ７５において、映像調整部３４は、映像復号化部３３から供給される映像信号に対して調整処理を行い、映像出力部３５に供給する。

ステップＳ７６において、音響復号化部３９は、DeMux処理部３２から供給される符号化主音響信号を復号化し、その結果得られる主音響信号を音響合成部４０と主音響同期特徴量取得部４３に供給する。

ステップＳ７７において、テレビジョン受像機１１は、副音響信号を受信する副音響信号受信処理を行う。この副音響信号受信処理の詳細は、後述する図９を参照して説明する。ステップＳ７７の処理後、処理はステップＳ７８に進む。

ステップＳ７８において、副音響復号化部４７は、ペイロードデータ取得部４６にまだ読み出されていない副音響信号が存在するかどうかを判定する。ステップＳ７８で副音響信号が存在すると判定された場合、ステップＳ７９において、副音響復号化部４７は、副音響信号が符号化されている場合、符号化副音響信号を復号化する。また、副音響復号化部４７は、副音響信号が符号化されていない場合、その副音響信号をそのままにする。

ステップＳ８０において、副音響復号化部４７は、副音響信号を副音響信号更新部４８に供給し、蓄積させる。ステップＳ８１において、主音響同期特徴量取得部４３と副音響同期特徴量取得部４９は、それぞれ、音響復号化部３９からの主音響信号、副音響信号更新部４８からの副音響信号から、所定の特徴量を分析フレームごとに取得する。そして、主音響同期特徴量取得部４３は、取得された特徴量を主音響同期特徴量更新部４４に供給して蓄積させ、副音響同期特徴量取得部４９は、取得された特徴量を副音響同期特徴量更新部５０に供給して、蓄積させる。

ステップＳ８２において、音響同期処理部５１は、主音響信号の各分析フレームの特徴量のベクトルと、副音響信号の各分析フレームの特徴量のベクトルの相関値を計算する。

ステップＳ８３において、音響同期処理部５１は、主音響信号と副音響信号の同期位置が存在するかどうか、即ちステップＳ８２で計算された相関値の最大値が所定の閾値以上であるかどうかを判定する。

ステップＳ８３で主音響信号と副音響信号の同期位置が存在すると判定された場合、音響同期処理部５１は、同期分析フレームの先頭位置間のサンプル数を補正量として算出する。そして、音響同期処理部５１は、その補正量を副音響同期信号取得部５２に供給する。

ステップＳ８４において、副音響同期信号取得部５２は、音響同期処理部５１から供給される補正量に基づいて、副音響信号更新部４８から副音響信号を読み出す。

ステップＳ８５において、副音響調整部５３は、副音響同期信号取得部５２から供給される副音響信号に対して調整処理を行い、音響合成部４０に供給する。

ステップＳ８６において、音響合成部４０は、音響復号化部３９から供給される主音響信号と副音響調整部５３から供給される副音響信号を、所定の比率で合成し、合成音響信号を生成する。そして、音響合成部４０は、合成音響信号を音響調整部４１に供給し、処理をステップＳ８９に進める。

一方、ステップＳ７１でまだ読み出されていないTSが存在しないと判定された場合、ステップＳ８８において、テレビジョン受像機１１は、所定の映像と音響を生成する既定映像音響生成処理を行う。具体的には、映像調整部３４は、受信対象のチャンネルの局番号や番組のタイトル、出力準備中である旨のメッセージ等の映像信号を生成し、映像出力部３５に供給する。また、音響合成部４０は、出力準備中である旨のメッセージ等の音響信号を生成し、音響調整部４１に供給する。そして、処理はステップＳ８９に進む。

また、ステップＳ７８でペイロードデータ取得部４６にまだ読み出されていない副音響信号が存在しないと判定された場合、または、ステップＳ８３で主音響信号と副音響信号の同期位置が存在しないと判定された場合、音響同期処理部５１は、副音響同期信号取得部５２と副音響調整部５３に処理を行わない制御信号を供給する。また、音響同期処理部５１は、音響合成部４０に主音響信号のみを出力する制御信号を供給し、処理をステップＳ８７に進める。

ステップＳ８７において、音響合成部４０は、音響復号部３９から供給される主音響信号を合成音響信号として音響調整部４１に供給し、処理をステップＳ８９に進める。

ステップＳ８９において、音響調整部４１は、音響合成部４０から供給される合成音響信号に対して調整処理を行い、音響出力部４２に供給する。

ステップＳ９０において、映像出力部３５は、映像調整部３４から供給される映像信号に基づいて、映像を表示する。また、音響出力部４２は、音響調整部４１から供給される合成音響信号の音量を調整してD/A変換を行い、その結果得られるアナログ信号に対応する音響を出力する。そして、処理は図５のステップＳ１３に戻り、ステップＳ１４に進む。

なお、図８のステップＳ７３の抽出処理、ステップＳ７４，Ｓ７６，Ｓ７９の復号化処理、ステップＳ８１の特徴量取得処理、ステップＳ８２の相関値計算処理等は、並列に処理されてもよい。

図９は、図８のステップＳ７７の副音響信号受信処理の詳細を説明するフローチャートである。

図９のステップＳ１０１において、データ復号化部３６は、DeMux処理部３２から供給される符号化番組情報を復号化し、その結果得られる番組情報をデータ処理部３７に供給する。

ステップＳ１０２において、データ処理部３７は、番組情報が変更されたか、即ちデータ復号化部３６から供給される番組情報が、保持している番組情報と異なっているか、または、最初の番組情報であるかを判定する。ステップＳ１０２で番組情報が変更されたと判定された場合、データ処理部３７は、保持している番組情報を更新する処理等を行う。そして、データ処理部３７は、更新された番組情報をパケット受信設定部３８に供給し、処理をステップＳ１０３に進める。

ステップＳ１０３において、パケット受信設定部３８は、パケット受信部４５にパケットの受信を停止させ、データ処理部３７から供給される番組情報の供給元情報が示す副音響信号の供給元を接続先として示すとともに、特定情報を示す制御信号をパケット受信部４５に供給する。これにより、パケット受信部４５は、パケットの受信を停止して初期化処理等を行う。また、パケット受信部４５は、制御信号が示す接続先であるクラウドサービス装置１２と接続し、クラウドサービス装置１２に特定情報で特定される副音響信号を要求する。

一方、ステップＳ１０２で番組情報が変更されていないと判定された場合、処理はステップＳ１０４に進む。

ステップＳ１０４において、パケット受信部４５は、接続先から特定情報により特定される副音響信号のパケットを受信し、一時的に保持する。

ステップＳ１０５において、ペイロードデータ取得部４６は、パケット受信部４５に蓄積されたパケットからペイロードデータを取得し、保持する。

ステップＳ１０６において、ペイロードデータ取得部４６は、保持している、ペイロードデータの状態情報（例えば、まだ読み出されていないペイロードデータの量等）を更新する。そして、処理は図８のステップＳ７７に戻り、ステップＳ７８に進む。ステップＳ７８では、この状態情報に基づいて判定が行われる。

以上のように、図２のテレビジョン受像機１１は、主音響信号と副音響信号の特徴量を抽出し、その特徴量に基づいて同期情報を生成し、同期情報に基づいて主音響信号と副音響信号を合成する。これにより、主音響信号に同期させて副音響信号を出力することができるので、番組の音響を音質劣化の少ない音響に違和感なく変更することができる。

なお、図２のテレビジョン受像機１１は、クラウドサービス装置１２から副音響信号を受信したが、放送局サーバ１３または自宅サーバ１４から副音響信号を受信する場合も、接続先が放送局サーバ１３または自宅サーバ１４になること以外同様である。

[テレビジョン受像機の第２の構成例]
図１０は、図１のテレビジョン受像機１１の第２の構成例を示すブロック図である。

図１０に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１０のテレビジョン受像機１１の構成は、主に、パケット受信部４５、副音響調整部５３、音響合成部４０の代わりに、パケット受信部９１、副音響調整部９２、音響合成部９３が設けられている点が図２の構成と異なる。

図１０のテレビジョン受像機１１は、副音響信号として、主音響信号に対応する楽曲のカラオケ用の音響信号または楽曲の音響信号を自宅サーバ１４から受信し、主音響信号と副音響信号を合成して出力する。なお、特定情報としては、主音響信号に対応する楽曲を特定する楽曲情報（例えば、タイトル、番組のタイトル等）が用いられるものとする。

具体的には、テレビジョン受像機１１のパケット受信部９１は、パケット受信設定部３８から供給される制御信号に応じて初期化処理等を行う。また、パケット受信部９１は、読み出し制御部として機能し、制御信号に応じて、接続先である自宅サーバ１４と接続し、自宅サーバ１４に楽曲情報で特定される楽曲の副音響信号を要求することにより、副音響信号の読み出しを制御する。

これにより、自宅サーバ１４は、楽曲情報で特定される楽曲の副音響信号を検索する。このとき、楽曲情報が番組のタイトル等である場合には、自宅サーバ１４は、その番組で使用されている楽曲のタイトルなどをネットワーク経由で他のサーバから検索し、そのタイトルなどで特定される楽曲の副音響信号を検索する。自宅サーバ１４は、検索の結果得られる副音響信号を読み出してテレビジョン受像機１１に送信する。

パケット受信部９１は、取得部として機能し、要求に応じて自宅サーバ１４から送信されてくる副音響信号のパケットを取得し、一時的に保持する。

副音響調整部９２は、副音響同期信号取得部５２から供給される副音響信号に対して既定の調整処理を行う。例えば、副音響信号が、演奏パートごとの音響信号を異なるチャンネルの音響信号として有する音響信号である場合、副音響調整部９２は、ユーザにより選択された演奏パートの音響信号をミュートする処理、HRTFを畳み込む等して各演奏パートを所定の仮想位置へ定位させることにより臨場感を向上させる処理等を調整処理として行う。

なお、音響出力部４２がマルチチャンネル再生システムである場合には、副音響調整部９２は、チャンネルごとに、そのチャンネルに対応するスピーカの位置に応じて予め決定される係数を副音響信号に乗じる処理を調整処理として行うようにしてもよい。副音響調整部９２は、調整処理後の音響信号を、音響合成部９３に供給する。

音響合成部９３は、図２の音響合成部４０と同様に、音響復号化部３９から供給される主音響信号と副音響調整部９２から供給される副音響信号を、所定の比率で合成し、合成音響信号を生成する。

なお、副音響信号がカラオケ用の楽曲の音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1は0であり、C2は1である。

一方、主音響信号が、BGMの音響信号と主要な音響の音響信号を異なるチャンネルの音響信号として有する音響信号であり、副音響信号が、主音響信号に対応するBGMの音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1とC2は0.5である。但し、この場合、副音響信号は、主音響信号と逆位相にされ、副音響信号のサンプリング周波数が主音響信号のサンプリング周波数と同一になるようにサンプリング周波数が変換されて、合成される。音響合成部９３は、合成音響信号を音響調整部４１に供給する。

[テレビジョン受像機の処理の第２の例の説明]
図１０のテレビジョン受像機１１の番組出力処理は、図５のステップＳ１３の出力処理を除いて図５の番組出力処理と同様であるので、出力処理についてのみ説明する。

図１１は、図１０のテレビジョン受像機１１の出力処理の詳細を説明するフローチャートである。

図１１のステップＳ１２１乃至Ｓ１２６の処理は、図８のステップＳ７１乃至Ｓ７６の処理と同様であるので、説明は省略する。

ステップＳ１２７において、図１０のテレビジョン受像機１１は、副音響信号受信処理を行う。この副音響信号受信処理の詳細は、後述する図１２を参照して説明する。ステップＳ１２７の処理後、処理はステップＳ１２８に進む。

ステップＳ１２８乃至Ｓ１３５の処理は、図８のステップＳ７８乃至Ｓ８５の処理と同様であるので、説明は省略する。

ステップＳ１３６において、音響合成部９３は、音響復号化部３９から供給される主音響信号と副音響調整部９２から供給される副音響信号を合成する合成処理を行う。この合成処理の詳細は、後述する図１３を参照して説明する。ステップＳ１３６の処理後、処理はステップＳ１３９に進む。

ステップＳ１３７乃至Ｓ１４０の処理は、図８のステップＳ８７乃至Ｓ９０の処理と同様であるので、説明は省略する。

図１２は、図１１のステップＳ１２７の副音響信号受信処理の詳細を説明するフローチャートである。

図１２のステップＳ１５１において、データ復号化部３６は、DeMux処理部３２から供給される符号化番組情報を復号化し、その結果得られる番組情報をデータ処理部３７に供給する。

ステップＳ１５２において、データ処理部３７は、番組情報が変更されたかを判定する。ステップＳ１５２で番組情報が変更されたと判定された場合、データ処理部３７は、保持している番組情報を更新する処理等を行う。そして、データ処理部３７は、更新された番組情報をパケット受信設定部３８に供給し、処理をステップＳ１５３に進める。

ステップＳ１５３において、パケット受信設定部３８は、データ処理部３７から供給される番組情報の供給元情報が示す副音響信号の供給元を接続先として示すとともに、特定情報を示す制御信号をパケット受信部９１に供給する。そして、処理はステップＳ１５４に進む。

一方、ステップＳ１５２で番組情報が変更されていないと判定された場合、処理はステップＳ１５４に進む。

ステップＳ１５４において、パケット受信部９１は、カラオケ機能が有効であるかどうかを判定する。具体的には、ユーザは、図示せぬ入力部を操作して、主音響信号の代わりにカラオケ用の副音響信号を出力するカラオケ機能を有効にする指示を行ったり、無効にする指示を行ったりすることができる。そして、ユーザの指示に応じて、カラオケ機能は有効にされたり、無効にされたりする。パケット受信部９１は、そのカラオケ機能が有効であるかどうかを判定する。

ステップＳ１５４でカラオケ機能が有効であると判定された場合、処理はステップＳ１５５に進む。ステップＳ１５５において、パケット受信部９１は、自宅サーバ１４に楽曲情報で特定される楽曲のカラオケ用の副音響信号を要求する情報を生成し、処理をステップＳ１５７に進める。

一方、ステップＳ１５４でカラオケ機能が有効ではないと判定された場合、処理はステップＳ１５６に進む。ステップＳ１５６において、パケット受信部９１は、自宅サーバ１４に楽曲情報で特定される楽曲の副音響信号を要求する情報を生成し、処理をステップＳ１５７に進める。

ステップＳ１５７において、パケット受信部９１は、副音響信号を要求するかどうか、即ちカラオケ機能の有効性または番組情報が変更されたかどうかを判定する。ステップＳ１５７で副音響信号を要求すると判定された場合、パケット受信部９１は、初期化処理等を行う。

そして、ステップＳ１５８において、パケット受信部９１は、ステップＳ１５５またはＳ１５６で生成された情報を自宅サーバ１４に送信することにより、自宅サーバ１４に副音響信号を要求する。

ステップＳ１５９において、パケット受信部９１は、要求に応じて自宅サーバ１４から副音響信号が送信されてきたかどうかを判定する。ステップＳ１５９で自宅サーバ１４から副音響信号が送信されてきたと判定された場合、処理はステップＳ１６０に進む。

ステップＳ１６０乃至Ｓ１６２の処理は、図９のステップＳ１０４乃至Ｓ１０６の処理と同様であるので、説明は省略する。ステップＳ１６２の処理後、処理は図１１のステップＳ１２７に戻り、ステップＳ１２８に進む。

一方、ステップＳ１５７で要求しないと判定した場合、処理は図１１のステップＳ１２７に戻り、ステップＳ１２８に進む。また、ステップＳ１５９で要求に応じて自宅サーバ１４から副音響信号が送信されてきていないと判定された場合、例えば、自宅サーバ１４が副音響信号を記憶していない場合や自宅サーバ１４との通信にエラーが発生している場合、処理は図１１のステップＳ１２７に戻り、ステップＳ１２８に進む。

図１３は、図１１のステップＳ１３６の合成処理の詳細を説明するフローチャートである。

図１３のステップＳ１８０において、音響合成部８３は、副音響信号のサンプリング周波数を変換する必要があるかどうかを判定する。例えば、副音響信号と主音響信号のサンプリング周波数が同一ではない場合、ステップＳ１８０で副音響信号のサンプリング周波数を変換する必要があると判定され、処理はステップＳ１８１に進む。

ステップＳ１８１において、音響合成部９３は、副音響信号のサンプリング周波数が主音響信号のサンプリング周波数と同一になるように、副音響信号のサンプリング周波数を変換し、処理をステップＳ１８２に進める。

一方、副音響信号と主音響信号のサンプリング周波数が同一である場合、ステップＳ１８０で副音響信号のサンプリング周波数を変換する必要がないと判定され、処理はステップＳ１８２に進む。

ステップＳ１８２において、音響合成部９３は、副音響信号が楽曲の音響信号であるかどうか、即ちカラオケ機能が無効であるかどうかを判定する。ステップＳ１８２で副音響信号が楽曲の音響信号であると判定された場合、処理はステップＳ１８３に進む。

ステップＳ１８３において、音響合成部９３は、サンプリング周波数が変換された副音響信号の位相を主音響信号の逆位相にし、処理をステップＳ１８４に進める。

一方、ステップＳ１８２で副音響信号が楽曲の音響信号ではないと判定された場合、即ち副音響信号がカラオケ用の音響信号である場合、処理はステップＳ１８４に進む。

ステップＳ１８４において、音響合成部９３は、図２の音響合成部４０と同様に、主音響信号と副音響信号を所定の比率で合成し、合成音響信号を生成する。

なお、副音響信号がカラオケ用の楽曲の音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1は0であり、C2は1である。一方、副音響信号が楽曲の音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1とC2は0.5である。また、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されている場合のC1は1であり、C2は0である。ステップＳ１８４の処理後、処理は図１１のステップＳ１３６に戻り、ステップＳ１３７に進む。

以上のように、図１０のテレビジョン受像機１１は、主音響信号と副音響信号の特徴量を抽出し、その特徴量に基づいて同期情報を生成し、同期情報に基づいて主音響信号と副音響信号を合成する。これにより、主音響信号に同期させて副音響信号を出力することができるので、例えば、番組の楽曲の音響をカラオケ用の楽曲の音響に違和感なく変更することができる。また、例えば、番組のBGMを、そのBGMの逆位相の音響によって小さくすることができる。

なお、図１０のテレビジョン受像機１１は、自宅サーバ１４から副音響信号を受信したが、放送局サーバ１３またはクラウドサービス装置１２から副音響信号を受信する場合も、接続先が放送局サーバ１３またはクラウドサービス装置１２になること以外同様である。

＜第２実施の形態＞
［信号処理システムの第２実施の形態の構成例］
図１４は、本技術を適用した信号処理システムの第２実施の形態の構成例を示す図である。

図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１４の信号処理システム１１０の構成は、主に、テレビジョン受像機１１の代わりに携帯端末１１１が設けられている点が図１の構成と異なる。信号処理システム１１０では、携帯端末１１１が、地上デジタル放送の13セグメントのうちの1セグメントのみを用いて行われるワンセグ放送を受信し、そのワンセグ放送の主音響信号と副音響信号を合成する。

具体的には、携帯端末１１１は、例えば、放送局からアンテナ１１１Ａを介して送信されてくるワンセグ放送の放送波を受信し、その放送波で送信されてくる放送信号を取得する。携帯端末１１１は、放送信号のうちの符号化番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１１は、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。

携帯端末１１１は、ワンセグ放送の符号化映像信号および符号化主音響信号を復号する。携帯端末１１１は、復号の結果得られる主音響信号と副音響信号を合成して、合成音響信号を生成する。携帯端末１１１は、合成音響信号を、復号の結果得られる映像信号とともに出力する。

携帯端末１１１の具体的な処理は、地上デジタル放送ではなくワンセグ放送の放送波を受信すること以外、テレビジョン受像機１１と同様であるので、説明は省略する。但し、携帯端末１１１は、移動するため、トンネルの中等の電波の受信が困難な状況を想定する必要がある。従って、例えば、図３のTS蓄積部７３の蓄積容量は、テレビジョン受像機１１に比べて増加され、テレビジョン受像機１１に比べて多くのTSがTS蓄積部７３に蓄積されてから、TS取得部７４によるTSの取得が行われる。

＜第３実施の形態＞
［信号処理システムの第３実施の形態の構成例］
図１５は、本技術を適用した信号処理システムの第３実施の形態の構成例を示す図である。

図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１５の信号処理システム１３０の構成は、主に、録画装置１３１が新たに設けられる点、および、テレビジョン受像機１１の代わりにテレビジョン受像機１３２が設けられている点が図１の構成と異なる。信号処理システム１３０では、テレビジョン受像機１３２が、録画装置１３１に録画されているテレビジョン放送の放送信号を受信し、放送信号のうちの主音響信号と副音響信号を合成する。

具体的には、録画装置１３１は、例えば、HDD（Hard Disk Drive）レコーダ等からなる。録画装置１３１は、図示せぬアンテナを介して放送局から送信されてくる地上デジタル放送の放送波を受信し、その放送波で送信されてくる放送信号のTSを取得し、記録する。

テレビジョン受像機１３２は、録画装置１３１から放送信号のTSを読み出す。テレビジョン受像機１３２は、図１のテレビジョン受像機１１と同様に、その放送信号のうちの符号化番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１３２は、テレビジョン受像機１１と同様に、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。

テレビジョン受像機１３２は、テレビジョン受像機１１と同様に、放送信号のうちの符号化映像信号および符号化主音響信号を復号する。テレビジョン受像機１３２は、テレビジョン受像機１１と同様に、復号の結果得られる主音響信号と副音響信号を合成して、合成音響信号を生成する。テレビジョン受像機１１は、合成音響信号を、復号の結果得られる映像信号とともに出力する。

[テレビジョン受像機の構成例]
図１６は、図１５のテレビジョン受像機１３２の構成例を示すブロック図である。

図１６に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１６のテレビジョン受像機１３２の構成は、主に、放送受信部３１の代わりに取得部１５１が設けられている点が図２の構成と異なる。

取得部１５１は、ユーザにより指定された放送信号のTSを録画装置１３１から所定の処理単位で取得し、DeMux処理部３２に供給する。

[テレビジョン受像機の処理の説明]
図１７は、図１６のテレビジョン受像機１３２の番組出力処理を説明するフローチャートである。この番組出力処理は、例えば、ユーザが図示せぬ入力部を操作して視聴の開始をテレビジョン受像機１３２に指示したとき、開始される。

図１７のステップＳ２０１において、テレビジョン受像機１３２の取得部１５１は、再生対象の放送信号を選択する選択処理を行う。この選択処理の詳細は、後述する図１８を参照して説明する。

ステップＳ２０２において、取得部１５１は、録画装置１３１から再生対象の放送信号を取得する取得処理を行う。この取得処理の詳細は、後述する図１９を参照して説明する。

ステップＳ２０３およびＳ２０４の処理は、それぞれ、図５のステップＳ１３，Ｓ１４の処理と同様であるので、説明は省略する。

図１８は、図１７のステップＳ２０１の選択処理の詳細を説明するフローチャートである。

図１８のステップＳ２２１において、取得部１５１は、図示せぬ入力部を操作してユーザが再生する番組の変更を指示したかどうかを判定する。なお、最初のステップＳ２２１の処理時には、ユーザが再生する番組の変更を指示したと判定される。

ステップＳ２２１でユーザが再生する番組の変更を指示したと判定された場合、ステップＳ２２２において、取得部１５１は、保持している、再生対象の番組が変更されたことを示す番組変更フラグを有効にし、取得準備が整っていることを示す取得準備フラグをオフにする選択変更処理を行う。そして、処理は図１７のステップＳ２０１に戻り、ステップＳ２０２に進む。

一方、ステップＳ２２１でユーザが再生する番組の変更を指示していないと判定された場合、処理は図１７のステップＳ２０１に戻り、ステップＳ２０２に進む。

図１９は、図１７のステップＳ２０２の取得処理の詳細を説明するフローチャートである。

図１９のステップＳ２４１において、取得部１５１は、番組変更フラグに基づいて、再生対象の番組が変更されたかどうかを判定する。ステップＳ２４１で再生対象の番組が変更されたと判定された場合、処理はステップＳ２４２に進む。

ステップＳ２４２において、取得部１５１は、録画装置１３１からの放送信号の取得を停止し、ユーザにより指示された番組の放送信号の取得を開始する。そして、取得部１５１は、番組変更フラグを無効にするとともに、取得準備フラグをオンにする。そして、処理は図１７のステップＳ２０２に戻り、ステップＳ２０３に進む。

一方、ステップＳ２４１で再生対象の番組が変更されていないと判定された場合、処理は図１７のステップＳ２０２に戻り、ステップＳ２０３に進む。

以上のように、図１５のテレビジョン受像機１３２は、主音響信号と副音響信号の特徴量を抽出し、その特徴量に基づいて同期情報を生成し、同期情報に基づいて主音響信号と副音響信号を合成する。これにより、主音響信号に同期させて副音響信号を出力することができる。その結果、録画装置１３１が主音響信号の音質を下げて記録した場合であっても、高音質の主音響信号からなる副音響信号を主音響信号に代えて出力することにより、高音質の音響を違和感なく出力することができる。よって、録画装置１３１は、主音響信号の音質を下げて記録することにより、データ量を削減することができる。

なお、第３実施の形態では、録画装置１３１が、放送信号をTS形式で記録したが、他の形式で記録するようにしてもよい。

また、図１５のテレビジョン受像機１３２は、クラウドサービス装置１２から副音響信号を受信したが、放送局サーバ１３または自宅サーバ１４から副音響信号を受信する場合も、接続先が放送局サーバ１３または自宅サーバ１４になること以外同様である。

＜第４実施の形態＞
［信号処理システムの第４実施の形態の構成例］
図２０は、本技術を適用した信号処理システムの第４実施の形態の構成例を示す図である。

図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２０の信号処理システム１７０の構成は、主に、テレビジョン受像機１１、放送局サーバ１３の代わりに、テレビジョン受像機１７１、放送局サーバ１７２−１乃至１７２−Ｎが設けられている点が図１の構成と異なる。信号処理システム１７０では、テレビジョン受像機１７１が、放送局サーバ１７２−１乃至１７２−Ｎからネットワークを介して地上デジタル放送の放送信号のTSを受信し、放送信号のうちの主音響信号と副音響信号を合成する。

具体的には、テレビジョン受像機１７１は、放送局サーバ１７２−１乃至１７２−Ｎからネットワークを介して放送信号のTSを取得する。テレビジョン受像機１７１は、図１のテレビジョン受像機１１と同様に、その放送信号のうちの符号化番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１７２−１乃至１７２−Ｎ、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１７１は、テレビジョン受像機１１と同様に、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。

テレビジョン受像機１７１は、テレビジョン受像機１１と同様に、放送信号のうちの符号化映像信号および符号化主音響信号を復号する。テレビジョン受像機１７１は、テレビジョン受像機１１と同様に、復号の結果得られる主音響信号と副音響信号を合成して、合成音響信号を生成する。テレビジョン受像機１７１は、合成音響信号を、復号の結果得られる映像信号とともに出力する。

放送局サーバ１７２−１乃至１７２−Ｎは、それぞれ、地上デジタル放送の放送局により管理されるサーバであり、放送信号と副音響信号を記憶している。なお、以下では、放送局サーバ１７２−１乃至１７２−Ｎを特に区別する必要がない場合、それらをまとめて放送局サーバ１７２という。

放送局サーバ１７２は、放送信号をネットワークを介して配信する。また、放送局サーバ１７２は、テレビジョン受像機１７１の要求に応じて、記憶している副音響信号をテレビジョン受像機１７１に送信する。

[テレビジョン受像機の構成例]
図２１は、図２０のテレビジョン受像機１７１の構成例を示すブロック図である。

図２１に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１のテレビジョン受像機１７１の構成は、主に、放送受信部３１の代わりに受信部１９１が設けられている点が図２の構成と異なる。

受信部１９１は、放送局サーバ１７２からネットワークを介して地上デジタル放送の放送信号のTSパケットを受信し、そのTSパケットから放送信号のTSを取得する。受信部１９１は、放送信号のTSを蓄積する。受信部１９１は、蓄積されている放送信号のTSをDeMux処理部３２に供給する。

[テレビジョン受像機の処理の説明]
図２０のテレビジョン受像機１７１の番組出力処理は、図５のステップＳ１２の放送受信処理を除いて、図５の番組出力処理と同様であるので、放送受信処理についてのみ説明する。

図２２は、図２１の受信部１９１による放送受信処理を説明するフローチャートである。

図２２のステップＳ２６１において、受信部１９１は、変更フラグに基づいて、受信対象のチャンネルが変更されたかどうかを判定する。ステップＳ２６１で受信対象のチャンネルが変更されたと判定された場合、処理はステップＳ２６２に進む。

ステップＳ２６２において、受信部１９１は、受信する放送信号の放送局サーバ１７２をユーザにより指示されたチャンネルの放送局サーバ１７２に設定する処理や初期化処理等を受信局サーバ設定処理として行う。そして、受信部１９１は、変更フラグを無効にするとともに、準備フラグをオンにし、処理をステップＳ２６３に進める。

一方、ステップＳ２６１で受信対象のチャンネルが変更されていないと判定された場合、処理はステップＳ２６３に進む。

ステップＳ２６３において、受信部１９１は、ステップＳ２６２で受信する放送信号の放送局サーバ１７２として設定された放送局サーバ１７２から、ネットワークを介して放送信号のTSパケットを受信し、そのTSパケットに含まれるTSを蓄積する。

ステップＳ２６４において、受信部１９１は、保持している、蓄積されたTSの状態情報（例えば、まだ読み出されていないTSの量等）を更新する。そして、放送受信処理は終了する。

なお、図２１のテレビジョン受像機１７１は、クラウドサービス装置１２から副音響信号を受信したが、放送局サーバ１７２または自宅サーバ１４から副音響信号を受信する場合も、接続先が放送局サーバ１７２または自宅サーバ１４になること以外同様である。

また、説明は省略するが、副音響信号が、主音響信号とは異なる言語の音響信号である場合や、主音響信号とは異なる言語の音響信号を含む場合も、上述した副音響信号が主音響信号より音質劣化の少ない音響信号である場合と同様に行われる。このとき、副音響信号が、主音響信号とは異なる言語の音響信号とBGMの音響信号を、各チャンネルの音響信号として有する音響信号である場合には、副音響信号が、ドラマや映画等の主要な音響（例えば台詞など）の音響信号とBGMの音響信号を異なるチャンネルの音響信号として有する、音質劣化の少ない音響信号である場合と同様の調整処理が、副音響信号に対して行われる。

また、主音響信号と副音響信号の合成方法は、上述した方法以外の方法であってもよい。例えば、所定の区間の副音響信号のみが主音響信号と合成されるようにしてもよい。また、副音響信号の全チャンネルのうちの、主音響信号と同期のとれる音響信号のチャンネル以外のチャンネルの副音響信号が主音響信号と合成されるようにしてもよい。これにより、例えば、副音響信号が、主音響信号に対応する複数の言語の音響信号を、言語ごとに異なるチャンネルの音響信号として有する音響信号である場合、主音響信号に対応する所定の言語の音響と、その言語以外の副音響信号に対応する言語の音響を同時に出力することができる。

さらに、主音響信号と副音響信号は、上述した信号に限定されない。

また、特定情報は、必ずしも、放送信号に含まれる必要はなく、ユーザによりネットワークを介してダウンロードされたり、ユーザにより自宅サーバ１４に記憶されたりしてもよい。

＜第５実施の形態＞
[本技術を適用したコンピュータの説明]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成もとることができる。

（１）
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置。
（２）
前記第１の通信経路を通じて取得された、前記第１の音響信号に対応する映像信号の表示を制御する表示制御部
をさらに備える
前記（１）に記載の信号処理装置。
（３）
前記第１の通信経路は、放送波であり、
前記第２の通信経路は、前記放送波により受信された付随情報に基づいて決定される
前記（１）または（２）に記載の信号処理装置。
（４）
前記第１の通信経路と前記第２の通信経路は同一である
前記（１）または（２）に記載の信号処理装置。
（５）
前記第２の音響信号は、前記第１の音響信号の音質劣化が少ない音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記第２の音響信号は、前記第１の音響信号と言語が異なる音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（７）
前記第２の音響信号は、前記第１の音響信号に対応する楽曲のカラオケ用の楽曲の音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（８）
前記第１の音響信号は、BGM(Background music)の音響信号と主要な音響の音響信号を異なるチャンネルの音響信号として有する音響信号であり、
前記第２の音響信号は、前記BGMの音響信号であり、
前記音響合成部は、前記第２の音響信号を、前記BGMのチャンネルの音響信号の逆位相で前記第１の音響信号に合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（９）
信号処理装置が、
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
を含む信号処理方法。
（１０）
コンピュータを、
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置して機能させるためのプログラム。
（１１）
前記（１０）に記載のプログラムが記録されている記録媒体。
（１２）
第１の通信経路を通じて第１の音響信号を送信する第１の送信部
を有する第１の信号処理装置と、
第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信する第２の送信部
を有する第２の信号処理装置と、
前記第１の送信部から送信されてくる前記第１の音響信号を受信する第１の受信部と、
前記第２の送信部から送信されてくる前記第２の音響信号を受信する第２の受信部と、
前記第１の受信部により受信された前記第１の音響信号と、前記第２の受信部により受信された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を有する第３の信号処理装置と
を備える信号処理システム。
（１３）
第１乃至第３の信号処理装置を備える信号処理システムの、
前記第１の信号処理装置は、第１の通信経路を通じて第１の音響信号を送信し、
前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
前記第２の信号処理装置は、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信し、
前記第３の信号処理装置は、前記第２の信号処理装置から前記第２の音響信号を受信し、
前記第３の信号処理装置は、受信された前記第１の音響信号と前記第２の音響信号の、特徴量をそれぞれ算出し、
前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
信号処理方法。
（１４）
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置。
（１５）
前記第１の音響信号を特定する情報に基づいて、前記記憶部から前記第２の音響信号を読み出すように制御を行う読み出し制御部
をさらに備える
前記（１４）に記載の信号処理装置。
（１６）
信号処理装置が、
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
を含む信号処理方法。
（１７）
コンピュータを、
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置として機能させるためのプログラム。
（１８）
前記（１７）に記載のプログラムが記録されている記録媒体。
（１９）
所定の通信経路を通じて第１の音響信号を送信する送信部
を有する第１の信号処理装置と、
前記第１の音響信号に対応する第２の音響信号を記憶する記憶部
を有する第２の信号処理装置と、
前記送信部から送信されてくる前記第１の音響信号を受信する受信部と、
前記記憶部から読み出された前記第２の音響信号を取得する取得部と、
前記受信部により受信された前記第１の音響信号と、前記取得部により取得された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を有する第３の信号処理装置と
を備える信号処理システム。
（２０）
第１乃至第３の信号処理装置を備える信号処理システムの、
前記第１の信号処理装置は、所定の通信経路を通じて第１の音響信号を送信し、
前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
前記第２の信号処理装置は、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部から前記第２の音響信号を読み出し、
前記第３の信号処理装置は、前記第２の信号処理装置により読み出された前記第２の音響信号を取得し、
前記第３の信号処理装置は、受信された前記第１の音響信号と、読み出された前記第２の音響信号の、特徴量をそれぞれ算出し、
前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
信号処理方法。

１０ 信号処理システム， １１ テレビジョン受像機， １２ クラウドサービス装置， １３ 放送局サーバ， １４ 自宅サーバ， ３１ 放送受信部， ３４ 映像調整部， ４１ 音響合成部， ４３ 主音響同期特徴量取得部， ４５ パケット受信部， ４９ 副音響同期特徴量取得部， ５１ 音響同期処理部， ９１ パケット受信部， ９３ 音響合成部， １１０ 信号処理システム， １１１ 携帯端末， １３０ 信号処理システム， １３２ テレビジョン受像機， １７０ 信号処理システム， １７１ テレビジョン受像機， １７２−１乃至１７２−Ｎ 放送局サーバ

Claims (20)

1. 第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
   前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
   前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
   を備える信号処理装置。
2. 前記第１の通信経路を通じて取得された、前記第１の音響信号に対応する映像信号の表示を制御する表示制御部
   をさらに備える
   請求項１に記載の信号処理装置。
3. 前記第１の通信経路は、放送波であり、
   前記第２の通信経路は、前記放送波により受信された付随情報に基づいて決定される
   請求項１に記載の信号処理装置。
4. 前記第１の通信経路と前記第２の通信経路は同一である
   請求項１に記載の信号処理装置。
5. 前記第２の音響信号は、前記第１の音響信号の音質劣化が少ない音響信号であり、
   前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
   請求項１に記載の信号処理装置。
6. 前記第２の音響信号は、前記第１の音響信号と言語が異なる音響信号であり、
   前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
   請求項１に記載の信号処理装置。
7. 前記第２の音響信号は、前記第１の音響信号に対応する楽曲のカラオケ用の楽曲の音響信号であり、
   前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
   請求項１に記載の信号処理装置。
8. 前記第１の音響信号は、BGM(Background music)の音響信号と主要な音響の音響信号を異なるチャンネルの音響信号として有する音響信号であり、
   前記第２の音響信号は、前記BGMの音響信号であり、
   前記音響合成部は、前記第２の音響信号を、前記BGMのチャンネルの音響信号の逆位相で前記第１の音響信号に合成する
   請求項１に記載の信号処理装置。
9. 信号処理装置が、
   第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
   前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
   前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
   を含む信号処理方法。
10. コンピュータを、
    第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
    前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
    前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
    を備える信号処理装置して機能させるためのプログラム。
11. 請求項１０に記載のプログラムが記録されている記録媒体。
12. 第１の通信経路を通じて第１の音響信号を送信する第１の送信部
    を有する第１の信号処理装置と、
    第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信する第２の送信部
    を有する第２の信号処理装置と、
    前記第１の送信部から送信されてくる前記第１の音響信号を受信する第１の受信部と、
    前記第２の送信部から送信されてくる前記第２の音響信号を受信する第２の受信部と、
    前記第１の受信部により受信された前記第１の音響信号と、前記第２の受信部により受信された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
    前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
    前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
    を有する第３の信号処理装置と
    を備える信号処理システム。
13. 第１乃至第３の信号処理装置を備える信号処理システムの、
    前記第１の信号処理装置は、第１の通信経路を通じて第１の音響信号を送信し、
    前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
    前記第２の信号処理装置は、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信し、
    前記第３の信号処理装置は、前記第２の信号処理装置から前記第２の音響信号を受信し、
    前記第３の信号処理装置は、受信された前記第１の音響信号と前記第２の音響信号の、特徴量をそれぞれ算出し、
    前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
    前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
    信号処理方法。
14. 所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
    前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
    前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
    を備える信号処理装置。
15. 前記第１の音響信号を特定する情報に基づいて、前記記憶部から前記第２の音響信号を読み出すように制御を行う読み出し制御部
    をさらに備える
    請求項１４に記載の信号処理装置。
16. 信号処理装置が、
    所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
    前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
    前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
    を含む信号処理方法。
17. コンピュータを、
    所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
    前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
    前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
    を備える信号処理装置として機能させるためのプログラム。
18. 請求項１７に記載のプログラムが記録されている記録媒体。
19. 所定の通信経路を通じて第１の音響信号を送信する送信部
    を有する第１の信号処理装置と、
    前記第１の音響信号に対応する第２の音響信号を記憶する記憶部
    を有する第２の信号処理装置と、
    前記送信部から送信されてくる前記第１の音響信号を受信する受信部と、
    前記記憶部から読み出された前記第２の音響信号を取得する取得部と、
    前記受信部により受信された前記第１の音響信号と、前記取得部により取得された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
    前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
    前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
    を有する第３の信号処理装置と
    を備える信号処理システム。
20. 第１乃至第３の信号処理装置を備える信号処理システムの、
    前記第１の信号処理装置は、所定の通信経路を通じて第１の音響信号を送信し、
    前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
    前記第２の信号処理装置は、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部から前記第２の音響信号を読み出し、
    前記第３の信号処理装置は、前記第２の信号処理装置により読み出された前記第２の音響信号を取得し、
    前記第３の信号処理装置は、受信された前記第１の音響信号と、読み出された前記第２の音響信号の、特徴量をそれぞれ算出し、
    前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
    前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
    信号処理方法。

Images