JP2011227256A - 信号補正装置 - Google Patents

Abstract

【課題】多様な品質のコンテンツに対して、それぞれのコンテンツの品質に応じた最適な補正処理を施すことが可能な信号補正装置を提供すること。
【解決手段】信号補正装置を次のように構成する。すなわち、一つ以上のチャネルから入力された信号について音質推定を行い各々のチャネルの重要度を示すチャネル重要度情報及び各々の周波数の重要度を示す周波数重要度情報を生成する音質推定部100と、前記チャネル重要度情報及び周波数重要度情報に基づいて、高音質化処理を行う対象の有効チャネル及び有効周波数成分を決定し、該決定に基づいて有効チャネル情報及び有効処理周波数情報を生成する高音質化処理制御部200と、前記有効チャネル情報及び有効処理周波数情報に基づいて、前記有効チャネル且つ有効周波数成分の信号についてのみ高音質化処理を施す高音質化処理部500と、を具備させる。
【選択図】図１

Description

本発明は、音声信号に対して補正処理を施す信号補正装置に関する。

現在、携帯電話機が広く一般に普及している。携帯電話機は屋外で使用する機会が多い為、その使用時においては、例えば交通騒音等の周囲ノイズが、通話に係る音声の聞き取りを阻害してしまうことが多い。このような事情から、近年、出力音声を明瞭化する為の技術が提案されている。

このような出力音声の明瞭化の為の技術としては、例えば特許文献１に次のような技術が開示されている。

すなわち、特許文献１には、受話音声信号を周波数分析して音声スペクトルを算出する音声周波数分析部と、周波数帯域毎に設定された前記音声スペクトルに対する圧縮率に基づいて目標スペクトルを算出する目標スペクトル算出部と、前記音声スペクトルを前記目標スペクトルまで増幅するためのゲイン値を周波数帯域毎に算出するゲイン算出部と、前記各周波数帯域毎のゲイン値から受話音声信号に対するフィルタ処理のフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数を設定されて前記受話音声信号に対するフィルタ処理を行うフィルタ部と、を有することを特徴とする受話音声処理装置が開示されている。

この特許文献１に開示されている技術は、再生に係る音声の音量を大きく変化させることなく、音質の劣化及び変化を小さくした上で、音声の明瞭度を改善することを目的としている。

特開２００４−６１６１７号公報

ところで、一般にネットコンテンツと称されているインターネット上に存在するコンテンツを利用する機会が、近年、急速に増大している。このネットコンテンツにおいては、その品質（ソース品質）は多様である。ネットコンテンツの品質は、コンテンツ作成者側の収録環境（作成環境）、当該ネットコンテンツをサーバーにアップロードする際のコーデックパラメータ、視聴者側の視聴環境（例えば伝送速度や視聴モード）等の種々の要因に依存するからである。

このように、ネットコンテンツの品質が多様である（均一でない）にも関わらず、特許文献１に開示されている技術に代表されるような従来の技術においては、多様な品質のコンテンツを明瞭化処理対象として想定していない為（品質がほぼ均一である通話音声のみを想定している為）、種々の不具合が生じる。

具体的には、ネットコンテンツにおいては多く存在する低品質なソースを強調してしまうことで、更なる品質劣化を招いたり、過剰な補正処理を施して処理量の増大を招いたりしてしまう。また、明瞭化処理を実行するに当たって、周囲環境の雑音の変化に依って処理を切り替えてはいるが、システム上で動作している他のアプリケーションによる処理負荷を考慮していない為、結果として、当該システムにおいて許容される処理量をオーバーしてしまうこともある。

このような問題点と、今後ネットコンテンツを利用する機会が更に多く見込まれる状況とを鑑みて、ネットコンテンツのように多様な品質のコンテンツを再生することを想定した明瞭化処理が望まれている。

本発明は、前記の事情に鑑みて為されたものであり、多様な品質のコンテンツに対して、それぞれのコンテンツの品質に応じた最適な補正処理を施すことが可能な信号補正装置を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様による信号補正装置は、
一つ以上のチャネルから入力された信号について音質推定を行い、該音質推定結果に基づいて各々のチャネルの重要度を示すチャネル重要度情報及び各々の周波数の重要度を示す周波数重要度情報を生成する音質推定部と、
前記チャネル重要度情報及び前記周波数重要度情報に基づいて、前記信号のうち高音質化処理を行う対象の有効チャネル及び有効周波数成分を決定し、該決定に基づいて有効チャネル情報及び有効処理周波数情報を生成する高音質化処理制御部と、
前記有効チャネル情報及び前記有効処理周波数情報に基づいて、前記有効チャネル且つ前記有効周波数成分の信号についてのみ高音質化処理を施す高音質化処理部と、
を具備することを特徴とする。

本発明によれば、多様な品質のコンテンツに対して、それぞれのコンテンツの品質に応じた最適な補正処理を施すことが可能な信号補正装置を提供することを目的とする。

本発明の一実施形態に係る信号補正装置の一構成例を示す図。 音質推定部により算出される相互相関Ｃｒｏｓｓ＿Ｃｏｒの値と、チャネル重要度情報と、を対応付けたテーブルの一例を示す図。 ｓｆｂとｓｆｂのバンド境界との対応関係のテーブルの一例を示す図。 ｓｆｍと周波数重要度情報とを対応付けたテーブルの一例を示す図。 ＣＰＵリソースＣＰＵ＿ａｖａｉｌａｂｌｅの値と、システム負荷レベルｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌと、の関係を説明するテーブルの一例を示す図。 システム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌと、有効チャネルとして扱うチャネル重要度情報と、有効周波数帯域として扱う周波数重要度情報と、を対応付けたテーブルの一例を示す図。 一実施形態の変形例に係る信号補正装置の概略構成例を示す図。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る信号補正装置の一構成例を示す図である。ここでは、本一実施形態に係る信号補正装置を携帯電話機に適用した場合を例にして説明する。ただし、本一実施形態に係る信号補正装置は、携帯電話機に限らず、ＰＣやゲーム機器、音楽プレーヤなど、入力された音を補正して出力することができる装置であれば適用可能である。

本一実施形態に係る信号補正装置を適用した携帯電話機は、ＣＰＵやＲＯＭ、ＲＡＭ等によって構成されて携帯電話機全体を制御する制御手段、アンテナを介して基地局へ無線信号を送受信する無線通信手段、音声や周囲ノイズ等を集音するマイクロフォン、音を出力するスピーカ、文字や画像を表示するディスプレイ等を有する。

図１に示すように、本一実施形態に係る信号補正装置は、音質推定部１００と、高音質化処理制御部２００と、システム負荷推定部３００と、周囲ノイズ解析部４００と、高音質化処理部５００と、を具備する。

本一実施形態に係る信号補正装置に入力された入力信号ｉｎ[ｋ][ｉ]（“ｋ”は入力チャネルを示し、“ｉ”はＰＣＭサンプル番号を示す）は、音質推定部１００、及び高音質化処理部５００に入力される。なお、この入力信号とは、ユーザが視聴中のコンテンツ（例えば無線通信手段によって取得したネットコンテンツや放送波によって受信した放送コンテンツ等）に係る音声信号である。

前記音質推定部１００は、有音・無音判定部１０１と、有効チャネル解析部１０２と、有効周波数解析部１０３と、を有する。

前記有音・無音判定部１０１は、複数の入力チャネルから入力された入力信号ｉｎ［ｋ］［ｉ］について、次式(1)により当該入力信号ｉｎ［ｋ］［ｉ］のパワーＰ[ｋ]を算出する。

Ｎはフレームサイズを示している。

有音・無音判定部１０１は、前記式(１)による算出結果に基づいて、パワーＰ[ｎ，ｋ]の値と既定の閾値ＳＩＬＥＮＴ＿ＴＨとを比較し、該比較結果に基づいて入力信号ｉｎ［ｎ，ｋ］が有音であるか無音であるかを判定する。

具体的には、パワーＰ［ｎ，ｋ］の値が前記閾値ＳＩＬＥＮＴ＿ＴＨ以下の値である場合には、有音・無音判定部１０１は、入力信号ｉｎ[ｎ，ｋ]は無音信号であると判定する。他方、パワーＰ［ｎ，ｋ］の値が前記閾値ＳＩＬＥＮＴ＿ＴＨを越える値の場合には、有音・無音判定部１０１は、入力信号ｉｎ[ｎ，ｋ]は有音信号であると判定する。

そして、有音・無音判定部１０１は、入力信号ｉｎ［ｎ，ｋ］が無音であると判定した場合には、有音・無音フラグｓｉｌｅｎｔ＿ｆｌｇ＝１を設定する。他方、有音・無音判定部１０１は、入力信号ｉｎ［ｎ，ｋ］が有音であると判定した場合には、有音・無音フラグｓｉｌｅｎｔ＿ｆｌｇ＝０を設定する。有音・無音判定部１０１は、このように設定した有音・無音フラグｓｉｌｅｎｔ＿ｆｌｇを、有音・無音情報として高音質化処理制御部２００に送信する。

ところで、当該音質推定部１００に入力された入力信号ｉｎ[ｋ]［ｉ］は、有音・無音判定部１０１を経て、有効チャネル解析部１０２及び有効周波数解析部１０３に入力される。

前記有効チャネル解析部１０２は、入力信号の各チャネルの相関に基づく重要度（チャネル重要度情報）を設定する。そのために、有効チャネル解析部１０２は、まず入力信号[ｋ]［ｉ］についてチャネル間の相関解析を行う。具体的には、例えば入力信号がステレオ信号である場合には次式(２)のように、右チャネル信号ｉｎ[１][ｉ]と左チャネル信号ｉｎ[２][ｉ]との相互相関Ｃｒｏｓｓ＿Ｃｏｒを算出する。

そして、有効チャネル解析部１０２は、算出した相互相関Ｃｒｏｓｓ＿Ｃｏｒの値に応じて、チャネルの相関が高いほど重要度が低くなるようにチャネル重要度情報を設定する。図２は、相互相関の値とチャネル重要度情報と、を対応付けたテーブルの一例である。このチャネル重要度情報は、後述する高音質化処理の際に参照する情報である。なお、相互相関Ｃｒｏｓｓ＿Ｃｏｒの値とチャネル重要度情報とを対応付けたテーブルは図２に示す例に限られない。

チャネル重要度情報を設定した有効チャネル解析部１０２は、チャネル重要度情報と当該チャネルの番号とを高音質化処理制御部２００に送信する。具体的には、有効チャネル解析部１０２は、チャネル重要度情報と当該チャネルの番号とを高音質化処理制御部２００に送信する。すなわち、Ｒをチャネル重要度情報とし、ｋ１，ｋ２を相関チャネル番号とすると、有効チャネル解析部１０２は、Ｒ(ｋ１，ｋ２)を高音質化処理制御部２００に送信する。

なお、チャネル間の相関の算出方法としては、上述した相互相関以外の手法、例えば右チャネルと左チャネルとの和信号と差信号との比に基づいて決定する手法を利用しても良いし、一般的な数学的手法を利用しても良い。

前記有効周波数解析部１０３は、信号の周波数成分ごとに有効成分とノイズ性に応じた重要度（周波数重要度情報)を設定する。

まず、有効周波数解析部１０３は、入力信号ｉｎ[ｋ]［ｉ］について周波数帯域の有効成分の解析を行う。この有効周波数解析部１０３は、入力信号ｉｎ[ｋ]［ｉ］のうち信号が欠落している帯域を特定する。

具体的には、例えばＡＡＣやＭＰ３等のオーディオコーデックが適用されている入力信号の場合には、高周波数帯域成分において欠落が存在する為、有効周波数解析部１０３はこの欠落している帯域を特定する。

例えば、入力信号ｉｎ[ｋ][ｉ]を、ＦＦＴによって周波数域に変換した信号の実数部をｉｎ＿ｓｐｅｃ＿ｒ[ｋ][ｊ]とし、且つ、虚数部をｉｎ＿ｓｐｅｃ＿ｉ[ｋ][ｊ]とする。さらに、複数のｉｎ＿ｓｐｅｃ＿ｒ[ｋ][ｊ]とｉｎ＿ｓｐｅｃ＿ｉ[ｋ][ｊ]とをグループ化したスケールファクターバンド(以降、ｓｆｂと称する)を構成する。そして、当該ｓｆｂ毎にパワー判定を行うことによって、高周波数帯域における信号欠落帯域を特定する。

ここで、ｓｆｂのバンド境界は、例えば、ＩＳＯ／ＩＥＣ １３８１８−７に記載されているテーブルを利用してもよいし、他の方法により決定してもよい。図３は、ｓｆｂとｓｆｂのバンド境界との対応関係のテーブル一例を示す図である。なお、ｓｆｂとｓｆｂのバンド境界との対応関係のテーブルは、図３に示す例に限られない。

ｓｆｂのパワー値は、次式によって算出される。

そして、有効周波数解析部１０３は、高域側のｓｆｂ＿ｐｏｗｅｒ[ｋ][ＳＦＢ＿ＭＡＸ−１]から低域側に順次ｓｆｂの識別子ｂを小さくして、既定の閾値Ｆｒｅｑ＿ＴＨと比較していく。なお、ＳＦＢ＿ＭＡＸは、ｓｆｂの個数を表す。この比較処理において初めてｓｆｂ＿ｐｏｗｅｒ[ｋ][ｂ]＞Ｆｒｅｑ＿ＴＨを満たすときのｂの値を、ｕｐｐｅｒ＿ｓｆｂとして保存する。有効周波数解析部１０３は、上述の処理によって特定されたｕｐｐｅｒ＿ｓｆｂ以上のｓｆｂを、コーデックに起因する欠落帯域であるとみなす。そして、この欠落帯域については、聴取者にとって明瞭度改善の必要がないため、後述のノイズ性の判定に関わらず、周波数重要度情報としては最低レベルの０に設定する。

次に、有効周波数解析部１０３は、周波数帯域ごとのノイズ性を判定する。ここではノイズ性の判定方法の一例として、スペクトラルフラットネスメジャー（以降、ｓｆｍと称する）を利用する例を説明する。ｓｆｍはスペクトルの平坦度を測る尺度として次式（３）により算出することができる。

但し、

であり、

である。

ここで、式（３）により算出される値ｓｆｍ［ｂ］の値が大きいほどスペクトルが平坦であり、ノイズ性が高いと言える。このようなノイズ性の高い信号は、聴取者にとって明瞭度改善の必要性が低いと考えられる。

そこで、前記ｓｆｍ[ｂ]の値が大きいほど重要度が低くなるように周波数重要度情報を決定する。図４は、ｓｆｍと周波数重要度情報とを対応付けたテーブルの一例を示す図である。なお、有効周波数解析部１０３で判別された欠落帯域については、ｓｆｍによる判定に関わらず、周波数重要度情報としては最低レベルの０に設定する。

有効周波数解析部１０３は、チャネル番号ｋと周波数帯域番号ｓｆｂと共に周波数重要度情報を高音質化処理制御部２００に送信する。すなわち、Ｆを周波数重要度情報とし、ｋをチャネル番号とし、ｓｆｂを周波数帯域番号とすると、有効周波数解析部１０３は、Ｆ（ｋ，ｓｆｂ）を高音質化処理制御部２００に送信する。

前記高音質化処理制御部２００は、音質推定部１００から送信された有音・無音情報ｓｉｌｅｎｔ＿ｆｌｇと、チャネル重要度情報Ｒ(ｋ１，ｋ２)と、周波数重要度情報Ｆ(ｋ，ｓｆｂ)と、システム負荷推定部３００から送信されたシステム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌと、に基づいて、高音質化処理部５００が処理すべき有効チャネル及び有効周波数成分を決定する。この高音質化処理制御部２００による処理の詳細は、後述する。

前記システム負荷推定部３００は、本一実施形態に係る信号補正装置が実装された携帯電話機において、当該携帯電話機が具備するＣＰＵの処理能力を、高音質化処理部５００による処理にどの程度占有できるかを推定（判定）する。

具体的には、システム負荷推定部３００は、ＣＰＵ速度取得部３０１と、プレーヤ種別判定部３０２と、動作タスク検出部３０３と、動作時刻取得部３０４と、を有する。

前記ＣＰＵ速度取得部３０１は、前記ＣＰＵのＣＰＵ速度の値を保持しており、ＣＰＵ＿ｍａｘ(ＭＨｚ)としてシステム負荷レベル判定部３０５に送信する。このＣＰＵ速度は、本一実施形態に係る信号補正装置が実装された装置／システムが具備するＣＰＵにより決定される値である。

なお、前記ＣＰＵ速度が動的に変化する値の場合には、ＣＰＵ速度取得部３０１は、所定の時間間隔にてＣＰＵ速度の値を更新するように構成する。

前記プレーヤ種別判定部３０２は、コンテンツの再生処理に利用するプレーヤアプリケーションの種別を取得する。また、プレーヤ種別判定部３０２は、当該プレーヤアプリケーションによってサポートされている高画質化処理とその処理負荷とを予め保持している。

このように構成されているプレーヤ種別判定部３０２は、当該信号補正装置が実装された装置／システム上で動作しているプレーヤアプリケーションによる高画質化処理の負荷ＣＰＵ＿Ｐｌａｙｅｒ(ＭＨｚ)を特定し、これをシステム負荷レベル判定部３０５に送信する。

なお、高画質化処理以外でも当該プレーヤアプリケーションによってサポートされている他の機能がある場合には、その機能についても処理負荷を特定してシステム負荷レベル判定部３０５に送信するように構成しても勿論よい。

前記動作タスク検出部３０３は、前記プレーヤアプリケーションに依存しない別のタスク（スレッド）が、当該信号補正装置が実装された装置／システム上で動作している場合に、そのタスク（スレッド）の処理負荷ＣＰＵ＿ｔａｓｋ(ＭＨｚ)を検出して、システム負荷レベル判定部３０５に送信する。

前記システム負荷レベル判定部３０５は、次式(４)によって、高音質化処理部５００により利用可能なＣＰＵリソース(ＭＨｚ)を算出する。

そして、システム負荷レベル判定部３０５は、前記式（４）により算出したＣＰＵリソースＣＰＵ＿ａｖａｉｌａｂｌｅの値に応じて、システム負荷レベルｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌを決定し、高音質化処理制御部２００に送信する。

図５は、ＣＰＵリソースＣＰＵ＿ａｖａｉｌａｂｌｅの値と、システム負荷レベルｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌと、の関係を説明するテーブルの一例を示す図である。なお、このテーブルは、高音質化処理部５００の処理内容に応じてシステム毎に任意に決定可能であり、図５に示すテーブルはあくまでも一例である。

システム負荷レベル判定部３０５は、上述した処理で算出したＣＰＵリソースＣＰＵ＿ａｖａｉｌａｂｌｅと図５に示すテーブルとを対照してシステム負荷レベルｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌを算出し、高音質化処理制御部２００に送信する。

前記高音質化処理制御部２００は、音質推定部１００から送信された有音・無音情報ｓｉｌｅｎｔ＿ｆｌｇと、チャネル重要度情報Ｒ(ｋ１，ｋ２)と、周波数重要度情報Ｆ(ｋ，ｓｆｂ)と、システム負荷推定部３００から送信されたシステム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌと、に基づいて、高音質化処理部５００が処理すべき有効チャネル及び有効周波数成分を決定する。

さらに、高音質化処理制御部２００は、前記決定した有効チャネルを有効チャネルとして扱う旨の有効チャネル情報を生成して高音質化処理部５００の有効チャネル分離部５０１に送信し、且つ、前記決定した有効周波数を有効周波数として扱う旨の有効処理周波数帯域情報を生成して高音質化処理部５００の有効周波数成分分離部５０３に送信する。

より具体的には、この高音質化処理制御部２００は、下記の処理を行う。

すなわち、高音質化処理制御部２００は、音質推定部１００から送信された有音・無音情報がｓｉｌｅｎｔ＿ｆｌｇ＝１に設定されている場合、当該入力信号ｉｎ［ｋ］［ｉ］は無音であると判断し、全チャネルを非有効チャネルとする有効チャネル情報を生成し、且つ、全周波数帯域を非有効周波数帯域とする有効処理周波数帯域情報を生成する。

他方、高音質化処理制御部２００は、音質推定部１００から送信された有音・無音情報がｓｉｌｅｎｔ＿ｆｌｇ＝０に設定されている場合、当該入力信号ｉｎ［ｋ］［ｉ］は有音であると判断し、システム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌに基づいて、有効チャネルと有効周波数帯域とを、図６に示すテーブルを参照して設定する。

ここで、図６は、システム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌと、有効チャネルとして扱うチャネル重要度情報と、有効周波数帯域として扱う周波数重要度情報と、を対応付けたテーブルの一例を示す図である。

なお、図６に示すテーブルは一例であり、同図に示す例に限られない。すなわち、システム負荷レベルが高ければ高いほど、有効チャネルとして扱うチャネル数や処理する有効周波数成分を減じていくという趣旨を逸脱しない範囲内において、当該テーブルを任意に規定して良い。

図６に示す例では、具体的には下記のように規定している。

・システム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌの値が１である場合、全てのチャネル重要度情報（チャネル重要度情報＝１，２，３，４，５）に対応するチャネルを有効チャネルとして設定（全チャネルを有効チャネルとし設定）する。同様に、全ての周波数重要度情報（周波数重要度情報＝１，２，３，４，５）に対応する周波数帯域を有効周波数帯域として設定（全周波数帯域を有効周波数帯域として設定）する。そして、それら設定に基づいて、有効チャネル情報及び有効処理周波数帯域情報を生成して高音質化処理部５００へ送信する。

・システム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌの値が２である場合、チャネル重要度情報の値が２，３，４，５に対応するチャネルのみを有効チャネルとして設定する。同様に、周波数重要度情報２，３，４，５に対応する周波数帯域のみを有効周波数帯域として設定する。そして、それら設定に基づいて、有効チャネル情報及び有効処理周波数帯域情報を生成して高音質化処理部５００へ送信する。

・システム負荷レベル情報ｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌの値が３，４，５である場合も、同様に図６に示すテーブルに基づいて、有効チャネル及び有効周波数帯域を設定し、有効チャネル情報及び有効処理周波数帯域情報を生成して高音質化処理部５００へ送信する。

前記周囲ノイズ解析部４００は、時間／周波数変換部４０１と、マスキング解析部４０２と、を有する。この周囲ノイズ解析部４００は、当該信号補正装置が実装されている装置／システムの周囲環境（ユーザの視聴環境）におけるノイズ（例えば電車、自動車、人ごみの雑踏等による周囲ノイズ）を集音して解析する。

前記時間／周波数変換部４０１は、マイクによって集音された周囲ノイズＰＣＭ信号であるｎｏｉｓｅ［ｋ］［ｉ］を、周波数領域の信号として実数部ｎｏｉｓｅ＿ｓｐｅｃ＿ｒ[ｋ][ｊ]と虚数部ｎｏｉｓｅ＿ｓｐｅｃ＿ｉ[ｋ][ｊ]とに変換してマスキング解析部４０２に出力する。

前記マスキング解析部４０２は、ｎｏｉｓｅ＿ｓｐｅｃ＿ｒ[ｋ][ｉ]と、ｎｏｉｓｅ＿ｓｐｅｃ＿ｉ[ｋ][ｊ]とについてマスキング特性を算出する。ここで、マスキング特性とは、ｓｐｒｅａｄｉｎｇ ｆｕｎｃｔｉｏｎと称される関数を信号パワーに畳み込むことで算出される特性である。このｓｐｒｅａｄｉｎｇ ｆｕｎｃｔｉｏｎとは、聴覚フィルタを模擬した特性を持つ関数であり、例えば聴覚心理学概論（Ｂ．Ｃ．Ｊムーア著、誠信書房）、ＩＳＯ／ＩＥＣ １３８１８−７、ＩＴＵ−Ｒ１３８７、３ＧＰＰ ＴＳ ２６．４０３等の文献に詳細に説明されている。なお、このマスキング特性は公知の技術的事項である為、ここでは詳細な説明は省略する。

ここでは一例として、ＩＳＯ／ＩＥＣ １３８１８−７方式を利用する例を説明する。ＩＳＯ／ＩＥＣ １３８１８−７方式では、ｓｐｒｅａｄｉｎｇ ｆｕｎｃｔｉｏｎは下記のように定義されている。

ここで、ｓｐｒｄｎｇｆ()は、ｓｐｒｅａｄｉｎｇ ｆｕｎｃｔｉｏｎを示している。ｂ１、ｂ２は、バークスケールと称される尺度のインデックスを示している。詳細には、ｂ１はｓｐｒｅａｄｉｎｇを及ぼす信号自身のインデックスを示しており、ｂ２はｂ１によって影響を与えられる信号のバーク値を示している。

前記ｓｐｒｅａｄｉｎｇ ｆｕｎｃｔｉｏｎはバーク尺度に基づいている。従って、各周波数サンプルの周波数値をバーク値に変換する必要がある。例えば、この変換には、次式(５)を利用することができる。

ここで、ｆは周波数(Ｈｚ)を示している。例えばサンプリング周波数が４８ｋＨｚの入力信号を２０４８ポイントのＦＦＴによって周波数域に変換する場合は、ｆ＝４８０００／２０４８×ｉ(Ｈｚ)となる。

以降、説明の便宜上、サンプリング周波数インデックスｊに対応するバーク値をｂａｒｋ[ｊ]と表記する。

上述の処理により算出した値を用いて、当該入力信号のマスキング特性を次式(６)によって算出する。

ここで、ｎｏｉｓｅ＿ｔｈｒ[ｊ]は、周囲ノイズＰＣＭ信号の周波数インデックスｊにおけるマスキング閾値を示している。Ｎは、ＦＦＴポイント数を示している。ｎｏｉｓｅ＿ｓｐｅｃ＿ｐｏｗｅｒ[ｌ]は、周波数変換された周囲ノイズＰＣＭ信号のパワーを示しており、次式により算出される。

マスキング解析部４０２は、上述の処理により算出したノイズのマスキング特性ｎｏｉｓｅ＿ｔｈｒ[ｊ]を、高音質化処理部５００に送信する。

前記高音質化処理部５００は、有効チャネル分離部５０１と、時間／周波数変換部５０２と、有効周波数成分分離部５０３と、ゲイン算出部５０４と、補正部５０５と、周波数成分合成部５０６と、周波数／時間変換部５０７と、チャネル合成部５０８と、を有する。

前記有効チャネル分離部５０１は、高音質化処理制御部２００から送信された有効チャネル情報に基づいて、有効チャネルと判定されたチャネルの入力信号ｉｎ［ｋ］［ｉ］についてはそのまま後段の時間／周波数変換部５０２に出力し、且つ、有効チャネルでないと判定されたチャネルの入力信号ｉｎ［ｋ］［ｉ］については、例えば次式(７)により和信号（ｉｎ＿Ｍ[ｋ][ｉ]）と差信号(ｉｎ＿Ｓ[ｋ][ｉ])とに変換した後、和信号を有効チャネルとして後段の時間／周波数変換部５０２に出力し、差信号を非有効チャネルとしてチャネル合成部５０８に出力する。

具体的には、例えばシステム負荷レベルｓｙｓ＿ｌｏａｄ＿ｌｅｖｅｌが２である場合には、チャネル重要度情報の値が２以上のチャネルが有効チャネルとなる。従って、この場合にはチャネル重要度の値が１のチャネルについては、入力信号ｉｎ［ｋ］［ｉ］を和信号、差信号に変換する。例えば、チャネル重要度情報Ｒ(ｋ１，ｋ２)＝２(１，２)を変換する為には次式(７)を利用する。

前記時間／周波数変換部５０２は、有効チャネル分離部５０１から送信された有効チャネルの入力信号ｉｎ［ｋ］［ｉ］を、周波数領域の信号に変換して有効周波数成分分離部５０３に出力する。具体的には、この変換には例えばＦＦＴやＭＤＣＴ等を利用する。

以降の処理においては、有効チャネル分離部５０１から時間／周波数変換部５０２に送信された有効チャネルの入力信号ｉｎ［ｋ］［ｉ］に対して共通のアルゴリズムが適用される。従って、周波数領域に変換された信号のうち実数部についてはｉｎ＿ｓｐｅｃ＿ｒ[ｉ]と表記し、虚数部についてはｉｎ＿ｓｐｅｃ＿ｉ[ｉ]と表記する。

前記有効周波数成分分離部５０３は、時間／周波数変換部５０２から送信された周波数領域に変換された信号の実数部ｉｎ＿ｓｐｅｃ＿ｒ[ｉ]及び虚数部ｉｎ＿ｓｐｅｃ＿ｉ[ｉ]を、高音質化処理制御部２００から送信された有効処理周波数帯域情報に基づいて、有効周波数成分と非有効周波数成分とに分離する。そして、有効周波数成分分離部５０３は、有効周波数成分をゲイン算出部５０４及び補正部５０５に送信し、非有効周波数成分を周波数成分合成部５０６に送信する。

具体的には、例えば周波数領域に変換された信号ｉｎ＿ｓｐｅｃ[ｉ]に関する周波数重要度Ｆ(ｋ，ｓｆｂ)＝３(１，３０)の場合、ｉｎ＿ｓｐｅｃ[ｓｆｂ＿ｉｄｘ[３０]]未満の周波数成分を有効周波数成分とし、ｉｎ＿ｓｐｅｃ[ｓｆｂ＿ｉｄｘ[３０]]以上の成分を非有効周波数成分とする。

ここで、ｓｆｂ＿ｉｄｘ[]としては、音質推定部１００の有効周波数解析部１０３が設定したスケールファクターバンドを使用するものとする。

前記ゲイン算出部５０４は、周囲ノイズ解析部４００から送信されたノイズのマスキング特性ｎｏｉｓｅ＿ｔｈｒ[ｊ]と、有効周波数成分分離部５０３から送信された有効周波数成分ｉｎ＿ｓｐｅｃ＿ｒ[ｊ]及びｉｎ＿ｓｐｅｃ＿ｉ[ｊ]と、の比に応じて、有効周波数成分ｉｎ＿ｓｐｅｃ＿ｒ[ｊ]及びｉｎ＿ｓｐｅｃ＿ｉ[ｊ]に乗算するゲインｇａｉｎ[ｊ]を算出する。具体的には、例えば次式(８)を利用して算出する。

Ｗは1以上の定数を示している。ｍａｘ(ａ，ｂ)は、ａとｂとうち何れか大きい値を返す関数を示している。

前記補正部５０５は、ゲイン算出部５０４により算出されたゲインｇａｉｎ[ｊ]を、有効周波数成分分離部５０３から送信された有効周波数成分ｉｎ＿ｓｐｅｃ＿ｒ[ｊ]、ｉｎ＿ｓｐｅｃ＿ｉ[ｉ]に乗算する。

この補正部５０５による処理で、周囲ノイズに埋もれてしまっている信号が周波数帯域毎に効果的に増幅されるので、周囲ノイズが大きな雑音環境であっても明瞭な音声を再生出力することができる。この補正部５０５は、ゲインｇａｉｎ［ｊ］を乗算した信号を周波数成分合成部５０６に出力する。

前記周波数成分合成部５０６は、補正部５０５により増幅された有効周波数成分と、有効周波数成分分離部５０３から出力された非有効周波数成分と、を合成処理して周波数／時間変換部５０７に送信する。

前記周波数／時間変換部５０７は、周波数成分合成部５０６から出力された信号を、時間領域の信号に変換してチャネル合成部５０８に送信する。

前記チャネル合成部５０８は、周波数／時間変換部５０７により時間領域に変換された信号と、有効チャネル分離部５０１から出力された非有効チャネルの信号と、を合成処理する。ここで、非有効チャネルの信号とは、上述したように有効チャネル分離部５０１によって例えば式（７）を利用して変換された差成分ｉｎ＿Ｓ[ｋ][ｉ]である。

具体的には、チャネル合成部５０８は、差成分ｉｎ＿Ｓ［ｋ］［ｉ］を例えば次式(１０)によって各チャネル信号ｉｎ´[ｋ１][ｉ]，ｉｎ´[ｋ２][ｉ]に変換する。

以上説明したように、本一実施形態によれば、多様な品質のコンテンツに係る入力信号を再生処理する際に、それぞれのコンテンツの品質に応じて最適な音声の明瞭化処理を施すことが可能な信号補正装置を提供することができる。

具体的には、入力信号について音質推定し、該音質推定結果に基づいて入力チャネル毎の重要度と周波数帯域毎の重要度とを段階的に判定し、該判定結果とシステム負荷レベルとに応じて、処理すべき有効チャネル及び有効周波数帯域を、スケーラブル且つ動的に切り替える。これにより、当該信号補正装置が実装されているシステムの負荷レベルの動作制限内で（システム上で許容される処理量を超えることなく）、更に周囲ノイズがある環境であっても明瞭な音質の音声を出力することができる。

換言すれば、入力信号の音質を解析して有効チャネル及び有効周波数帯域を適応的に推定し、該推定結果に基づいて、有効チャネル及び有効周波数帯域に対応する入力信号のみを補正することで、処理量の軽減及び更なる高音質化を達成した補正処理を実現した。

以上、一実施形態に基づいて本発明を説明したが、本一実施形態は上述した態様に限定されるものではなく、例えば下記のように種々の変形及び応用が可能なことは勿論である。

［変形例］
前記一実施形態に係る信号補正装置の音質推定部１００による処理及び高音質化処理部５００による高音質化処理として、例えば図７に示すような種々の処理を挙げることができる。図７は、本変形例に係る信号補正装置の概略構成例を示す図である。

すなわち、音質推定部１００による音質推定処理としては、例えば“周波数特性推定処理”、“サンプリング周波数推定処理”、“ノイズ性推定処理”、“トーン性推定処理”、“ダイナミックレンジ推定処理”、“話速推定処理”、“音量推定処理”、“位相推定処理”、“残響推定処理”、“音像定位推定処理”を挙げることができる。そして、音質推定部１００は、これらの推定処理結果を前記高音質化処理制御部２００に送信する。

上述の音質推定部１００による各種推定処理に対応して、高音質化処理部５００には下記の処理を実行する処理部５１５を設ける。すなわち、処理部５１５は、有効周波数成分分離部５０３から送信された有効周波数成分ｉｎ＿ｓｐｅｃ＿ｒ[ｊ]及びｉｎ＿ｓｐｅｃ＿ｉ[ｉ]について、“周波数特性改善処理”、“時間解像度改善処理”、“ノイズ性改善処理”、“トーン性改善処理”、“ダイナミックレンジ改善処理”、“話速変換処理”、“音量制御処理”、“位相補正処理”、“残響改善処理”、“音像定位改善処理”を、音質推定部１００による推定結果に基づいて実行する。

また、図７に示すように周囲ノイズ解析部４００による解析対象として、周囲ノイズの“周波数帯域”、“音量”、“ラウドネス”、“マスキング特性”を挙げることができる。

以上説明したように、本変形例によれば、前記一実施形態に係る信号補正装置と同様の効果を奏する信号補正装置を提供することができる。具体的には、本変形例によれば、入力信号の各種特性から入力信号の音質を推定し、該推定した音質に基づいて補正処理すべきチャネル及び周波数帯域等を決定し、該決定に基づいて入力信号の補正処理を実行する。

さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…音質推定部、 １０１…有音・無音判定部、 １０２…有効チャネル解析部、 １０３…有効周波数解析部、 ２００…高音質化処理制御部、 ３００…システム負荷推定部、 ３０１…ＣＰＵ速度取得部、 ３０２…プレーヤ種別判定部、 ３０３…動作タスク検出部、 ３０４…動作時刻取得部、 ３０５…システム負荷レベル判定部、 ４００…周囲ノイズ解析部、 ４０１…周波数変換部、 ４０２…マスキング解析部、 ５００…高音質化処理部、 ５０１…有効チャネル分離部、 ５０２…周波数変換部、 ５０３…有効周波数成分分離部、 ５０４…ゲイン算出部、 ５０５…補正部、 ５０６…周波数成分合成部、 ５０７…時間変換部、 ５０８…チャネル合成部。

Claims (7)

1. 一つ以上のチャネルから入力された信号についてチャネルの相関に基づいてチャネルの重要度を示すチャネル重要度情報を生成し、信号の周波数帯域ごとのノイズ性に基づいて周波数の重要度を示す周波数重要度情報を生成する音質推定部と、
   前記チャネル重要度情報及び前記周波数重要度情報に基づいて、前記信号のうち高音質化処理を行う対象の有効チャネル及び有効周波数成分を決定し、該決定に基づいて有効チャネル情報及び有効処理周波数情報を生成する高音質化処理制御部と、
   前記有効チャネル情報及び前記有効処理周波数情報に基づいて、前記有効チャネル且つ前記有効周波数成分の信号について高音質化処理を施す高音質化処理部と、
   を具備することを特徴とする信号補正装置。
2. 当該信号補正装置が実装されているシステムの演算部について、当該信号補正装置による処理に利用可能なリソースを推定するシステム負荷推定部を含み、
   前記高音質化処理制御部は、前記システム負荷推定部による推定結果に基づいて、前記有効チャネル及び前記有効周波数帯域を切り替える
   ことを特徴とする請求項１に記載の信号補正装置。
3. 前記音質推定部は、前記チャネルのうち任意の２つのチャネル間の相関解析を行って類似性を推定し、類似性が高いほど当該チャネルの重要度を低く設定する
   ことを特徴とする請求項１に記載の信号補正装置。
4. 前記音質推定部は、周波数帯域ごとの信号のスペクトルが平坦であるほどノイズ性が高いと判定し、ノイズ性が高い周波数帯域の信号には低い重要度となるよう周波数重要度情報を設定する
   ことを特徴とする請求項１に記載の信号補正装置。
5. 前記音質推定部は、欠落した周波数帯域成分を判定し、欠落した周波数帯域成分については、重要度が最も低くなるよう周波数重要度情報を設定する
   ことを特徴とする請求項１に記載の信号補正装置。
6. 前記高音質化処理部は、チャネル重要度が低く設定されているチャネルの組みについては、それらを和信号と差信号とに変換し、前記和信号を有効チャネルとして処理し、且つ、前記差信号を非有効チャネルとして処理する
   ことを特徴とする請求項６に記載の信号補正装置。
7. 当該信号補正装置の周囲ノイズを集音して、該周囲ノイズによるマスキング特性を算出する周囲ノイズ解析部を含み、
   前記高音質化処理部は、前記マスキング特性に基づいて、前記有効チャネル且つ前記有効周波数成分の信号についてゲイン処理を行う
   ことを特徴とする請求項１に記載の信号補正装置。

Images