JP2010014960A - 音声音楽判定装置、音声音楽判定方法及び音声音楽判定用プログラム - Google Patents

Abstract

【課題】この発明は、再生すべきオーディオ信号に含まれる音声信号と音楽信号との割合を高い信頼性を持って定量的に判別することを可能とし、特に、識別誤りを起こしやすい背景音の重畳した音声信号に対しても判別のロバスト性を高めることを目的とする。
【解決手段】入力オーディオ信号から音声と音楽とを判別するための各種の特徴パラメータを算出し、あらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、音楽・音声信号の確度を表すスコアＳ１として算出する。同様に、入力オーディオ信号から音楽と背景音の重畳した音声信号とを判別するための各種の特徴パラメータを算出し、音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、音楽・背景音重畳音声信号の確度を表すスコアＳ２として算出する。
【選択図】 図３

Description

この発明は、再生すべきオーディオ（可聴周波数）信号に含まれる音声信号と音楽信号との割合を定量的に判定する音声音楽判定装置、音声音楽判定方法及び音声音楽判定用プログラムに関する。

周知のように、例えばテレビジョン放送を受信する放送受信機器や、情報記録媒体からその記録情報を再生する情報再生機器等にあっては、受信した放送信号や情報記録媒体から読み取った信号等からオーディオ信号を再生する際に、オーディオ信号に音質補正処理を施すことによって、より一層の高音質化を図るようにしている。

この場合、オーディオ信号に施す音質補正処理の内容は、オーディオ信号が人の話し声のような音声信号であるか、楽曲のような音楽（非音声）信号であるかに応じて異なる。すなわち、音声信号に対しては、トークシーンやスポーツ実況等のようにセンター定位成分を強調して明瞭化するように音質補正処理を施す必要があり、音楽信号に対しては、ステレオ感を強調した拡がりのある音質補正処理を施す必要がある。

このため、現在の機器においては、取得したオーディオ信号が音声信号か音楽信号かを判別し、その判別結果に応じて対応する音質補正処理を施すようにしている。しかしながら、実際のオーディオ信号では、音声信号と音楽信号とが混在している場合が多いことから、それらの判別処理が困難になっているため、オーディオ信号に対して適切な音質補正処理が施されているとは言えないのが現状である。

特許文献１には、入力される音響信号の「子音性」、「無音声」及び「パワー変動」が共に所定のしきい値よりも高い場合に音声と判定し、「無音声」及び「パワー変動」が共に所定のしきい値よりも低い場合に音楽と判定し、それ以外の場合は不定と判定するようにした構成が開示されている。
特開平７−１３５８６号公報

そこで、この発明は上記事情を考慮してなされたもので、再生すべきオーディオ信号に含まれる音声信号と音楽信号との割合を高い信頼性を持って定量的に判別することを可能とし、特に、識別誤りを起こしやすい背景音の重畳した音声信号に対しても判別のロバスト性を高めることができる。ひいては、再生すべきオーディオ信号に対して適切な音質補正処理を施すことに寄与し得る音声音楽判定装置、音声音楽判定方法及び音声音楽判定用プログラムを提供することを目的とする。

この発明に係る音声音楽判定装置は、入力オーディオ信号から音声信号と音楽信号とを判別するための各種の特徴パラメータを算出する音声・音楽判定用特徴パラメータ算出手段と、同様に入力オーディオ信号から背景音の重畳した音声信号と音楽信号とを判別するための各種の特徴パラメータを算出する音楽・背景音判定用特徴パラメータ算出手段と、前記音声・音楽判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、それぞれあらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・音声信号の確度を表すスコアとして算出する音声・音楽信号特性スコア算出手段と、 前記音楽・背景音判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、それぞれあらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・背景音重畳音声信号の確度を表すスコアとして算出する音楽・背景音信号特性スコア算出手段と、前記音声・音楽信号特性スコア算出手段で算出されたスコアに基づいて、前記入力オーディオ信号が音声信号であるか音楽信号であるかを判定し、音楽信号であると判定された場合、前記音楽・背景音信号特性スコア算出手段で算出されたスコアに基づいて、前記入力オーディオ信号が背景音の重畳した音声信号か否かをさらに判定する音声音楽判定手段とを具備することを備えるようにしたものである。

また、この発明に係る音声音楽判定方法は、入力オーディオ信号を音声・音楽判定用特徴パラメータ算出手段に供給して、音声信号と音楽信号とを判別するための各種の特徴パラメータを算出する工程と、入力オーディオ信号を音楽・背景音判定用特徴パラメータ算出手段に供給して、音楽信号と背景音重畳音声信号とを判別するための各種の特徴パラメータを算出する工程と、算出された各種の音声・音楽判定用特徴パラメータを音声音楽信号特性スコア算出手段に供給して、あらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・音声信号の確度を表すスコアとして算出する工程と、算出された各種の音楽・背景音判定用特徴パラメータを音楽・背景音信号特性スコア算出手段に供給して、あらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・背景音重畳音声信号の確度を表すスコアとして算出する工程と、付与された音声・音楽信号特性スコア及び音楽・背景音信号特性スコアに基づいて、前記入力オーディオ信号が音声信号であるか音楽信号であるかを判定する工程と、音楽信号であると判定された場合、前記スコアに基づいて前記入力オーディオ信号が背景音の重畳した音声信号か否かをさらに判定する工程とを有するようにしたものである。

さらに、この発明に係る音声音楽判定用プログラムは、入力オーディオ信号から音声信号と音楽信号とを判別するための各種の音声・音楽判定用特徴パラメータを算出する処理および、入力オーディオ信号から音楽信号と背景音重畳音声信号とを判別するための各種の音楽・背景音判定用特徴パラメータを算出する処理を、コンピュータに実行させるための特徴パラメータ算出手段と、前記音声・音楽判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、あらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・音声信号の確度を表すスコアとして算出する処理および、前記音楽・背景音判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、あらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・背景音重畳音声信号の確度を表すスコアとして算出する音声・音楽特性スコア算出手段及び音楽・背景音特性スコア算出手段と、付与されたスコアに基づいて、前記入力オーディオ信号が音声信号であるか音楽信号であるかを判定し、音楽信号であると判定された場合、前記スコアに基づいて前記入力オーディオ信号が背景音の重畳した音声信号か否かをさらに判定する音声音楽判定手段と、をコンピュータに実行させるようにしたものである。

上記した発明によれば、再生すべきオーディオ信号に含まれる音声信号と音楽信号との割合を高い信頼性を持って定量的に判別することを可能とし、特に、識別誤りを起こしやすい背景音の重畳した音声信号に対しても判別のロバスト性を高めることができる。ひいては、再生すべきオーディオ信号に対して適切な音質補正処理を施すことに寄与させることができる。

以下、この発明の実施の形態について図面を参照して詳細に説明する。図１は、この実施の形態で説明するデジタルテレビジョン放送受信装置１１の外観と、このデジタルテレビジョン放送受信装置１１を中心として構成されるネットワークシステムの一例とを概略的に示している。

すなわち、デジタルテレビジョン放送受信装置１１は、主として、薄型のキャビネット１２と、このキャビネット１２を起立させて支持する支持台１３とから構成されている。そして、このキャビネット１２には、例えばＳＥＤ（surface-conduction electron-emitter display）表示パネルまたは液晶表示パネル等でなる平面パネル型の映像表示器１４、一対のスピーカ１５，１５、操作部１６、リモートコントローラ１７から送信される操作情報を受ける受光部１８等が設置されている。

また、このデジタルテレビジョン放送受信装置１１には、例えばＳＤ（secure digital）メモリカード、ＭＭＣ（multimedia card）及びメモリスティック等の第１のメモリカード１９が着脱可能となっており、この第１のメモリカード１９に対して番組や写真等の情報の記録再生が行なわれるようになっている。

さらに、このデジタルテレビジョン放送受信装置１１には、例えば契約情報等の記録された第２のメモリカード［ＩＣ（integrated circuit）カード等］２０が着脱可能となっており、この第２のメモリカード２０に対して情報の記録再生が行なわれるようになっている。

また、このデジタルテレビジョン放送受信装置１１は、第１のＬＡＮ（local area network）端子２１、第２のＬＡＮ端子２２、ＵＳＢ（universal serial bus）端子２３及びＩＥＥＥ（institute of electrical and electronics engineers）１３９４端子２４を備えている。

このうち、第１のＬＡＮ端子２１は、ＬＡＮ対応ＨＤＤ（hard disk drive）専用ポートとして使用される。すなわち、この第１のＬＡＮ端子２１は、それに接続されたＮＡＳ（network attached storage）であるＬＡＮ対応のＨＤＤ２５に対して、イーサネット（登録商標）により情報の記録再生を行なうために使用される。

このように、デジタルテレビジョン放送受信装置１１にＬＡＮ対応ＨＤＤ専用ポートとしての第１のＬＡＮ端子２１を設けることにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、ＨＤＤ２５に対してハイビジョン画質による放送番組の情報記録を安定して行なうことができる。

また、第２のＬＡＮ端子２２は、イーサネット（登録商標）を用いた一般的なＬＡＮ対応ポートとして使用される。すなわち、この第２のＬＡＮ端子２２は、ハブ２６を介して、ＬＡＮ対応のＨＤＤ２７、ＰＣ（personal computer）２８、ＨＤＤ内蔵のＤＶＤ（digital versatile disk）レコーダ２９等の機器を接続して、例えば家庭内ネットワークを構築し、これらの機器と情報伝送を行なうために使用される。

この場合、ＰＣ２８及びＤＶＤレコーダ２９については、それぞれ、家庭内ネットワークにおいてコンテンツのサーバ機器として動作するための機能を持ち、さらにコンテンツのアクセスに必要なＵＲＩ（uniform resource identifier）情報を提供するサービスを備えたＵＰｎＰ（universal plug and play）対応機器として構成される。

なお、ＤＶＤレコーダ２９については、第２のＬＡＮ端子２２を介して通信されるデジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置１１との間でアナログの映像及びオーディオ情報を伝送するために、専用のアナログ伝送路３０が設けられている。

さらに、この第２のＬＡＮ端子２２は、ハブ２６に接続されたブロードバンドルータ３１を介して、例えばインターネット等の外部のネットワーク３２に接続される。そして、この第２のＬＡＮ端子２２は、ネットワーク３２を介してＰＣ３３や携帯電話３４等と情報伝送を行なうためにも使用される。

また、上記ＵＳＢ端子２３は、一般的なＵＳＢ対応ポートとして使用されるもので、例えばハブ３５を介して、携帯電話３６、デジタルカメラ３７、メモリカードに対するカードリーダ／ライタ３８、ＨＤＤ３９、キーボード４０等のＵＳＢ機器を接続し、これらのＵＳＢ機器と情報伝送を行なうために使用される。

さらに、上記ＩＥＥＥ１３９４端子２４は、例えばＡＶ−ＨＤＤ４１及びＤ（digital）−ＶＨＳ（video home system）４２等のような複数の情報記録再生機器をシリアル接続し、各機器と選択的に情報伝送を行なうために使用される。

図２は、上記したデジタルテレビジョン放送受信装置１１の主要な信号処理系を示している。すなわち、ＢＳ／ＣＳ（broadcasting satellite／communication satellite）デジタル放送受信用のアンテナ４３で受信した衛星デジタルテレビジョン放送信号は、入力端子４４を介して衛星デジタル放送用のチューナ４５に供給されることにより、所望のチャンネルの放送信号が選局される。

そして、このチューナ４５で選局された放送信号は、ＰＳＫ（phase shift keying）復調器４６及びＴＳ（transport stream）復号器４７に順次供給されることにより、デジタルの映像信号及びオーディオ信号に復調された後、信号処理部４８に出力される。

また、地上波放送受信用のアンテナ４９で受信した地上デジタルテレビジョン放送信号は、入力端子５０を介して地上デジタル放送用のチューナ５１に供給されることにより、所望のチャンネルの放送信号が選局される。

そして、このチューナ５１で選局された放送信号は、例えば日本ではＯＦＤＭ（orthogonal frequency division multiplexing）復調器５２及びＴＳ復号器５３に順次供給されることにより、デジタルの映像信号及びオーディオ信号に復調された後、上記信号処理部４８に出力される。

また、上記地上波放送受信用のアンテナ４９で受信した地上アナログテレビジョン放送信号は、入力端子５０を介して地上アナログ放送用のチューナ５４に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ５４で選局された放送信号は、アナログ復調器５５に供給されてアナログの映像信号及びオーディオ信号に復調された後、上記信号処理部４８に出力される。

ここで、上記信号処理部４８は、ＴＳ復号器４７，５３からそれぞれ供給されたデジタルの映像信号及びオーディオ信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部５６及びオーディオ処理部５７に出力している。

また、上記信号処理部４８には、複数（図示の場合は４つ）の入力端子５８ａ，５８ｂ，５８ｃ，５８ｄが接続されている。これら入力端子５８ａ〜５８ｄは、それぞれ、アナログの映像信号及びオーディオ信号を、デジタルテレビジョン放送受信装置１１の外部から入力可能とするものである。

信号処理部４８は、上記アナログ復調器５５及び各入力端子５８ａ〜５８ｄからそれぞれ供給されたアナログの映像信号及びオーディオ信号を選択的にデジタル化し、このデジタル化された映像信号及びオーディオ信号に対して所定のデジタル信号処理を施した後、グラフィック処理部５６及びオーディオ処理部５７に出力する。

グラフィック処理部５６は、信号処理部４８から供給されるデジタルの映像信号に、ＯＳＤ（on screen display）信号生成部５９で生成されるＯＳＤ信号を重畳して出力する機能を有する。このグラフィック処理部５６は、信号処理部４８の出力映像信号と、ＯＳＤ信号生成部５９の出力ＯＳＤ信号とを選択的に出力すること、また、両出力をそれぞれ画面の半分を構成するように組み合わせて出力することができる。

グラフィック処理部５６から出力されたデジタルの映像信号は、映像処理部６０に供給される。この映像処理部６０は、入力されたデジタルの映像信号を、前記映像表示器１４で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器１４に出力して映像表示させるとともに、出力端子６１を介して外部に導出させる。

また、上記オーディオ処理部５７は、入力されたデジタルのオーディオ信号に対して、後述する音質補正処理を施した後、前記スピーカ１５で再生可能なフォーマットのアナログオーディオ信号に変換している。そして、このアナログオーディオ信号は、スピーカ１５に出力されてオーディオ再生に供されるとともに、出力端子６２を介して外部に導出される。

ここで、このデジタルテレビジョン放送受信装置１１は、上記した各種の受信動作を含むその全ての動作を制御部６３によって統括的に制御されている。この制御部６３は、ＣＰＵ（central processing unit）６４を内蔵しており、前記操作部１６からの操作情報、または、リモートコントローラ１７から送出され前記受光部１８に受信された操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部６３は、主として、そのＣＰＵ６４が実行する制御プログラムを格納したＲＯＭ（read only memory）６５と、該ＣＰＵ６４に作業エリアを提供するＲＡＭ（random access memory）６６と、各種の設定情報及び制御情報等が格納される不揮発性メモリ６７とを利用している。

また、この制御部６３は、カードＩ／Ｆ（interface）６８を介して、前記第１のメモリカード１９が装着可能なカードホルダ６９に接続されている。これによって、制御部６３は、カードホルダ６９に装着された第１のメモリカード１９と、カードＩ／Ｆ６８を介して情報伝送を行なうことができる。

さらに、上記制御部６３は、カードＩ／Ｆ７０を介して、前記第２のメモリカード２０が装着可能なカードホルダ７１に接続されている。これにより、制御部６３は、カードホルダ７１に装着された第２のメモリカード２０と、カードＩ／Ｆ７０を介して情報伝送を行なうことができる。

また、上記制御部６３は、通信Ｉ／Ｆ７２を介して第１のＬＡＮ端子２１に接続されている。これにより、制御部６３は、第１のＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ２５と、通信Ｉ／Ｆ７２を介して情報伝送を行なうことができる。この場合、制御部６３は、ＤＨＣＰ（dynamic host configuration protocol）サーバ機能を有し、第１のＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ２５にＩＰ（internet protocol）アドレスを割り当てて制御している。

さらに、上記制御部６３は、通信Ｉ／Ｆ７３を介して第２のＬＡＮ端子２２に接続されている。これにより、制御部６３は、第２のＬＡＮ端子２２に接続された各機器（図１参照）と、通信Ｉ／Ｆ７３を介して情報伝送を行なうことができる。

また、上記制御部６３は、ＵＳＢ Ｉ／Ｆ７４を介して前記ＵＳＢ端子２３に接続されている。これにより、制御部６３は、ＵＳＢ端子２３に接続された各機器（図１参照）と、ＵＳＢ Ｉ／Ｆ７４を介して情報伝送を行なうことができる。

さらに、上記制御部６３は、ＩＥＥＥ１３９４ Ｉ／Ｆ７５を介してＩＥＥＥ１３９４端子２４に接続されている。これにより、制御部６３は、ＩＥＥＥ１３９４端子２４に接続された各機器（図１参照）と、ＩＥＥＥ１３９４ Ｉ／Ｆ７５を介して情報伝送を行なうことができる。

図３は、上記オーディオ処理部５７内に備えられる音質補正処理部７６を示している。この音質補正処理部７６では、入力端子７７に供給された、例えばＰＣＭ（pulse code modulation）信号でなるオーディオ信号が、オーディオ補正処理部７８及び音声・音楽判定用特徴パラメータ算出部７９及び音楽・背景音判定用特徴パラメータ算出部８３にそれぞれ供給されている。

このうち、音声・音楽判定用特徴パラメータ算出部７９及び音楽・背景音判定用特徴パラメータ算出部８３では、入力されたオーディオ信号を、複数（図示の場合はそれぞれｎ個、ｐ個）のパラメータ値算出部８０１，８０２，８０３，……，８０ｎ、８４１、８４２、……、８４ｐにそれぞれ供給している。これらのパラメータ値算出部８０１〜８０ｎ、８４１〜８４ｐでは、それぞれ、入力されたオーディオ信号から音声信号と音楽信号とを判別するための特徴パラメータ及び、音楽信号と背景音重畳音声信号とを判別するための特徴パラメータを算出している。

すなわち、各パラメータ値算出部８０１〜８０ｎ、８４１〜８４ｐでは、それぞれ、入力されたオーディオ信号を、図４（ａ）に示すように、数１００msec程度のフレーム単位に切り出し、さらに、図４（ｂ）に示すように、各フレームを数１０msec程度のサブフレーム単位に分割する。

そして、各パラメータ値算出部８０１〜８０ｎ、８４１〜８４ｐでは、それぞれ、サブフレーム単位で、オーディオ信号から音声信号と音楽信号とを判別するための判別情報及び音楽信号と背景音重畳音声信号とを判別するための判別情報を算出し、その判別情報に対してフレーム単位での平均・分散等の統計量を求めることにより、特徴パラメータを生成している。

例えば、パラメータ値算出部８０１では、サブフレーム単位で入力オーディオ信号の信号振幅の二乗和であるパワー値を判別情報として算出し、それに対するフレーム単位での平均・分散等の統計量を求めることにより、特徴パラメータｐｗを生成している。

また、パラメータ値算出部８０２では、サブフレーム単位で入力オーディオ信号の時間波形が振幅方向に零を横切る回数である零交差周波数を判別情報として算出し、それに対するフレーム単位での平均・分散等の統計量を求めることにより、特徴パラメータｚｃを生成している。

さらに、パラメータ値算出部８０３では、サブフレーム単位で入力オーディオ信号における２チャンネルステレオの左右（ＬＲ）信号のパワー比（ＬＲパワー比）を判別情報として算出し、それに対するフレーム単位での平均・分散等の統計量を求めることにより、特徴パラメータｌｒを生成している。

同様に、パラメータ値算出部８４１では、サブフレーム単位で、入力オーディオ信号の周波数領域変換後、楽曲の楽器音に特徴的な特定の周波数帯域のパワー成分の集中度合いを算出する。集中度合いは、全帯域あるいは特定の帯域における前記低周波数帯域のパワー占有割合等で表す。この判別情報に対し、フレーム単位での平均・分散等の統計量を求めることにより、特徴パラメータｉｎｓｔを生成している。

図５は、上記した音声・音楽判定用特徴パラメータ算出部７９及び音楽・背景音判定用特徴パラメータ算出部８３が入力オーディオ信号から音声信号と音楽信号とを判別するための各種の特徴パラメータ及び、音楽信号と背景音重畳音声信号とを判別するための各種の特徴パラメータを生成する処理動作をまとめたフローチャートの一例を示している。すなわち、処理が開始されると、音声・音楽判定用特徴パラメータ算出部７９は、ステップＳ５ａで、各パラメータ算出部８０１〜８０ｎにより、入力オーディオ信号から数１０msec程度のサブフレームを抽出する。音楽・背景音判定用特徴パラメータ８３についても、各パラメータ算出部８４１〜８４ｐについて同様の処理を行う・
そして、音声音楽判定用特徴パラメータ算出部７９は、ステップＳ５ｂで、パラメータ値算出部８０１により、入力オーディオ信号からサブフレーム単位でのパワーを算出し、ステップＳ５ｃで、パラメータ値算出部８０２により、入力オーディオ信号からサブフレーム単位での零交差周波数を算出し、ステップＳ５ｄで、パラメータ値算出部８０３により、入力オーディオ信号からサブフレーム単位でのＬＲパワー比を算出する。

さらに、音楽・背景音判定用特徴パラメータ算出部８３は、ステップＳ５ｅで、パラメータ値算出部８４１により、入力オーディオ信号からサブフレーム単位での楽器の特定周波数成分集中度合いを算出する。

同様に、音声・音楽判定用特徴パラメータ算出部７９は、ステップＳ５ｆで、他のパラメータ値算出部〜８０ｎにより、それぞれ、入力オーディオ信号からサブフレーム単位での他の判別情報を算出する。その後、音声・音楽判定用特徴パラメータ算出部７９は、ステップＳ５ｇで、各パラメータ算出部８０１〜８０ｎにより、入力オーディオ信号から数１００msec程度のフレームを抽出する。また、音楽・背景音判定用特徴パラメータ算出部８３は、他のパラメータ値算出部〜８４ｐについて、同様の処理を行う。

そして、音声・音楽判定用特徴パラメータ算出部７９及び音楽・背景音判定用特徴パラメータ算出部８３は、ステップＳ５ｈで、各パラメータ算出部８０１〜８０ｎ、８４１〜８４ｐにより、サブフレーム単位で算出した判別情報に対してフレーム単位での平均・分散等の統計量を求めることにより特徴パラメータを生成し、処理を終了する。

上記のようにして、音声・音楽判定用特徴パラメータ算出部７９の各パラメータ値算出部８０１〜８０ｎで生成された特徴パラメータは、特性スコア制御部８１に、各パラメータ値算出部８０１〜８０ｎにそれぞれ対応して設けられている音声音楽特性スコア算出部８２１，８２２，８２３〜８２ｎに供給され、音楽・背景音判定用特徴パラメータ算出部８３の各パラメータ値算出部８４１〜８４ｐで生成された特徴パラメータは、特性スコア制御部８５に、各パラメータ値算出部８４１〜８４ｐにそれぞれ対応して設けられている音楽・背景音信号特性スコア算出部８６１〜８６ｐに供給される。

これらの音声音楽特性スコア算出部８２１〜８２ｎでは、対応するパラメータ算出部８０１〜８０ｎから供給された特徴パラメータに基づいて、入力端子７７に供給されたオーディオ信号が、スピーチのような音声信号の特性に近いか、音楽（楽曲）信号の特性に近いか否かを定量的に示すスコアＳ２を算出している。

同様に、音楽・背景音信号特性スコア算出部８６１〜８６ｐでは、対応するパラメータ算出部８４１〜８４ｐから供給された特徴パラメータに基づいて、入力端子７７に供給されたオーディオ信号が、背景音の重畳した音声信号の特性に近いか、音楽信号の特性に近いか否かを定量的に示すスコアＳ２を算出している。

スコアの具体的な算出の前に、各特徴パラメータの性質について説明をする。例えば、上記したパワー変動に対応した特徴パラメータｐｗが供給される音声音楽特性スコア算出部８２１について説明すると、パワー変動に関して言えば、一般に、音声は、発話している区間と沈黙している区間とが交互に現れるため、サブフレーム間での信号パワーの違いが大きくなり、フレーム単位で見ると各サブフレーム間のパワー値の分散が大きくなる傾向にある。なお、ここでパワー変動とは、サブフレームにおいて計算したパワー値について、より長いフレーム区間内で値の変動に着目した特徴量を指し、具体的にはパワーの分散値などを用いる。

また、上記した零交差周波数に対応した特徴パラメータｚｃが供給される音声音楽特性スコア算出部８２２について説明すると、零交差周波数に関して言えば、前述した発話区間と沈黙区間との違いに加えて、音声信号は零交差周波数が子音では高く母音では低くなるため、フレーム単位で見ると各サブフレーム間の零交差周波数の分散が大きくなる傾向にある。

さらに、上記したＬＲパワー比に対応した特徴パラメータｌｒが供給される音声音楽特性スコア算出部８２３について説明すると、ＬＲパワー比に関して言えば、音楽信号では、ボーカル以外の楽器演奏がセンター以外に定位していることが多いため、左右のチャンネル間のパワー比が大きくなる傾向にある。

このように、音声・音楽判定用特徴パラメータ算出部にて値を算出するパラメータは、音声信号と音楽信号の性質に着目し、これらの信号種別を切り分けやすいパラメータを選択する。

ただし、これらのパラメータは、純粋な音楽信号と音声信号の切り分けには有効であるが、拍手や歓声・人の笑い声、雑踏などの背景音が重畳した音声信号に対して必ずしも同じように効果を発揮するわけではなく、こうした信号については背景音の影響で音楽信号であると判定誤りを起こしやすい。こうした判定誤りを抑制するため、音楽・背景音判定用特徴パラメータ算出部では、こうした重畳信号と音楽信号を識別するに適した特徴パラメータを採用する。すなわち、上記楽器の特定周波数成分の集中度合いに対応した特徴パラメータｉｎｓｔが供給される音楽・背景音信号特性スコア算出部８６１について説明すると、楽曲を構成する楽器によって特定の周波数帯域に振幅パワーが集中することが多い。例として、現代の楽曲では多くの場合にベース音となる楽器が存在し、このベース音を解析すると信号の周波数領域において、振幅パワーが特定の低周波数帯域に集中している。他方、上述した重畳信号は、こうした特定低周波数帯域のパワー集中度は見られず、音楽と背景音重畳信号の識別の上で有効な指標となる。なお、当該パラメータは、背景音重畳のない音声信号と音楽信号の識別には必ずしも有効であるとはいえない。すなわち、初めから音声・音楽信号の判定用パラメータとして使うとすると、通常の音声でもこの特定帯域付近で集中度合いが比較的高くなる場合があるため、誤検出増加の可能性がある。一方、音声に拍手や歓声等の背景音が重畳すると、一般にこれらの音信号では中高域の周波数成分が強く、上記ベース成分集中度合いは相対的に低い。このため、上述した音声・音楽信号判定用特徴パラメータにより一度音楽と判定された信号を対象に使用することで効果を発揮する。以上のように、多段構成の判定方式で識別したい信号種別に応じて特徴パラメータセットを適応選択することが望ましい。上記ではベース楽器音を例に説明したが、楽器の種類は何であってもかまわない。

ここで、上記音声・音楽信号特性スコア算出部８１及び音楽・背景音信号特性スコア算出部８５でそれぞれ算出するスコアＳ１，Ｓ２について説明する。

Ｓ１，Ｓ２の算出方法については一つの方法に特定しないが、ここでは線形識別関数を用いた算出方法について説明する。線形識別関数を用いる方法では、Ｓ１、Ｓ２の算出に必要なパラメータ値に乗ずる重み係数をオフライン学習により算出する。この重みは、信号種別の識別に効果の高いパラメータであるほど大きい値を与え、重みの算出は、基準となる参照データを入力し、参照データの特徴パラメータ値を学習することで行う。いま、学習対象とするデータのｋ番目のフレームの入力パラメータセットをベクトルｘで表し、入力が属する信号区間｛音楽、音声｝としてｙで以下のように表す。

・・・（１）

・・・（２）
ここで、（１）の各要素は抽出したｎ個の特徴パラメータに対応する。（２）式の−１、＋１はそれぞれ音楽区間及び音声区間に対応し、使用する音声・音楽用参照データの正解信号種別となる区間をあらかじめ人手で２値のラベル付けする。また、（２）式より以下の線形識別関数を立てる。

・・・（３）
ｋ＝１〜Ｎ（Ｎは参照データの入力フレーム数）に対し、ベクトルｘを抽出し、（３）式の評価値と正解信号種別（２）式の誤差二乗和（４）式が最小となる正規方程式を解くことにより、各パラメータの重み付けされた係数βが決まる。

・・・（４）
学習により決定した係数を用い、実際に識別するデータの評価値を（３）式より計算し、ｆ（ｘ）＞０なら音声区間、ｆ（ｘ）＜０なら音楽区間と判定する。また、このときのｆ（ｘ）が上記のスコアＳ１に相当する。ここで、上記の学習において音楽・背景音用参照データに変え同様の手続きを行うことで、音楽信号と背景音重畳音声信号の識別に適した各パラメータに乗ずる重み係数が決定され、この係数を実際の識別データの各特徴パラメータ値に乗ずることでスコアＳ２を算出する。

なお、スコア算出に関しては、説明した線形識別関数を用いたオフライン学習により求めた重み付け係数を特徴パラメータ値に乗ずる方法に限定するものでなく、例えば各パラメータの算出値に対して経験的な閾値を設定し、この閾値との比較判定に応じて各パラメータに重み付けされた得点を付与しスコアを算出するなどの方法でも本提案は適用可能である。

上記のようにして、音声・音楽信号特性スコア算出部８１の各音声音楽特性スコア算出部８２１〜８２ｎ及び音楽・背景音信号特性スコア算出部８５の各音楽・背景音信号特性スコア算出部８６１〜８６ｐで生成された各スコアは、音声・音楽信号判定部８７に供給される。この音声音楽判定部８７は、入力された音声・音楽信号特性スコアＳ１及び音楽・背景音信号特性スコアＳ２に基づいて音声信号か音楽信号かを判定する。

音声・音楽信号判定部８７は、前段判定部８８１及び後段判定部８８２の多段構成となる。

まず、前段判定部８８１では、上記スコアＳ１に基づき、入力オーディオ信号が音声であるか音楽であるかを判定する。上述した学習を用いたスコア算出方法によれば、スコアＳ１＞０であれば音声信号、Ｓ１＜０であれば音楽区間である。ここで音声信号と判定すれば、前記入力オーディオ信号は音声信号であると確定する。

Ｓ１＜０となった場合は、さらに後段判定部８８２にて後段の判定を行う。

前段で音楽信号と判定された場合でも、判定を誤っている可能性があり、多段の判定により信号判定の信頼性を高めることが目的である。特に、番組コンテンツで発生頻度の高い拍手や歓声、人の笑い声、また雑踏など各種の背景音が重畳するとこれらの影響で、音声信号であるにも関わらず音楽信号であると判定誤りを起こしやすい。背景音重畳による信号の判定誤りを抑制するため、後段判定部８８２では、信号が本当に音楽信号であるか、背景音の重畳した音声信号であるかをスコアＳ２により判定する。

上述の線形識別関数による判定において、学習させる参照データを｛音楽、背景音重畳信号｝とし、｛−１、＋１｝を割り当てた場合、決定された重み係数をパラメータ値に乗じて算出されたスコアＳ２＜０であれば音楽信号であると確定し、Ｓ２＞０であれば背景音が重畳した音声信号であると判定する。

このように、判定誤りを起こしやすい背景音重畳信号に対してロバスト性を高めるために、前段判定部８８１、後段判定部８８２では、それぞれあらかじめ参照データを学習させ線形識別関数より立てた正規方程式を解く等の処理により求まる各パラメータの重み付け係数を用いて算出する信号特性スコアに基づき、多段式の判定処理を行う。

図６は、上記のように線形識別関数を用いたオフライン学習で算出した各パラメータの重み付け係数に基づき、音声・音楽信号特性スコア算出部８１及び音楽・背景音信号特性スコア算出部８５が音声・音楽信号特性スコア及び音楽・背景音信号特性スコアを算出する処理動作をまとめたフローチャートの一例を示している。

また、図７は、上記した音声・音楽信号判定部８７が、音声・音楽信号特性スコア算出部８１及び音楽・背景音信号特性スコア算出部８５から供給された音声・音楽信号特性スコアＳ１と音楽・背景音信号特性スコアＳ２とのそれぞれのスコアに基づいて音声信号と音楽信号とを判定する処理動作のフローチャートの一例を示している。

すなわち、処理が開始されると、音声・音楽信号特性スコア算出部８１は、ステップＳ６ａで、音声・音楽判定用特徴パラメータ算出部によって算出された各特徴パラメータに対し、あらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値を算出し、ステップＳ６ｂにて、係数を乗じた各係数の総和を音楽・音声信号の確度を表すスコアＳ１として算出する。

また、音楽・背景音信号特性スコア算出部８５は、ステップＳ６ｃで、音楽・背景音判定用特徴パラメータ算出部によって算出された各特徴パラメータに対し、あらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値を算出し、ステップＳ６ｄにて、係数を乗じた各係数の総和を音楽・背景音重畳音声信号の確度を表すスコアＳ２として算出し、処理を終了する。

次に、音声・音楽信号判定部８７において処理が開始されると、前段判定部８８１は、前記音声・音楽信号特性スコアＳ１の値を見（ステップＳ７ａ）、Ｓ１＞０であればステップＳ７ｂにて、現オーディオ入力信号フレームが属する信号種別は音声信号であると判定する。そうでなければステップＳ７ｃにて、Ｓ１＜０であるかどうかを判定する。Ｓ１＜０でない場合ステップＳ７ｇで、現オーディオ入力信号フレームが属する信号種別の判定を保留し、直前のフレームの信号種別が継続しているとする。Ｓ１＜０である場合、後段判定部８８２は、前記音楽・背景音重畳信号特性スコアＳ２の値を見（ステップＳ７ｄ）、Ｓ２＞０であれば、ステップＳ７ｂにて、現オーディオ入力信号フレームが属する信号種別は背景音が重畳した音声信号であると判定する。そうでなければステップＳ７ｅにて、Ｓ２＜０であるかどうかを判定する。Ｓ２＜０でない場合、ステップＳ７ｇで、現オーディオ入力信号フレームが属する信号種別の判定を保留し、直前のフレームの信号種別が継続しているとする。Ｓ２＜０であれば、ステップＳ７ｆにて、現オーディオ入力信号フレームが属する信号種別は音楽信号であると判定する。

上記のようにして、音声・音楽判定部８７で判定された結果は、上記オーディオ補正処理部７８に供給される。このオーディオ補正処理部７８は、入力端子７７に供給されたオーディオ信号に対して、音声・音楽判定部８７での判定結果に基づいた音質補正処理を施し、出力端子８５から外部に出力している。

すなわち、このオーディオ補正処理部７８は、音声音楽判定部８７での判定結果が音声である場合、入力オーディオ信号に対してセンター定位成分を強調して明瞭化するように音質補正処理を施し、音声音楽判定部８７での判定結果が音楽である場合、入力オーディオ信号に対してステレオ感を強調した拡がりのある音質補正処理を施すように機能する。

なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

この発明の実施の形態を示すもので、デジタルテレビジョン放送受信装置とそれを中心としたネットワークシステムの一例とを概略的に説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置の主要な信号処理系を説明するために示すブロック構成図。 同実施の形態におけるデジタルテレビジョン放送受信装置のオーディオ処理部に含まれる音質補正処理部を説明するために示すブロック構成図。 同実施の形態における音質補正処理部に含まれる特徴パラメータ算出部の動作を説明するために示す図。 同実施の形態における特徴パラメータ算出が行なう動作を説明するために示すフローチャート。 同実施の形態における音質補正処理部に含まれる特性スコア制御部の動作を説明するために示すフローチャート。 同実施の形態における音質補正処理部に含まれる音声音楽判定部が行なう動作を説明するために示すフローチャート。

符号の説明

１１…デジタルテレビジョン放送受信装置、１２…キャビネット、１３…支持台、１４…映像表示器、１５…スピーカ、１６…操作部、１７…リモートコントローラ、１８…受光部、１９…第１のメモリカード、２０…第２のメモリカード、２１…第１のＬＡＮ端子、２２…第２のＬＡＮ端子、２３…ＵＳＢ端子、２４…ＩＥＥＥ１３９４端子、２５…ＨＤＤ、２６…ハブ、２７…ＨＤＤ、２８…ＰＣ、２９…ＤＶＤレコーダ、３０…アナログ伝送路、３１…ブロードバンドルータ、３２…ネットワーク、３３…ＰＣ、３４…携帯電話、３５…ハブ、３６…携帯電話、３７…デジタルカメラ、３８…カードリーダ／ライタ、３９…ＨＤＤ、４０…キーボード、４１…ＡＶ−ＨＤＤ、４２…Ｄ−ＶＨＳ、４３…アンテナ、４４…入力端子、４５…チューナ、４６…ＰＳＫ復調器、４７…ＴＳ復号器、４８…信号処理部、４９…アンテナ、５０…入力端子、５１…チューナ、５２…ＯＦＤＭ復調器、５３…ＴＳ復号器、５４…チューナ、５５…アナログ復調器、５６…グラフィック処理部、５７…オーディオ処理部、５８ａ〜５８ｄ…入力端子、５９…ＯＳＤ信号生成部、６０…映像処理部、６１，６２…出力端子、６３…制御部、６４…ＣＰＵ、６５…ＲＯＭ、６６…ＲＡＭ、６７…不揮発性メモリ、６８…カードＩ／Ｆ、６９…カードホルダ、７０…カードＩ／Ｆ、７１…カードホルダ、７２，７３…通信Ｉ／Ｆ、７４…ＵＳＢ Ｉ／Ｆ、７５…ＩＥＥＥ１３９４ Ｉ／Ｆ、７６…音質補正処理部、７７…入力端子、７８…オーディオ補正処理部、７９…音声・音楽判定用特徴パラメータ算出部、８０１〜８０ｎ…パラメータ値算出部、８１…音声・音楽信号特性スコア算出部、８２１〜８２ｎ…音声音楽特性スコア算出部、８３…音楽・背景音判定用特徴パラメータ算出部、８４１〜８４ｐ…パラメータ値算出部、８５…音楽・背景音信号特性スコア算出部、８６１〜８６ｐ…音楽・背景音特性スコア算出部、８７…音声音楽信号判定部、８８１…前段判定部、８８２…後段判定部、８９…出力端子

Claims (7)

1. 入力オーディオ信号から音声信号と音楽信号とを判別するための各種の特徴パラメータを算出する音声・音楽判定用特徴パラメータ算出手段と、
   同様に入力オーディオ信号から背景音の重畳した音声信号と音楽信号とを判別するための各種の特徴パラメータを算出する音楽・背景音判定用特徴パラメータ算出手段と、
   前記音声・音楽判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、それぞれあらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・音声信号の確度を表すスコアとして算出する音声・音楽信号特性スコア算出手段と、
   前記音楽・背景音判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、それぞれあらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・背景音重畳音声信号の確度を表すスコアとして算出する音楽・背景音信号特性スコア算出手段と、
   前記音声・音楽信号特性スコア算出手段で算出されたスコアに基づいて、前記入力オーディオ信号が音声信号であるか音楽信号であるかを判定し、音楽信号であると判定された場合、前記音楽・背景音信号特性スコア算出手段で算出されたスコアに基づいて、前記入力オーディオ信号が背景音の重畳した音声信号か否かをさらに判定する音声音楽判定手段とを具備することを特徴とする音声音楽判定装置。
2. 前記特徴パラメータ算出手段は、前記入力オーディオ信号をそれぞれが複数のサブフレームでなる所定のフレーム単位に分割し、サブフレーム単位で前記入力オーディオ信号から音声信号と音楽信号とを判別するための判別情報を算出し、その判別情報に対してフレーム単位での統計量を求めることにより、前記特徴パラメータを生成することを特徴とする請求項１記載の音声音楽判定装置。
3. 前記音声・音楽判定用特徴パラメータ算出手段は、前記入力オーディオ信号に対して、音声信号であるか音楽信号であるかを判定する前段の判定処理に適した特徴パラメータとして、パワー変動、零交差周波数、ステレオの左右信号のパワー比等を算出し、
   また、前記音楽・背景音判定用特徴パラメータ算出手段は、音楽信号であるか背景音重畳音声信号であるかを判定する後段の判定処理に適した特徴パラメータとして、楽曲の楽器音に相当する特定の周波数帯域成分のパワー集中度合い等を算出することを特徴とする請求項１記載の音声音楽判定装置。
4. 前記音声音楽信号特性スコア算出手段は、
   あらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・音声信号の確度を表すスコアとして算出し、
   前記音楽・背景音信号特性スコア算出手段は、
   あらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・背景音重畳音声信号の確度を表すスコアとして算出することを特徴とする請求項１記載の音声音楽判定装置。
5. 前記音声音楽判定手段は、前記音声音楽信号特性スコア算出手段で算出されたスコアに基づいて、前記入力オーディオ信号が音声信号であるか音楽信号であるかを判定し、前者であると判定すれば前記信号は音声信号であると判定し、また後者であると判定された場合に、前記信号が音声信号であるにも関わらず背景音重畳の影響で誤って音楽信号と判定されることを防ぐ目的で、前記音楽・背景音信号特性スコア算出手段で算出されたスコアに基づいて、前記入力オーディオ信号が背景音の重畳した音声信号であるか音楽信号であるかを判定する多段構成により信号種別を判定することを特徴とする請求項１記載の音声音楽判定装置。
6. 入力オーディオ信号を音声・音楽判定用特徴パラメータ算出手段に供給して、音声信号と音楽信号とを判別するための各種の特徴パラメータを算出する工程と、
   入力オーディオ信号を音楽・背景音判定用特徴パラメータ算出手段に供給して、音楽信号と背景音重畳音声信号とを判別するための各種の特徴パラメータを算出する工程と、
   算出された各種の音声・音楽判定用特徴パラメータを音声音楽信号特性スコア算出手段に供給して、あらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・音声信号の確度を表すスコアとして算出する工程と、
   算出された各種の音楽・背景音判定用特徴パラメータを音楽・背景音信号特性スコア算出手段に供給して、あらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・背景音重畳音声信号の確度を表すスコアとして算出する工程と、
   付与された音声・音楽信号特性スコア及び音楽・背景音信号特性スコアに基づいて、前記入力オーディオ信号が音声信号であるか音楽信号であるかを判定する工程と、
   音楽信号であると判定された場合、前記スコアに基づいて前記入力オーディオ信号が背景音の重畳した音声信号か否かをさらに判定する工程と
   を有することを特徴とする音声音楽判定方法。
7. 入力オーディオ信号から音声信号と音楽信号とを判別するための各種の音声・音楽判定用特徴パラメータを算出する処理および、入力オーディオ信号から音楽信号と背景音重畳音声信号とを判別するための各種の音楽・背景音判定用特徴パラメータを算出する処理を、コンピュータに実行させるための特徴パラメータ算出手段と、
   前記音声・音楽判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、あらかじめ学習した音声・音楽用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・音声信号の確度を表すスコアとして算出する処理および、
   前記音楽・背景音判定用特徴パラメータ算出手段で算出された各種の特徴パラメータに対し、あらかじめ学習した音楽・背景音用参照データのパラメータ値に基づく重み係数を付与し、係数を乗じたパラメータ値の総和を音楽・背景音重畳音声信号の確度を表すスコアとして算出する音声・音楽特性スコア算出手段及び音楽・背景音特性スコア算出手段と、
   付与されたスコアに基づいて、前記入力オーディオ信号が音声信号であるか音楽信号であるかを判定し、音楽信号であると判定された場合、前記スコアに基づいて前記入力オーディオ信号が背景音の重畳した音声信号か否かをさらに判定する音声音楽判定手段と、
   をコンピュータに実行させることを特徴とする音声音楽判定用プログラム。

Images