JP2008085556A - 低音補正装置および録音装置 - Google Patents

Abstract

【課題】本発明は、風雑音を低減しながら、目的音の劣化をできる限り抑え、良好な音質を得ることができるようにした低音補正装置を提供することを目的とする。
【解決手段】入力音声信号の高域成分を抽出する第１フィルタ手段２０１、入力音声信号の高域の一部の帯域成分を抽出する第２フィルタ手段２０２、第２フィルタ手段２０２で抽出された信号に含まれる調波成分に基づいて、低次の調波成分から成る低域信号を生成する低域波形生成手段２１０、入力音声信号の低域成分を用いて、そこに含まれる目的音のレベルに合わせるように、低域波形生成手段２１０で生成された低域信号のレベルを変化させる低域レベル調整手段２２０、２３０、および低域レベル調整手段２２０、２３０でレベルを変化させられた低域信号と第１フィルタ手段２０１で抽出された信号とを合成して出力する合成手段２０３を備えている。
【選択図】図１

Description

本発明は、マイクロホンにより収音した信号に含まれる風雑音を低減する低音補正装置および録音装置に関する。本発明は、主に、ビデオカメラ、携帯電話、ボイスレコーダなど、マイクロホンにより収音した信号を処理する装置において用いられる。

マイクロホンに風が当たると、収音した信号に特有の雑音が発生することが知られている。この雑音は一般的に風雑音と呼ばれている。

〔１〕従来技術１：ハイパスフィルタを使用する方法
収音信号に含まれる風雑音を低減する方法として、ハイパスフィルタを使用する方法が提案されている（特開平５−７３９２号公報、特開平６−２６９０８４号公報参照）。この方法は風雑音が低域（一般的に０〜２００Ｈｚ付近）に集中しているという性質を利用したものであり、風雑音が発生している時には低域を抑圧するハイパスフィルタに収音信号を通して音質を向上させるものである。

しかしながら、ハイパスフィルタを使用する方法では、風雑音だけでなく目的音の低域成分も低減されてしまう。音声の基本周波数は一般的に１００〜３００Ｈｚ付近であり、この帯域には自然な音質を得る上で重要な情報が含まれているため、風雑音が含まれる帯域を抑圧することによって、目的音が劣化するという問題が生じる。

この問題を軽減するために、風雑音の大きさを逐次推定し、そのレベルに応じて、ハイパスフィルタを通した信号と通さない信号の混合比を可変にする方法（特開平５−７３９２号公報参照）や、ハイパスフィルタのカットオフ周波数を可変にする方法（特開平６−２６９０８４号公報参照）も提案されているが、いずれの方法でも、風雑音と目的音が同時に生じた場合には一方だけを低減することができないので、充分な効果を得ることはできない。

〔２〕従来技術２：高域成分の調波性を用いて低域成分を復元する方法
従来技術１の方法によって出力されるような低域が除去された信号に対して、低域成分を復元する方法が提案されている（特開平８−１３０４９４号公報、特開平８−２７８８００号公報、特開平９−５５７７８号公報参照）。この方法は、音声や楽器音の調波性を利用したものであり、高域の調波成分から低域の調波成分を推定して、これを元の信号に加えて低域成分を復元するものである。

以下、この点について、さらに詳しく説明する。調波性とは周波数スペクトルが倍音構造で成り立っているという性質であり、音声や楽器音の多くはこの性質を有している。つまり、最も低域側のスペクトル（以下、基本波成分、または、１次の調波成分と称する）がＦ０Ｈｚであるとすると、その倍音成分であるＦ０×2 ，Ｆ０×3 ，…，Ｆ０×n Ｈｚのスペクトル（以下、低域側から順に、２次の調波成分、３次の調波成分、…、ｎ次の調波成分と称する）で信号が構成されている。従って、調波性のある信号では、低次の調波成分が欠落している場合であっても、高次の調波成分の周波数差から、それらの周波数を推定することができる。例えば４次と５次の調波成分が存在していれば、その周波数差の成分、すなわち、周波数Ｆ０（＝Ｆ０×５−Ｆ０×４）Ｈｚの調波成分が低域に存在することが推定できる。この方法は、こうした性質を利用して高域の調波成分から低域の調波成分を生成し、これを元に信号に加えることで、低域の復元を行うものである。

高域の調波成分から低域の調波成分を生成する方法としては、全波整流（絶対値処理）、半波整流、２乗処理などの非線形処理を行う方法が一般的に知られている（特開平８−１３０４９４号公報、特開平８−２７８８００号公報）。また、非線形処理の前段に線形予測分析を行って、線形予測残差信号に対して非線形処理を行う方法も提案されている（特開平８−１３０４９４号公報、特開平８−２７８８００号公報）。また、自己相関などを用いて基本波成分の周波数を推定し、その周波数を基に調波成分を生成する方法も提案されている（特開平９−５５７７８号公報）。

〔３〕従来技術を用いた装置の例
従来技術１および従来技術２を用いた従来の低音補正装置の一例を、図を参照しながら説明する。

図６は、従来の低音補正装置の構成を示している。

この低音補正装置１００は、マイクロホンを通して収音された音声信号を入力として受け、これに含まれる風雑音を低減した補正音声信号を出力するものである。この低音補正装置１００は、ＨＰＦ１０１、ＢＰＦ１０２、低音波形生成部１１０および合成部１０３を備えている。また、低域波形生成部１１０は、非線形処理部１１１およびＬＰＦ＿Ａ１１２を備えている。

ＨＰＦ１０１はハイパスフィルタであり、音声信号を入力として受け、２００Ｈｚ以上の帯域を通過させる。ＨＰＦ１０１の目的は、風雑音が多く含まれる帯域を抑圧することであり、通過帯域はそれに適した帯域に設定される。ここでは、風雑音が一般に２００Ｈｚ以下の帯域に多く含まれるため、ＨＰＦ１０１の通過帯域を２００Ｈｚ以上としている。

ＢＰＦ１０２はバンドパスフィルタであり、音声信号を入力として受け、４００〜８００Ｈｚの帯域を通過させる。ＢＰＦ１０２の目的は、目的音の調波成分が含まれる帯域を抽出することであり、通過帯域はそれに適した帯域に設定される。ＢＰＦ１０２の通過帯域を４００〜８００Ｈｚにした理由は、この帯域では、一般に、風雑音の影響が少なく、目的音のレベルが大きいためである。また、ＢＰＦ１０２の通過帯域幅を４００Ｈｚとした理由は、ＨＰＦ１０１で抑圧される２００Ｈｚ以下の成分を復元するために、調波成分の周波数間隔が最大で２００Ｈｚの場合にも複数の調波成分が通過できるようにするためである。

低域波形生成部１１０は、ＢＰＦ１０２を通過した調波成分から、低域の調波成分を生成するものである。以下、その詳細を説明する。

低域波形生成部１１０に備えられた非線形処理部１１１は、ＢＰＦ１０２を通過した信号に対して、振幅の絶対値を算出する処理を行う。このような絶対値処理を行うことによって、ＢＰＦ１０２の通過帯域だけでなく、その低域側および高域側にも調波成分が生成される。

低域波形生成部１１０に備えられたＬＰＦ＿Ａ１１２はローパスフィルタであり、非線形処理部１１１で処理された信号を入力として受け、２０〜２００Ｈｚの帯域を通過させる。

ＬＰＦ＿Ａ１１２の目的は、復元すべき帯域の信号を抽出することであり、通過帯域はそれに適した帯域に設定される。ＬＰＦ＿Ａ１１２の通過帯域を２００Ｈｚ以下とした理由はＨＰＦ１０１で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。なお、ＬＰＦ＿Ａ１１２の本来の目的は復元すべき低域成分を抽出することであるが、非線形処理部１１１において発生する直流成分は一般に音声信号には不要な成分であるので、これを取り除くために、通過帯域を２０Ｈｚ以上としている。

以上のようにして、低域波形生成部１１０では、ＢＰＦ１０２を通過した調波成分から、低域の調波成分が生成される。

合成部１０３は、ＨＰＦ１０１の出力信号と低域波形生成部１１０の出力信号とを加算する。但し、ＨＰＦ１０１、ＢＰＦ１０２、低域波形生成部１１０のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、ＨＰＦ１０１の出力信号と低域波形生成部１１０の出力信号に遅延差がある場合には、加算の前段で、その差を打ち消すような遅延処理を施すものとする。加算された信号は、補正音声信号として出力される。

以下、図７を参照して、各ブロックにおける周波数スペクトルの状態を説明する。

図７（ａ）は、入力となる音声信号の周波数スペクトルを表している。音声信号には風雑音と目的音が含まれており、風雑音は低域に集中して存在している。また、目的音は調波性を有しており、等間隔の線スペクトルとして存在している。

図７（ｂ）は、ＨＰＦ１０１の出力信号の周波数スペクトルを表している。低域（〜２００Ｈｚ）が抑圧され、風雑音が取り除かれている一方で、目的音に含まれる低次の調波成分も抑圧されている。

図７（ｃ）は、ＢＰＦ１０２の出力信号の周波数スペクトルを表している。４００〜８００Ｈｚの帯域のみが通過しており、目的音に含まれる調波成分が抽出されている。

図７（ｄ）は、非線形処理部１１１の出力信号の周波数スペクトルを表している。ＢＰＦ１０２で抽出された帯域だけでなく、その低域側および高域側にも調波成分が発生している。

図７（ｅ）は、ＬＰＦ＿Ａ１１２の出力信号の周波数スペクトルを表している。非線形処理部１１１で生成された調波成分のうち、低域成分のみが抽出されている。

図７（ｆ）は、合成部１０３の出力信号（補正音声信号）の周波数スペクトルを表している。ＨＰＦ１０１において低域が除去された信号に、低域波形生成部１１０で生成された低域の調波成分が加わるため、風雑音が除去される一方で、目的音の低域成分が復元される。

以上のようにして、この低音補正装置１００では、マイクロホンを通して収音された音声信号に含まれる風雑音がハイパスフィルタによって除去される一方で、このとき一緒に低減される目的音の低域成分が音声信号の調波性を用いて復元される。
特開平５−７３９２号公報 特開平６−２６９０８４号公報 特開平８−１３０４９４号公報 特開平８−２７８８００号公報 特開平９−５５７７８号公報

従来技術１では、風雑音が低域に集中していることを利用して、ハイパスフィルタを用いて効果的に風雑音を低減することができるが、目的音の低域成分まで低減してしまうため、自然な音質が損なわれるという問題がある。この問題に対して、従来技術２を用いれば、ハイパスフィルタで低減された目的音の低域成分が調波性を基にして復元される。

しかしながら、調波性を基にして推定することができるのは調波成分の周波数であり、そのレベルは合理的に決定されるものではない。つまり、高域の調波成分のレベルや周波数と、低域の調波成分のレベルとの間には、明確な因果関係がある訳ではないので、低域成分が高域成分のみを基にして生成される限り、本来のレベルを精度良く復元したものとはならない。従って、従来の方法で復元された低域信号を加えても、依然として、充分に自然な音質が得られないという問題がある。

本発明は、風雑音を低減しながら、目的音の劣化をできる限り抑え、良好な音質を得ることができるようにした低音補正装置および録音装置を提供することを目的とする。

請求項１に記載の発明は、マイクロホンで収音した音声信号を入力として受けて風雑音を抑圧して出力する低音補正装置において、入力音声信号の高域成分を抽出する第１フィルタ手段２０１、入力音声信号の高域の一部の帯域成分を抽出する第２フィルタ手段２０２、第２フィルタ手段２０２で抽出された信号に含まれる調波成分に基づいて、低次の調波成分から成る低域信号を生成する低域波形生成手段２１０、入力音声信号の低域成分を用いて、そこに含まれる目的音のレベルに合わせるように、低域波形生成手段２１０で生成された低域信号のレベルを変化させる低域レベル調整手段２２０、２３０、および低域レベル調整手段２２０、２３０でレベルを変化させられた低域信号と第１フィルタ手段２０１で抽出された信号とを合成して出力する合成手段２０３を備えていることを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、低域レベル調整手段２２０は、入力音声信号の低域成分を抽出する第３フィルタ手段２２２、低域波形生成手段で生成された低域信号のパワーを算出する第１パワー算出手段２２１、第３フィルタ手段で抽出された信号のパワーを算出する第２パワー算出手段２２３、ならびに第１パワー算出手段２２１によって算出されたパワーおよび第２パワー算出手段２２３によって算出されたパワーに基づいて、低域波形生成手段２１０で生成された低域信号のレベルを変化させるレベル変更手段２２４を備えていることを特徴とする。

請求項３に記載の発明は、請求項１に記載の発明において、低域レベル調整手段２３０は、入力音声信号の低域成分を抽出する第３フィルタ手段２３２、低域波形生成手段２１０で生成された低域信号のパワーを算出するパワー算出手段２３１、低域波形生成手段２１０で生成された低域信号と第３フィルタ手段２３２で抽出された信号との相互相関を算出する相関算出手段２３３、ならびにパワー算出手段２３１によって算出されたパワーおよび相関算出手段２３３によって算出された相互相関に基づいて、低域波形生成手段２１０で生成された低域信号のレベルを変化させるレベル変更手段２３４を備えていることを特徴とする。

請求項４に記載の発明は、第１マイクロホンで収音した第１音声信号と、第２マイクロホンで収音した第２音声信号とを入力として受けて、風雑音を抑圧して出力する低音補正装置において、第１音声信号と第２音声信号の混合信号、あるいは、いずれか一方の信号の高域成分を抽出する第１フィルタ手段４０２、第１音声信号と第２音声信号の混合信号、あるいは、いずれか一方の信号の高域の一部の帯域成分を抽出する第２フィルタ手段４０４、第２フィルタ手段４０４で抽出された信号に含まれる調波成分に基づいて、低次の調波成分から成る低域信号を生成する低域波形成生成手段４１０、第１音声信号の低域成分と第２音声信号の低域成分を用いて、そこに含まれる目的音のレベルに合わせるように、低域波形生成手段４１０で生成された低域信号のレベルを変化させる低域レベル調整手段４２０、４３０、および低域レベル調整手段４２０、４３０でレベルを変化させられた低域信号と、第１フィルタ手段４０２で抽出された信号とを合成して出力する合成手段４０５を備えていることを特徴とする。

請求項５に記載の発明は、請求項４に記載の発明において、低域レベル調整手段４２０は、低域波形生成手段４１０で生成された低域信号のパワーを算出するパワー算出手段４２１、第１音声信号の低域成分を抽出する第３フィルタ手段４２２、第２音声信号の低域成分を抽出する第４フィルタ手段４２３、第３フィルタ手段４２２で抽出された信号と第４フィルタ手段で抽出された信号の相互相関を算出する相関算出手段４２４、ならびにパワー算出手段４２１によって算出されたパワーおよび相関算出手段４２４によって算出された相互相関に基づいて、低域波形生成手段４１０で生成された低域信号のレベルを変化させるレベル変更手段４２５を備えていることを特徴とする。

請求項６に記載の発明は、請求項４に記載の発明において、低域レベル調整手段４３０は、第１音声信号の低域成分を抽出する第３フィルタ手段４３２、第２音声信号の低域成分を抽出する第４フィルタ手段４３３、低域波形生成手段４１０で生成された低域信号のパワーを算出する第１パワー算出手段４３１、第３フィルタ手段４３２で抽出された信号と第４フィルタ手段４３３で抽出された信号との混合信号、あるいは、いずれか一方の信号のパワーを算出する第２パワー算出手段４３６、第３フィルタ手段４３２で抽出された信号と第４フィルタ手段４３３で抽出された信号の差信号のパワーを算出する第３パワー算出手段４３７、ならびに第１パワー算出手段４３１によって算出されたパワー、第２パワー算出手段４３６によって算出されたパワーおよび第３パワー算出手段４３７によって算出されたパワーに基づいて、低域波形生成手段４１０で生成された低域信号のレベルを変化させるレベル変更手段４３８を備えていることを特徴とする。

請求項７に記載の発明は、録音装置において、請求項１乃至請求項６に記載の低音補正装置を備えていることを特徴とする。

本発明によれば、風雑音を低減しながら、目的音の劣化をできる限り抑え、良好な音質を得ることができるようなる。

以下、図面を参照して、この発明の実施例について説明する。

図１は、本発明の低音補正装置の実施例１の構成を示している。

この低音補正装置２００は、調波性を基にして生成される低域信号のレベルを合理的に決定することによって、従来の低音補正装置と比べて、さらなる音質の向上を図ったものである。また、この低音補正装置２００は、音声信号に含まれる風雑音が目的音に比べて小さい場合に適用され、このような条件下で効果が得られるものである。

この低音補正装置２００は、マイクロホンを通して収音された音声信号を入力として受け、これに含まれる風雑音を低減した補正音声信号を出力するものである。低音補正装置２００は、ＨＰＦ２０１、ＢＰＦ２０２、低域波形生成部２１０、低域レベル調整部２２０および合成部２０３を備えている。低域波形生成部２１０は、非線形処理部２１１およびＬＰＦ＿Ａ２１２を備えている。

ＨＰＦ２０１はハイパスフィルタであり、音声信号を入力として受け、２００Ｈｚ以上の帯域を通過させる。ＨＰＦ２０１の目的は、風雑音が多く含まれる帯域を抑圧することであり、通過帯域はそれに適した帯域に設定される。ここでは、風雑音が一般に２００Ｈｚ以下の帯域に多く含まれるため、ＨＰＦ２０１の通過帯域を２００Ｈｚ以上としている。

ＢＰＦ２０２はバンドパスフィルタであり、音声信号を入力として受け、４００〜８００Ｈｚの帯域を通過させる。ＢＰＦ２０２の目的は、目的音の調波成分が含まれる帯域を抽出することであり、通過帯域はそれに適した帯域に設定される。ＢＰＦ２０２の通過帯域を４００〜８００Ｈｚにした理由は、この帯域では、一般に、風雑音の影響が少なく、目的音のレベルが大きいためである。また、通過帯域幅を４００Ｈｚとした理由は、ＨＰＦ２０１で抑圧される２００Ｈｚ以下の成分を復元するために、調波成分の周波数間隔が最大で２００Ｈｚの場合にも複数の調波成分が通過できるようにするためである。

低域波形生成部２１０は、ＢＰＦ２０２を通過した調波成分から、低域の調波成分を生成するものである。以下、その詳細を説明する。

低域波形生成部２１０に備えられた非線形処理部２１１は、ＢＰＦ２０２を通過した信号に対して、振幅の絶対値を算出する処理を行う。このような絶対値処理を行うことによって、ＢＰＦ２０２の通過帯域だけでなく、その低域側および高域側にも調波成分が生成される。

低域波形生成部２１０に備えられたＬＰＦ＿Ａ２１２はローパスフィルタであり、非線形処理部２１１で処理された信号を入力として受け、２０〜２００Ｈｚの帯域を通過させる。ＬＰＦ＿Ａ２１２の目的は、復元すべき帯域の信号を抽出することであり、通過帯域はそれに適した帯域に設定される。ＬＰＦ＿Ａ２１２の通過帯域を２００Ｈｚ以下とした理由はＨＰＦ２０１で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。なお、ＬＰＦ＿Ａ２１２の本来の目的は復元すべき低域成分を抽出することがあるが、非線形処理部２１１において発生する直流成分は一般に音声信号には不要な成分であるので、これを取り除くために、通過帯域を２０Ｈｚ以上としている。

以上のようにして、低域波形生成部２１０では、ＢＰＦ２０２を通過した調波成分から、低域の調波成分が生成される。

低域レベル調整部２２０は、低域波形生成部２１０の出力信号と音声信号を入力として受け、音声信号の低域に含まれる目的音のレベルに低域波形生成部２１０の出力信号のレベルを変更して出力するものである。低域レベル調整部２２０の詳細については後述する。

合成部２０３は、ＨＰＦ２０１の出力信号と低域レベル調整部２２０の出力信号とを加算する。但し、ＨＰＦ２０１、ＢＰＦ２０２、低域波形生成部２１０、低域レベル調整部２２０のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、ＨＰＦ２０１の出力信号と低域レベル調整部２２０の出力信号に遅延差がある場合には、加算の前段で、その差を打ち消すような遅延処理を施すものとする。加算された信号は、補正音声信号として出力される。

低域レベル調整部２２０の詳細について説明する。低域レベル調整部２２０は、第１パワー算出部２２１、ＬＰＦ２２２、第２パワー算出部２２３およびレベル変更部２２４を備えている。

ＬＰＦ２２２はローパスフィルタであり、音声信号を入力として受け、２００Ｈｚ以下の帯域を通過させる。ＬＰＦ２２２の目的は復元する帯域の成分を抽出することであり、通過帯域はそれに適した帯域に設定される。ＬＰＦ２２２の通過帯域を２００Ｈｚ以下とした理由は、ＨＰＦ２０１で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。

ここで低域波形生成部２１０の出力信号をＸ１（ｋ）、ＬＰＦ２２２の出力信号をＸ２（ｋ）とする。ｋは時間軸のインデックスである。

第１パワー算出部２２１は、次式（１）に従って、低域波形生成部２１０の出力信号Ｘ１（ｋ）の各時刻におけるパワーＧ１（ｋ）を算出する。

G1(k) ＝A ・｛X1(k) ｝² ＋B ・G1(k-1) …(1)

但し、A ＝0.1 、B ＝0.9 である。

第２パワー算出部２２３は、次式（２）に従って、ＬＰＦ２２２の出力信号Ｘ２（ｋ）の各時刻におけるパワーＧ２（ｋ）を算出する。

G2(k) ＝A ・｛X2(k) ｝² ＋B ・G2(k-1) …(2)

但し、A ＝0.1 、B ＝0.9 である。

なお、各時刻におけるパワーは、その時刻の前後に渡る所定の時間幅において振幅の２乗を平均化して算出されるものである。上記式（１）、（２）は、ローパスフィルタを用いた時間平滑化によって、これを簡易的に算出するものである。

レベル変更部２２４は、次式（３）に従って、低域波形生成部２１０の出力信号Ｘ１（ｋ）のレベルを変更したＸ１’（ｋ）を算出し、これを出力する。

X1'(k)＝X1(k-p) ×｛G2(k-q)/G1(k-r) ｝^1/2 …(3)

なお、ｐ、ｑ、ｒは、レベル変更部２２４の前段で生じる処理遅延を補正するための遅延時間である。すなわち、ＢＰＦ２０２、低域波形生成部２１０、第１パワー算出部２２１、ＬＰＦ２２２、第２パワー算出部２２３のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、Ｇ１（ｋ）とＧ２（ｋ）とＸ１（ｋ）との間に遅延差がある場合には、その差を打ち消すような遅延時間がｐ、ｑ、ｒに設定されて上記式（３）の処理が行われる。

上記に説明した処理によって、低域レベル調整部２２０では、低域波形生成部２１０の出力信号と音声信号を基にして、音声信号の低域に含まれる目的音のレベルに低域波形生成部２１０の出力信号のレベルが変更される。以下、この点について説明する。

ＬＰＦ２２２の出力信号Ｘ２（ｋ）には、低域における目的音と風雑音が含まれているが、風雑音が目的音に比べて小さいときには、そのパワーＧ２（ｋ）を、近似的に、目的音のパワーとみなすことができる。

ここで、パワーがその信号の平均振幅の２乗に相当することを用いると、上記式（３）は、Ｘ１（ｋ）を、Ｘ１（ｋ）自身の平均振幅で除算して正規化し、さらに目的音の平均振幅を乗ずる処理を表している。これはＸ１（ｋ）のレベルを、音声信号の低域に含まれる目的音のレベルに変更する処理に相当する。

以上のようにして、低域レベル調整部２２０では、低域波形生成部２１０の出力信号と音声信号を基にして、音声信号の低域に含まれる目的音のレベルに低域波形生成部２１０の出力信号のレベルが変更される。

以下、図２を参照して、各ブロックにおける周波数スペクトルの状態を説明する。

図２（ａ）は、入力となる音声信号の周波数スペクトルを表している。音声信号には風雑音と目的音が含まれており、風雑音は低域に集中して存在している。また、目的音は調波性を有しており、等間隔の線スペクトルとして存在している。

図２（ｂ）は、ＨＰＦ２０１の出力信号の周波数スペクトルを表している。低域（〜２００Ｈｚ）が抑圧され、風雑音が取り除かれている一方で、目的音に含まれる低次の調波成分も抑圧されている。

図２（ｃ）は、ＢＰＦ２０２の出力信号の周波数スペクトルを表している。４００〜８００Ｈｚの帯域のみが通過しており、目的音に含まれる調波成分が抽出されている。

図２（ｄ）は、非線形処理部２１１の出力信号の周波数スペクトルを表している。ＢＰＦ２０２で抽出された帯域だけでなく、その低域側および高域側にも調波成分が発生している。

図２（ｅ）は、ＬＰＦ＿Ａ２１２の出力信号の周波数スペクトルを表している。非線形処理部２１１で生成された調波成分のうち、低域成分のみが抽出されている。

図２（ｆ）は、ＬＰＦ２２２の出力信号の周波数スペクトルを表している。

図２（ｇ）は、低域レベル調整部２２０の出力信号の周波数スペクトルを表している。音声信号の低域に含まれる目的音のレベルに合わせて、低域波形生成部２１０で生成された低域の調波成分のレベルが変更されている。

図２（ｈ）は、合成部２０３の出力信号（補正音声信号）の周波数スペクトルを表している。ＨＰＦ１０１において低域が除去された信号に、低域波形生成部２１０および低域レベル調整部２２０で生成された低域の調波成分が加わるため、風雑音が除去される一方で、目的音の低域成分が復元される。

本実施例の低域レベル調整部２２０による効果について説明する。低域波形生成部２１０の出力信号は、ＢＰＦ２０２の出力信号に含まれる調波成分を基にして生成された低域の調波成分である。しかしながら、調波性を基にして推定することができるのは調波成分の周波数であるので、低域波形生成部２１０の出力信号のレベルは、本来の目的音の低域成分のレベルと一致しているとは限らない。つまり、高域の調波成分のレベルや周波数と、低域の調波成分のレベルとの間には、明確な因果関係がある訳ではないので、低域成分が高域成分のみを基にして生成される限り、本来のレベルを精度良く復元したものとはならない。

そこで、低域レベル調整部２２０では、低域波形生成部２１０の出力信号のレベルを、音声信号の低域に含まれる目的音のレベルに変更して、本来の目的音のレベルを精度よく復元している。すなわち、低域レベル調整部２２０は、調波性を基にして推定される波形に関する情報と、入力信号自体に含まれる低域の大きさに関する情報を組み合わせることで、低域成分の復元精度を向上させる効果をもたらすものである。

以上のようにして、この低音補正装置２００では、マイクロホンを通して収音された音声信号に含まれる風雑音がハイパスフィルタによって除去される一方で、このときに一緒に低減される目的音の低域成分が音声信号の調波性を用いて復元される。またさらに、この低音補正装置２００では、調波性を基にして生成される低域信号のレベルが合理的に決定されるため、従来の低音補正装置と比べて、さらなる音質の向上が図られる。

図３は、本発明の低音補正装置の実施例２の構成を示している。

この低音補正装置３００は、調波性を基にして生成される低域信号のレベルを合理的に決定することによって、従来の低音補正装置と比べて、さらなる音質の向上を図ったものである。

この低音補正装置３００は、実施例１で説明した図１の低音補正装置２００と比べて、低域レベル調整部２３０のみが異なっている。低域レベル調整部２３０以外の構成と動作については図１の低音補正装置２００と同じであるので、同じものには同じ符号を付けて、その説明を省略する。

低域レベル調整部２３０は、低域波形生成部２１０の出力信号と音声信号を入力として受け、音声信号の低域に含まれる目的音のレベルに低域波形生成部２１０の出力信号のレベルを変更して出力する点で、図１の低音補正装置２００の低域レベル調整部２２０と同じであるが、その構成と動作、および、それによって生じる効果が異なる。以下、この点について詳細に説明する。

低域レベル調整部２３０は、パワー算出部２３１、ＬＰＦ２３２、相関算出部２３３およびレベル変更部２３４を備える。

ＬＰＦ２３２はローパスフィルタであり、音声信号を入力として受け、２００Ｈｚ以上の帯域を通過させる。ＬＰＦ２３２の目的は、復元する帯域の成分を抽出することであり、通過帯域はそれに適した帯域に設定される。ここで通過帯域を２００Ｈｚ以下とした理由はＨＰＦ２０１で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。

低域波形生成部２１０の出力信号をＸ１（ｋ）、ＬＰＦ２３２の出力信号をＸ２（ｋ）とする。ｋは時間軸のインデックスである。

パワー算出部２３１は、次式（４）に従って、低域波形生成部２１０の出力信号Ｘ１（ｋ）の各時刻におけるパワーＧ１（ｋ）を算出する。

G1(k) ＝A ・｛X1(k) ｝² ＋B ・G1(k-1) …(4)

但し、A ＝0.1 、B ＝0.9 である。

相関算出部２３３は、次式（５）に従って、低域波形生成部２１０の出力信号Ｘ１（ｋ）とＬＰＦ２３２の出力信号Ｘ２（ｋ）の各時刻における相互相関Ｇ２（ｋ）を算出する。

G2(k) ＝A ・｛X1(k-u) ・X2(k-v) ｝＋B ・G2(k-1) …(5)

但し、A ＝0.1 、B ＝0.9 である。

なお、各時刻におけるパワーは、その時刻の前後に渡る所定の時間幅において振幅の２乗を平均化して算出されるものであり、各時刻における相互相関は、その時刻の前後に渡る所定の時間幅において２つの入力信号の積を平均化して算出されるものである。上記式（４），（５）は、ローパスフィルタを用いた時間平滑化によって、これを簡易的に算出するものである。

また、ｕ，ｖは相関算出部２３３の前段で生じる処理遅延を補正するための遅延時間である。すなわち、ＢＰＦ２０２、低域波形生成部２１０、ＬＰＦ２３２のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、Ｘ１（ｋ）とＸ２（ｋ）との間に遅延差がある場合には、その差を打ち消すような遅延時間が、ｕ、ｖに設定されて式（５）の処理が行われる。

レベル変更部２３４は、次式（６）に従って、低域波形生成部２１０の出力信号Ｘ１（ｋ）のレベルを変更したＸ１’（ｋ）を算出し、これを出力する。

X1'(k)＝X1(k-p) ×｛G2(k-q)/G1(k-r) ｝ …(6)

なお、ｐ、ｑ、ｒは、レベル変更部２３４の前段で生じる処理遅延を補正するための遅延時間である。すなわち、ＢＰＦ２０２、低域波形生成部２１０、パワー算出部２３１、ＬＰＦ２３２、相関算出部２３３のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、Ｇ１（ｋ）とＧ２（ｋ）とＸ１（ｋ）との間に遅延差がある場合には、その差を打ち消すような遅延時間がｐ、ｑ、ｒに設定されて上記式（６）の処理が行われる。

上記に説明した処理によって、低域レベル調整部２３０では、低域波形生成部２１０の出力信号と音声信号を基にして、音声信号の低域に含まれる目的音のレベルに低域波形生成部２１０の出力信号のレベルが変更される。以下、この点について説明する。

ＬＰＦ２３２の出力信号Ｘ２（ｋ）には、低域における目的音と風雑音が含まれた信号である。一方で、低域波形生成部２１０の出力信号Ｘ１（ｋ）は目的音とはレベルが異なるが、その波形を推定した信号である。

つまり、Ｘ２（ｋ）に含まれる目的音とＸ１（ｋ）との相関は大きく、Ｘ２（ｋ）に含まれる風雑音とＸ１（ｋ）との相関は小さいのでＸ１（ｋ）とＸ２（ｋ）との相互相関Ｇ２（ｋ）は、Ｘ２（ｋ）に含まれる目的音の平均振幅とＸ１（ｋ）の平均振幅を乗じた値となる。以下、このことを式を用いて説明する。Ｘ２（ｋ）に含まれる目的音をＳ（ｋ）、風雑音をＮ（ｋ）、Ａ_T （）を時間平滑化の演算子とすると、相互相関Ｇ２（ｋ）は、次式（７）で表される。

G2(k) ＝ A_T (X1(k)・X2(k))
＝ A_T ｛X1(k) ・(S(k)+N(k)) ｝
＝ A_T (X1(k)・S(k))+ A_T (X1(k)・N(k))
＝ (X1(k) の平均振幅) ×(S(k) の平均振幅) …(7)

上記式（７）から、Ｇ２（ｋ）が、Ｘ２（ｋ）に含まれる目的音の平均振幅とＸ１（ｋ）の平均振幅を乗じた値に相当することが示される。但し、式（７）の３行目の右辺の第１項はＸ１（ｋ）とＳ（ｋ）の相関が大きいので、それぞれの大きさの積、つまり、（Ｘ１（ｋ）の平均振幅）×（Ｓ（ｋ）の平均振幅）とし、第２項はＸ１（ｋ）とＮ（ｋ）の相関が小さいので０としている。

ここで、パワーがその信号の平均振幅の２乗に相当することを用いると、上記式（６）は、Ｘ１（ｋ）を、Ｘ１（ｋ）の平均振幅の２乗で除算して、さらに目的音の平均振幅とＸ１（ｋ）の平均振幅を乗ずる処理、すなわち、Ｘ１（ｋ）を、Ｘ１（ｋ）の平均振幅で除算して正規化し、さらに目的音の平均振幅を乗ずる処理を表している。これはＸ１（ｋ）のレベルを、音声信号の低域に含まれる目的音のレベルに変更する処理に相当する。

以下、このことを式を用いて説明する。Ｘ２（ｋ）に含まれる目的音をＳ（ｋ）とすると、Ｇ２／Ｇ１は次式（８）で表される。

G2/G1 ＝ (X1(k)の平均振幅) ×(S(k) の平均振幅) /(X1(k)の平均振幅) ²
＝ (S(k)の平均振幅) /(X1(k)の平均振幅) …(8)

以上のようにして、低域レベル調整部２３０では、低域波形生成部２１０の出力信号と音声信号を基にして、音声信号の低域に含まれる目的音のレベルに低域波形生成部２１０の出力信号のレベルが変更される。

本実施例の低域レベル調整部２３０による効果について説明する。低域レベル調整部２３０では、調波性に基づいて生成した低域信号（低域波形生成部２１０の出力信号）と収音された低域信号（ＬＰＦ２３２の出力信号）との相関を利用することによって、収音された低域信号に含まれる風雑音の影響を取り除き、収音信号に含まれる目的音のみのレベルを精度良く抽出している。従って、低域レベル調整部２３０は、目的音と比べて風雑音のレベルが高い場合にも、本来の目的音のレベルを精度良く復元する効果をもたらすものである。

以上のようにして、この低音補正装置３００では、マイクロホンを通して収音された音声信号に含まれる風雑音がハイパスフィルタによって除去される一方で、このときに一緒に低減される目的音の低域成分が音声信号の調波性を用いて復元される。またさらに、この低音補正装置３００では、調波性を基にして生成される低域信号のレベルが合理的に決定されるため、従来の低音補正装置と比べて、さらなる音質の向上が図られる。

図４は、本発明の低音補正装置の実施例３の構成を示している。

この低音補正装置４００は、調波性を基にして生成される低域信号のレベルを合理的に決定することによって、従来の低音補正装置と比べて、さらなる音質の向上を図ったものである。また、この低音補正装置４００は、近接して配置された同特性の２つのマイクロホンを通して同時に収音された２つの音声信号が入力される場合に適用されるものである。

この低音補正装置４００は、２つのマイクロホンを通して収音された第１音声信号と第２音声信号を入力として受け、これに含まれる風雑音を低減した補正音声信号を出力するものである。低音補正装置４００は、第１混合部４０１、ＨＰＦ４０２、第２混合部４０３、ＢＰＦ４０４、低域波形生成部４１０、低域レベル調整部４２０および合成部４０５を備えている。低域波形生成部４１０は、非線形処理部４１１およびＬＰＦ＿Ａ４１２を備えている。

第１混合部４０１は、第１音声信号と第２音声信号とを入力として受け、両者の平均値を出力する。ＨＰＦ４０２はハイパスフィルタであり、第１混合部４０１の出力信号を入力として受け、２００Ｈｚ以上の帯域を通過させる。ＨＰＦ４０２の目的は、風雑音が多く含まれる帯域を抑圧することであり、通過帯域はそれに適した帯域に設定される。ここでは、風雑音が一般に２００Ｈｚ以下の帯域に多く含まれるため、ＨＰＦ４０２の通過帯域を２００Ｈｚ以上としている。

第２混合部４０３は、第１音声信号と第２音声信号とを入力として受け、両者の平均値を出力する。ＢＰＦ４０４はバンドパスフィルタであり、第２混合部４０３の出力信号を入力として受け、４００〜８００Ｈｚの帯域を通過させる。ＢＰＦ４０４の目的は、目的音の調波成分が含まれる帯域を抽出することであり、通過帯域はそれに適した帯域に設定される。ＢＰＦ４０４の通過帯域を４００〜８００Ｈｚにした理由は、この帯域では、一般に、風雑音の影響が少なく、目的音のレベルが大きいためである。また、通過帯域幅を４００Ｈｚとした理由は、ＨＰＦ４０２で抑圧される２００Ｈｚ以下の成分を復元するために、調波成分の周波数間隔が最大で２００Ｈｚの場合にも複数の調波成分が通過できるようにするためである。

低域波形生成部４１０は、ＢＰＦ４０４を通過した調波成分から、低域の調波成分を生成するものである。以下、その詳細を説明する。

低域波形生成部４１０に備えられた非線形処理部４１１は、ＢＰＦ４０４を通過した信号に対して、振幅の絶対値を算出する処理を行う。このような絶対値処理を行うことによって、ＢＰＦ４０４の通過帯域だけでなく、その低域側および高域側にも調波成分が生成される。

低域波形生成部４１０に備えられたＬＰＦ＿Ａ４１２はローパスフィルタであり、非線形処理部４１０で処理された信号を入力として受け、２０〜２００Ｈｚの帯域を通過させる。

ＬＰＦ＿Ａ４１２の目的は、復元すべき帯域の信号を抽出することであり、通過帯域はそれに適した帯域に設定される。ＬＰＦ＿Ａ４１２の通過帯域を２００Ｈｚ以下とした理由は、ＨＰＦ４０２で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。なお、ＬＰＦ＿Ａ４１２の本来の目的は復元すべき低域成分を抽出することがあるが、非線形処理部４１１において発生する直流成分は一般に音声信号には不要な成分であるので、これを取り除くために、ＬＰＦ＿Ａ４１２の通過帯域を２０Ｈｚ以上としている。

以上のようにして、低域波形生成部４１０では、ＢＰＦ４０４を通過した調波成分から、低域の調波成分が生成される。

低域レベル調整部４２０は、低域波形生成部４１０の出力信号と第１音声信号と第２音声信号を入力として受け、第１音声信号あるいは第２音声信号の低域に含まれる目的音のレベルに、低域波形生成部４１０の出力信号のレベルを変更して出力するものである。低域レベル調整部４２０の詳細については後述する。

合成部４０５は、ＨＰＦ４０２の出力信号と低域レベル調整部４２０の出力信号を加算する。但し、第１混合部４０１、ＨＰＦ４０２、第２混合部４０３、ＢＰＦ４０４、低域波形生成部４１０、低域レベル調整部４２０のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、ＨＰＦ４０２の出力信号と低域レベル調整部４２０の出力信号に遅延差がある場合には、加算の前段で、その差を打ち消すような遅延処理を施すものとする。加算された信号は、補正音声信号として出力される。

低域レベル調整部４２０の詳細について説明する。低域レベル調整部４２０は、パワー算出部４２１、第１ＬＰＦ４２２、第２ＬＰＦ４２３、相関算出部４２４およびレベル変更部４２５を備えている。

第１ＬＰＦ４２２はローパスフィルタであり、第１音声信号を入力として受け、２００Ｈｚ以下の帯域を通過させる。第１ＬＰＦ４２２の目的は復元する帯域の成分を抽出することであり、通過帯域はそれに適した帯域に設定される。第１ＬＰＦ４２２の通過帯域を２００Ｈｚ以下とした理由は、ＨＰＦ４０２で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。

第２ＬＰＦ４２３はローパスフィルタであり、第２音声信号を入力として受け、２００Ｈｚ以下の帯域を通過させる。第２ＬＰＦ４２３の目的は復元する帯域の成分を抽出することであり、通過帯域はそれに適した帯域に設定される。第２ＬＰＦ４２３の通過帯域を２００Ｈｚ以下とした理由は、ＨＰＦ４０２で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。

低域波形生成部４１０の出力信号をＸ１（ｋ）、第１ＬＰＦ４２２の出力信号をＸ２（ｋ）、第２ＬＰＦ４２３の出力信号をＸ３（ｋ）とする。ｋは時間軸のインデックスである。

パワー算出部４２１は、次式（９）に従って、低域波形生成部４１０の出力信号Ｘ１（ｋ）の各時刻におけるパワーＧ１（ｋ）を算出する。

G1(k) ＝A ・｛X1(k) ｝² ＋B ・G1(k-1) …(9)

但し、A ＝0.1 、B ＝0.9 である。

相関算出部４２４は、次式（１０）に従って、第１ＬＰＦ４２２の出力信号Ｘ２（ｋ）と第２ＬＰＦ４２３の出力信号Ｘ３（ｋ）の各時刻におけるパワーＧ２（ｋ）を算出する。

G2(k) ＝A ・｛X2(k) ・X3(k) ｝＋B ・G2(k-1) …(10)

但し、A ＝0.1 、B ＝0.9 である。

なお、各時刻におけるパワーは、その時刻の前後に渡る所定の時間幅において振幅の２乗を平均化して算出されるものであり、各時刻における相互相関は、その時刻の前後に渡る所定の時間幅において２つの入力信号の積を平均化して算出されるものである。上記式（９），（１０）は、ローパスフィルタを用いた時間平滑化によって、これを簡易的に算出するものである。

レベル変更部４２５は、次式（１１）に従って、低域波形生成部４１０の出力信号Ｘ１（ｋ）のレベルを変更したＸ１’（ｋ）を算出し、これを出力する。

X1'(k)＝X1(k-p) ×｛G2(k-q)/G1(k-r) ｝^1/2 …(11)

なお、ｐ、ｑ、ｒは、レベル変更部４２５の前段で生じる処理遅延を補正するための遅延時間である。すなわち、第２混合部４０３、ＢＰＦ４０４、低域波形生成部４１０、第１ＬＰＦ４２２、第２ＬＰＦ４２３、パワー算出部４２１、相関算出部４２４のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、Ｇ１（ｋ）とＧ２（ｋ）とＸ１（ｋ）との間に遅延差がある場合には、その差を打ち消すような遅延時間がｐ、ｑ、ｒに設定されて上記式（１１）の処理が行われる。

上記に説明した処理によって、低域レベル調整部４２０では、低域波形生成部４１０の出力信号と第１音声信号と第２音声信号を基にして、第１音声信号あるいは第２音声信号の低域に含まれる目的音のレベルに、低域波形生成部４１０の出力信号のレベルが変更される。以下、この点について説明する。

第１ＬＰＦ４２２の出力信号Ｘ２（ｋ）と第２ＬＰＦ４２３の出力信号Ｘ３（ｋ）は、低域における目的音と風雑音が含まれた信号である。ここで、両者が近接配置された２つのマイクロホンによって収音された信号であることを考えると、両者に含まれる目的音はほぼ同じ信号とみなすことができる。一方で、両者に含まれる風雑音は、近接配置された２つのマイクロホンによって収音された場合にも、お互いに異なった、相関の小さい信号となるという性質がある。

また、目的音と風雑音は、異なった音源から発せられるものであるのでお互いの相関は小さい。以上の点から、Ｘ１（ｋ）とＸ２（ｋ）との相互相関Ｇ２（ｋ）は、Ｘ２（ｋ）とＸ３（ｋ）に含まれる目的音のパワーとみなすことができる。以下、このことを式を用いて詳しく説明する。Ｘ２（ｋ）、Ｘ３（ｋ）に含まれる目的音をＳ（ｋ）、Ｘ２（ｋ）に含まれる風雑音をＮ２（ｋ）、Ｘ３（ｋ）に含まれる風雑音をＮ３（ｋ）、Ａ_T （）を時間平滑化の演算子とすると、相互相関Ｇ２（ｋ）は次式（１２）で表される。

G2(k) ＝ A_T (X2(k)・X3(k))
＝ A_T ｛(S(k)+N2(k))・(S(k)+N3(k))｝
＝ A_T (S(k)²)+ A_T (S(k) ・N3(k))+A_T (N2(k)・S(k))+ A_T (N2(k)・N3(k))
＝ (S(k)のパワー) …(12)

上記式（１２）により、Ｇ２（ｋ）が目的音のパワーに相当することが示される。但し、上記式（１２）の３行目の右辺の第２項、第３項、第４項は、それぞれＳ（ｋ）とＮ３（ｋ）の相関、Ｎ２（ｋ）とＳ（ｋ）の相関、Ｎ２（ｋ）、Ｎ３（ｋ）の相関が小さいので、全て０としている。

ここで、パワーがその信号の平均振幅の２乗に相当することを用いると、上記式（１１）は、Ｘ１（ｋ）を、Ｘ１（ｋ）の平均振幅で除算して正規化し、さらに目的音の平均振幅を乗ずる処理を表している。これはＸ１（ｋ）のレベルを、音声信号（第１音声信号及び第２音声信号）の低域に含まれる目的音のレベルに変更する処理に相当する。

以上のようにして、低域レベル調整部４２０では、低域波形生成部４１０の出力信号と音声信号（第１音声信号及び第２音声信号）を基にして、音声信号の低域に含まれる目的音のレベルに、低域波形生成部４１０の出力信号のレベルが変更される。

本実施例の低域レベル調整部４２０による効果について説明する。低域レベル調整部４２０では、２つのマイクロホンが近接配置された場合にも、それぞれの収音信号に含まれる風雑音の相関は小さいという性質を利用して、２つの収音された低域信号（第１ＬＰＦ４２２の出力信号と第２ＬＰＦ４２３の出力信号）の相関を基に、収音された低域信号に含まれる風雑音の影響を取り除き、収音信号に含まれる目的音のみのレベルを精度良く抽出している。従って、低域レベル調整部４２０は、目的音と比べて風雑音のレベルが高い場合にも、本来の目的音のレベルを精度良く復元する効果をもたらすものである。

以上のようにして、この低音補正装置４００では、マイクロホンを通して収音された音声信号に含まれる風雑音がハイパスフィルタによって除去される一方で、このときに一緒に低減される目的音の低域成分が音声信号の調波性を用いて復元される。またさらに、この低音補正装置４００では、調波性を基にして生成される低域信号のレベルが合理的に決定されるため、従来の低音補正装置と比べて、さらなる音質の向上が図られる。

図５は、本発明の低音補正装置の実施例４の構成を示している。

この低音補正装置５００は、調波性を基にして生成される低域信号のレベルを合理的に決定することによって、従来の低音補正装置と比べて、さらなる音質の向上を図ったものである。また、この低音補正装置５００は、近接して配置された同特性の２つのマイクロホンを通して同時に収音された２つの音声信号が入力される場合に適用されるものである。

この低音補正装置５００は、実施例３で説明した図４の低音補正装置４００と比べて、低域レベル調整部４３０のみが異なっている。低域レベル調整部４３０以外の構成と動作については、図４の低音補正装置４００と同じであるので、同じものには同じ符号を付して、その説明を省略する。

低域レベル調整部４３０は、低域波形生成部４１０の出力信号と第１音声信号と第２音声信号を入力として受け、第１音声信号あるいは第２音声信号の低域に含まれる目的音のレベルに、低域波形生成部４１０の出力信号のレベルを変更して出力する点において、図４の低音補正装置４００の低域レベル調整部４２０と同じであるが、その構成と動作、および、それによって生じる効果が異なる。以下、この点について詳細に説明する。

低域レベル調整部４３０は、第１ＬＰＦ４３２、第２ＬＰＦ４３３、加算部４３４、減算部４３５、第１パワー算出部４３１、第２パワー算出部４３６、第３パワー算出部４３７およびレベル変更部４３８を備えている。

第１ＬＰＦ４３２はローパスフィルタであり、第１音声信号を入力として受け、２００Ｈｚ以上の帯域を通過させる。第１ＬＰＦ４３２の目的は、復元する帯域の成分を抽出することであり、通過帯域はそれに適した帯域に設定される。第１ＬＰＦ４３２の通過帯域を２００Ｈｚ以下とした理由は、ＨＰＦ４０２で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。

第２ＬＰＦ４３３はローパスフィルタであり、第２音声信号を入力として受け、２００Ｈｚ以下の帯域を通過させる。第２ＬＰＦ４３３の目的は、復元する帯域の成分を抽出することであり、通過帯域はそれに適した帯域に設定される。第２ＬＰＦ４３３の通過帯域を２００Ｈｚ以下とした理由は、ＨＰＦ４０２で抑圧される帯域が２００Ｈｚ以下であり、この帯域が復元の対象となるためである。

加算部４３４は、第１ＬＰＦ４３２の出力信号と第２ＬＰＦ４３３の出力信号との和を２で割って出力する。減算部４３５は、第１ＬＰＦ４３２の出力信号と第２ＬＰＦ４３３の出力信号との差を２で割って出力する。

低域波形生成部４１０の出力信号をＸ１（ｋ）、加算部４３４の出力信号をＸ２（ｋ）、減算部４３５の出力信号をＸ３（ｋ）とする。ｋは時間軸のインデックスである。

第１パワー算出部４３１は、次式（１３）に従って、低域波形生成部４１０の出力信号Ｘ１（ｋ）の各時刻におけるパワーＧ１（ｋ）を算出する。

G1(k) ＝A ・｛X1(k) ｝² ＋B ・G1(k-1) …(13)

但し、A ＝0.1 、B ＝0.9 である。

第２パワー算出部４３６は、次式（１４）に従って、加算部４３４の出力信号Ｘ２（ｋ）の各時刻におけるパワーＧ２（ｋ）を算出する。

G2(k) ＝A ・｛X2(k) ｝² ＋B ・G2(k-1) …(14)

但し、A ＝0.1 、B ＝0.9 である。

第３パワー算出部４３７は、次式（１５）に従って、減算部４３５の出力信号Ｘ３（ｋ）の各時刻におけるパワーＧ３（ｋ）を算出する。

G3(k) ＝A ・｛X3(k) ｝² ＋B ・G3(k-1) …(15)

但し、A ＝0.1 、B ＝0.9 である。

なお、各時刻におけるパワーは、その時刻の前後に渡る所定の時間軸において振幅の２乗を平均化して算出されるものである。上記式（１３），（１４），（１５）は、ローパスフィルタを用いた時間平滑化によって、これを簡易的に算出するものである。

レベル変更部４３８は、次式（１６）に従って、低域波形生成部４１０の出力信号Ｘ１（ｋ）のレベルを変更したＸ１’（ｋ）を算出し、これを出力する。

X1'(k)＝X1(k-p) ×｛(G2(k-q)-G3(k-r))/G1(k-s) ｝^1/2 …(16)

なお、ｐ、ｑ、ｒ、ｓは、レベル変更部４３８の前段で生じる処理遅延を補正するための遅延時間である。すなわち、第２混合部４０３、ＢＰＦ４０４、低域波形生成部４１０、第１ＬＰＦ４３２、第２ＬＰＦ４３３、加算部４３４、減算部４３５、第１パワー算出部４３１、第２パワー算出部４３６、第３パワー算出部４３７のそれぞれにおいて、所定の処理遅延が生じる可能性があるので、Ｇ１（ｋ）、Ｇ２（ｋ）、Ｇ３（ｋ）、Ｘ１（ｋ）の間に遅延差がある場合には、その差を打ち消すような遅延時間がｐ、ｑ、ｒ、ｓに設定されて上記式（１６）の処理が行われる。

上記に説明したように、低域レベル調整部４３０では、低域波形生成部４１０の出力信号と第１音声信号と第２音声信号を基にして、第１音声信号あるいは第２音声信号の低域に含まれる目的音のレベルに、低域波形生成部４１０の出力信号のレベルが変更される。以下、この点について説明する。

第１ＬＰＦ４３２の出力信号と第２ＬＰＦ４３３の出力信号は、低域における目的音と風雑音が含まれた信号である。ここで、両者が近接配置された２つのマイクロホンによって収音された信号であることを考えると、両者に含まれる目的音はほぼ同じ信号とみなすことができる。一方で、両者に含まれる風雑音は、近接配置されたマイクロホンによって収音された場合にも、レベルはほぼ同じであるが、波形としてはお互いに異なった相関の小さい信号となるという性質がある。また、目的音と風雑音は、異なった音源から発せられるものであるので、お互いの相関は小さい。

以上の点から、両者を加算して２で割った加算部４３４の出力信号Ｘ２（ｋ）のパワー、すなわち、第２パワー算出部４３６の出力信号であるＧ２（ｋ）は、目的音のパワーと風雑音のパワーの１／２倍とを加算したものとみなすことができる。以下、このことを式を用いて詳しく説明する。

第１ＬＰＦ４３２の出力信号と第２ＬＰＦ４３３の出力信号に含まれる目的音をＳ（ｋ）、第１ＬＰＦ４３２の出力信号に含まれる風雑音をＮ１（ｋ）、第２ＬＰＦ４３３の出力信号に含まれる風雑音をＮ２（ｋ）、Ａ_T （）を時間平滑化の演算子とすると、加算部４３４の出力信号Ｘ２（ｋ）の各時刻におけるパワーＧ２（ｋ）は、次式（１７）で表される。

G2(k) ＝ A_T (X2(k)²)
＝ A_T 〔[ ｛ (S(k)+N1(k))+(S(k)+N2(k)) ｝/2 ]² 〕
＝ A_T ｛(S(k) + N1(k)/2 + N2(k)/2)² ｝
＝ A_T ｛(S(k))² ｝
+ A_T ｛(N1(k)/2)²｝+A_T ｛(N2(k)/2)²｝
+ 2 A_T (S(k) ・N1(k)/2)
+ 2 A_T (S(k) ・N2(k)/2)
+ 2 A_T (N1(k)/2・N2(k)/2)
＝ A_T ｛(S(k))² ｝
+ A_T ｛(N1(k))²｝/4 + A_T ｛ (N2(k))² ｝/4
＝ (S(k)のパワー) + ( 風雑音のパワー) ／２ …(17)

上記式（１７）より、Ｇ２（ｋ）が、目的音のパワーと風雑音のパワーの１／２倍とを加算したものに相当することが示される。但し、上記式（１７）の４〜８行目の右辺の第４項、第５項、第６項は、それぞれ、Ｓ（ｋ）とＮ１（ｋ）との相関、Ｓ（ｋ）とＮ２（ｋ）との相関、Ｎ１（ｋ）とＮ２（ｋ）との相関が小さいので０としている。また、Ｎ１（ｋ）のパワーとＮ２（ｋ）のパワーはほぼ等しいので、これらを風雑音のパワーとしている。

同様にして、両者を減算して２で割った減算部４３５の出力信号Ｘ３（ｋ）のパワー、すなわち、第３パワー算出部４３７の出力信号であるＧ３（ｋ）は、風雑音のパワーの１／２倍とみなすことができる。以下、このことを式を用いて詳しく説明する。

第１ＬＰＦ４３２の出力信号と第２ＬＰＦ４３３の出力信号に含まれる目的音をＳ（ｋ）、第１ＬＰＦ４３２の出力信号に含まれる風雑音をＮ１（ｋ）、第２ＬＰＦ４３３の出力信号に含まれる風雑音をＮ２（ｋ）、Ａ_T （）を時間平滑化の演算子とすると、減算部４３５の出力信号Ｘ３（ｋ）の各時刻におけるパワーＧ３（ｋ）は、次式（１８）で表される。

G3(k) ＝ A_T (X3(k)²)
＝ A_T 〔[ ｛(S(k)+N1(k))-(S(k)+N2(k)) ｝/2 ]² 〕
＝ A_T ｛(N1(k)/2 - N2(k)/2)²｝
＝ A_T ｛(N1(k)/2)²｝+A_T ｛(N2(k)/2)²｝-2 A_T (N1(k)/2・N2(k)/2)
＝ ( 風雑音のパワー) ／２ …(18)

上記式（１８）より、Ｇ３（ｋ）が風雑音のパワーの１／２倍に相当することが示される。但し、上記式（１８）の４行目の右辺の第３項は、Ｎ１（ｋ）、Ｎ２（ｋ）の相関が小さいので、０としている。また、Ｎ１（ｋ）のパワーとＮ２（ｋ）のパワーはほぼ等しいので、これらを風雑音のパワーとしている。

従って、Ｇ２（ｋ）からＧ３（ｋ）を減じたものは、目的音のパワーに相当するので、パワーがその信号の平均振幅の２乗に相当することを用いると、上記式（１６）は、Ｘ１（ｋ）を、Ｘ１（ｋ）の平均振幅で除算して正規化し、さらに目的音の平均振幅を乗ずる処理を表している。これはＸ１（ｋ）のレベルを、音声信号（第１音声信号および第２音声信号）の低域に含まれる目的音のレベルに変更する処理に相当する。

以上のようにして、低域レベル調整部４３０では、低域波形生成部４１０の出力信号と音声信号（第１音声信号および第２音声信号）を基にして、音声信号の低域に含まれる目的音のレベルに、低域波形生成部４１０の出力信号のレベルが変更される。

本実施例の低域レベル調整部４３０による効果について説明する。低域レベル調整部４３０では、２つのマイクロホンが近接配置された場合に、収音信号の差分には目的音が打ち消されて風雑音のみが残るという性質を利用して、２つの収音された低域信号（第１ＬＰＦ４３２の出力信号と第２ＬＰＦ４３３の出力信号）の差信号を基に、収音された低域信号に含まれる風雑音の影響を取り除き、収音信号に含まれる目的音のみのレベルを精度良く抽出している。従って、低域レベル調整部４３０は、目的音と比べて風雑音のレベルが高い場合にも、本来の目的音のレベルを精度良く復元する効果をもたらすものである。

以上のようにして、この低音補正装置５００では、マイクロホンを通して収音された音声信号に含まれる風雑音がハイパスフィルタによって除去される一方で、このときに一緒に低減される目的音の低域成分が音声信号の調波性を用いて復元される。またさらに、この低音補正装置５００では、調波性を基にして生成される低域信号のレベルが合理的に決定されるため、従来の低音補正装置と比べて、さらなる音質の向上が図られる。

なお、図１、図３、図４、図５に示されている実施例１〜実施例４の低音補正装置の各部は、ハードウエアで実現してもよいし、ソフトウエアで実現してもよい。

なお、上記実施例１の式（１）、式（２）、上記実施例２の式（４）、上記実施例３の式（９）、上記実施例４の式（１３）、（１４）、（１５）は、それぞれの入力信号に対して各時刻におけるパワーを算出することを目的とした式であるが、本発明はこれに限定されることなく、同様に各時刻におけるパワーを算出できる式であれば、他の算出式を用いる構成としても良い。一般に、各時刻の前後に渡る所定の時間幅において振幅の２乗を平均化するものであれば、同様に各時刻のパワーを算出することができる。

また、上記実施例２の式（５）、上記実施例３の式（１０）は、それぞれの入力信号に対して各時刻における相互相関を算出することを目的とした式であるが、本発明はこれに限定されることなく、同様に各時刻における相互相関を算出できる式であれば、他の算出式を用いる構成としても良い。一般に、各時刻の前後に渡る所定の時間幅において２つの入力信号の積を平均化するものであれば、同様に各時刻の相互相関を算出することができる。

また、上記実施例３および上記実施例４では、混合部４０１、４０３で２つの入力信号の加算平均を算出し、この信号を用いて処理を行う構成を説明したが、本発明ではこれに限定されることなく、２つの入力信号のいずれか一方の信号、あるいは、両者を異なる比率で混合した信号を用いて処理を行ってもよい。なお、上記実施例３および上記実施例４の混合部４０１、４０３で２つの入力信号の加算平均を行った理由は、加算によって、チャンネル間の相関が小さい風雑音が低減される効果が得られるためである。また、入力信号のいずれか一方を用いる構成では、混合部４０１、４０３が不要になるので、より簡易なシステム構成で処理ができるという効果がある。

また、上記実施例４では、加算部４３４で２つの入力信号の加算平均を算出し、この信号を用いて処理を行う構成を説明したが、本発明はこれに限定されることなく、２つの入力信号のいずれか一方の信号、あるいは、両者を異なる比率で混合した信号を用いて処理を行ってもよい。なお、上記実施例４の加算部４３４で２つの入力信号の加算平均を行った理由は、加算によって、チャンネル間の相関が小さい風雑音が低減される効果が得られるためである。また、入力信号のいずれか一方を用いる構成では、加算部が不要になるので、より簡易なシステム構成で処理ができるという効果がある。

また、上記実施例１〜４では低域波形生成部２１０、４１０において、入力信号の振幅に絶対値処理を施して低域の調波成分を生成する方法を用いたが、本発明は、低域波形生成部２１０、４１０で生成された低域の調波成分のレベルを合理的に決定する点に特徴があるので、低域波形生成部２１０、４１０で低域の調波成分を生成する方法に依存するものではなく、高域の調波成分から低域の調波成分を生成する方法であれば、他の方法を用いても良い。

高域の調波成分から低域の調波成分を生成する方法としては、様々なものが可能であり、例えば、半波整流、２乗処理、クリッピングなどの非線形処理を振幅に施しても、同様に調波成分が発生することが知られており、非線形処理部２１１、４１１において、絶対値処理の代わりに、これらの処理を用いる構成としても良い。

また、非線形処理部２１１、４１１の前段に線形予測分析を行って、線形予測残差信号に対して非線形処理を行う方法も知られているが、これも高域の調波成分から低域の調波成分を生成する一手法であるので、この処理を用いる構成としても良い。

また、自己相関などを用いて基本波成分の周波数を推定し、その周波数を基に調波成分を生成する方法も知られているが、これも高域の調波成分から低域の調波成分を生成する一手法であるので、この処理を用いる構成としても良い。

本発明の低音補正装置の実施例１の構成を示すブロック図である。 図１の各ブロックにおける周波数スペクトルの状態を説明する模式図である。 本発明の低音補正装置の実施例２の構成を示すブロック図である。 本発明の低音補正装置の実施例３の構成を示すブロック図である。 本発明の低音補正装置の実施例４の構成を示すブロック図である。 低音補正装置の従来例の構成を示すブロック図である。 図６の各ブロックにおける周波数スペクトルの状態を説明する模式図である。

符号の説明

２００、３００、４００、５００ 低音補正装置
２０１、４０２ ＨＰＦ
２０２、４０４ ＢＰＦ
２１０、４１０ 低域波形生成部
２２０、２３０、４２０、４３０ 低域レベル調整部
２２１、２２３、２３１、４２１、４３１、４３６、４３７ パワー算出部
２３３、４２４ 相関算出部
２２４、２３４、４２５、４３８ レベル変更部

Claims (7)

1. マイクロホンで収音した音声信号を入力として受けて風雑音を抑圧して出力する低音補正装置において、
   入力音声信号の高域成分を抽出する第１フィルタ手段、
   入力音声信号の高域の一部の帯域成分を抽出する第２フィルタ手段、
   第２フィルタ手段で抽出された信号に含まれる調波成分に基づいて、低次の調波成分から成る低域信号を生成する低域波形生成手段、
   入力音声信号の低域成分を用いて、そこに含まれる目的音のレベルに合わせるように、低域波形生成手段で生成された低域信号のレベルを変化させる低域レベル調整手段、および
   低域レベル調整手段でレベルを変化させられた低域信号と第１フィルタ手段で抽出された信号とを合成して出力する合成手段、
   を備えていることを特徴とする低音補正装置。
2. 低域レベル調整手段は、
   入力音声信号の低域成分を抽出する第３フィルタ手段、
   低域波形生成手段で生成された低域信号のパワーを算出する第１パワー算出手段、
   第３フィルタ手段で抽出された信号のパワーを算出する第２パワー算出手段、ならびに 第１パワー算出手段によって算出されたパワーおよび第２パワー算出手段によって算出されたパワーに基づいて、低域波形生成手段で生成された低域信号のレベルを変化させるレベル変更手段、
   を備えていることを特徴とする請求項１に記載の低音補正装置。
3. 低域レベル調整手段は、
   入力音声信号の低域成分を抽出する第３フィルタ手段、
   低域波形生成手段で生成された低域信号のパワーを算出するパワー算出手段、
   低域波形生成手段で生成された低域信号と第３フィルタ手段で抽出された信号との相互相関を算出する相関算出手段、ならびに
   パワー算出手段によって算出されたパワーおよび相関算出手段によって算出された相互相関に基づいて、低域波形生成手段で生成された低域信号のレベルを変化させるレベル変更手段、
   を備えていることを特徴とする請求項１に記載の低音補正装置。
4. 第１マイクロホンで収音した第１音声信号と、第２マイクロホンで収音した第２音声信号とを入力として受けて、風雑音を抑圧して出力する低音補正装置において、
   第１音声信号と第２音声信号の混合信号、あるいは、いずれか一方の信号の高域成分を抽出する第１フィルタ手段、
   第１音声信号と第２音声信号の混合信号、あるいは、いずれか一方の信号の高域の一部の帯域成分を抽出する第２フィルタ手段、
   第２フィルタ手段で抽出された信号に含まれる調波成分に基づいて、低次の調波成分から成る低域信号を生成する低域波形成生成手段、
   第１音声信号の低域成分と第２音声信号の低域成分を用いて、そこに含まれる目的音のレベルに合わせるように、低域波形生成手段で生成された低域信号のレベルを変化させる低域レベル調整手段、および
   低域レベル調整手段でレベルを変化させられた低域信号と、第１フィルタ手段で抽出された信号とを合成して出力する合成手段、
   を備えていることを特徴とする低音補正装置。
5. 低域レベル調整手段は、
   低域波形生成手段で生成された低域信号のパワーを算出するパワー算出手段、
   第１音声信号の低域成分を抽出する第３フィルタ手段、
   第２音声信号の低域成分を抽出する第４フィルタ手段、
   第３フィルタ手段で抽出された信号と第４フィルタ手段で抽出された信号の相互相関を算出する相関算出手段、ならびに
   パワー算出手段によって算出されたパワーおよび相関算出手段によって算出された相互相関に基づいて、低域波形生成手段で生成された低域信号のレベルを変化させるレベル変更手段、
   を備えていることを特徴とする請求項４に記載の低音補正装置。
6. 低域レベル調整手段は、
   第１音声信号の低域成分を抽出する第３フィルタ手段、
   第２音声信号の低域成分を抽出する第４フィルタ手段、
   低域波形生成手段で生成された低域信号のパワーを算出する第１パワー算出手段、
   第３フィルタ手段で抽出された信号と第４フィルタ手段で抽出された信号との混合信号、あるいは、いずれか一方の信号のパワーを算出する第２パワー算出手段、
   第３フィルタ手段で抽出された信号と第４フィルタ手段で抽出された信号の差信号のパワーを算出する第３パワー算出手段、ならびに
   第１パワー算出手段によって算出されたパワー、第２パワー算出手段によって算出されたパワーおよび第３パワー算出手段によって算出されたパワーに基づいて、低域波形生成手段で生成された低域信号のレベルを変化させるレベル変更手段、
   を備えていることを特徴とする請求項４に記載の低音補正装置。
7. 請求項１乃至請求項６に記載の低音補正装置を備えていることを特徴とする録音装置。

Images