JP2010245657A - 信号処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】より一段と原音に忠実な音声を記録したり再生できるようにする。
【解決手段】信号処理装置には、図２のＡに示される音声信号Ma，Mbが入力される。信号処理装置は、音声信号Ma，Mbにクリップ部分が含まれているか否かを検出する。図２のＡの例では、音声信号Mbの区分信号m1bがクリップ部分として検出される。そこで、信号処理装置は、音声信号Mbのうち、区分信号m1bの区間を、クリップ部分がない音声信号Maの区分信号m1aの波形に置き換える。即ち、区分信号m1bの区間が、図２のＢに示される区間m2bの波形のように補間されることになる。換言すると、区間m2bの波形が補間波形となる。本発明は、例えば、音声記録装置や音声再生装置に適用できる。
【選択図】図２

Description

本発明は、信号処理装置及び方法、並びにプログラムに関し、特に、より一段と原音に忠実な音声を記録したり再生できるようになった信号処理装置及び方法、並びにプログラムに関する。

従来、マイクから入力された環境音を記録する音声記録装置が存在する。音声記録装置において、入力音声信号の波形が回路のダイナミックレンジに達することで歪んだ場合、その歪んだ部分（以下、クリップ部分と称する）の波形を補間する手法（以下、波形補間手法と称する）が存在する。

特許文献１乃至３には、クリップ部分が検出されたら、クリップ部分を切り取って、演算で新たに作り出した波形に置換する、といった波形補間手法が開示されている。

特許第３７３１５６号公報 特開昭６０−２０２５７６号公報 特開昭５３−３０２５７号公報

しかしながら、特許文献１乃至３を含む従来の波形補間手法では、元の波形を考慮せずに、置換対象の波形を演算で新たに作り出すため、このような波形と元の波形とが合致する確率は低くなる。その結果、波形補間が行われた後の音声は、原音とは違う音声になってしまう可能性が高かった。

本発明は、このような状況に鑑みてなされたものであり、より一段と原音に忠実な音声を記録したり再生できるようにするものである。

本発明の一側面の信号処理装置は、Ｎ個（Ｎは２以上の整数値）のマイクロフォンからそれぞれ出力されたＮ個の音声信号について、回路のダイナミックレンジにより波形が歪んだ部分であるクリップ部分の有無をそれぞれ検出するクリップ検出手段と、前記Ｎ個の音声信号のうち、前記クリップ検出手段によりクリップ部分が検出された音声信号を補間対象とし、それ以外の音声信号を非補間対象とし、前記非補間対象のうち少なくとも１つの音声信号の波形を用いて、前記補間対象のクリップ部分の波形を補間する補間手段とを備える。

前記補間手段は、補間に用いる前記非補間対象と前記補間対象の位相をあわせて、補間に用いる前記非補間対象のうち、前記補間対象のクリップ部分に対応する区間の波形を用いて、前記補間対象のクリップ部分を補間する。

前記Ｎ個のマイクロフォンから出力された前記Ｎ個の音声信号を、所定のゲインで増幅又は減衰する増減手段をさらに備え、前記Ｎ個の音声信号に対するゲインの少なくともひとつは、他のゲインとは異なる値が設定されている。

Ｎは３以上の整数値であり、前記補間手段は、複数の前記非補間対象の波形を用いて、前記補間対象のクリップ部分の波形を補間する。

本発明の一側面の情報処理方法およびプログラムは、本発明の一側面の信号処理装置に対応する方法およびプログラムである。

本発明の一側面においては、Ｎ個（Ｎは２以上の整数値）のマイクロフォンからそれぞれ出力されたＮ個の音声信号について、回路のダイナミックレンジにより波形が歪んだクリップ部分の有無がそれぞれ検出され、前記Ｎ個の音声信号のうち、クリップ部分が検出された音声信号が補間対象とされ、それ以外の音声信号が非補間対象とされ、前記非補間対象のうち少なくとも１つの音声信号の波形を用いて、前記補間対象のクリップ部分の波形が補間される。

本発明によれば、より一段と原音に忠実な音声を記録したり再生できる。

本発明が適用される信号処理装置の第１実施形態の構成例を示すブロック図である。 図１の例の信号処理装置の波形補間処理の処理結果を示す図である。 図１の例の信号処理装置の波形補間処理の手順を説明する図である。 本発明が適用される信号処理装置の第２実施形態として、アンプ挿入手法が適用された信号処理装置の構成例を示すブロック図である。 本発明が適用される信号処理装置の第３実施形態として、入力経路が３経路である場合の信号処理装置の構成例を示すブロック図である。 図５の例の信号処理装置の波形補間処理の処理結果を示す図である。 図５の例の信号処理装置が実行する波形補間処理の一例を説明するフローチャートである。 図５のクリップ補間処理の第１の例を説明するフローチャートである。 図６の例に対する、クリップ補間処理の第１の例を説明する模式図である。 図５のクリップ補間処理の第２の例を説明するフローチャートである。 図６の例に対する、クリップ補間処理の第２の例を説明する模式図である。 図５のクリップ補間処理の第３の例を説明するフローチャートである。 図６の例に対する、クリップ補間処理の第３の例を説明する模式図である。 本発明が適用される信号処理装置の第４実施形態として、入力経路が２経路である場合の信号処理装置の構成例を示すブロック図である。 本発明が適用される信号処理装置の第５実施形態として、入力経路がＮ経路（Ｎは２以上の整数値）である場合の信号処理装置の構成例を示すブロック図である。 本発明が適用されるプログラムを実行するコンピュータのハードウエアの構成例を示すブロック図である。

以下、図面を参照して、本発明が適用される信号処理装置の実施形態として、５つの実施の形態（以下、それぞれ第１乃至第５実施形態と称する）について説明する。よって、説明は以下の順序で行う。
１．第１実施形態（２入力の場合の第１の例）
２．第２実施形態（２入力の場合の第２の例）
３．第３実施形態（３入力の場合の例）
４．第４実施形態（２入力の場合の第３の例）
５．第５実施携帯（多入力の場合の例）

＜１．第１実施形態＞

［第１実施形態の構成例］

図１は、本発明が適用される信号処理装置の第１実施形態の構成例を示すブロック図である。

図１の例の信号処理装置は、例えば近接して配置される２つのマイクロフォンから入力される音声信号Ma，Mbに対して、クリップ部分の波形を補間する処理（以下、波形補間処理と称する）を実行する。このため、図１の例の信号処理装置には、２つのクリップ検出部１１−１，１１−２、データ置き換え部１２、補間部１３、および位相差情報保持部１４が設けられている。

なお、図１の例の信号処理装置の各構成要素の機能等の詳細は、次の波形補間処理の説明の中であわせて説明する。

［第１実施形態の波形補間処理例］

次に、図２および図３を適宜参照して、図１の例の信号処理装置の波形補間処理の一例について説明する。

図２は、図１の例の信号処理装置の波形補間処理の処理結果を示す図である。

図３は、図１の例の信号処理装置の波形補間処理の手順を説明する図である。

ここでは、図２のＡに示される音声信号Maがクリップ検出部１１−１に入力され、図２のＡに示される音声信号Mbがクリップ検出部１１−２に入力されるとする。この場合、図２のＢに示される音声信号Ma，Mbが、図１の例の信号処理装置から出力されるまでの一連の処理が、以下に説明する波形補間処理である。

即ち、クリップ検出部１１−１は、音声信号Maにクリップ部分が含まれているか否かを検出する。

この場合、クリップ部分の検出の単位は特に限定されないが、本実施の形態では区分信号を単位としてクリップ部分が検出されるとする。区分信号とは、入力信号がゼロクロスで区分された場合における、２つのゼロクロスの間の信号をいう。ゼロクロスとは、入力信号の信号レベルが基準レベル（以下、バイアスと称する）を跨ぐこと、または、入力信号の波形のうち、信号レベルがバイアスを跨ぐ点の位置をいう。

即ち、クリップ検出部１１−１は、音声信号Maのゼロクロスを検出し、そのゼロクロスで音声信号Maを区分する。その結果、複数の区分信号が得られることになる。例えば、図２のＡの例では、区分信号m1a等が得られている。

また、クリップの検出手法自体も、区分信号のうち、回路のダイナミックレンジ（図２や図３の例ではＤレンジと記載）を超えている区間を検出できる手法であれば特に限定されない。例えば、音声信号Ma，Mbが4bitのデジタル信号として構成される場合には、区分信号の中に「1111」もしくは「0000」が連続する区間があった場合には、クリップ部分が含まれていると検出する、といった手法を採用することができる。

クリップ検出部１１−１は、区分信号単位で、クリップ部分が存在するか否かを示す情報（以下、検出情報と称する）を補間部１３に供給する。図２のＡの例では、音声信号Maにはクリップ部分が存在しないので、クリップ検出部１１−１からの区分信号毎の各検出情報は何れも、クリップ部分が存在しないことを示す情報となっている。

同様に、クリップ検出部１１−２は、音声信号Mbにクリップ部分が含まれているか否かを、区分信号を単位として検出し、その検出情報を補間部１３に供給する。

図２のＢの例では、音声信号Mbのうち、区分信号m1bにクリップ部分が存在する。このため、区分信号m1bの検出情報は、クリップ部分が存在することを示す情報となっている。なお、その他の区分信号の検出情報は何れも、クリップ部分が存在しないことを示す情報となっている。

補間部１３は、クリップ検出部１１−１，１１−２からの各検出情報に基づいて、クリップ部分を含む区分信号を、置き換えられる対象の区分信号（以下、被置換対象区分信号と称する）として特定する。また、補間部１３は、クリップ検出部１１−１，１１−２からの各検出情報と、位相差情報保持部１４に保持されている位相差情報とに基づいて、被置換対象区分信号の波形と置き換える区分信号（以下、置換対象区分信号と称する）を特定する。

例えば、音声信号Ma，Mbは、近接する２つのマイクロフォンからそれぞれ集音された音声に対応する音声信号である。よって、音声信号Ma，Mbとは、ほぼ同様の波形となっているものの、２つのマイクロフォンの位置関係に応じた位相差を持っている。即ち、より正確には、図１の例の信号処理装置に入力される音声信号Ma，Mbの波形は、図２のＡの波形ではなく、図３のＡに示される位相差φを持った波形となる。

この位相差φを示す情報が、位相差情報として、位相差情報保持部１４に保持されている。例えば、位相差φ＝20nsならば、20nsの値が、位相差情報として位相差情報保持部１４に保持されている。

この場合、補間部１３は、図３のＡの区分信号m1bを、被置換対象区分信号として特定する。なお、この特定においては、クリップ検出部１１−２からの検出情報が用いられることになる。

また、図３のＡ，Ｂに示されるように、補間部１３は、音声信号Maのうち、被置換対象区分信号m1bから位相差φ＝20nsずれた区分信号m1aを置換対象区分信号として特定する。なお、この特定においては、クリップ検出部１１−１からの検出情報と、位相差情報保持部１４に保持されている位相差情報とが用いられることになる。

被置換対象区分信号（図３の例では、区分信号m1b）と置換対象区分信号（図３の例では、区分信号m1a）とが特定されたことは、補間部１３からデータ置き換え部１２に通知される。そこで、データ置き換え部１２は、音声信号Ma，Mbの中から、置換対象区分信号の波形を抽出し、被置換対象区分信号の波形と置き換える。図３の例では、図３のＣに示されるように、音声信号Mbのうち、被置換対象区分信号m1bの区間が、置換対象区分信号m1aの波形に置き換えられる。即ち、被置換対象区分信号m1bの区間が、区間m2bの波形のように補間されることになる。換言すると、区間m2bの波形が補間波形となる。

波形補間処理として以上のような一連の処理が実行されると、図２のＢに示される音声信号Ma，Mbが、図１の例の信号処理装置から出力されることになる。

なお、補間の際、図３の例のように置換対象区分信号（図３の例では、区分信号m1a）をそのまま置き換えてもよいが、その振幅をダイナミックレンジまで増幅または減衰させてから置き換えるようにしてもよい。

また、処理の単位、即ち、波形の置き換えの単位は、上述した例では区分信号とされた。しかしながら、音声信号Ma，Mbとの間で対応する区間は、位相差情報に基づいて容易に特定できるので、任意の区間を、波形の置き換えの単位とすることができる。この場合、音声信号Ma，Mbのうち、一方の音声信号内のクリップしている区間を被置換対象区間とすれば、他方の音声信号のうち、被置換対象区間から位相差分だけずれた区間を置換対象区間とすることが容易にできる。その結果、波形の置き換えの単位によらず、被置換対象区間の波形を、置換対象区間の波形に容易に置き換えることができる。

このように、本発明が適用される補間処理では、入力信号の元波形（置換対象区分信号の波形）を使って補間することができる。その結果、波形補間が行われた後の音は、従来と比較して、原音により忠実な音となる。

なお、音声信号Ma，Mbの位相差を揃えた場合に対応する両方の区分信号がクリップ部分を含む場合（以下、両方ともクリップしていた場合と表現する）が想定される。このような場合には、例えば、両方のクリップ部分のそれぞれの波形を、所定の補間演算手法に従って補間するという手法を採用できる。

補間演算手法自体は、特に限定されず、例えば、スプライン補間の手法、ラグランジェ関数を用いる手法、測定点を通る円弧を求める手法を採用することができる。また、補間用の波形をあらかじめ別メモリに持っておいてクリップ区間や圧縮量にあわせて変形させて当てはめる手法や、単純に直線でつなげる手法を採用することができる。

また、両方ともクリップしていた場合、あえてクリップしたまま何もしないという手法を採用することもできる。

＜２．第２実施形態＞

さらにまた、両方ともクリップした場合、次のような手法を採用することもできる。即ち、クリップした信号波形には手を加えないが、振幅の大きな信号が入ってくる環境下にあると判断して、クリップ検出部の前にアッテネータ（以下、単にアンプと称する）を入れておいて全経路の振幅を下げる、という手法を採用することもできる。以下、かかる手法をアンプ挿入手法と称する。

［第２実施形態の構成例］

図４は、本発明が適用される信号処理装置の第２実施形態として、アンプ挿入手法が適用された信号処理装置の構成例を示すブロック図である。

図４において、図１と対応する箇所には対応する符号を付しており、それらの説明は適宜省略する。

図４の例の信号処理装置には、図１の例の構成に対してさらに、クリップ検出部１１−１の前段にアンプ２１−１が設けられ、クリップ検出部１１−２の前段にアンプ２１−２が設けられている。

［第２実施形態の波形補間処理例］

図４の例の信号処理装置の波形補間処理のうち、両方ともクリップしていない場合の処理は、図１の例の信号処理装置の波形補間処理と基本的に同様である。なお、この場合には、アンプ２１−１,２１−２のゲイン（減衰量）は一定とされている。

これに対して、両方ともクリップした場合、そのことを示す情報が、クリップ検出部１１−１からアンプ２１−１に対して、クリップ検出部１１−２からアンプ２１−２に対して、それぞれ通知される。すると、アンプ２１−１，２１−２は、その減衰量を増やす（ゲインを下げる）。これにより、次に大きな振幅が入力されたときにクリップする可能性が下がる。

なお、両方ともクリップしてアンプ２１−１，２１−２の減衰量が増やされた場合、その後の減衰量（ゲイン）の維持の手法は特に限定されない。例えば、設定時間を過ぎたら元の減衰量に戻すという手法、モードが切り替わるまで現状の減衰量を保持するという手法、 入力信号の振幅にあわせて解除する（減衰量を戻す）という手法等様々な手法を採用し得る。

＜３．第３実施形態＞

以上の第１実施形態と第２実施形態では、入力経路は２経路とされていた。しかしながら、入力経路は、２経路に特に限定されない。入力経路が３経路以上の場合であっても、信号処理装置のクリップ検出部の個数を入力経路分だけ増やすだけで、容易に本発明を適用できる。この場合、入力経路の音声信号の全ての対応する区間でクリップしているときには、信号処理装置は、第１実施形態や第２実施形態と同様の処理を実行すればよい。また、クリップしていない音声信号が複数ある場合、信号処理装置は、例えば、クリップしていない波形の平均値や加重平均値などを用いて、補間波形を作成すればよい。また例えば、補間元の信号経路を一意に指定して、指定した信号経路に入力される音声信号を用いて、補間波形を作成することもできる。

［第３実施形態の構成例］

図５は、本発明が適用される信号処理装置の第３実施形態として、入力経路が３経路である場合の信号処理装置の構成例を示すブロック図である。

図５において、図１と対応する箇所には対応する符号を付しており、それらの説明は適宜省略する。

図５の例の信号処理装置には、入力経路が２経路である場合の図１の例の構成に対してさらに、もう１つの入力経路用に、クリップ検出部１１−３が設けられている。

［第３実施形態の波形補間処理例］

次に、図６乃至図１３を適宜参照して、図５の例の信号処理装置の波形補間処理の一例について説明する。

図６は、図５の例の信号処理装置の波形補間処理の処理結果を示す図である。

ここでは、図６のＡに示される音声信号Maがクリップ検出部１１−１に、図６のＡに示される音声信号Mbがクリップ検出部１１−２に、図６のＡに示される音声信号Mcがクリップ検出部１１−３に、それぞれ入力されるとする。この場合、図６のＢに示される音声信号Ma，Mb，Mcが、図５の例の信号処理装置から出力されるまでの一連の処理が、以下に説明する波形補間処理である。

図７は、図５の例の信号処理装置が実行する波形補間処理の一例を説明するフローチャートである。

ステップＳ１において、３経路のクリップ検出部１１−１乃至１１−３のそれぞれは、音声信号Ma乃至Mcのそれぞれからクリップの検出を試みる。それらの検出結果は、検出情報として補間部１３に供給される。

なお、クリップの検出の単位は、入力経路の数によらず特に限定されないが、第３実施の形態でも、第１実施形態と同様に、区分信号を単位としてクリップ部分が検出されるとする。また、クリップの検出手法自体も、第１実施形態の説明として上述したように特に限定されない。

ステップＳ２において、補間部１３は、クリップが検出されたか否かを判定する。

３経路のクリップ検出部１１−１乃至１１−３の全てがクリップを検出しない場合には、ステップＳ２においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、３経路のクリップ検出部１１−１乃至１１−３のうちの少なくとも１つがクリップを検出するまでの間、ステップＳ１，Ｓ２ＮＯのループ処理が繰り返される。

その後、３経路のクリップ検出部１１−１乃至１１−３のうちの少なくとも１つがクリップを検出した場合、すなわち、そのような検出情報が供給された場合、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。

ステップＳ３において、補間部１３は、全ての経路（本例では３つの経路）でクリップが検出されたか否かを判定する。

全ての経路でクリップが検出された場合、ステップＳ３において、ＹＥＳであると判定されて、処理はステップＳ４に進む。ステップＳ４において、補間部１３は、全クリップ箇所の波形を、所定の補間演算手法に従って補間する。なお、波形の補間が行われる場所は、特に限定されず、補間部１３内であってもよいし、データ置き換え部１２内であってもよい。後者の場合、データ置き換え部１２が、補間部１３の制御の下に波形の補間を行う、といった第１実施形態と同様の捉え方をすることもできる。

この場合の補間演算手法自体は、特に限定されない。即ち、第１の実施形態で両方ともクリップしていた場合に採用できる手法を、ステップＳ３の処理にもそのまま適用できる。

なお、ステップＳ４の処理を省略して、あえてクリップしたまま何もしないようにすることもできる。

これに対して、全ての経路でクリップが検出されない場合、即ち、本例では１つの経路または２つの経路でクリップが検出された場合、ステップＳ３において、ＮＯであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、補間部１３は、クリップが検出されていない経路の波形を利用して、クリップ箇所の波形を補間する。

なお、以下、このようなステップＳ５の処理をクリップ補間処理と称する。クリップ補間処理の具体例については、図８乃至図１３を参照して後述する。

また、クリップ補間処理が行われる場所は、特に限定されず、補間部１３内であってもよいし、データ置き換え部１２内であってもよい。後者の場合、データ置き換え部１２が、補間部１３の制御の下にクリップ補間処理を実行する、といった第１実施形態と同様の捉え方をすることもできる。

このようにして、ステップＳ５のクリップ補間処理またはステップＳ４の処理が実行されて、クリップ箇所の波形が補間されると、処理はステップＳ６に進む。

ステップＳ６において、補間部１３は、処理の終了が指示されたか否かを判定する。

処理の終了が未だ指示されていない場合、ステップＳ６においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、処理の終了が指示されるまでの間、ステップＳ１乃至Ｓ６のループ処理が繰り返される。

その後、処理の終了が指示された場合、ステップＳ６においてＹＥＳであると判定されて、波形補間処理は終了となる。

次に、図８乃至図１３を参照して、図７のステップＳ５のクリップ補間処理の具体例として、３つの例について説明する。なお、当然のことながら、クリップ補間処理は、クリップが検出されていない経路の波形を利用して補間する処理であれば足り、以下の３つの例に限定されない。

なお、以下の説明では、第１実施形態の捉え方で説明する。即ち、以下、データ置き換え部１２が、補間部１３の制御の下にクリップ補間処理を実行する、という捉え方で説明する。

図８は、クリップ補間処理の第１の例を説明するフローチャートである。

図９は、図６の例に対する、クリップ補間処理の第１の例を説明する模式図である。

図８のステップＳ２１において、データ置き換え部１２は、クリップしていない信号経路の波形を抜き出す。

この場合、クリップしていなければ、どの信号経路から波形を抜き出しても構わない。

第３実施形態では、上述の如く、クリップの検出単位は、区分信号とされている。従って、抜き出される波形の単位もまた、区分信号となる。

具体的には例えば、図６の例では、音声信号Mbのうち、区分信号m1bにクリップ部分が存在する。このため、補間部１３は、第１実施形態と同様に、区分信号m1bを被置換対象区分信号として特定する。

また、例えば、音声信号Ma，Mb，Mcは、近接する３つのマイクロフォンからそれぞれ集音された音声に対応する音声信号である。よって、音声信号Ma，Mb，Mcは、ほぼ同様の波形となっているものの、３つのマイクロフォンの位置関係に応じた位相差を持っている。即ち、より正確には、図１の例の信号処理装置に入力される音声信号Ma，Mb，Mcの波形は、図６のＡの波形ではなく、図示はしないが、音声信号Mbを基準とすると、音声信号Maは位相差φ１を持った波形となり、音声信号Mcは位相差φ２を持った波形となる。

この位相差φ１，φ２を示す情報が、位相差情報として、位相差情報保持部１４に保持されている。

この場合、補間部１３は、図６のＡの音声信号Mbの区分信号m1bを、被置換対象区分信号として特定する。なお、この特定においては、クリップ検出部１１−２からの検出情報が用いられることになる。

また、図６のＡに示されるように、補間部１３は、音声信号Maのうち、被置換対象区分信号m1bから位相差φ１だけずれた区分信号m1aを置換対象区分信号として特定する。なお、この特定においては、クリップ検出部１１−１からの検出情報と、位相差情報保持部１４に保持されている位相差情報とが用いられることになる。

被置換対象区分信号（図６の例では、区分信号m1b）と置換対象区分信号（図６の例では、区分信号m1a）とが特定されたことは、補間部１３からデータ置き換え部１２に通知される。そこで、データ置き換え部１２は、ステップＳ２１において、音声信号Maの中から、図９に示されるように、置換対象区分信号m1aの波形を抜き出す。

なお、音声信号Mcもクリップしていないので、データ置き換え部１２は、区分信号m1cを置換対象区分信号として、その波形を抜き出すようにしてもよい。

ステップＳ２２において、データ置き換え部１２は、抜き出した波形の最大振幅を、クリップした波形の信号経路のダイナミックレンジにあわせる。ステップＳ２３において、データ置き換え部１２は、ダイナミックレンジをあわせた波形を、クリップした区間の波形と置き換える。

図９の例では、ステップＳ２２において、置換対象区分信号m1aの波形が、音声信号Mbの信号経路のダイナミックレンジにあわされる。そして、ステップＳ２３において、ダイナミックレンジがあわされた置換対象区分信号m1aの波形は、音声信号Mbのうち被置換対象区分信号m1bの区間（クリップした区間）の波形として置き換えられる。即ち、図６のＡにおける音声信号Mbの被置換対象区分信号m1bの区間（クリップした区間）の波形は、図９のＢに示されるように、区間m2bの波形のように補間されることになる。換言すると、区間m2bの波形が補間波形となる。

このように、クリップ補間処理の第１の例では、入力信号の元波形（ステップＳ２１の処理で抜き出された、クリップしていない波形）を使って補間することができる。その結果、波形補間が行われた後の音は、従来と比較して、原音により忠実な音となる。

以上、図８と図９を参照して、クリップ補間処理の第１の例を説明した。次に、図１０と図１１を参照して、クリップ補間処理の第２の例を説明する。

図１０は、クリップ補間処理の第２の例を説明するフローチャートである。

図１１は、図６の例に対する、クリップ補間処理の第２の例を説明する模式図である。

図１０のステップＳ４１において、データ置き換え部１２は、クリップしていない信号経路の波形を全て抜き出す。

具体的には例えば、図６の例では、音声信号Mbのうち、区分信号m1bにクリップ部分が存在する。このため、第１の例と同様に、区分信号m1bが被置換対象区分信号として特定される。この場合、第１の例のステップＳ２１の処理（図８）では、音声信号Maの区分信号m1bと、音声信号Mcの区分信号m1cとのうち、何れか一方が置換対象区分信号として抜き出された。これに対して、第２の例のステップＳ４１の処理では、音声信号Maの区分信号m1bと、音声信号Mcの区分信号m1cとの両者が、置換対象区分信号として抜き出される。

ステップＳ４２において、データ置き換え部１２は、抜き出した波形を加重平均したものの最大振幅を、クリップした波形の信号経路のダイナミックレンジにあわせる。ステップＳ４３において、データ置き換え部１２は、ダイナミックレンジをあわせた波形を、クリップした区間の波形と置き換える。

図１１の例では、ステップＳ４２において、図１１のＡに示されるように、置換対象区分信号m1a，m1cの加重平均がとられ、その結果得られる信号の最大振幅が、音声信号Mbの信号経路のダイナミックレンジにあわされる。そして、ステップＳ４３において、ダイナミックレンジがあわされた信号の波形は、音声信号Mbのうち被置換対象区分信号m1bの区間（クリップした区間）の波形として置き換えられる。即ち、図６のＡにおける音声信号Mbの被置換対象区分信号m1bの区間（クリップした区間）の波形は、図１１のＢに示されるように、区間m2bの波形のように補間されることになる。換言すると、区間m2bの波形が補間波形となる。

このように、クリップ補間処理の第２の例では、入力信号の元波形（ステップＳ４１の処理で抜き出された、クリップしていない波形）を使って補間することができる。その結果、波形補間が行われた後の音は、従来と比較して、原音により忠実な音となる。

以上、図１０と図１１を参照して、クリップ補間処理の第２の例を説明した。次に、図１２と図１３を参照して、クリップ補間処理の第３の例を説明する。

図１２は、クリップ補間処理の第３の例を説明するフローチャートである。

図１３は、図６の例に対する、クリップ補間処理の第３の例を説明する模式図である。

図１２のステップＳ６１において、データ置き換え部１２は、クリップしていない信号経路の波形を全て抜き出す。

具体的には例えば、図６の例では、音声信号Mbのうち、区分信号m1bにクリップ部分が存在する。このため、第１の例と同様に、区分信号m1bが被置換対象区分信号として特定される。また、第２の例のステップＳ４１の処理（図１０）と同様に、第３の例のステップＳ６１の処理では、音声信号Maの区分信号m1bと、音声信号Mcの区分信号m1cとの両者が、置換対象区分信号として抜き出される。

ステップＳ６２において、データ置き換え部１２は、抜き出した波形を加算したものの最大振幅を、クリップした波形の信号経路のダイナミックレンジにあわせる。ステップＳ６３において、データ置き換え部１２は、ダイナミックレンジをあわせた波形を、クリップした区間の波形と置き換える。

図１３の例では、ステップＳ６２において、図１３のＡに示されるように、置換対象区分信号m1a，m1cが加算され、その結果得られる信号の最大振幅が、音声信号Mbの信号経路のダイナミックレンジにあわされる。そして、ステップＳ６３において、ダイナミックレンジがあわされた信号の波形は、音声信号Mbのうち被置換対象区分信号m1bの区間（クリップした区間）の波形として置き換えられる。即ち、図６のＡにおける音声信号Mbの被置換対象区分信号m1bの区間（クリップした区間）の波形は、図１３のＢに示されるように、区間m2bの波形のように補間されることになる。換言すると、区間m2bの波形が補間波形となる。

このように、クリップ補間処理の第３の例では、入力信号の元波形（ステップＳ６１の処理で抜き出された、クリップしていない波形）を使って補間することができる。その結果、波形補間が行われた後の音は、従来と比較して、原音により忠実な音となる。

＜４．第４実施形態＞

以上の第１乃至第３実施形態では、各入力経路の音声信号Ma，Mb,Mcの位相差情報は既知なものとして、位相差情報保持部１４に保持されていた。これに対して、第４実施形態では、各入力経路の音声信号Ma，Mb,Mcを実際に用いて、位相差情報が検出される。

［第４実施形態の構成例］

図１４は、本発明が適用される信号処理装置の第４実施形態として、入力経路が２経路である場合の信号処理装置の構成例を示すブロック図である。

図１４において、図１と対応する箇所には対応する符号を付しており、それらの説明は適宜省略する。

図１４の例の信号処理装置には、図１の例の構成に対してさらに、クリップ検出部１１−１の前段にゼロクロス検出部３１−１が設けられ、クリップ検出部１１−２の前段にゼロクロス検出部３１−２が設けられている。また、図１４の例の信号処理装置には、図１の例の位相差情報保持部１４の代わりに、位相差算出部３２が設けられている。

ゼロクロス検出部３１−１，３１−２は、第１乃至第３実施形態のクリップ検出部１１−１，１１−２が有するゼロクロスの検出機能と基本的に同様の機能を有している。換言すると、第１乃至第３実施形態のクリップ検出部１１−１，１１−２が有するゼロクロスの検出機能がそれぞれ移譲されたブロックが、ゼロクロス検出部３１−１，３１−２である。よって、第１乃至第３実施形態のクリップ検出部１１−１，１１−２が有するゼロクロスの検出機能を委譲しなければ、ゼロクロス検出部３１−１，３１−２は省略可能である。

また、図１４の例では、第１実施形態の位相差情報保持部１４の代わりに位相差算出部３２を採用する例であった。しかしながら、位相差算出部３２は、図１４の例として採用されることに限定されるものでなく、その他、第２実施形態や第３実施形態の位相差情報保持部１４の代わりに採用することもできる。

［第４実施形態の波形補間処理例］

ゼロクロス検出部３１−１，３１−２は、音声信号Ma，Mbからゼロクロスを検出し、その検出結果を位相差算出部３２に供給する。また、音声信号Ma,Mbはゼロクロスにより区分信号に区分される。即ち、音声信号Ma,Mbは、区分信号を単位としてクリップ検出部１１−１，１１−２にそれぞれ供給される。

位相差算出部３２は、ゼロクロス検出部３１−１，３１−２によるゼロクロスの検出時間の差分を計算することで、位相差φを算出する。算出された位相差φは、補間部１３に供給される。

それ以外の波形補間処理は、第１実施形態の波形補間処理と基本的に同様であるため、ここではその説明は省略する。

＜４．第５実施形態＞

以上の第１乃至第４実施形態等様々な実施の形態を取ることができる、本発明が適用される信号処理装置は、音声記録装置に採用することが可能である。

［第５実施形態の構成例］

図１５は、本発明が適用される信号処理装置の第５実施形態として、入力経路がＮ経路（Ｎは２以上の整数値）である場合の信号処理装置の構成例を示すブロック図である。

ただし、図１５の例では、第５実施形態の信号処理装置５３は、音声記録装置の一構成要素として搭載されている。このため、音声記録装置の別の構成要素も図１５には描画されている。換言すると、図１５は、第４実施形態の信号処理装置５３が搭載された音声記録装置の構成例を示している。

図１５において、図１４と対応する箇所には対応する符号を付しており、それらの説明は適宜省略する。

図１５の例の信号処理装置５３には、入力経路が２経路である場合の図１４の例の構成に対してさらに、（Ｎ−２）個分の入力経路用に、ゼロクロス検出部３１−３乃至３１−Ｎとクリップ検出部１１−３乃至１１−Ｎとが設けられている。なお、ゼロクロス検出部３１−３やクリップ検出部１１−３の図示は省略されている。

図１５の例の音声記録装置においては、このような信号処理装置５３の前段に、即ち、信号処理装置５３のＮ個の入力経路に、マイクロフォン５１−１乃至５１−Ｎ，アンプ５２−１乃至５２−Ｎがそれぞれ設けられている。また、信号処理装置５３の後段には、DSP(Digital Signal Processor)５４が設けられている。

［第５実施形態の信号処理装置を搭載する記録再生装置の処理例］

マイクロフォン５１−１乃至５１−Ｎのそれぞれは、外部の音を音声信号に変換して、アンプ５２−１乃至５２−Ｎにそれぞれ供給する。

アンプ５２−１乃至５２−Ｎのそれぞれは、音声信号を所定のゲインで増幅して、第５実施形態の信号処理装置５３に供給する。

アンプ５２−１乃至５２−Ｎの各ゲインは、同一の値が設定されてもよいが、例えば本実施の形態では、それぞれ相異なる値であるとする。ゲインが同一の値に設定されると、大振幅の音がマイクロフォン５１−１乃至５１−Ｎにそれぞれ入力された場合、Ｎ個の入力経路の全てにおいて音割れが発生してしまう。即ち、Ｎ個の入力経路の全ての音声信号でクリップが発生してしまうことになる。このことを回避すべく、各ゲインの値がずらされているのである。なお、Ｎ個の入力経路の全ての音声信号でクリップの発生を回避するという観点からすると、アンプ５２−１乃至５２−Ｎの各ゲインの少なくともひとつが、他のゲインとは異なる値であるようにしてもよい。

第５実施形態の信号処理装置では、位相差算出部３２が、ゼロクロス検出部３１−１乃至３１−Ｎの各検出結果に基づいて、Ｎ個の入力経路の各音声信号のそれぞれの位相差を算出する。位相差の算出手法自体は、第４実施形態の手法と同様の手法を採用できる。

クリップ検出部１１−１乃至１１−Ｎ、データ置き換え部１２、および補間部１３は、本発明が適用される波形補間処理を実行する。Ｎ＝２の場合には、第１実施形態と同様の波形補間処理が実行され、Ｎ≧３の場合には、第３実施形態と同様の補間処理が実行される。

このようにして、Ｎ個の入力経路からそれぞれ入力された音声信号は、クリップがある期間の波形が補間された上で、第５実施形態の信号処理装置５３のＮ個の出力経路からそれぞれ出力されて、DSP５４にそれぞれ供給される。

DSP５４は、第５実施形態の信号処理装置５３のＮ個の出力経路からそれぞれ伝搬されてきた各音声信号を、デコード等適宜必要な処理を施した上で、記録媒体５５に記録させる。

このような記録媒体５５に記録された音声信号は、第５実施形態の信号処理装置５３により元波形（クリップがない別の経路の波形）を使って補間されているため、失われる情報が少ない原音の音声信号に近い状態になっている。即ち、このような記録媒体５５に記録された音声信号を再生した場合、スピーカ等から出力される音声は、従来と比べて、原音により忠実な音声になっている。特に、マイクロフォン５１−１乃至５１−Ｎが、無指向性マイクで構成されており、それぞれが近接されている場合、第５実施形態の信号処理装置５３のＮ個の入力経路の各音声信号の波形は酷似するため、より一段と原音に忠実な音声が出力される。

［本発明のプログラムへの適用］

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、プログラム記録媒体からインストールされる。このプログラムは、例えば、専用のハードウエアに組み込まれているコンピュータにインストールされる。または、このプログラムは、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどにインストールされる。

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

CPU２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロフォンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８が接続されている。さらに、入出力インタフェース２０５には、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）であるリムーバブルメディア２１１に記録して提供される。プログラムは、パッケージメディアであるリムーバブルメディア２１１に記録して提供される。なお、パッケージメディアとしては、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどが用いられる。あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な時刻で処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１−１乃至１１−Ｎ クリップ検出部， １２ データ置き換え部， １３ 補間部， １４ 位相差情報保持部， ２１−１，２１−２ アンプ， ３１−１，３１−２ ゼロクロス検出部， ３２ 位相差算出部， ５１−１乃至５１−Ｎ マイクロフォン， ５２−１乃至５２−Ｎ アンプ， ５３ 信号処理装置， ５４ DSP， ５５ 記録媒体， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０８ 記憶部， ２１１ リムーバブルメディア

Claims (6)

1. Ｎ個（Ｎは２以上の整数値）のマイクロフォンからそれぞれ出力されたＮ個の音声信号について、回路のダイナミックレンジにより波形が歪んだクリップ部分の有無をそれぞれ検出するクリップ検出手段と、
   前記Ｎ個の音声信号のうち、前記クリップ検出手段によりクリップ部分が検出された音声信号を補間対象とし、それ以外の音声信号を非補間対象とし、前記非補間対象のうち少なくとも１つの音声信号の波形を用いて、前記補間対象のクリップ部分の波形を補間する補間手段と
   を備える信号処理装置。
2. 前記補間手段は、
   補間に用いる前記非補間対象と前記補間対象の位相をあわせて、
   補間に用いる前記非補間対象のうち、前記補間対象のクリップ部分に対応する区間の波形を用いて、前記補間対象のクリップ部分を補間する
   請求項１に記載の信号処理装置。
3. 前記Ｎ個のマイクロフォンから出力された前記Ｎ個の音声信号を、所定のゲインで増幅又は減衰する増減手段をさらに備え、
   前記Ｎ個の音声信号に対するゲインの少なくともひとつは、他のゲインとは異なる値が設定されている
   請求項１に記載の信号処理装置。
4. Ｎは３以上の整数値であり、
   前記補間手段は、複数の前記非補間対象の波形を用いて、前記補間対象のクリップ部分の波形を補間する
   請求項１に記載の信号処理装置。
5. 信号処理装置が、
   Ｎ個（Ｎは２以上の整数値）のマイクロフォンからそれぞれ出力されたＮ個の音声信号について、回路のダイナミックレンジにより波形が歪んだクリップ部分の有無をそれぞれ検出し、
   前記Ｎ個の音声信号のうち、クリップ部分が検出された音声信号を補間対象とし、それ以外の音声信号を非補間対象とし、前記非補間対象のうち少なくとも１つの音声信号の波形を用いて、前記補間対象のクリップ部分の波形を補間する
   ステップを含む情報処理方法。
6. コンピュータに、
   Ｎ個（Ｎは２以上の整数値）のマイクロフォンからそれぞれ出力されたＮ個の音声信号について、回路のダイナミックレンジにより波形が歪んだクリップ部分の有無をそれぞれ検出し、
   前記Ｎ個の音声信号のうち、クリップ部分が検出された音声信号を補間対象とし、それ以外の音声信号を非補間対象とし、前記非補間対象のうち少なくとも１つの音声信号の波形を用いて、前記補間対象のクリップ部分の波形を補間する
   ステップを含む制御処理を実行させるプログラム。

Images