JP2021010118A - 集音ノイズ除去装置、集音ノイズ除去システム及び集音ノイズ除去方法 - Google Patents

Abstract

【課題】集音対象である話者の音声と、当該話者の音声と同じ方向から入ってくる部外話者の音声（ノイズ）とを区別し、集音対象である話者の音声を高い音質で集音すること。【解決手段】実施形態に係る集音ノイズ除去装置は、第一の位置に配置された主マイクアレイによって集音された音声に関する第一の波形と、前記第一の位置に比して音源から遠い第二の位置に配置された副マイクアレイによって集音された音声に関する第二の波形と、を取得する取得部と、前記第一の波形から所定の周波数帯域を有する第一の波形成分を抽出する抽出部と、前記第二の波形から前記所定の周波数帯域を有する第二の波形成分を抽出する抽出部と、前記第一の波形成分の振幅と前記第二の波形成分の振幅との大小関係に基づいて、前記第一の波形に所定の処理を実行する信号処理部と、を具備する。【選択図】図９

Description

本発明は、集音ノイズ除去装置、集音ノイズ除去システム及び集音ノイズ除去方法に関する。

マイクアレイ方式の集音ノイズ除去装置では、ビームフォーミング技術を使って集音対象である話者の方向を検出し、それ以外の方向から集音される音をノイズとしてキャンセルする技術がある。

主マイクアレイでは方向検出できない位置（例えば製品本体の裏側など）に、大きな声で話す部外話者（ノイズ発生源）が存在する場合がある。係る場合、従来のマイクアレイ方式の集音ノイズ除去装置は、天井や話者後方の壁に反射して主マイクアレイに入ってくる部外話者の音声が話者より大きなレベルであったとしても、話者と同じ方向から入ってくる事から話者音声とを区別することはできない。そのため、部外話者の音声（ノイズ）も話者音声として集音してしまい、不要な部外者音声を除去できないという問題がある。

例えば特許文献１には、ビームフォーミングにおけるＳ／Ｎ比を向上させる目的で、ノイズ成分を学習させる構成が開示されている。しかしながら、話者音声と同じ方向から聞こえるノイズ音声を除去するという問題は解消できていない。

本発明は、上記に鑑みてなされたものであって集音対象である話者の音声を高い音質で集音することができる集音ノイズ除去装置、集音ノイズ除去システム及び集音ノイズ除去方法を提供することを目的とする。

本発明の実施形態に係る集音ノイズ除去装置は、第一の位置に配置された主マイクアレイによって集音された音声に関する第一の波形と、前記第一の位置に比して音源から遠い第二の位置に配置された副マイクアレイによって集音された音声に関する第二の波形と、を取得する取得部と、前記第一の波形から所定の周波数帯域を有する第一の波形成分を抽出し、前記第二の波形から前記所定の周波数帯域を有する第二の波形成分を抽出する抽出部と、前記第一の波形成分の振幅と前記第二の波形成分の振幅との大小関係に基づいて、前記第一の波形に所定の処理を実行する信号処理部と、を具備する。

本発明によれば、集音対象である話者の音声を高い音質で集音することができる集音ノイズ除去装置、集音ノイズ除去システム及び集音ノイズ除去方法を提供することができる。

図１は、実施形態に係る集音ノイズ除去装置１を具備する集音ノイズ除去システムＳを示したブロック図である。 図２は、部屋４内において設置された集音ノイズ除去システム１を示した図である。 図３は、集音ノイズ除去装置１のハードウェア構成を示したブロック図である。 図４は、集音ノイズ除去装置１の機能ブロック図である。 図５は、集音ノイズ除去装置１に正対している話者Ａの声が、主マイクアレイ２と副マイクアレイ３とで集音される状況を示した図である。 図６は、図５に示した状況において、主マイクアレイ２と副マイクアレイ３とのそれぞれで集音された話者Ａの音声の波形を示した図である。 図７は、集音ノイズ除去装置１に正対していない部外話者Ｂの声が、主マイクアレイ２と副マイクアレイ３とで集音される状況を示した図である。 図８は、図７に示した状況において、主マイクアレイ２と副マイクアレイ３とのそれぞれで集音された部外話者Ｂの音声の波形を示した図である。 図９は、集音ノイズ除去装置１が実行する集音ノイズ除去処理の流れを示したフローチャートである。

実施形態に係る集音ノイズ除去装置、集音ノイズ除去システム及び集音ノイズ除去方法について説明する。

図１は、実施形態に係る集音ノイズ除去装置１を具備する集音ノイズ除去システムＳを示したブロック図である。図２は、部屋４内において設置された集音ノイズ除去システムＳを示した図である。各図に示す様に、集音ノイズ除去システムＳは、集音ノイズ除去装置１、主マイクアレイ２、副マイクアレイ３を具備している。

集音ノイズ除去装置１は、主マイクアレイ２、副マイクアレイ３のそれぞれを介して入力される音声を記録する。特に、集音ノイズ除去装置１は、主マイクアレイ２を介して入力される音声（第一の音声）から特定の周波数帯域（例えば第一の周波数帯域）を有する第一の波形成分を抽出し、副マイクアレイ３を介して入力される音声（第二の音声）から特定の周波数帯域を有する第二の波形成分を抽出する。

集音ノイズ除去装置１は、第一の波形成分の振幅と第二の波形成分の振幅との大小関係を判定し、第一の波形成分の振幅と前記第二の波形成分の振幅との大小関係に基づいて第一の波形に所定の処理を実行する。より具体的には、集音ノイズ除去装置１は、第一の波形成分の振幅が第二の波形成分の振幅に比して小さいと判定した場合には、第一の音声から第一の波形成分を除去する。この集音ノイズ除去装置１の動作については、後で詳しく説明する。

主マイクアレイ２は、集音ノイズ除去装置１に接続され、集音対象である話者Ａに対向する所定の位置（第１の位置）に、話者Ａが位置するエリアに対して正方向に対峙（正対）するように配置される。この様に配置された主マイクアレイ２により、話者Ａが発する音声を適切に集音することができる。主マイクアレイ２は、例えば円周上に等間隔に配置された複数のマイクロフォンから構成される。各マイクロフォンは、指向性を有しないことが望ましい。

副マイクアレイ３は、主マイクアレイ２は配置された位置に比して音源から遠い所定の位置（第二の位置）に配置される。具体的には、副マイクアレイ３は、集音ノイズ除去装置１に対して集音対象である話者Ａと反対側（話者Ａから見て集音ノイズ除去装置１の背面）に設けられる。この様に配置された副マイクアレイ３により、例えば集音ノイズ除去装置１の背面のエリアに位置する（集音対象ではない）部外話者Ｂが発する音声（ノイズ）を適切に集音することができる。副マイクアレイ３は、主マイクアレイ２と同様に、例えば円周上に等間隔に配置された複数のマイクから構成される。各マイクロフォンは、指向性を有しないことが望ましい。

図３は、集音ノイズ除去装置１のハードウェア構成を示したブロック図である。同図に示すように、集音ノイズ除去装置１は、マルチプレクサ１１１、Ａ／Ｄ変換器１１２、ＲＯＭ（Read Only Memory）１１３、ＲＡＭ（Random Access Memory）１１４、ＣＰＵ（Central Processing Unit）１１５，入出力部１１６から構成される。

マルチプレクサ１１１は、チャネル切換部１２に対応する装置である。マルチプレクサ１１１は、主マイクアレイ２、副マイクアレイ３から出力される音声信号（アナログデータ）が入力されると、ＣＰＵ１１５の制御に従って音声信号を順次切り換えて出力する。

Ａ／Ｄ変換器１１２は、マルチプレクサ１１１が出力したアナログ信号としての音声信号をデジタルデータとしての音声データに変換して出力する。

ＣＰＵ１１５は、ＲＯＭ１１３に格納された動作プログラムに従って、ＲＡＭ１１４を主メモリ及びワークエリアとして使用して、演算、制御などの動作を実行する。これにより、ＣＰＵ１１５は、後述するマイクアレイ制御部１０、音声処理部１１などを実現する。

入出力部１１６は、ＣＰＵ１１５の制御に従い、外部装置からデータを入力したり、外部装置に対してデータを出力する。

図４は、集音ノイズ除去装置１の機能ブロック図である。同図に示す様に、マイクアレイ制御部１０、音声処理部１１を具備している。なお、マイクアレイ制御部１０、音声処理部１１は、ＣＰＵ１１５が動作プログラムを実行することにより実現される。しかしながら、当該例に限定されず、マイクアレイ制御部１０、音声処理部１１の一部又は全部を、同様の各機能を実行するように設計された専用のハードウェア、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）等の半導体集積回路や従来の回路モジュール等によって実現するようにしてもよい。

マイクアレイ制御部１０は、主マイクアレイ２、副マイクアレイ３を集音制御し、各マイクアレイによって取得された集音信号を音声処理部１１１に送り出す。

音声処理部１１は、取得部１１ａ、抽出部１１ｂ、信号処理部１１ｃを有する。取得部１１ａは、第一の位置に配置された主マイクアレイ２によって集音された音声に関する第一の波形と、第一の位置に比して音源から遠い第二の位置に配置された副マイクアレイ３によって集音された音声に関する第二の波形と、を取得する。抽出部１１ｂは、第一の波形から所定の周波数帯域を有する第一の波形成分を抽出する。信号処理部１１ｃは、第二の波形から所定の周波数帯域を有する第二の波形成分を抽出する。音声処理部１１は、第一の波形成分の振幅と第二の波形成分の振幅との大小関係に基づいて、第一の波形に所定の処理を実行する。

より具体的には、抽出部１１ｂは、主マイクアレイ２を介して取得部１１ａによって取得されＡ／Ｄ変換された音声データＷ２（音声波形の重ね合わせデータ）から、特定の周波数を有する波形成分Ｗ２１を抽出する。また、抽出部１１ｂは、副マイクアレイ３を介して取得部１１ａによって取得されＡ／Ｄ変換された音声データＷ３（音声波形の重ね合わせデータ）から、波形成分Ｗ２Ａと同じ周波数を有する波形成分Ｗ３１を抽出する。

信号処理部１１ｃは、抽出され同じ周波数を持つ波形成分Ｗ２１、波形成分Ｗ３１の音圧レベル（波形の振幅）を比較し、波形成分Ｗ３１の音圧レベルが波形成分Ｗ２１の音圧レベルよりも高い場合には、波形成分Ｗ２１は部外話者Ｂから発せられた音声に対応する波形であると判定し、波形成分Ｗ２１を音声波形Ｗ２から削除する。信号処理部１１ｃは、波形成分Ｗ２１が削除された音声波形Ｗ２を記録する。

一方、信号処理部１１ｃは、波形成分Ｗ２１、波形成分Ｗ３１の音圧レベル（波形の振幅）を比較し、波形成分Ｗ３１の成分の音圧レベルが波形成分Ｗ２１の成分の音圧レベルよりも低い場合には、波形成分Ｗ２１は集音対象としての話者Ａから発せられた音声に対応する波形であると判定し、波形成分Ｗ２１を音声波形Ｗ２から削除しない。信号処理部１１ｃは、波形成分Ｗ２１が削除されていない音声波形Ｗ２を記録する。

（集音ノイズ除去処理）
次に、集音ノイズ除去装置１、集音ノイズ除去システムＳによって実現される集音ノイズ除去処理の原理について説明する。

図５は、部屋４内において話者Ａから発せられる音声が、話者Ａと対向する主マイクアレイ２と、話者Ａから見て集音ノイズ除去装置１の背面に位置する副マイクアレイ３とで集音される状況を示した図である。

同図に示す様に、主マイクアレイ２は、破線矢印ａで示した経路（部屋４の天井、床、壁等での反射を含まない経路）で話者Ａからの音声を集音する。一方、副マイクアレイ３は、例えば破線矢印ｂ、ｃ、ｄで示した経路（部屋４の天井の点４１、部屋４の壁の点４２における反射を含む経路）で話者Ａからの音声を集音する。

すなわち、話者Ａからの音声は、主マイクアレイ２において反射なしに直接的に集音される一方、話者Ａからの音声と同じ周波数を持つ音声が、副マイクアレイ３において反射を含む経路を介して集音される。

このような状況において、例えば所定の（同じ）周波数に対応する音声の波形成分として、主マイクアレイ２が取得した波形成分Ｗ２１と副マイクアレイ３が取得した波形成分Ｗ３１とを比較すると、図６に示す様に、主マイクアレイ２が取得した波形成分Ｗ２１の振幅が、副マイクアレイ３が取得した波形成分Ｗ３１の振幅に比して大きい結果となる。

なぜなら、破線矢印ａの経路は反射を含まない一方、破線矢印ｂ、ｃ、ｄで示した経路は壁等における反射を含むため、副マイクアレイ３が取得した波形成分Ｗ３１は、主マイクアレイ２が取得した波形成分Ｗ２１に比して減衰が大きくなり、従って主マイクアレイ２が取得した波形成分Ｗ２１の振幅は副マイクアレイ３が取得した波形成分Ｗ３１の振幅に比して大きくなるからである。

従って、係る場合には、当該特定の周波数に対応する波形成分Ｗ２１及び波形成分Ｗ３１は、共に話者Ａによって発せられた音声に対応するものと判定することができる。

図７は、部屋４内において部外話者Ｂから発せられる音声が、主マイクアレイ２及び副マイクアレイ３で集音される状況を示した図である。

同図に示す様に、副マイクアレイ３は、破線矢印ｅで示した経路（部屋４の天井、床、壁等での反射を含まない経路）で部外話者Ｂからの音声を集音する。一方、主マイクアレイ２は、例えば破線矢印ｆ、ｇ、ｈで示した経路（部屋４の天井の点４３、部屋４の壁の点４４における反射を含む経路）で部外話者Ｂからの音声を集音する。

すなわち、部外話者Ｂからの音声は、主マイクアレイ２に対して、反射を重ねてあたかも話者Ａの後方から入ってくることになる一方、部外話者Ｂからの音声と同じ周波数を持つ音声が、副マイクアレイ３において集音される。

このような状況において、例えば所定の（同じ）周波数に対応する音声の波形成分として、主マイクアレイ２が取得した波形成分Ｗ２１と副マイクアレイ３が取得した波形成分Ｗ３１とを比較すると、図９に示す様に、主マイクアレイ２が取得した波形成分Ｗ２１の振幅が、副マイクアレイ３が取得した波形成分Ｗ３１の振幅に比して小さい結果となる。

なぜなら、破線矢印ｅの経路は反射を含まない一方、破線矢印ｆ、ｇ、ｈで示した経路は壁等における反射を含むため、主マイクアレイ２が取得した波形成分Ｗ２１は、副マイクアレイ３が取得した波形成分Ｗ３１に比して減衰が大きくなり、従って主マイクアレイ２が取得した波形成分Ｗ２１の振幅は副マイクアレイ３が取得した波形成分Ｗ３１の振幅に比して小さくなるからである。

従って、係る場合には、当該特定の周波数に対応する波形成分Ｗ２１及び波形成分Ｗ３１は、共に部外話者Ｂによって発せられた音声に対応するものと判定することができる。

すなわち、主マイクアレイ２及び副マイクアレイ３のそれぞれによって取得された波形成分について、同じ周波数を有する波形成分の振幅の大小関係を比較することで、その波形成分が集音対象としての話者Ａから発せられたものであるのか、或いは部外話者Ｂから発生られたものであるのか（又はそれ以外のノイズであるのか）を判定することができる。

そして、例えば部外話者Ｂから発せられた音声波形を主マイクアレイ２が集音した音声波形ＷＡＢ２から除去することで、不要な音声（ノイズ）が除去された、集音対象としての話者Ａからの音声を適切に記録することができる。

（集音ノイズ除去処理の流れ）
図９は、集音ノイズ除去装置１が実行する集音ノイズ除去処理の流れを示したフローチャートである。同図に示す様に、まず、マイクアレイ制御部１０は、主マイクアレイ２、副マイクアレイ３を制御し、主マイクアレイ２、副マイクアレイ３を用いた音声の集音が実行される（ステップＳ１）。

取得部１１ａは、各マイクアレイを介して取得された音声を波形レベルに変換し、主マイクアレイ２を介して取得された音声波形Ｗ２、副マイクアレイ３を介して取得された音声波形Ｗ３を、それぞれ取得（生成）する（ステップＳ２）。

抽出部１１ｂは、同じ周波数に対応する波形成分として、音声波形２から波形成分Ｗ２１を、音声波形Ｗ３から波形成分Ｗ３２を、それぞれ抽出する（ステップＳ３）。

信号処理部１１ｃは、この同じ周波数帯域を有する波形成分Ｗ２１、Ｗ３１の波形レベル（振幅）を比較する（ステップＳ４）。比較の結果、波形成分Ｗ２１の波形レベルの方が波形成分Ｗ３１の波形レベルに比して高い（大きい）場合には（ステップＳ４のＹｅｓ）、音声処理部１１は、波形成分Ｗ２１は話者Ａの音声に対応する波形成分であると判定する（ステップＳ５）。

信号処理部１１ｃは、波形成分Ｗ２１は話者Ａの音声に対応する波形成分であると判定した場合には、主マイクアレイ２を介して取得された音声波形Ｗ２から波形成分Ｗ２１を削除（除去）せずに音声波形Ｗ２を記録する（ステップＳ６）。

一方、信号処理部１１ｃは、同じ周波数帯域を有する波形成分Ｗ２１、Ｗ３１の波形レベル（振幅）を比較し（ステップＳ４）、波形成分Ｗ２１の波形レベルの方が波形成分Ｗ３１の波形レベルに比して低い（小さい）場合には（ステップＳ４のＮｏ）、信号処理部１１ｃは、波形成分Ｗ２１は、（主マイクアレイ２に対して集音ノイズ除去装置１の背面から発せられた）部外話者Ｂの音声に対応する波形成分であると判定する（ステップＳ７）。

信号処理部１１ｃは、波形成分Ｗ２１は部外話者Ｂの音声に対応する波形であると判定した場合には、主マイクアレイ２を介して取得された音声波形Ｗ２から波形成分Ｗ２１を削除（除去）して音声波形Ｗ２を記録する（ステップＳ８、Ｓ９）。

以上述べたステップＳ１〜Ｓ８の各処理は、主マイクアレイ２、副マイクアレイ３を用いた音声の集音が実行されている間は、ステップＳ１において新たな音声が集音される度に繰り返し実行される。

（効果）
以上述べた様に、本実施形態に係る集音ノイズ除去装置１においては、取得部１１ａは、第一の位置に配置された主マイクアレイ２によって集音された音声に関する音声波形Ｗ２（第一の波形）と、第一の位置に比して音源から遠い第二の位置に配置された副マイクアレイ３によって集音された音声に関する音声波形Ｗ３（第二の波形）と、を取得する。抽出部１１ｂは、音声波形Ｗ２から所定の周波数帯域を有する波形成分Ｗ２１（第一の波形成分）を抽出する。信号処理部１１は、音声波形Ｗ３から同じ周波数帯域（所定の周波数帯域）を有する波形成分Ｗ３（第二の波形成分）を抽出する。信号処理部１１は、波形成分Ｗ２１の振幅と波形成分Ｗ３１の振幅との大小関係に基づいて、音声波形Ｗ２に所定の処理を実行する。

すなわち、本実施形態に係る集音ノイズ除去装置１は、主マイクアレイ２及び副マイクアレイ３のそれぞれによって取得された波形成分について、同じ周波数を有する波形成分の振幅の大小関係を比較することで、その波形成分が集音対象としての話者Ａから発せられたものであるのか、或いは部外話者Ｂから発せられたものであるのか（又はそれ以外のノイズであるのか）を判定することができる。そして、例えば部外話者Ｂから発せられた音声波形を主マイクアレイ２が集音した音声波形ＷＡＢ２から除去することで、不要な音声（ノイズ）が除去された、集音対象としての話者Ａからの音声を適切に記録することができる。その結果、集音対象である話者の音声と、当該話者の音声と同じ方向から入ってくる部外話者の音声（ノイズ）とを区別し、集音対象である話者の音声を高い音質で集音することができる集音ノイズ除去装置、集音ノイズ除去システム及び集音ノイズ除去方法を実現することができる。

（変形例）
上記実施形態においては、主マイクアレイ２及び副マイクアレイ３のそれぞれによって取得された波形成分について、同じ周波数を有する波形成分の振幅の大小関係を比較することで部外話者Ｂから発生られた波形成分を特定し、これを主マイクアレイ２によって集音された音声に関する音声波形Ｗ２から削除する構成とした。しかしながら、当該例に限定する趣旨ではない。例えば、主マイクアレイ２及び副マイクアレイ３のそれぞれによって取得された音声波形Ｗ２、Ｗ３から同じ周波数を有する波形成分Ｗ２１、Ｗ３１を抽出し、波形成分Ｗ２１、Ｗ３１の振幅の大小関係を比較することで、波形成分Ｗ２１が話者Ａから発生られた音声に対応するものであるか否かを判定することができる。従って、音声処理部１１ｃは、話者Ａから発生られたと判定された波形成分Ｗ２１のみを記録する記録する構成としてもよい。

上述した集音ノイズ除去装置１が有する機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。

１ 集音ノイズ除去装置
２ 主マイクアレイ
３ 副マイクアレイ
１０ マイクアレイ制御部
１１ 音声処理部
１１ａ 取得部
１１ｂ 抽出部
１１ｃ 信号処理部
１１１ マルチプレクサ
１１２ Ａ／Ｄ変換器
１１３ ＲＯＭ
１１４ ＲＡＭ
１１５ ＣＰＵ
１１６ 入出力部

特許第５７３８４８８号公報

Claims (5)

1. 第一の位置に配置された主マイクアレイによって集音された音声に関する第一の波形と、前記第一の位置に比して音源から遠い第二の位置に配置された副マイクアレイによって集音された音声に関する第二の波形と、を取得する取得部と、
   前記第一の波形から所定の周波数帯域を有する第一の波形成分を抽出し、前記第二の波形から前記所定の周波数帯域を有する第二の波形成分を抽出する抽出部と、
   前記第一の波形成分の振幅と前記第二の波形成分の振幅との大小関係に基づいて、前記第一の波形に所定の処理を実行する信号処理部と、
   を具備する集音ノイズ除去装置。
2. 前記信号処理部は、前記第一の波形成分の振幅が前記第二の波形成分の振幅に比して小さい場合には、前記第一の波形から前記第一の波形成分を除去する、請求項１に記載の集音ノイズ除去装置。
3. 前記信号処理部は、前記第一の波形成分の振幅が前記第二の波形成分の振幅に比して大きい場合には、前記第一の波形成分を記録する、請求項１に記載の集音ノイズ除去装置。
4. 主マイクアレイと、
   副マイクアレイと、
   第一の位置に配置された前記主マイクアレイによって集音された音声に関する第一の波形と、前記第一の位置に比して音源から遠い第二の位置に配置された前記副マイクアレイによって集音された音声に関する第二の波形と、を取得する取得部と、
   前記第一の波形から第一の周波数帯域を有する第一の波形成分を抽出し、前記第二の波形から前記第一の周波数帯域を有する第二の波形成分を抽出する抽出部と、
   前記第一の波形成分の振幅と前記第二の波形成分の振幅との大小関係に基づいて、前記第一の波形に所定の処理を実行する信号処理部と、
   を具備する集音ノイズ除去システム。
5. 第一の位置に配置された主マイクアレイによって集音された音声に関する第一の波形と、前記第一の位置に比して音源から遠い第二の位置に配置された副マイクアレイによって集音された音声に関する第二の波形と、を取得し、
   前記第一の波形から第一の周波数帯域を有する第一の波形成分を抽出し、
   前記第二の波形から前記第一の周波数帯域を有する第二の波形成分を抽出し、
   前記第一の波形成分の振幅と前記第二の波形成分の振幅との大小関係に基づいて、前記第一の波形に所定の処理を実行すること、
   を具備する集音ノイズ除去方法。

Images