JP2020014037A - 抽出発生音補正装置、抽出発生音補正方法、プログラム - Google Patents
抽出発生音補正装置、抽出発生音補正方法、プログラム Download PDFInfo
- Publication number
- JP2020014037A JP2020014037A JP2018132865A JP2018132865A JP2020014037A JP 2020014037 A JP2020014037 A JP 2020014037A JP 2018132865 A JP2018132865 A JP 2018132865A JP 2018132865 A JP2018132865 A JP 2018132865A JP 2020014037 A JP2020014037 A JP 2020014037A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- extracted
- generated
- venue
- generated sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
できる。
cM(k)のM個(Mは1以上の整数)であった場合、入力音xR(k),xL(k)、環境音c1(k),…,cM(k)の音響エコーをそれぞれhR0(k),hL0(k),h1(k),…,hM(k)、ノイズをn(k)とすると、マイクにより収音される収音会場音y(k)はy(k)=xR(k)*hR0(k)+xL(k)*hL0(k)+c1(k)*h1(k)+…+cM(k)*hM(k)+n(k)と表すことができる。さらに、伝達関数hR0(k),hL0(k)を推定した伝達関数をそれぞれhR0’(k),hL0’(k)、残留信号をd(k)とすると、抽出発生音e(k)はe(k)=y(k)-{xR(k)*hR0’(k)+xL(k)*hL0’(k)}=c1(k)*h1(k)+…+cM(k)*hM(k)+n(k)+d(k)と表すことができる。
以下、図3を参照して抽出発生音補正システム10について説明する。図3は、抽出発生音補正システム10の構成を示すブロック図である。図3に示すように抽出発生音補正システム10は、スピーカ910、マイク920、エコーキャンセラ930、抽出発生音補正装置100を含む。
0は、入力音x(k)とマイク920により収音された収音会場音y(k)(=x(k)*h0(k)+c1(k)*h1(k)+n(k))から抽出発生音e(k)を生成する。抽出発生音e(k)=c1(k)*h1(k)+n(k)+d(k)は、会場Bで発生した音をエコーキャンセラ930が抽出した音である。ここで、d(k)は残留信号である。
プル数Kで割った値を収音会場音パワーYk、抽出発生音パワーEkとしてもよい。
抽出発生音補正部120における収音会場音パワーYkと抽出発生音パワーEkの比較では、比較条件に用いる倍率αを時間経過によらず不変であるものとして扱ったが、一定のタイミングで倍率αを更新するようにしてもよい。一定のタイミングで更新するようにすると、会場での人数の変化や会場の温度の変化などに対して、倍率αが追従することができるようになる。
発生音e’(k)を生成する。次に、次のサンプルのための倍率としてαk=Ek/Ykを求め、同様にEk+1>αkYk+1の場合、e’(k+1)=e(k+1)とし、Ek+1≦αkYk+1の場合、e’(k+1)=0として補正済抽出発生音e’(k+1)を生成する。
抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
環境音c1(k)が例えば拍手音である場合、図9の網掛け部(点線枠部)に示すように、環境音c1(k)は時間方向にスパースな信号となる。そこで、抽出発生音e(k)の時間方向におけるスパースさの程度を調べ、スパースであると判定された場合、環境音c1(k)が入力音x(k)に比べて十分に大きいと判断して、e’(k)=e(k)とし、スパースでないと判定された場合、環境音c1(k) が入力音x(k)に比べて十分に小さく、環境音c1(k)が抽出できないとして、e’(k)=0として補正済抽出発生音を生成するようにする。
てもよい。
抽出発生音補正部220におけるスパース尺度Skと閾値βの比較では、比較条件に用いる閾値βを時間経過によらず不変であるものとして扱ったが、一定のタイミングで閾値βを更新するようにしてもよい。一定のタイミングで更新するようにすると、会場での人数の変化や会場の温度の変化などに対して、閾値βが追従することができるようになる。
第一実施形態で説明したように、抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
抽出発生音を補正することができる。これにより、スピーカとマイクが近くになく、あえて残響を加えるように設計されている会場で発生した音も適切に抽出・補正することができるようになる。
環境音c1(k)が例えば拍手音である場合、環境音c1(k)のスペクトル包絡は平坦となる。そこで、抽出発生音e(k)のスペクトル包絡の平坦度合いを調べ、スペクトル包絡が平坦であると判定された場合、環境音c1(k)が入力音x(k)に比べて十分に大きいと判断して、e’(k)=e(k)とし、スペクトル包絡が平坦でないと判定された場合、環境音c1(k) が入力音x(k)に比べて十分に小さく、環境音c1(k)が抽出できないとして、e’(k)=0として補正済抽出発生音を生成するようにする。
スペクトル平坦指標値算出部410は、抽出発生音e(k)を含む一定時間のサンプルからT次のLSPパラメータθ[1],θ[2],…,θ[T]を得て、得たT次のLSPパラメータθ[1],θ[2],…,θ[T]を用いて、下記の式(A1)により求まる指標値Q1kをスペクトル包絡の平坦度合いの指標値Qkとして得る。
スペクトル平坦指標値算出部410は、抽出発生音e(k)を含む一定時間のサンプルからT次のLSPパラメータθ[1],θ[2],…,θ[T]を得て、得たT次のLSPパラメータθ[1],θ[2],…,θ[T]を用いて、隣接するLSPパラメータの間隔の最小値、すなわち、下記の式(A2)により求まる指標値Q2kをスペクトル包絡の平坦度合いの指標値Qkとして得る。
スペクトル平坦指標値算出部410は、抽出発生音e(k)を含む一定時間のサンプルからT次のLSPパラメータθ[1],θ[2],…,θ[T]を得て、得たT次のLSPパラメータθ[1],θ[2],…,θ[T]を用いて、隣接するLSPパラメータの間隔の値と最低次のLSPパラメータの値のうちの最小値、すなわち、下記の式(A3)により求まる指標値Q3kをスペクトル包絡の平坦度合いの指標値Qkとして得る。
スペクトル平坦指標値算出部410は、抽出発生音e(k)を含む一定時間のサンプルからT次のPARCOR係数par[1],par[2],…,par[T]を得て、得たT次のPARCOR係数par[1],par[2],…,par[T]を用いて、下記の式(A4)により求まる指標値Q4kをスペクトル包絡の平坦度合いの指標値Qkとして得る。
スペクトル平坦指標値算出部410は、まず、例1から例4のうちの何れか2個以上の方法により、指標値Q1k, Q2k, Q3k, Q4kのうちの何れか2個以上を得る。スペクトル平坦指標値算出部410は、さらに、ここで得た2個以上の指標値の重み付け加算により、それぞれの指標値が大きな値になるほど大きな値になる重み付け加算後指標値を、スペクトル包絡の平坦度合いの指標値Qkとして得る。
抽出発生音補正部420におけるスペクトル包絡の平坦度合いの指標値Qkと閾値γの比較では、比較条件に用いる閾値γを時間経過によらず不変であるものとして扱ったが、一定のタイミングで閾値γを更新するようにしてもよい。一定のタイミングで更新するようにすると、会場での人数の変化や会場の温度の変化などに対して、閾値γが追従すること
ができるようになる。
第一実施形態および第二実施形態で説明したように、抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
第一実施形態ではパワー比Ek/Ykを、第三実施形態ではスペクトル包絡の平坦度合いの指標値Qkを用いて、抽出発生音を補正するための条件判定を行った。ここでは、パワー比Ek/Ykとスペクトル包絡の平坦度合いの指標値Qkの2つを用いた条件判定を行う。
第1条件:Ek>α1・YkかつQk>γ1
第2条件:Ek>α2・YkかつQk>γ2
もちろん、倍率α1,α2、閾値γ1,γ2(ただし、α1<α2、γ1>γ2)に対して、以下の第3条件、第4条件のいずれかが成立する場合、e’(k)=0とし、それ以外の場合はe’(k)=e(k)として補正済抽出発生音を生成するようにしてもよい。
第3条件:Ek≦α1・YkかつQk≦γ1
第4条件:Ek≦α2・YkかつQk≦γ2
第一実施形態や第三実施形態で説明したように、抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
タはどのようなものであってもよい。
第四実施形態ではパワー比Ek/Ykとスペクトル包絡の平坦度合いの指標値Qkの2つを用いて、抽出発生音を補正するための条件判定を行った。ここでは、スパース尺度Skとスペクトル包絡の平坦度合いの指標値Qkの2つを用いた条件判定を行う。
第1条件:Sk>β1かつQk>γ1
第2条件:Sk>β2かつQk>γ2
もちろん、閾値β1,β2,γ1,γ2(ただし、β1<β2、γ1>γ2)に対して、以下の第3条件、第4条件のいずれかが成立する場合、e’(k)=0とし、それ以外の場合はe’(k)=e(k)として補正済抽出発生音を生成するようにしてもよい。
第3条件:Sk≦β1かつQk≦γ1
第4条件:Sk≦β2かつQk≦γ2
第二実施形態や第三実施形態で説明したように、抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータであ
る補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
第四実施形態と第五実施形態ではスペクトル包絡の平坦度合いの指標値Qkと、パワー比Ek/Ykまたはスパース尺度Skと、を用いて、抽出発生音を補正するための条件判定を行った。ここでは、パワー比Ek/Ykとスパース尺度Skとスペクトル包絡の平坦度合いの指標値Qkの3つを用いた条件判定を行う。
第一実施形態や第二実施形態や第三実施形態で説明したように、抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD−ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
Claims (4)
- サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、
前記抽出発生音e(k)から、前記抽出発生音e(k)を含む所定時間区間の抽出発生音のスペクトル包絡の平坦度合いの指標値Qkを算出するスペクトル平坦指標値算出部と、
前記スペクトル包絡の平坦度合いの指標値Qkを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正部と
を含む抽出発生音補正装置であり、
前記抽出発生音補正部は、前記補正済抽出発生音e’(k)を、前記スペクトル包絡の平坦度合いの指標値Qkが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する
抽出発生音補正装置。 - 請求項1に記載の抽出発生音補正装置であって、
前記収音会場音y(k)と前記抽出発生音e(k)から、前記収音会場音y(k)のパワーである収音会場音パワーYkと前記抽出発生音e(k)のパワーである抽出発生音パワーEkを算出するパワー算出部と、
前記抽出発生音e(k)から、前記抽出発生音e(k)の時間方向におけるスパースさの程度を表すスパース尺度Skを算出するスパース尺度算出部と、
の少なくとも何れかを更に含み、
前記抽出発生音補正部は、前記補正済抽出発生音e’(k)を、前記スペクトル包絡の平坦度合いの指標値Qkが小さいことを示す所定の範囲にある、または/および、前記収音会場音パワーYkに対する前記抽出発生音パワーEkの比Ek/Ykが小さいことを示す所定の範囲にある、または/および、前記スパース尺度Skが小さいことを示す所定の範囲にある、場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する
抽出発生音補正装置。 - サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、
前記抽出発生音e(k)から、前記抽出発生音e(k)を含む所定時間区間の抽出発生音のスペクトル包絡の平坦度合いの指標値Qkを算出するスペクトル平坦指標値算出ステップと、
前記スペクトル包絡の平坦度合いの指標値Qkを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正ステップと
を含む抽出発生音補正方法であり、
前記抽出発生音補正ステップは、前記補正済抽出発生音e’(k)を、スペクトル包絡の平坦度合いの指標値Qkが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する
抽出発生音補正方法。 - 請求項1または2に記載の抽出発生音補正装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132865A JP6994221B2 (ja) | 2018-07-13 | 2018-07-13 | 抽出発生音補正装置、抽出発生音補正方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132865A JP6994221B2 (ja) | 2018-07-13 | 2018-07-13 | 抽出発生音補正装置、抽出発生音補正方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020014037A true JP2020014037A (ja) | 2020-01-23 |
JP6994221B2 JP6994221B2 (ja) | 2022-01-14 |
Family
ID=69170793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018132865A Active JP6994221B2 (ja) | 2018-07-13 | 2018-07-13 | 抽出発生音補正装置、抽出発生音補正方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6994221B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008261999A (ja) * | 2007-04-11 | 2008-10-30 | Toshiba Corp | オーディオ復号装置 |
JP2011203500A (ja) * | 2010-03-25 | 2011-10-13 | Toshiba Corp | 音情報判定装置、及び音情報判定方法 |
JP2014045333A (ja) * | 2012-08-27 | 2014-03-13 | Nippon Telegr & Teleph Corp <Ntt> | 環境音伝送システム、中継先ミキシング装置、環境音伝送方法、プログラム |
JP2015513817A (ja) * | 2012-02-14 | 2015-05-14 | コーニンクレッカ フィリップス エヌ ヴェ | 通信システムにおけるオーディオ信号処理 |
-
2018
- 2018-07-13 JP JP2018132865A patent/JP6994221B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008261999A (ja) * | 2007-04-11 | 2008-10-30 | Toshiba Corp | オーディオ復号装置 |
JP2011203500A (ja) * | 2010-03-25 | 2011-10-13 | Toshiba Corp | 音情報判定装置、及び音情報判定方法 |
JP2015513817A (ja) * | 2012-02-14 | 2015-05-14 | コーニンクレッカ フィリップス エヌ ヴェ | 通信システムにおけるオーディオ信号処理 |
JP2014045333A (ja) * | 2012-08-27 | 2014-03-13 | Nippon Telegr & Teleph Corp <Ntt> | 環境音伝送システム、中継先ミキシング装置、環境音伝送方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6994221B2 (ja) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6703525B2 (ja) | 音源を強調するための方法及び機器 | |
KR101224755B1 (ko) | 음성-상태 모델을 사용하는 다중-감각 음성 향상 | |
CN100525101C (zh) | 使用波束形成算法来记录信号的方法和设备 | |
JP5016581B2 (ja) | エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 | |
CN112669878A (zh) | 声音增益值的计算方法、装置和电子设备 | |
JP6994221B2 (ja) | 抽出発生音補正装置、抽出発生音補正方法、プログラム | |
JP6779489B2 (ja) | 抽出発生音補正装置、抽出発生音補正方法、プログラム | |
JP2005107448A (ja) | 雑音低減処理方法、この方法を実施する装置、プログラム、記録媒体 | |
CN113113046B (zh) | 音频处理的性能检测方法、装置、存储介质及电子设备 | |
JP5583181B2 (ja) | 縦続接続型伝達系パラメータ推定方法、縦続接続型伝達系パラメータ推定装置、プログラム | |
KR101812655B1 (ko) | 음원재생장치, 음원재생장치에서 음원을 재생하는 방법 및 궤환신호를 제거하는 방법 | |
JP3073976B2 (ja) | 多チャネル音響エコー消去方法、その装置及びこの方法を記録した記録媒体 | |
JP5815614B2 (ja) | 残響抑圧装置とその方法と、プログラムとその記録媒体 | |
JP7235117B2 (ja) | エコー消去装置、エコー消去方法、プログラム | |
WO2023013019A1 (ja) | 発話フィードバック装置、発話フィードバック方法、プログラム | |
JP2004520757A (ja) | 逆フィルタリング方法、合成フィルタリング方法、逆フィルタ装置、合成フィルタ装置、およびこのようなフィルタ装置を有する装置 | |
JP5925149B2 (ja) | 音響結合量推定装置、エコー消去装置、その方法及びプログラム | |
JP4094523B2 (ja) | 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体 | |
JP5264686B2 (ja) | エコーキャンセル方法、エコーキャンセル装置、エコーキャンセルプログラム | |
JP5264687B2 (ja) | エコーキャンセル方法、エコーキャンセル装置、エコーキャンセルプログラム | |
JP2002237770A (ja) | 多チャネルエコー消去方法、その装置及びプログラム記録媒体 | |
JP2002261659A (ja) | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 | |
JP5033109B2 (ja) | 音響エコーキャンセラ装置とその方法と、プログラムと記録媒体 | |
WO2019244535A1 (ja) | エコー消去装置、エコー消去方法、プログラム | |
Favrot et al. | Microphone Selection Based on Direct to Reverberant Ratio Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180713 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6994221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |