JP2013033196A - 音響処理装置 - Google Patents
音響処理装置 Download PDFInfo
- Publication number
- JP2013033196A JP2013033196A JP2011284075A JP2011284075A JP2013033196A JP 2013033196 A JP2013033196 A JP 2013033196A JP 2011284075 A JP2011284075 A JP 2011284075A JP 2011284075 A JP2011284075 A JP 2011284075A JP 2013033196 A JP2013033196 A JP 2013033196A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- sound
- coefficient
- basis
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
Abstract
【解決手段】記憶装置24は、第1音源の音響の各成分の振幅スペクトルを示すK個の基底ベクトルを含む非負の基底行列Fを記憶し、行列分解部34は、基底行列Fを利用した非負値行列因子分解で第1音源の音響と第2音源の音響との混合音を示す音響信号SA(t)の振幅スペクトログラムを示す観測行列Yから、基底行列Fの各基底ベクトルに対する加重値の時間変化を示すK個の係数ベクトルを含む係数行列Gと、第2音源の音響の各成分の振幅スペクトルを示すD個の基底ベクトルを含む基底行列Hと、基底行列Hの各基底ベクトルに対する加重値の時間変化を示すD個の係数ベクトルを含む係数行列Uを生成し、音響生成部36は、基底行列Fと係数行列Gとに応じた音響信号SB(t)および基底行列Hと係数行列Uとに応じた音響信号SB(t)の少なくとも一方を生成する。
【選択図】図1
Description
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。図1に示すように、音響処理装置100には信号供給装置12と放音装置14とが接続される。信号供給装置12は、音響信号SA(t)を音響処理装置100に供給する。音響信号SA(t)は、相異なる種類種の音源の各々が発生した音響(楽音や音声)の混合音の時間波形を示す信号である。音響信号SA(t)を構成する音響を発生する複数種の音源のうち既知の音源を以下では第1音源と表記し、第1音源以外の音源を以下では第2音源と表記する。音響信号SA(t)が2種類の音源の音響で構成される場合、第2音源は第1音源以外の1種類の音源を意味し、音響信号SA(t)が3種類以上の音源の音響で構成される場合、第2音源は第1音源以外の2種類以上の音源(音源群)を意味する。周囲の音響を収音して音響信号SA(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号SA(t)を取得して音響処理装置100に供給する再生装置や、通信網から音響信号SA(t)を受信して音響処理装置100に供給する通信装置が信号供給装置12として採用され得る。
前述のように基底行列Fには第1音源の音響(学習音)の特性が反映されるから、基底行列Fおよび係数行列Gは音響信号SA(t)のうち第1音源の音響成分に対応する。他方、基底行列Hおよび係数行列Uは、音響信号SA(t)のうち第1音源以外の音源(すなわち第2音源)の音響成分に対応する。
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
基底行列Fと基底行列Hとの相関が低下するほど数式(3A)の相関項は減少する。以上の傾向を考慮して、数式(3A)の評価関数Jが最小となるように第1音源の係数行列Gと第2音源の基底行列Hおよび係数行列Uとを生成することを検討する。なお、前述の条件(4)は第2実施形態でも同様に適用される。
第2実施形態で例示した数式(3A)の評価関数Jにおいては、誤差項‖Y−FG−HU‖Fr 2および相関項‖FTH‖Fr 2の各数値が顕著に相違する可能性がある。すなわち、評価関数Jの増減に対する寄与の度合が誤差項と相関項とで顕著に相違し得る。そして、例えば誤差項が相関項と比較して充分に大きい場合には誤差項が減少しさえすれば評価関数Jは充分に減少するため、相関項が充分に減少しない可能性がある。同様に、相関項が誤差項と比較して充分に大きい場合には誤差項が充分に減少しない可能性がある。
数式(3B)の調整係数λは、誤差項および相関項の数値が近付く(バランスする)ように実験的または統計的に選定される。また、誤差項と相関項とを試行的に算定し、誤差項と相関項との相違が低減されるように調整係数λを可変に設定することも可能である。数式(3B)の評価関数Jを使用した場合、基底行列Hの要素Hmdの更新式は、調整係数λを含む以下の数式(12B)で定義される。
第2実施形態では、第1音源の基底行列Fと第2音源の基底行列Hとの相関が低下するという拘束条件を設定した。第4実施形態では、第1音源の基底行列Fと第2音源の基底行列Hとの距離が増加する(理想的には最大となる)という拘束条件のもとで第1音源の係数行列Gと第2音源の基底行列Hおよび係数行列Uとを生成する。
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
Claims (4)
- 第1音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む非負の第1基底行列を記憶する記憶手段と、
前記第1基底行列を利用した非負値行列因子分解により、前記第1音源の音響と前記第1音源とは相違する第2音源の音響との混合音を示す音響信号のスペクトルの時系列を示す観測行列から、前記第1基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第1係数行列と、前記第2音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む第2基底行列と、前記第2基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第2係数行列とを生成する行列分解手段と、
前記第1基底行列と前記第1係数行列とに応じた音響信号および前記第2基底行列と前記第2係数行列とに応じた音響信号の少なくとも一方を生成する音響生成手段と
を具備する音響処理装置。 - 前記行列分解手段は、前記第1基底行列と前記第2基底行列との類似性が低下するように前記第1係数行列と前記第2基底行列と前記第2係数行列とを生成する
請求項1の音響処理装置。 - 前記行列分解手段は、前記第1基底行列および前記第1係数行列の積と前記第2基底行列および前記第2係数行列の積との和が前記観測行列と相違する度合を示す誤差項と、前記第1基底行列および前記第2基底行列の類似性を示す相関項とを含む評価関数が収束するように選定された更新式の反復演算により、前記第1係数行列と前記第2基底行列と前記第2係数行列とを生成する
請求項2の音響処理装置。 - 前記行列分解手段は、前記誤差項および前記相関項の少なくとも一方が調整係数により調整された前記評価関数が収束するように選定された更新式の反復演算により、前記第1係数行列と前記第2基底行列と前記第2係数行列とを生成する
請求項3の音響処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011284075A JP5942420B2 (ja) | 2011-07-07 | 2011-12-26 | 音響処理装置および音響処理方法 |
EP12005029A EP2544180A1 (en) | 2011-07-07 | 2012-07-06 | Sound processing apparatus |
US13/542,974 US20130010968A1 (en) | 2011-07-07 | 2012-07-06 | Sound Processing Apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011150819 | 2011-07-07 | ||
JP2011150819 | 2011-07-07 | ||
JP2011284075A JP5942420B2 (ja) | 2011-07-07 | 2011-12-26 | 音響処理装置および音響処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033196A true JP2013033196A (ja) | 2013-02-14 |
JP5942420B2 JP5942420B2 (ja) | 2016-06-29 |
Family
ID=47008208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011284075A Expired - Fee Related JP5942420B2 (ja) | 2011-07-07 | 2011-12-26 | 音響処理装置および音響処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130010968A1 (ja) |
EP (1) | EP2544180A1 (ja) |
JP (1) | JP5942420B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013134331A (ja) * | 2011-12-26 | 2013-07-08 | Yamaha Corp | 音響処理装置 |
JP2015031889A (ja) * | 2013-08-05 | 2015-02-16 | 株式会社半導体理工学研究センター | 音響信号分離装置、音響信号分離方法及び音響信号分離プログラム |
JP2015079110A (ja) * | 2013-10-17 | 2015-04-23 | ヤマハ株式会社 | 音響解析装置 |
JP2015096921A (ja) * | 2013-11-15 | 2015-05-21 | キヤノン株式会社 | 音響信号処理装置および方法 |
JP2018091647A (ja) * | 2016-11-30 | 2018-06-14 | 日本電気株式会社 | 信号処理装置、方位算出方法及び方位算出プログラム |
WO2020145215A1 (ja) * | 2019-01-09 | 2020-07-16 | 日本製鉄株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10839823B2 (en) | 2019-02-27 | 2020-11-17 | Honda Motor Co., Ltd. | Sound source separating device, sound source separating method, and program |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6157926B2 (ja) * | 2013-05-24 | 2017-07-05 | 株式会社東芝 | 音声処理装置、方法およびプログラム |
EP3201917B1 (en) | 2014-10-02 | 2021-11-03 | Sony Group Corporation | Method, apparatus and system for blind source separation |
CN105989851B (zh) * | 2015-02-15 | 2021-05-07 | 杜比实验室特许公司 | 音频源分离 |
CN105989852A (zh) | 2015-02-16 | 2016-10-05 | 杜比实验室特许公司 | 分离音频源 |
JP6747447B2 (ja) * | 2015-09-16 | 2020-08-26 | 日本電気株式会社 | 信号検知装置、信号検知方法、および信号検知プログラム |
WO2017143095A1 (en) | 2016-02-16 | 2017-08-24 | Red Pill VR, Inc. | Real-time adaptive audio source separation |
JP6911854B2 (ja) * | 2016-06-16 | 2021-07-28 | 日本電気株式会社 | 信号処理装置、信号処理方法および信号処理プログラム |
JP6622159B2 (ja) * | 2016-08-31 | 2019-12-18 | 株式会社東芝 | 信号処理システム、信号処理方法およびプログラム |
CN109545240B (zh) * | 2018-11-19 | 2022-12-09 | 清华大学 | 一种人机交互的声音分离的方法 |
KR102520240B1 (ko) * | 2019-03-18 | 2023-04-11 | 한국전자통신연구원 | 비음수 행렬 인수분해를 이용하는 데이터 증강 방법 및 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005258440A (ja) * | 2004-03-12 | 2005-09-22 | Mitsubishi Electric Research Laboratories Inc | 別個の信号の成分を分離する方法およびシステム |
JP2009128906A (ja) * | 2007-11-19 | 2009-06-11 | Mitsubishi Electric Research Laboratories Inc | 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム |
US20100254539A1 (en) * | 2009-04-07 | 2010-10-07 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting target sound from mixed source sound |
JP2011133780A (ja) * | 2009-12-25 | 2011-07-07 | Nippon Telegr & Teleph Corp <Ntt> | 信号分析装置、信号分析方法及び信号分析プログラム |
JP2013546018A (ja) * | 2010-10-25 | 2013-12-26 | クゥアルコム・インコーポレイテッド | 時間展開情報をもつ基底関数を使用する音楽信号の分解 |
-
2011
- 2011-12-26 JP JP2011284075A patent/JP5942420B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-06 EP EP12005029A patent/EP2544180A1/en not_active Withdrawn
- 2012-07-06 US US13/542,974 patent/US20130010968A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005258440A (ja) * | 2004-03-12 | 2005-09-22 | Mitsubishi Electric Research Laboratories Inc | 別個の信号の成分を分離する方法およびシステム |
JP2009128906A (ja) * | 2007-11-19 | 2009-06-11 | Mitsubishi Electric Research Laboratories Inc | 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム |
US20100254539A1 (en) * | 2009-04-07 | 2010-10-07 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting target sound from mixed source sound |
JP2011133780A (ja) * | 2009-12-25 | 2011-07-07 | Nippon Telegr & Teleph Corp <Ntt> | 信号分析装置、信号分析方法及び信号分析プログラム |
JP2013546018A (ja) * | 2010-10-25 | 2013-12-26 | クゥアルコム・インコーポレイテッド | 時間展開情報をもつ基底関数を使用する音楽信号の分解 |
Non-Patent Citations (3)
Title |
---|
SO-YOUNG JEONG ET AL: "Semi-blind disjoint non-negative matrix factorization for extracting target source from single chann", 2009 IEEE WORKSHOP ON APPLICATIONS OF SIGNAL PROCESSING TO AUDIO AND ACOUSTICS, JPN6015037186, 18 October 2009 (2009-10-18), US, pages 73 - 76, XP031575168, ISSN: 0003156446 * |
中鹿亘,外2名: "基底の反復生成と教師ありNMFを用いた信号解析", 電子情報通信学会技術研究報告, vol. 110, no. 357, JPN6016014824, 13 December 2010 (2010-12-13), JP, pages 195 - 200, ISSN: 0003302446 * |
堀田政二,外1名: "Non-negative Matrix Factorizationの初期値の設定法とその応用", 電子情報通信学会技術研究報告, vol. 102, no. 652, JPN6016014825, 14 February 2003 (2003-02-14), JP, pages 19 - 24, ISSN: 0003302447 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013134331A (ja) * | 2011-12-26 | 2013-07-08 | Yamaha Corp | 音響処理装置 |
JP2015031889A (ja) * | 2013-08-05 | 2015-02-16 | 株式会社半導体理工学研究センター | 音響信号分離装置、音響信号分離方法及び音響信号分離プログラム |
JP2015079110A (ja) * | 2013-10-17 | 2015-04-23 | ヤマハ株式会社 | 音響解析装置 |
JP2015096921A (ja) * | 2013-11-15 | 2015-05-21 | キヤノン株式会社 | 音響信号処理装置および方法 |
JP2018091647A (ja) * | 2016-11-30 | 2018-06-14 | 日本電気株式会社 | 信号処理装置、方位算出方法及び方位算出プログラム |
WO2020145215A1 (ja) * | 2019-01-09 | 2020-07-16 | 日本製鉄株式会社 | 情報処理装置、情報処理方法及びプログラム |
JPWO2020145215A1 (ja) * | 2019-01-09 | 2021-09-30 | 日本製鉄株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7036233B2 (ja) | 2019-01-09 | 2022-03-15 | 日本製鉄株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10839823B2 (en) | 2019-02-27 | 2020-11-17 | Honda Motor Co., Ltd. | Sound source separating device, sound source separating method, and program |
Also Published As
Publication number | Publication date |
---|---|
US20130010968A1 (en) | 2013-01-10 |
EP2544180A1 (en) | 2013-01-09 |
JP5942420B2 (ja) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5942420B2 (ja) | 音響処理装置および音響処理方法 | |
Nugraha et al. | Multichannel music separation with deep neural networks | |
US11966660B2 (en) | Method, system and artificial neural network | |
Uhlich et al. | Deep neural network based instrument extraction from music | |
Smaragdis et al. | Separation by “humming”: User-guided sound extraction from monophonic mixtures | |
Seetharaman et al. | Class-conditional embeddings for music source separation | |
EP3201917B1 (en) | Method, apparatus and system for blind source separation | |
US10373628B2 (en) | Signal processing system, signal processing method, and computer program product | |
Nakano et al. | Bayesian nonparametric spectrogram modeling based on infinite factorial infinite hidden Markov model | |
Moore et al. | Speech enhancement for robust automatic speech recognition: Evaluation using a baseline system and instrumental measures | |
Ganseman et al. | Source separation by score synthesis | |
Bryan et al. | Interactive refinement of supervised and semi-supervised sound source separation estimates | |
Duong et al. | An interactive audio source separation framework based on non-negative matrix factorization | |
Miron et al. | Generating data to train convolutional neural networks for classical music source separation | |
JP5454330B2 (ja) | 音響処理装置 | |
Rodriguez-Serrano et al. | Multiple instrument mixtures source separation evaluation using instrument-dependent NMF models | |
Park et al. | Separation of instrument sounds using non-negative matrix factorization with spectral envelope constraints | |
JP5387442B2 (ja) | 信号処理装置 | |
JP4946330B2 (ja) | 信号分離装置及び方法 | |
JP5263020B2 (ja) | 信号処理装置 | |
JP2020034870A (ja) | 信号解析装置、方法、及びプログラム | |
JP5884473B2 (ja) | 音響処理装置および音響処理方法 | |
JP2014134688A (ja) | 音響解析装置 | |
JP2014215544A (ja) | 音響処理装置 | |
Lee et al. | Discriminative training of complex-valued deep recurrent neural network for singing voice separation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141023 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160509 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5942420 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |