JP2020042266A - ブラインド信号分離のための方法、装置及び電子デバイス - Google Patents
ブラインド信号分離のための方法、装置及び電子デバイス Download PDFInfo
- Publication number
- JP2020042266A JP2020042266A JP2019162504A JP2019162504A JP2020042266A JP 2020042266 A JP2020042266 A JP 2020042266A JP 2019162504 A JP2019162504 A JP 2019162504A JP 2019162504 A JP2019162504 A JP 2019162504A JP 2020042266 A JP2020042266 A JP 2020042266A
- Authority
- JP
- Japan
- Prior art keywords
- modeling
- signal separation
- blind signal
- blind
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000009826 distribution Methods 0.000 claims abstract description 71
- 230000005236 sound signal Effects 0.000 claims abstract description 49
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
上記のように、ブラインド信号分離のための既存のシステムは、依然として、特定のシナリオへの適応性のような欠陥を有する。その理由は、既存のブラインド信号分離アルゴリズムが、多変量ラプラシアン分布に基づく多変量ラプラシアンモデルを使用し、これは、音響信号のほとんどに適用可能されてもよく、リアルタイム処理シナリオに拡張されてもよいが、高調波構造を有する音楽信号のような特定のスペクトル構造を有するいくつかの信号については、多変量ラプラシアンモデルは、このような信号を十分に記述できないからである。他の側面では、スーパーガウス分布を採用した高調波モデルが使用される場合、音声及び音楽の混合信号は効果的に分離され得るが、高調波モデルは、分離された信号の分散1を有すると仮定され、これはホワイトニング操作を行う必要があり、したがって、オフラインシナリオにのみ適しており、リアルタイム処理シナリオに拡張できない。
図1は、本開示の実施形態によるブラインド信号分離技術の適用シナリオの概略図を示す。
図2は、本開示の実施形態によるブラインド信号分離のための方法のフローチャートを示す。
図6は、本開示の実施形態による、ブラインド信号分離のための装置のブロック図を示す。
以下に、本開示の実施形態による電子デバイスについて、図7を参照して説明する。図7に示すように、電子デバイス10は、1つ以上のプロセッサ11及びメモリ12を含む。
上記の方法及び装置に加えて、本開示の実施形態は、コンピュータプログラム命令を含むコンピュータプログラムプロダクトでもよく、当該コンピュータプログラム命令は、プロセッサにより実行されたとき、プロセッサに対して、本開示の上記の「例示的な方法」の部分に記載されるように、本開示の様々な実施形態によるブラインド信号分離のための方法のステップを実行させる。
Claims (15)
- 音源の確率密度分布を決定するために、複素ガウス分布により前記音源をモデル化するステップと、
前記確率密度分布に基づいてブラインド信号分離モデルを更新するステップと、
複数の分離された出力信号を取得するために、前記更新されたブラインド信号分離モデルによりオーディオ信号を分離するステップと
を含むブラインド信号分離のための方法。 - 複素ガウス分布により前記音源をモデル化するステップは、オフラインモデル化、オンラインモデル化又はこれらの組み合わせを含む、請求項1又は2に記載のブラインド信号分離のための方法。
- 前記オフラインモデル化は、前記音源の確率密度分布を取得するために、分離されるべき前記オーディオ信号の前記音源と同じ種別の音源からのクリーンオーディオ信号を使用することにより、モデル化することを含む、請求項3に記載のブラインド信号分離のための方法。
- 前記取得された複数の分離された出力信号に基づいて前記ブラインド信号分離モデルを更新するステップを更に含む、請求項4に記載のブラインド信号分離のための方法。
- 前記オンラインモデル化は、各音源の確率密度分布を取得するために、前記オーディオ信号の前のフレームを分離することにより取得された複数の出力信号をモデル化することを含むか、或いは
オフラインモデル化とオンラインモデル化との前記組み合わせは、分離されるべき前記オーディオ信号の音源の一部に対してオフラインモデル化を実行し、分離されるべき前記オーディオ信号の残りの部分に対してオンラインモデル化を実行することを含む、請求項3に記載のブラインド信号分離のための方法。 - 前記更新されたブラインド信号分離モデルによりオーディオ信号を分離するステップは、
周波数領域内で分離を実行するために、前記オーディオ信号を周波数領域信号に変換するステップであり、前記複数の分離された出力信号は周波数領域信号である、ステップを含む、請求項1乃至6のうちいずれか1項に記載のブラインド信号分離のための方法。 - 前記複数の分離された出力信号のうち少なくとも1つを時間領域信号に変換するステップを更に含む、請求項7に記載のブラインド信号分離のための方法。
- 音源の確率密度分布を決定するために、複素ガウス分布により前記音源をモデル化するように構成されたモデル化ユニットと、
前記音源の前記確率密度分布に基づいてブラインド信号分離モデルを更新するように構成された更新ユニットと、
複数の分離された出力信号を取得するために、前記更新されたブラインド信号分離モデルによりオーディオ信号を分離するように構成された分離ユニットと
を含むブラインド信号分離のための装置。 - 前記モデル化ユニットは、オフラインモデル化ユニットとオンラインモデル化ユニットとのうち少なくとも1つを含む、請求項9に記載のブラインド信号分離のための装置。
- 前記オフラインモデル化ユニットは、前記音源の確率密度分布を取得するために、分離されるべき前記オーディオ信号の前記音源と同じ種別の音源からのクリーンオーディオ信号を使用することにより、モデル化するように構成され、
前記オンラインモデル化ユニットは、各音源の確率密度分布を取得するために、前記オーディオ信号の前のフレームを分離することにより取得された複数の出力信号をモデル化するように構成される、請求項10に記載のブラインド信号分離のための装置。 - 前記モデル化ユニットは、オフラインモデル化ユニットとオンラインモデル化ユニットとの双方を含み、前記オフラインモデル化ユニットは、分離されるべき前記オーディオ信号の既知の音源に対してオフラインモデル化を実行するように構成され、前記オフラインモデル化ユニットは、分離されるべき前記オーディオ信号の未知の音源に対してオンラインモデル化を実行するように構成される、請求項11に記載のブラインド信号分離のための装置。
- 周波数領域内で分離を実行するために、前記オーディオ信号を周波数領域信号に変換するように構成された周波数領域変換ユニットであり、前記複数の分離された出力信号は周波数領域信号である、周波数領域変換ユニットと、
前記分離された周波数領域の出力信号のうち少なくとも1つを時間領域信号に変換するように構成された時間領域変換ユニットと
を更に含む、請求項9乃至12のうちいずれか1項に記載のブラインド信号分離のための装置。 - プロセッサと、記憶されたコンピュータプログラム命令を有するメモリとを含む電子デバイスであって、
前記コンピュータプログラム命令は、実行されたときに、前記プロセッサがブラインド信号分離のための方法を実行することを可能にし、
前記方法は、
音源の確率密度分布を決定するために、複素ガウス分布により前記音源をモデル化するステップと、
前記確率密度分布に基づいてブラインド信号分離モデルを更新するステップと、
複数の分離された出力信号を取得するために、前記更新されたブラインド信号分離モデルによりオーディオ信号を分離するステップと
を含む、電子デバイス。 - 記憶されたコンピュータプログラム命令を有するコンピュータ読み取り可能記憶媒体であって、
前記コンピュータプログラム命令は、実行されたときに、プロセッサがブラインド信号分離のための方法を実行することを可能にし、
前記方法は、
音源の確率密度分布を決定するために、複素ガウス分布により前記音源をモデル化するステップと、
前記確率密度分布に基づいてブラインド信号分離モデルを更新するステップと、
複数の分離された出力信号を取得するために、前記更新されたブラインド信号分離モデルによりオーディオ信号を分離するステップと
を含む、コンピュータ読み取り可能記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811045478.0 | 2018-09-07 | ||
CN201811045478.0A CN110890098B (zh) | 2018-09-07 | 2018-09-07 | 盲信号分离方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042266A true JP2020042266A (ja) | 2020-03-19 |
JP6966750B2 JP6966750B2 (ja) | 2021-11-17 |
Family
ID=67847636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019162504A Active JP6966750B2 (ja) | 2018-09-07 | 2019-09-06 | ブラインド信号分離のための方法、装置及び電子デバイス |
Country Status (5)
Country | Link |
---|---|
US (1) | US10978089B2 (ja) |
EP (1) | EP3624117A1 (ja) |
JP (1) | JP6966750B2 (ja) |
KR (1) | KR102194194B1 (ja) |
CN (1) | CN110890098B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111863020B (zh) * | 2020-07-30 | 2022-09-20 | 腾讯科技(深圳)有限公司 | 语音信号处理方法、装置、设备及存储介质 |
CN112339684B (zh) * | 2020-10-27 | 2021-12-24 | 广州汽车集团股份有限公司 | 一种基于概率分布的汽车安全机制触发方法及装置 |
CN112349292B (zh) * | 2020-11-02 | 2024-04-19 | 深圳地平线机器人科技有限公司 | 信号分离方法和装置、计算机可读存储介质、电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013068938A (ja) * | 2011-09-05 | 2013-04-18 | Research Organization Of Information & Systems | 信号処理装置、信号処理方法及びコンピュータプログラム |
JP2017009700A (ja) * | 2015-06-18 | 2017-01-12 | 本田技研工業株式会社 | 音源分離装置、および音源分離方法 |
JP2019074625A (ja) * | 2017-10-16 | 2019-05-16 | 株式会社日立製作所 | 音源分離方法および音源分離装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007103037A2 (en) * | 2006-03-01 | 2007-09-13 | Softmax, Inc. | System and method for generating a separated signal |
JP4660739B2 (ja) * | 2006-09-01 | 2011-03-30 | 独立行政法人産業技術総合研究所 | 音分析装置およびプログラム |
US9047867B2 (en) * | 2011-02-21 | 2015-06-02 | Adobe Systems Incorporated | Systems and methods for concurrent signal recognition |
US9124981B2 (en) * | 2012-11-14 | 2015-09-01 | Qualcomm Incorporated | Systems and methods for classification of audio environments |
GB2548325B (en) * | 2016-02-10 | 2021-12-01 | Audiotelligence Ltd | Acoustic source seperation systems |
CN106887238B (zh) * | 2017-03-01 | 2020-05-15 | 中国科学院上海微系统与信息技术研究所 | 一种基于改进独立向量分析算法的声信号盲分离方法 |
CN108364659B (zh) * | 2018-02-05 | 2021-06-01 | 西安电子科技大学 | 基于多目标优化的频域卷积盲信号分离方法 |
-
2018
- 2018-09-07 CN CN201811045478.0A patent/CN110890098B/zh active Active
-
2019
- 2019-08-29 US US16/555,166 patent/US10978089B2/en active Active
- 2019-09-03 EP EP19195106.0A patent/EP3624117A1/en not_active Withdrawn
- 2019-09-04 KR KR1020190109632A patent/KR102194194B1/ko active IP Right Grant
- 2019-09-06 JP JP2019162504A patent/JP6966750B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013068938A (ja) * | 2011-09-05 | 2013-04-18 | Research Organization Of Information & Systems | 信号処理装置、信号処理方法及びコンピュータプログラム |
JP2017009700A (ja) * | 2015-06-18 | 2017-01-12 | 本田技研工業株式会社 | 音源分離装置、および音源分離方法 |
JP2019074625A (ja) * | 2017-10-16 | 2019-05-16 | 株式会社日立製作所 | 音源分離方法および音源分離装置 |
Non-Patent Citations (4)
Title |
---|
MOE TAKAKUSAKI, 外5名: "Ego-Noise Reduction for Hose-Shaped Rescue Robot Using Basis-Shared Semi-Supervised Independent Low-", RISP INTERNATIONAL WORKSHOP ON NONLINEAR CIRCUITS, COMMUNICATIONS AND SIGNAL PROCESSING, JPN6020039350, March 2018 (2018-03-01), pages 351 - 354, ISSN: 0004483742 * |
TAESU KIM, 外2名: "Frequency Domain Blind Source Separation Exploiting Higher-Order Dependencies", IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNAL PROCESSING PROCEEDINGS, JPN6020039352, May 2006 (2006-05-01), pages 677 - 680, ISSN: 0004483740 * |
北村大地,外5名: "独立深層学習行列分析に基づく多チャネル音源分離の実験的評価", 電子情報通信学会技術研究報告, vol. 117, no. 517, JPN6020039349, March 2018 (2018-03-01), pages 13 - 20, ISSN: 0004483741 * |
小田亮太,外2名: "インパルス応答のスパース性を利用したブラインド音源分離", 電子情報通信学会技術研究報告, vol. 117, no. 517, JPN6020039351, March 2018 (2018-03-01), pages 341 - 346, ISSN: 0004483739 * |
Also Published As
Publication number | Publication date |
---|---|
KR20200028852A (ko) | 2020-03-17 |
JP6966750B2 (ja) | 2021-11-17 |
US10978089B2 (en) | 2021-04-13 |
EP3624117A1 (en) | 2020-03-18 |
US20200082838A1 (en) | 2020-03-12 |
CN110890098A (zh) | 2020-03-17 |
KR102194194B1 (ko) | 2020-12-22 |
CN110890098B (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7337953B2 (ja) | 音声認識方法及び装置、ニューラルネットワークの訓練方法及び装置、並びにコンピュータープログラム | |
JP6889698B2 (ja) | 音声を増幅する方法及び装置 | |
CN106688034B (zh) | 具有情感内容的文字至语音转换 | |
JP6966750B2 (ja) | ブラインド信号分離のための方法、装置及び電子デバイス | |
CN113436643B (zh) | 语音增强模型的训练及应用方法、装置、设备及存储介质 | |
JP2019204074A (ja) | 音声対話方法、装置及びシステム | |
Ravanelli et al. | Realistic multi-microphone data simulation for distant speech recognition | |
US11688412B2 (en) | Multi-modal framework for multi-channel target speech separation | |
JP2008158035A (ja) | 多音源有音区間判定装置、方法、プログラム及びその記録媒体 | |
US9484044B1 (en) | Voice enhancement and/or speech features extraction on noisy audio signals using successively refined transforms | |
JP7214798B2 (ja) | 音声信号処理方法、音声信号処理装置、電子機器及び記憶媒体 | |
US20240046955A1 (en) | Voice extraction method and apparatus, and electronic device | |
JP2013037174A (ja) | 雑音/残響除去装置とその方法とプログラム | |
WO2023001128A1 (zh) | 音频数据的处理方法、装置及设备 | |
Kim et al. | Efficient implementation of the room simulator for training deep neural network acoustic models | |
US9601124B2 (en) | Acoustic matching and splicing of sound tracks | |
US10079028B2 (en) | Sound enhancement through reverberation matching | |
CN111696573A (zh) | 声源信号处理方法及装置、电子设备和存储介质 | |
US9978393B1 (en) | System and method for automatically removing noise defects from sound recordings | |
CN111968620A (zh) | 算法的测试方法、装置、电子设备及存储介质 | |
CN114155852A (zh) | 语音处理方法、装置、电子设备及存储介质 | |
JP6891144B2 (ja) | 生成装置、生成方法及び生成プログラム | |
US10825469B2 (en) | System and method for voice activity detection and generation of characteristics respective thereof | |
CN112489678A (zh) | 一种基于信道特征的场景识别方法及装置 | |
CN112992167A (zh) | 音频信号的处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210120 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210812 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210823 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6966750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |