JP2019522810A - ニューラルネットワークベースの声紋情報抽出方法及び装置 - Google Patents
ニューラルネットワークベースの声紋情報抽出方法及び装置 Download PDFInfo
- Publication number
- JP2019522810A JP2019522810A JP2018559969A JP2018559969A JP2019522810A JP 2019522810 A JP2019522810 A JP 2019522810A JP 2018559969 A JP2018559969 A JP 2018559969A JP 2018559969 A JP2018559969 A JP 2018559969A JP 2019522810 A JP2019522810 A JP 2019522810A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- voiceprint
- vector
- feature
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 190
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 51
- 239000013604 expression vector Substances 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 26
- 230000002457 bidirectional effect Effects 0.000 claims description 18
- 230000000306 recurrent effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 13
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
Abstract
ニューラルネットワークに基づき声紋情報を抽出する方法及び装置を開示する。この方法は、入力音声セグメントから音声音響特徴を抽出し、ニューラルネットワークに基づきトレーニングされる声紋モデルに音声音響特徴を入力すること、声紋モデル内のニューラルネットワークのボトルネック特徴を抽出すること、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングすることを備え、この単一フレームの声紋表現ベクトルは、入力音声セグメントに対応する声紋情報として機能する。ニューラルネットワークベースの声紋情報抽出方法及び装置は、ニューラルネットワークに基づきトレーニングされる声紋モデルを使用して音声セグメントの声紋情報を抽出するので、抽出プロセスは、比較的に簡単であり、短時間の音声セグメントは、より良い方式において処理されることが可能である。
Description
関連特許出願の相互参照
本出願は、２０１６年６月１３日に出願された「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ−Ｂａｓｅｄ Ｖｏｉｃｅｐｒｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ」と題する中国特許出願第２０１６１０４２１９０８．９号への外国優先権を主張するものであり、その全体が参照により本明細書によって援用される。
本出願は、２０１６年６月１３日に出願された「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ−Ｂａｓｅｄ Ｖｏｉｃｅｐｒｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ」と題する中国特許出願第２０１６１０４２１９０８．９号への外国優先権を主張するものであり、その全体が参照により本明細書によって援用される。
本開示は、コンピュータの分野に関し、特に、ニューラルネットワークに基づき声紋情報を抽出する方法及び装置に関する。
声紋情報は、一般的に話者を表すことが可能である情報に関し、音声波形を通して話者の生理学的及びビヘイビア特性を反映する一種の音声情報である。声紋情報は、発話認識における、話者認識、話者検証、及び話者自己適応などのタスクに広範に適用されることができる。声紋情報の迅速で効果的な抽出は、前述のタスクのパフォーマンスを改善するために非常に重要である。
ｉベクトルは、話者認識の主流の技術である。ｉベクトルにおいて、各話者は、異なる話者の中から区別可能であるベクトルを有する。
一般的に、ｉベクトルは、話者空間及びチャネル空間を別々にモデル化し、計算用に変化する因子を代入する必要があることにより、声紋情報を表すベクトルは、入力音声から抽出されることが可能である。そのトレーニング及び声紋情報抽出のプロセスは、比較的に複雑である。
この発明の概要は、発明を実施するための形態において以下にさらに説明される簡略化された形態で概念の選択を導入するために提供される。この発明の概要は、特許請求された主題のすべての重要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求された主題の範囲を決定する際の助けとして単独で使用されることを意図するものでもない。用語「技法」は、上記文脈によって及び本開示全体を通して許容されるような、たとえば、デバイス（複数可）、システム（複数可）、方法（複数可）及び／またはコンピュータ可読命令を指し得る。
本開示の目的は、ニューラルネットワークに基づき声紋情報を抽出する方法及び装置を提供すること、声紋情報を抽出するプロセスを簡略化することである。
実施態様において、本開示は、ニューラルネットワークベースの声紋情報抽出方法を提供する。この方法は、入力音声セグメントから１つ以上の音声音響特徴を抽出することと、ニューラルネットワークに基づきトレーニングされる声紋モデルに１つ以上の音声音響特徴を入力し、声紋モデル内のニューラルネットワークのボトルネック特徴を抽出することと、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングすることとを備え、この単一フレームの声紋表現ベクトルは、入力音声セグメントに対応する声紋情報として機能することができる。
実施態様において、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングすることは、ニューラルネットワークのボトルネック特徴のフレームベクトルに重み付けし、ニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算し、取得することを備えることができる。
実施態様において、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングすることは、ニューラルネットワークのボトルネック特徴のフレームベクトルについてのｉベクトルモデルを構築すること、このｉベクトルモデルを使用して、ニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算することを備えることができる。
実施態様において、方法は、ニューラルネットワークをトレーニングすることをさらに備えることができ、このトレーニングすることは、トレーニングする音声セグメントから抽出される音声音響特徴をニューラルネットワークの入力データとして使用すること、トレーニングする音声セグメントに対応する分類ラベルをニューラルネットワークの出力データとして使用すること、ニューラルネットワークを介して入力データを分類して分類結果と出力データとの間の対応関係を比較し、声紋モデルをトレーニングすることを備える。
実施態様において、ニューラルネットワークは、下から上に順に、入力層、双方向リカレントニューラルネットワーク層、全結合層、及び出力層を備えることができる。
実施態様において、ニューラルネットワークは、下から上に順に、入力層、双方向リカレントニューラルネットワーク層、畳み込みニューラルネットワーク層、全結合層、及び出力層を備えることができる。
実施態様において、ニューラルネットワークのボトルネック特徴は、声紋モデルの全結合層内の音声音響特徴の出力を備えることができる。
実施態様において、本開示は、ニューラルネットワークベースの声紋情報抽出装置をさらに提供する。これらの装置は、入力音声セグメントから１つ以上の音声音響特徴を抽出するように構成される音声音響特徴抽出モジュールと、ニューラルネットワークに基づきトレーニングされる声紋モデルに１つ以上の音声音響特徴を入力し、声紋モデル内のニューラルネットワークのボトルネック特徴を抽出するように構成される処理モジュールと、入力音声セグメントに対応する声紋情報として機能する単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングするように構成される声紋情報計算モジュールとを備えることができる。
実施態様において、声紋情報計算モジュールは、ニューラルネットワークのボトルネック特徴のフレームベクトルに重み付けし、ニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算し、取得するようにさらに構成されることができる。
実施態様において、声紋情報計算モジュールは、ニューラルネットワークのボトルネック特徴のフレームベクトルについてｉベクトルモデルを構築し、このｉベクトルモデルを使用してニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算するようにさらに構成されることができる。
実施態様において、装置は、トレーニングする音声セグメントから抽出される音声音響特徴をニューラルネットワークの入力データとして使用し、トレーニングする音声セグメントに対応する分類ラベルをニューラルネットワークの出力データとして使用し、ニューラルネットワークを使用して入力データを分類し、分類結果と出力データとの間の対応関係を比較することにより声紋モデルをトレーニングするように構成されるニューラルネットワークトレーニングモジュールをさらに備えることができる。
実施態様において、ニューラルネットワークは、下から上に順に、入力層、双方向リカレントニューラルネットワーク層、全結合層、及び出力層を備えることができる。
実施態様において、ニューラルネットワークは、下から上に順に、入力層、双方向リカレントニューラルネットワーク層、畳み込みニューラルネットワーク層、全結合層、及び出力層を備えることができる。
実施態様において、ニューラルネットワークのボトルネック特徴は、声紋モデルの全結合層内の音声音響特徴の出力を備えることができる。
既存の技法と比較して、ニューラルネットワークベースの声紋情報抽出方法及び装置は、ニューラルネットワークに基づきトレーニングされる声紋モデルを通して音声セグメントの声紋情報を抽出し、より良い方式において短時間の音声セグメントを処理することが可能である、比較的に簡単な抽出プロセスを有する。
本開示は、添付の図面に示されるように、例示的な実施態様を参照して以降本明細書中に詳細に説明される。しかしながら、これらの実施態様は、本開示を限定することを意図されない。当業者であれば、これらの実施態様に基づき構造、方法または機能へ変更を行うことができ、これらの変更は、本開示の保護範囲内にすべて入る。
声紋は、電気音響機器により表示される口頭情報を搬送する音波スペクトルである。人間の言語の発生は、人体の言語中枢と発声器官との間の複雑な生理学的及び物理的プロセスである。人々が話すときに使用する発声器官（舌、歯、咽頭、肺、及び鼻腔）は、大きさや形状の観点で人によって著しく変わるため、いずれか２人の声紋は、異なる。
声紋情報は、フィルタ、モデルなどの手段により抽出される情報であり、これは、話者を表し、極めて識別可能な声紋表現をもっている。声紋情報は、声紋認識システム、すなわち、話者認識及び検証により使用されることができる。前者は、複数の人の中からどの人が特定の発話セグメントの話者であるかを決定するために使用され、「複数の選択肢から１つを選択する」問題である。後者は、発話セグメントが指定された人により話されているかどうかを検証するために使用され、「１対１の裁量」問題である。異なるタスク及びアプリケーションは、異なる声紋認識技法を使用することができる。たとえば、犯罪捜査の範囲を縮小させる認識技法を必要とする可能性があり、銀行取引を行うときに検証技法を必要とする。
また声紋情報は、発話認識についての話者自己適応システムに使用されることができる。話者自己適応システムは、話者に関連する音声特徴を話者に関連しない音声特徴に変換し、または話者に関連しない声紋モデルを話者に関連する声紋モデルに変換し、より良い方式において、標的話者の音声特徴を試験し、その声紋モデルにマッチングさせるので、より良い認識効果を取得することが可能である。これらの変換を達成する重要な手法は、話者の音声の声紋情報を抽出することである。
本開示は、ニューラルネットワークに基づきトレーニングされる声紋モデルを使用して、音声の声紋情報を抽出する。これは、抽出及びモデリングのプロセスを極めて簡略化し、抽出された声紋情報は、比較的に高品質を有する。
図１は、声紋情報を抽出するための声紋モデルを示す。声紋モデルは、本開示に従い、ニューラルネットワーク１００に基づきトレーニングされる。実施態様において、下から上に開始する順序に従い、ニューラルネットワーク１００は、１層の入力層１０２、１層以上の双方向リカレントニューラルネットワーク層１０４、１層以上の全結合層１０８、及び１層の出力層１１０を備えることができる。換言すれば、ニューラルネットワーク１００に入るデータは、１層の入力層１０２、１層以上の双方向リカレントニューラルネットワーク層１０４、１層以上の全結合層１０８、及び１層の出力層１１０を連続して通過する。実施態様において、全結合層は、少なくとも１層の全結合層を含む。
実施態様において、ニューラルネットワークは、双方向リカレントニューラルネットワーク層（双方向ＲＮＮ）、すなわち、順伝播層及び逆伝播層を含むＢＬＳＴＭネットワークを用いることができる。したがって、声紋モデル内で抽出されるニューラルネットワークのボトルネック特徴がより正確であるように、全体の時間シーケンスに順及び逆時間フレームを合わせて使用して、現在の時間フレームの音声音響特徴を分析する。
別の実施態様において、下から上に開始する順序に従い、ニューラルネットワーク１００は、１層の入力層１０２、１層以上の双方向リカレントニューラルネットワーク層１０４、１層以上の畳み込みニューラルネットワーク層１０６、１層以上の全結合層１０８、及び１層の出力層１１０を備えることができる。換言すれば、ニューラルネットワーク１００に入るデータは、１層の入力層１０２、１層以上の双方向リカレントニューラルネットワーク層１０４、１層以上の畳み込みニューラルネットワーク層１０６、１層以上の全結合層１０８、及び１層の出力層１１０を連続して通過する。
ニューラルネットワークのより良いボトルネック特徴をより大きなステージにおいて抽出することができるように、現在の実施態様は、前の実施態様に基づいて畳み込みニューラルネットワーク層（ＣＮＮ）１０６をさらに加え、複数のフレームの音声音響特徴をより少ない数のフレームに結合することができるので、この方式においてフレームレートを低下させる。
当業者は、既存の技法を使用して、上文のニューラルネットワークアーキテクチャ、たとえば、双方向リカレントニューラルネットワーク、畳み込みニューラルネットワーク、及び全結合ネットワークにおけるさまざまな層に伴われるネットワーク構造及び特性を理解し、これらに精通することが可能であるため、その詳細は、本明細書に冗長に記述されない。以降本明細書において、ニューラルネットワークに基づき声紋情報を抽出する方法を開示する。
さらに、声紋情報を抽出する前に、ニューラルネットワークは、最初にトレーニングされる必要がある。実施態様において、ＧＰＵアクセラレーションを使用して、ニューラルネットワークが声紋モデルのトレーニングを受ける。その方法は、トレーニングする音声セグメントから抽出される音声音響特徴をニューラルネットワークの入力データとして使用し、トレーニングする音声セグメントに対応する分類ラベルをニューラルネットワークの出力データとして使用し、ニューラルネットワークを使用して入力データを分類し、分類結果と出力データとの間の対応関係を比較することにより声紋モデルをトレーニングすることを備えることができる。
実施態様において、話者は、分類ラベルとして使用される、すなわち、１人の話者は、少なくとも１つのトレーニングする音声セグメントに対応する。ニューラルネットワークをトレーニングする手法は、多数のトレーニングする音声セグメントをニューラルネットワークに入力し、このニューラルネットワークによる分類を実行すること、ニューラルネットワークがトレーニングする音声セグメントを対応する話者に分類する（すなわち、分類結果は出力データに対応する）場合に１として分類にマーク付けすること、ニューラルネットワークがトレーニングする音声セグメントを対応する話者に分類することに失敗した（すなわち、分類結果は出力データに対応しない）場合に０としてこの分類にマーク付けすること、及びすべてのトレーニングする音声セグメントがこの方式において分類された後に、ニューラルネットワークが正確に分類を実行することが可能になるまで、またはその分類精度が所定の閾値を超えるまで、分析的トレーニングについての分類ラベルを参照して再度ニューラルネットワークに入力データを代入し、つぎにニューラルネットワークを声紋モデルとして設定することを備えることができる。
図２に示されるように、実施態様において、ニューラルネットワークベースの声紋情報抽出方法２００は、つぎの操作を含むことができる。
Ｓ２０２は、音声音響特徴を入力音声セグメントから抽出する。
Ｓ２０４は、ニューラルネットワークに基づきトレーニングされる声紋モデルに音声音響特徴を入力し、声紋モデル内のニューラルネットワークのボトルネック特徴を抽出する。
Ｓ２０６は、入力音声セグメントに対応する声紋情報として機能する、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングする。
実施態様において、音声セグメントは、連続的な発話の節、たとえば、文、段落、及び同様のものを含むことができる。音声音響特徴は、音声セグメントの、メル周波数ケプストラム係数（ＭＦＣＣ）、知覚線形予測（ＰＬＰ）係数、フィルタバンク特徴などを有することができる。外見上、音声音響特徴は、音声セグメントの、元の、または生の発話データであることもできる。
音声セグメントに対応する抽出された音声音響特徴を声紋モデルに入力した後に、この声紋モデルは、前のトレーニングにおいて定義される１つ以上のルールに従い音声音響特徴を処理することができる。たとえば、音声音響特徴は、分析のために、１層の入力層、１層以上の双方向リカレントニューラルネットワーク層、１層以上の畳み込みニューラルネットワーク層、及び１層以上の全結合層を連続して通過する。
実施態様において、声紋情報が抽出される必要がある音声セグメントについて、抽出された特徴は、ニューラルネットワークのボトルネック特徴、たとえば、声紋モデル内の全結合層の出力である。実施態様において、ニューラルネットワークをトレーニングするときに、特定の層は、ニューラルネットワーク内の他の層より少ない数のノードを含むように選択されることができる。たとえば、特定の層は、数百個のノード（２００個のノードなど）を含むことができ、他の層は、数千個のノード（たとえば、２０００個のノード）を含むことができる。この特定の層は、他の層のこれらと比較してより少ない数のノードを含むように選択され、ボトルネック層と称される。実施態様において、ボトルネック特徴は、ボトルネック層の出力であり、特徴のグループをトレーニングされたニューラルネットワーク（たとえば、上文に記述されるようなニューラルネットワーク）に入力した後に、この特徴のグループにより表現される情報の新規の表現として取られる。
この方式において、声紋情報を表すベクトルのグループを取得することができ、ベクトルのこのグループは、声紋情報に対応する複数のフレームからなる。同時に、ニューラルネットワークのボトルネック特徴を使用して声紋情報を抽出することは、より良い方式において、短時間の音声セグメント（たとえば、３ｓ）の声紋情報を抽出するように適合されることが可能である。当業者は、既存の技法に基づきニューラルネットワークのボトルネック特徴の定義及び抽出手法に精通することが可能であり、その詳細は、本明細書に冗長に記述されない。
さらに、実施態様において、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングすることは、ニューラルネットワークのボトルネック特徴のフレームベクトルに重み付けし、ニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算することを備えることができる。実施態様において、ニューラルネットワークのボトルネック特徴のフレームは、重み付けされることができ、つぎにその平均値を取り（たとえば、同一の重み付け、または所定の異なる重み付けはニューラルネットワークのボトルネック特徴の各フレームに加えられ、重み付け後に平均値を取り）、単一フレームの声紋表現ベクトルを計算する。代替に、窓関数重み付けをニューラルネットワークのボトルネック特徴のフレームベクトル上に実行し、単一フレームの声紋表現ベクトルを計算することができる。実施態様において、単一フレームの声紋表現ベクトルは、ニューラルネットワークのボトルネック特徴のフレームベクトルに含まれる情報の表現または具体的表現であり、単一フレームの声紋表現ベクトルは、抽出される声紋情報の抽象化を有する、または抽象化に対応する。
実施態様において、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングすることは、ニューラルネットワークのボトルネック特徴のフレームベクトルについてのｉベクトルモデルを構築すること、このｉベクトルモデルを使用して、ニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算することを備えることができる。この実施態様において、ニューラルネットワークのボトルネック特徴のフレームベクトルは、既存のｉベクトルを使用することによりモデル化され、このｉベクトルモデルを使用してｉベクトル声紋表現を計算し、単一フレームの声紋表現ベクトルとして機能することができる。この実施態様において、声紋を抽出するプロセスは、前の実施態様と比較してさらに複雑になる。しかしながら、ニューラルネットワークのボトルネック特徴の特性により、この実施態様を使用して抽出されるノイズのある環境内の、短時間の音声セグメント、及び音声セグメントの声紋情報は、従来のｉベクトルを使用して抽出される声紋情報より良いパフォーマンスを有する。
図３は、図１に示されるニューラルネットワーク構造も適用可能である、本開示による例示的なニューラルネットワークベースの声紋情報抽出装置３００を示す。実施態様において、装置３００は、１つ以上のプロセッサ３０２、入出力（Ｉ／Ｏ）インターフェイス３０４、ネットワークインターフェイス３０６、及びメモリ３０８を含むことができる。
メモリ３０８は、コンピュータ可読媒体、たとえば、非永続的なストレージデバイス、ランダムアクセスメモリ（ＲＡＭ）、及び／または不揮発性内部ストレージ、たとえば、読み取り専用メモリ（ＲＯＭ）またはフラッシュＲＡＭの形態を含み得る。メモリ３０８は、コンピュータ可読媒体の実施例である。
コンピュータ可読媒体は、永続的な、または非永続的な種類の、取り外し可能な、または取り外し不可能な媒体を含むことができ、それは、任意の方法または技術を使用して情報のストレージを達成し得る。この情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを含み得る。コンピュータ記憶媒体の実施例は、限定されるものではないが、相変化メモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、他の種類のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電子的に消去可能でプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、高速フラッシュメモリ若しくは他の内部記憶技術、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）若しくは他の光ストレージ、磁気カセットテープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、または任意の他の非伝送媒体を含み、それらは、コンピューティングデバイスによってアクセスされ得る情報を記憶するために使用され得る。本明細書に定義されるように、コンピュータ可読媒体は、一時的な媒体、たとえば、変調データ信号及び搬送波を含まない。説明の容易さのために、システムは、機能に基づくさまざまなタイプのユニットに分割され、これらのユニットは、上文の説明に別々に記述される。外見上、さまざまなユニットの機能は、本開示の実施中に、１つ以上のソフトウェア及び／またはハードウェアコンポーネント内に実装されることができる。
メモリ３０８は、プログラムモジュール３１０及びプログラムデータ３１２を含み得る。実施態様において、プログラムモジュール３１０は、ニューラルネットワークトレーニングモジュール３１４、音声音響特徴抽出モジュール３１６、処理モジュール３１８、及び声紋情報計算モジュール３２０を含むことができる。
実施態様において、声紋情報を抽出する前に、ニューラルネットワークトレーニングモジュール３１４は、たとえば、ニューラルネットワークを迅速にトレーニングするためにＧＰＵアクセラレーションを使用して、ニューラルネットワークをトレーニングすることができる。たとえば、ニューラルネットワークトレーニングモジュール３１４は、トレーニングする音声セグメントから抽出される音声音響特徴（音声音響特徴抽出モジュール３１６を使用して抽出されることができる）をニューラルネットワークの入力データとして使用し、トレーニングする音声セグメントに対応する分類ラベルをニューラルネットワークの出力データとして使用し、ニューラルネットワークを使用して入力データを分類し、分類結果と出力データとの間の対応関係を比較することにより声紋モデルをトレーニングすることができる。
実施態様において、話者は、分類ラベルとして使用される、すなわち、１人の話者は、少なくとも１つのトレーニングする音声セグメントに対応する。ニューラルネットワークをトレーニングする手法は、多数のトレーニングする音声セグメントをニューラルネットワークに入力し、このニューラルネットワークによる分類を実行すること、ニューラルネットワークがトレーニングする音声セグメントを対応する話者に分類する（すなわち、分類結果は出力データに対応する）場合に１として分類にマーク付けすること、ニューラルネットワークがトレーニングする音声セグメントを対応する話者に分類することに失敗した（すなわち、分類結果は出力データに対応しない）場合に０としてこの分類にマーク付けすること、及びすべてのトレーニングする音声セグメントがこの方式において分類された後に、ニューラルネットワークが正確に分類を実行することが可能になるまで、またはその分類精度が所定の閾値を超えるまで、分析的トレーニングについての分類ラベルを参照して再度ニューラルネットワークに入力データを代入し、つぎにニューラルネットワークを声紋モデルとして設定することを備えることができる。
実施態様において、音声音響特徴抽出モジュール３１６は、音声音響特徴を入力音声セグメントから抽出することができる。処理モジュール３１８は、ニューラルネットワークに基づきトレーニングされる声紋モデルに音声音響特徴を入力し、この声紋モデル内のニューラルネットワークのボトルネック特徴を抽出することができる。声紋情報計算モジュール３２０は、入力音声セグメントに対応する声紋情報として機能する、単一フレームの声紋表現ベクトルにニューラルネットワークのボトルネック特徴のフレームベクトルをマッピングすることができる。
実施態様において、音声セグメントは、連続的な発話の節、たとえば、文、段落、及び同様のものを含むことができる。音声音響特徴は、音声セグメントの、メル周波数ケプストラム係数（ＭＦＣＣ）、知覚線形予測（ＰＬＰ）係数、フィルタバンク特徴などを有することができる。外見上、音声音響特徴は、音声セグメントの、元の、または生の発話データであることもできる。
音声セグメントに対応する抽出された音声音響特徴を声紋モデルに入力した後に、この声紋モデルは、前のトレーニングにおいて定義される１つ以上のルールに従い音声音響特徴を処理することができる。たとえば、音声音響特徴は、分析のために、入力層、双方向リカレントニューラルネットワーク層、畳み込みニューラルネットワーク層、及び全結合層を連続して通過する。
実施態様において、声紋情報が抽出される必要がある音声セグメントについて、抽出された特徴は、ニューラルネットワークのボトルネック特徴、すなわち、声紋モデル内の全結合層の出力である。この方式において、声紋情報を表すベクトルのグループを、取得することができ、ベクトルのこのグループは、声紋情報に対応する複数のフレームからなる。同時に、ニューラルネットワークのボトルネック特徴を使用して声紋情報を抽出することは、より良い方式において、短時間の音声セグメント（たとえば、３ｓ）の声紋情報を抽出するように適合されることが可能である。当業者は、既存の技法に基づきニューラルネットワークのボトルネック特徴の定義及び抽出手法に精通することが可能であり、その詳細は、本明細書に冗長に記述されない。
実施態様において、声紋情報計算モジュール３２０は、ニューラルネットワークのボトルネック特徴のフレームベクトルにさらに重み付けし、ニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算することができる。実施態様において、ニューラルネットワークのボトルネック特徴のフレームは、重み付けされることができ、つぎにその平均値を取り（たとえば、同一の重み付け、または所定の異なる重み付けはニューラルネットワークのボトルネック特徴の各フレームに加えられ、重み付け後に平均値を取り）、単一フレームの声紋表現ベクトルを計算する。代替に、窓関数重み付けをニューラルネットワークのボトルネック特徴のフレームベクトル上に実行し、単一フレームの声紋表現ベクトルを計算することができる。
実施態様において、声紋情報計算モジュール３２０は、ニューラルネットワークのボトルネック特徴のフレームベクトルについてｉベクトルモデルをさらに構築し、このｉベクトルモデルを使用してニューラルネットワークのボトルネック特徴に対応する単一フレームの声紋表現ベクトルを計算することができる。この実施態様において、ニューラルネットワークのボトルネック特徴のフレームベクトルは、既存のｉベクトルを使用することによりモデル化され、このｉベクトルモデルを使用してｉベクトル声紋表現を計算し、単一フレームの声紋表現ベクトルとして機能することができる。この実施態様において、声紋を抽出するプロセスは、前の実施態様と比較してさらに複雑になる。しかしながら、ニューラルネットワークのボトルネック特徴の特性により、この実施態様を使用して抽出されるノイズのある環境内の短時間の音声セグメント、及び音声セグメントの声紋情報は、従来のｉベクトルを使用して抽出される声紋情報より良いパフォーマンスを有する。
上記を鑑みて、本開示のニューラルネットワークベースの声紋情報抽出方法及び装置は、ニューラルネットワークに基づきトレーニングされる声紋モデルを介して音声セグメントから声紋情報を抽出するので、声紋モデルをトレーニングし、声紋情報を抽出するプロセスは、比較的に簡単である。さらに、ニューラルネットワークの特性により、声紋モデルは、より良い方式において、短時間の音声セグメント及びノイズのある環境内の音声セグメントを処理することが可能である。このようなものとして、抽出された声紋情報は、より良いパフォーマンスを有する。
当業者は、前述の方法の実装に対応するプロセスを参照して、上述される、装置の特定の作業プロセス、装置及びモジュールを取得することができ、説明の明瞭さのために、本明細書に繰り返し記述されないことを明らかに理解することが可能である。
本開示に提供される実施態様において、開示された装置及び方法を他の方式において実装することができることを理解するであろう。たとえば、前述の装置の実施態様は、例示に過ぎない。たとえば、前述のモジュールの分割は、論理関数の分割に過ぎず、実際の実施中に別の分割方式を使用することができる。たとえば、複数のモジュールまたはコンポーネントは、組み合わされることができる、若しくは別の装置に統合されることができる、またはいくつかの機能は、省略される、若しくは実行されないことができる。他方で、開示された、または考察された相互結合または直接結合または通信接続は、いくつかのインターフェイス、装置またはモジュールを介して実装される間接結合または通信接続であることができ、電気の、機械の、または他の形態にあることができる。
別々のコンポーネントとして記述されるモジュールは、物理的に別々であってもよいし、別々でなくてもよい。モジュールとして記述されるコンポーネントは、物理的なモジュールであってもよいし、物理的なモジュールでなくてもよい、すなわち、単一の位置に設置される、または複数のネットワークモジュール間に分散されることができる。実施形態の解決策の目的は、実際の要件に従いそのモジュールのうちのいくつかを、またはすべてを選択することにより実施されることができる。
加えて、本開示の実施態様における機能モジュールは、決定モジュールに統合されることができる。代替に、これらのモジュールは、物理的に個々のエンティティとして存在することもできる。代替に、２つ以上のモジュールは、単一のモジュールに統合される。統合されたモジュールは、ハードウェアの形で、またはハードウェア及びソフトウェア機能モジュール（複数可）の組み合わせの形で実現され得る。
統合されたモジュールは、ソフトウェア機能モジュールの形で実現され、コンピュータ可読記憶媒体に格納され得る。ソフトウェア機能モジュールは、記憶媒体に格納され、コンピューティングデバイス（複数可）（パーソナルコンピュータ、サーバ、ネットワークデバイス、または同様のものであることができる）またはプロセッサ（複数可）が本開示の例示的な方法の操作の一部を実行することを可能にするために使用される複数の命令を含む。記憶媒体は、ＵＳＢフラッシュディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク、光ディスク、またはプログラムコードを格納することが可能である他の媒体を含むことができる。
最後に、本開示は、制限することよりもむしろ、本開示の技術的な解決策を説明するために前述の実施態様を使用されるに過ぎないことに留意するべきである。本開示は、前述の実施態様を参照して詳細に記述されるが、当業者は、彼らが上記の実施態様の技術的な解決策に変更を行う、または技術的な特徴のうちのいくつかに均等物の置換を実行することが依然として可能であることを理解するであろう。これらの変更または置換は、対応する技術的な解決策の本質を本開示の実施態様の技術的な解決策の趣旨及び範囲から逸脱させることを意図されない。
Claims (20)
- 音声音響特徴を入力音声セグメントから抽出すること、
ニューラルネットワークに基づきトレーニングされる声紋モデルに前記音声音響特徴を入力すること、
前記声紋モデル内の前記ニューラルネットワークのボトルネック特徴を抽出すること、
前記入力音声セグメントに対応する声紋情報として機能する単一フレームの声紋表現ベクトルに前記ニューラルネットワークの前記ボトルネック特徴のフレームベクトルをマッピングすること、
を備える、方法。 - 前記単一フレームの声紋表現ベクトルに前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルをマッピングすることは、前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルに重み付けし、前記ニューラルネットワークの前記ボトルネック特徴に対応する前記単一フレームの声紋表現ベクトルを計算することを備える、請求項１に記載の方法。
- 前記単一フレームの声紋表現ベクトルに前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルをマッピングすることは、
前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルについてｉベクトルモデルを構築すること、
前記ｉベクトルモデルを使用して、前記ニューラルネットワークの前記ボトルネック特徴に対応する前記単一フレームの声紋表現ベクトルを計算すること、
を備える、請求項１に記載の方法。 - 前記方法は、前記ニューラルネットワークをトレーニングすることを備え、
トレーニングする音声セグメントから抽出されるそれぞれの音声音響特徴を前記ニューラルネットワークの入力データとして使用すること、
前記トレーニングする音声セグメントに対応するそれぞれの分類ラベルを前記ニューラルネットワークの出力データとして使用すること、
前記ニューラルネットワークを使用して前記入力データを分類し、分類結果と前記出力データとの間の対応関係を比較することにより前記声紋モデルをトレーニングすること、
をさらに備える、請求項１に記載の方法。 - 前記ニューラルネットワークは、入力層、双方向リカレントニューラルネットワーク層、全結合層、及び出力層を備える、請求項４に記載の方法。
- 前記ニューラルネットワークは、入力層、双方向リカレントニューラルネットワーク層、畳み込みニューラルネットワーク層、全結合層、及び出力層を備える、請求項４に記載の方法。
- 前記ニューラルネットワークの前記ボトルネック特徴は、前記声紋モデルの前記全結合層内の前記音声音響特徴の出力を備える、請求項６に記載の方法。
- １つ以上のプロセッサと、
メモリと、
前記メモリに格納され、入力音声セグメントから１つ以上の音声音響特徴を抽出するように前記１つ以上のプロセッサにより実行可能である音声音響特徴抽出モジュールと、
前記メモリに格納され、ニューラルネットワークに基づきトレーニングされる声紋モデルに前記１つ以上の音声音響特徴を入力するように、また前記声紋モデル内の前記ニューラルネットワークのボトルネック特徴を抽出するように前記１つ以上のプロセッサにより実行可能である処理モジュールと、
前記メモリに格納され、前記入力音声セグメントに対応する声紋情報として機能する単一フレームの声紋表現ベクトルに前記ニューラルネットワークの前記ボトルネック特徴のフレームベクトルをマッピングするように前記１つ以上のプロセッサにより実行可能である声紋情報計算モジュールと、
を備える、装置。 - 前記声紋情報計算モジュールは、前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルに重み付けし、前記ニューラルネットワークの前記ボトルネック特徴に対応する前記単一フレームの声紋表現ベクトルを計算するようにさらに構成される、請求項８に記載の装置。
- 前記声紋情報計算モジュールは、前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルについてｉベクトルモデルを構築するように、また前記ｉベクトルモデルを使用して前記ニューラルネットワークの前記ボトルネック特徴に対応する前記単一フレームの声紋表現ベクトルを計算するようにさらに構成される、請求項８に記載の装置。
- トレーニングする音声セグメントから抽出されるそれぞれの音声音響特徴を前記ニューラルネットワークの入力データとして使用し、
前記トレーニングする音声セグメントに対応するそれぞれの分類ラベルを前記ニューラルネットワークの出力データとして使用し、
前記ニューラルネットワークを使用して前記入力データを分類し、分類結果と前記出力データとの間の対応関係を比較することにより前記声紋モデルをトレーニングする、
ように構成されるニューラルネットワークトレーニングモデルをさらに備える、請求項８に記載の装置。 - 前記ニューラルネットワークは、入力層、双方向リカレントニューラルネットワーク層、全結合層、及び出力層を備える、請求項１１に記載の装置。
- 前記ニューラルネットワークは、入力層、双方向リカレントニューラルネットワーク層、畳み込みニューラルネットワーク層、全結合層、及び出力層を備える、請求項１１に記載の装置。
- 前記ニューラルネットワークの前記ボトルネック特徴は、前記声紋モデルの前記全結合層内の前記音声音響特徴の出力を備える、請求項１３に記載の装置。
- １つ以上のコンピュータ可読媒体であって、１つ以上のプロセッサにより実行されるときに、
音声音響特徴を入力音声セグメントから抽出すること、
ニューラルネットワークに基づきトレーニングされる声紋モデルに前記音声音響特徴を入力すること、
前記声紋モデル内の前記ニューラルネットワークのボトルネック特徴を抽出すること、
前記入力音声セグメントに対応する声紋情報として機能する単一フレームの声紋表現ベクトルに前記ニューラルネットワークの前記ボトルネック特徴のフレームベクトルをマッピングすること、
を備える動作を前記１つ以上のプロセッサに実行させる、実行可能な命令を格納する、前記１つ以上のコンピュータ可読媒体。 - 前記単一フレームの声紋表現ベクトルに前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルをマッピングすることは、前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルに重み付けし、前記ニューラルネットワークの前記ボトルネック特徴に対応する前記単一フレームの声紋表現ベクトルを計算することを備える、請求項１５に記載の１つ以上のコンピュータ可読媒体。
- 前記単一フレームの声紋表現ベクトルに前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルをマッピングすることは、
前記ニューラルネットワークの前記ボトルネック特徴の前記フレームベクトルについてｉベクトルモデルを構築すること、
前記ｉベクトルモデルを使用して、前記ニューラルネットワークの前記ボトルネック特徴に対応する前記単一フレームの声紋表現ベクトルを計算すること、
を備える、請求項１５に記載の１つ以上のコンピュータ可読媒体。 - 前記方法は、前記ニューラルネットワークをトレーニングすることを備え、前記動作は、
トレーニングする音声セグメントから抽出されるそれぞれの音声音響特徴を前記ニューラルネットワークの入力データとして使用すること、
前記トレーニングする音声セグメントに対応するそれぞれの分類ラベルを前記ニューラルネットワークの出力データとして使用すること、
前記ニューラルネットワークを使用して前記入力データを分類し、分類結果と前記出力データとの間の対応関係を比較することにより前記声紋モデルをトレーニングすること、
をさらに備える、請求項１５に記載の１つ以上のコンピュータ可読媒体。 - 前記ニューラルネットワークは、入力層、双方向リカレントニューラルネットワーク層、全結合層、及び出力層を備える、請求項１８に記載の１つ以上のコンピュータ可読媒体。
- 前記ニューラルネットワークの前記ボトルネック特徴は、前記声紋モデルの前記全結合層内の前記音声音響特徴の出力を備える、請求項１９に記載の１つ以上のコンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610421908.9A CN107492382B (zh) | 2016-06-13 | 2016-06-13 | 基于神经网络的声纹信息提取方法及装置 |
| CN201610421908.9 | 2016-06-13 | ||
| PCT/US2017/037145 WO2017218465A1 (en) | 2016-06-13 | 2017-06-13 | Neural network-based voiceprint information extraction method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019522810A true JP2019522810A (ja) | 2019-08-15 |
| JP6993353B2 JP6993353B2 (ja) | 2022-01-13 |
Family
ID=60574115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018559969A Active JP6993353B2 (ja) | 2016-06-13 | 2017-06-13 | ニューラルネットワークベースの声紋情報抽出方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10176811B2 (ja) |
| EP (1) | EP3469582B1 (ja) |
| JP (1) | JP6993353B2 (ja) |
| CN (1) | CN107492382B (ja) |
| WO (1) | WO2017218465A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021173987A (ja) * | 2020-04-22 | 2021-11-01 | ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド | 声紋抽出モデル訓練方法及び声紋認識方法、その装置並びに媒体 |
| JP2022529641A (ja) * | 2019-09-05 | 2022-06-23 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 音声処理方法、装置、電子機器及びコンピュータプログラム |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106847292B (zh) * | 2017-02-16 | 2018-06-19 | 平安科技（深圳）有限公司 | 声纹识别方法及装置 |
| CN107274906A (zh) * | 2017-06-28 | 2017-10-20 | 百度在线网络技术（北京）有限公司 | 语音信息处理方法、装置、终端及存储介质 |
| US10304475B1 (en) * | 2017-08-14 | 2019-05-28 | Amazon Technologies, Inc. | Trigger word based beam selection |
| KR102413282B1 (ko) * | 2017-08-14 | 2022-06-27 | 삼성전자주식회사 | 개인화된 음성 인식 방법 및 이를 수행하는 사용자 단말 및 서버 |
| CN108417217B (zh) * | 2018-01-11 | 2021-07-13 | 思必驰科技股份有限公司 | 说话人识别网络模型训练方法、说话人识别方法及系统 |
| CN108257592A (zh) * | 2018-01-11 | 2018-07-06 | 广州势必可赢网络科技有限公司 | 一种基于长短期记忆模型的人声分割方法及系统 |
| CN108447490B (zh) * | 2018-02-12 | 2020-08-18 | 阿里巴巴集团控股有限公司 | 基于记忆性瓶颈特征的声纹识别的方法及装置 |
| CN108461085A (zh) * | 2018-03-13 | 2018-08-28 | 南京邮电大学 | 一种短时语音条件下的说话人识别方法 |
| WO2019176986A1 (ja) * | 2018-03-15 | 2019-09-19 | 日本電気株式会社 | 信号処理システム、信号処理装置、信号処理方法、および記録媒体 |
| CN108806696B (zh) * | 2018-05-08 | 2020-06-05 | 平安科技（深圳）有限公司 | 建立声纹模型的方法、装置、计算机设备和存储介质 |
| CN108648759A (zh) * | 2018-05-14 | 2018-10-12 | 华南理工大学 | 一种文本无关的声纹识别方法 |
| CN108694951B (zh) * | 2018-05-22 | 2020-05-22 | 华南理工大学 | 一种基于多流分层融合变换特征和长短时记忆网络的说话人辨识方法 |
| CN110634470A (zh) * | 2018-06-06 | 2019-12-31 | 北京深鉴智能科技有限公司 | 智能语音处理方法和装置 |
| CN108831487B (zh) * | 2018-06-28 | 2020-08-18 | 深圳大学 | 声纹识别方法、电子装置及计算机可读存储介质 |
| CN108922559A (zh) * | 2018-07-06 | 2018-11-30 | 华南理工大学 | 基于语音时频变换特征和整数线性规划的录音终端聚类方法 |
| US10720151B2 (en) * | 2018-07-27 | 2020-07-21 | Deepgram, Inc. | End-to-end neural networks for speech recognition and classification |
| CN109065069B (zh) * | 2018-10-10 | 2020-09-04 | 广州市百果园信息技术有限公司 | 一种音频检测方法、装置、设备及存储介质 |
| CN109545226B (zh) * | 2019-01-04 | 2022-11-22 | 平安科技（深圳）有限公司 | 一种语音识别方法、设备及计算机可读存储介质 |
| CN109801635A (zh) * | 2019-01-31 | 2019-05-24 | 北京声智科技有限公司 | 一种基于注意力机制的声纹特征提取方法及装置 |
| US10861443B2 (en) | 2019-03-28 | 2020-12-08 | Eta Compute, Inc. | Continuous speech recognition using dual neural networks |
| CN110033757A (zh) * | 2019-04-04 | 2019-07-19 | 行知技术有限公司 | 一种人声识别算法 |
| US11854562B2 (en) | 2019-05-14 | 2023-12-26 | International Business Machines Corporation | High-quality non-parallel many-to-many voice conversion |
| CN111951809A (zh) * | 2019-05-14 | 2020-11-17 | 深圳子丸科技有限公司 | 多人声纹辨别方法及系统 |
| CN110782904A (zh) * | 2019-11-07 | 2020-02-11 | 四川长虹电器股份有限公司 | 智能语音设备的用户账号切换方法 |
| CN111145736B (zh) * | 2019-12-09 | 2022-10-04 | 华为技术有限公司 | 语音识别方法及相关设备 |
| CN113223536B (zh) * | 2020-01-19 | 2024-04-19 | Tcl科技集团股份有限公司 | 声纹识别方法、装置及终端设备 |
| CN111326161B (zh) * | 2020-02-26 | 2023-06-30 | 北京声智科技有限公司 | 一种声纹确定方法及装置 |
| CN111489756B (zh) * | 2020-03-31 | 2024-03-01 | 中国工商银行股份有限公司 | 一种声纹识别方法及装置 |
| CN111341322A (zh) * | 2020-04-15 | 2020-06-26 | 厦门快商通科技股份有限公司 | 一种声纹模型训练方法和装置以及设备 |
| CN111524525B (zh) * | 2020-04-28 | 2023-06-16 | 平安科技（深圳）有限公司 | 原始语音的声纹识别方法、装置、设备及存储介质 |
| CN111599351A (zh) * | 2020-04-30 | 2020-08-28 | 厦门快商通科技股份有限公司 | 一种语音识别方法和装置以及设备 |
| CN113948089A (zh) * | 2020-06-30 | 2022-01-18 | 北京猎户星空科技有限公司 | 声纹模型训练和声纹识别方法、装置、设备及介质 |
| CN114333767A (zh) * | 2020-09-29 | 2022-04-12 | 华为技术有限公司 | 发声者语音抽取方法、装置、存储介质及电子设备 |
| CN112420069A (zh) * | 2020-11-18 | 2021-02-26 | 北京云从科技有限公司 | 一种语音处理方法、装置、机器可读介质及设备 |
| CN112637428A (zh) * | 2020-12-29 | 2021-04-09 | 平安科技（深圳）有限公司 | 无效通话判断方法、装置、计算机设备及存储介质 |
| CN112767950A (zh) * | 2021-02-24 | 2021-05-07 | 嘉楠明芯(北京)科技有限公司 | 一种声纹识别方法、装置及计算机可读存储介质 |
| CN113160850A (zh) * | 2021-04-27 | 2021-07-23 | 广州国音智能科技有限公司 | 一种基于重参数化的解耦方式的音频特征提取方法及装置 |
| CN113299295B (zh) * | 2021-05-11 | 2022-12-30 | 支付宝(杭州)信息技术有限公司 | 声纹编码网络的训练方法及装置 |
| CN116415166A (zh) * | 2021-12-28 | 2023-07-11 | 深圳大学 | 多键盘混合按键声音的识别方法、装置、设备及存储介质 |
| CN116798400A (zh) * | 2022-03-11 | 2023-09-22 | 保时捷(上海)数字科技有限公司 | 基于计算机程序实现的语音合成方法和系统 |
| CN115083422B (zh) * | 2022-07-21 | 2022-11-15 | 中国科学院自动化研究所 | 语音溯源取证方法及装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150127336A1 (en) * | 2013-11-04 | 2015-05-07 | Google Inc. | Speaker verification using neural networks |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02150899A (ja) * | 1988-12-02 | 1990-06-11 | Toshiba Corp | 音声認識方式 |
| US8527276B1 (en) * | 2012-10-25 | 2013-09-03 | Google Inc. | Speech synthesis using deep neural networks |
| US9230550B2 (en) | 2013-01-10 | 2016-01-05 | Sensory, Incorporated | Speaker verification and identification using artificial neural network-based sub-phonetic unit discrimination |
| US9502038B2 (en) | 2013-01-28 | 2016-11-22 | Tencent Technology (Shenzhen) Company Limited | Method and device for voiceprint recognition |
| CN103971690A (zh) * | 2013-01-28 | 2014-08-06 | 腾讯科技（深圳）有限公司 | 一种声纹识别方法和装置 |
| US9858919B2 (en) | 2013-11-27 | 2018-01-02 | International Business Machines Corporation | Speaker adaptation of neural network acoustic models using I-vectors |
| US9640186B2 (en) * | 2014-05-02 | 2017-05-02 | International Business Machines Corporation | Deep scattering spectrum in acoustic modeling for speech recognition |
| US9324320B1 (en) * | 2014-10-02 | 2016-04-26 | Microsoft Technology Licensing, Llc | Neural network-based speech processing |
| CN104732978B (zh) * | 2015-03-12 | 2018-05-08 | 上海交通大学 | 基于联合深度学习的文本相关的说话人识别方法 |
| US9721559B2 (en) * | 2015-04-17 | 2017-08-01 | International Business Machines Corporation | Data augmentation method based on stochastic feature mapping for automatic speech recognition |
| US10013973B2 (en) * | 2016-01-18 | 2018-07-03 | Kabushiki Kaisha Toshiba | Speaker-adaptive speech recognition |
| US10235994B2 (en) * | 2016-03-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Modular deep learning model |
-
2016
- 2016-06-13 CN CN201610421908.9A patent/CN107492382B/zh active Active
-
2017
- 2017-06-13 US US15/621,162 patent/US10176811B2/en active Active
- 2017-06-13 JP JP2018559969A patent/JP6993353B2/ja active Active
- 2017-06-13 EP EP17813898.8A patent/EP3469582B1/en active Active
- 2017-06-13 WO PCT/US2017/037145 patent/WO2017218465A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150127336A1 (en) * | 2013-11-04 | 2015-05-07 | Google Inc. | Speaker verification using neural networks |
Non-Patent Citations (3)
| Title |
|---|
| GHALEHJEGH, SINA HAMIDI ;ROSE, RICHARD C.: "Deep bottleneck features for i-vector based text-independent speaker verification", 2015 IEEE WORKSHOP ON AUTOMATIC SPEECH RECOGNITION AND UNDERSTANDING (ASRU), JPN6021012295, 13 December 2015 (2015-12-13), pages 555 - 560, XP032863595, ISSN: 0004483594, DOI: 10.1109/ASRU.2015.7404844 * |
| VARIANI, EHSAN, ET AL.: "Deep neural networks for small footprint text-dependent speaker verification", 2014 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), JPN6021012300, 4 May 2014 (2014-05-04), pages 4052 - 4056, XP032617560, ISSN: 0004483596, DOI: 10.1109/ICASSP.2014.6854363 * |
| 張 兆峰、外４名: "ＤＮＮに基づく特徴変換による残響環境話者認識", 電子情報通信学会技術研究報告 ＳＰ２０１４−１１９, vol. 114, no. 365, JPN6021012296, 8 December 2014 (2014-12-08), ISSN: 0004483595 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022529641A (ja) * | 2019-09-05 | 2022-06-23 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 音声処理方法、装置、電子機器及びコンピュータプログラム |
| JP7258182B2 (ja) | 2019-09-05 | 2023-04-14 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 音声処理方法、装置、電子機器及びコンピュータプログラム |
| JP2021173987A (ja) * | 2020-04-22 | 2021-11-01 | ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド | 声紋抽出モデル訓練方法及び声紋認識方法、その装置並びに媒体 |
| JP7221258B2 (ja) | 2020-04-22 | 2023-02-13 | ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド | 声紋抽出モデル訓練方法及び声紋認識方法、その装置並びに媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3469582A4 (en) | 2019-11-06 |
| CN107492382B (zh) | 2020-12-18 |
| US10176811B2 (en) | 2019-01-08 |
| WO2017218465A1 (en) | 2017-12-21 |
| EP3469582A1 (en) | 2019-04-17 |
| CN107492382A (zh) | 2017-12-19 |
| JP6993353B2 (ja) | 2022-01-13 |
| EP3469582B1 (en) | 2022-04-06 |
| US20170358306A1 (en) | 2017-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6993353B2 (ja) | ニューラルネットワークベースの声紋情報抽出方法及び装置 | |
| JP7023934B2 (ja) | 音声認識方法及び装置 | |
| Alharbi et al. | Automatic speech recognition: Systematic literature review | |
| CN108198547B (zh) | 语音端点检测方法、装置、计算机设备和存储介质 | |
| JP7243760B2 (ja) | 音声特徴補償装置、方法およびプログラム | |
| CN104903954A (zh) | 使用基于人工神经网络的亚语音单位区分的说话人验证及识别 | |
| JP2019211749A (ja) | 音声の始点及び終点の検出方法、装置、コンピュータ設備及びプログラム | |
| JP7268711B2 (ja) | 信号処理システム、信号処理装置、信号処理方法、およびプログラム | |
| WO2018192186A1 (zh) | 语音识别方法及装置 | |
| US11545136B2 (en) | System and method using parameterized speech synthesis to train acoustic models | |
| CN112863489B (zh) | 语音识别方法、装置、设备及介质 | |
| EP3910625A2 (en) | Method and apparatus for utterance time estimation | |
| CN114127849A (zh) | 语音情感识别方法和装置 | |
| WO2023001128A1 (zh) | 音频数据的处理方法、装置及设备 | |
| CN112397093A (zh) | 一种语音检测方法与装置 | |
| Ismail et al. | Development of a regional voice dataset and speaker classification based on machine learning | |
| JP6845489B2 (ja) | 音声処理装置、音声処理方法、および音声処理プログラム | |
| WO2021012495A1 (zh) | 语音识别结果测试方法、装置、计算机设备和介质 | |
| Eyben et al. | Audiovisual vocal outburst classification in noisy acoustic conditions | |
| CN114708857A (zh) | 语音识别模型训练方法、语音识别方法及相应装置 | |
| Sahoo et al. | MFCC feature with optimized frequency range: An essential step for emotion recognition | |
| CN115424616A (zh) | 一种音频数据筛选方法、装置、设备及计算机可读介质 | |
| Chauhan et al. | Text-Independent Speaker Recognition System Using Feature-Level Fusion for Audio Databases of Various Sizes | |
| JPWO2019176830A1 (ja) | 学習用音声データ生成装置、その方法、およびプログラム | |
| JP6220733B2 (ja) | 音声分類装置、音声分類方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6993353 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |