JP2021033051A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2021033051A
JP2021033051A JP2019153039A JP2019153039A JP2021033051A JP 2021033051 A JP2021033051 A JP 2021033051A JP 2019153039 A JP2019153039 A JP 2019153039A JP 2019153039 A JP2019153039 A JP 2019153039A JP 2021033051 A JP2021033051 A JP 2021033051A
Authority
JP
Japan
Prior art keywords
keyword
score
background noise
voice data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019153039A
Other languages
English (en)
Other versions
JP7191792B2 (ja
Inventor
寧 丁
Ning Ding
寧 丁
浩司 藤村
Koji Fujimura
浩司 藤村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019153039A priority Critical patent/JP7191792B2/ja
Priority to CN202010127298.8A priority patent/CN112420020B/zh
Priority to US16/804,346 priority patent/US11823669B2/en
Publication of JP2021033051A publication Critical patent/JP2021033051A/ja
Application granted granted Critical
Publication of JP7191792B2 publication Critical patent/JP7191792B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025Phonemes, fenemes or fenones being the recognition units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】 音声からキーワードを精度良く検出することができる情報処理装置、情報処理方法およびプログラムを提供することである。【解決手段】 実施形態に係る情報処理装置は、第1および第2の取得部と、第1および第2の計算部と、判定部とを備える。第1の取得部は、複数のフレームを含む音声データを取得する。第2の取得部は、音声データから抽出される特徴量を入力するとキーワード成分と背景雑音成分とを含むクラスに対する尤度を表す情報を出力するように学習されたモデルを取得する。第1および第2の計算部は、それぞれ、音声データのフレームごとに、取得したモデルに特徴量を入力することによって得られた出力に基づき、キーワードスコアおよび背景雑音スコアを計算する。判定部は、キーワードスコアと、背景雑音スコアと、所定の閾値とに基づいて、音声データがキーワードを含むか否かを判定する。【選択図】 図3

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
近年、音声による操作に適応したスマートスピーカーが急速に普及している。スマートスピーカーは、例えば、「ウェイクワード」とも呼ばれる特定のキーワードを音声から検出することによって起動する。ユーザは、キーワードを発声するだけで、スマートスピーカーを起動させ、様々な操作を続けることができる。したがって、音声からキーワードを精度良く検出する技術が必要である。
M. Wu, S. Panchapagesan, M. Sun, J. Gu, R. Thomas, S.N.P. Vitaladevuni, B. Hoffmeister, and A. Mandal, "Monophone-based background modeling for two-stage on-device wake word detection," Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018, pp. 5494-5498.
本発明が解決しようとする課題は、音声からキーワードを精度良く検出することができる情報処理装置、情報処理方法およびプログラムを提供することである。
実施形態によれば、情報処理装置は、第1の取得部と、第2の取得部と、第1の計算部と、第2の計算部と、判定部とを備える。第1の取得部は、複数のフレームを含む音声データを取得する。第2の取得部は、上記音声データから抽出される特徴量を入力すると、特定のキーワードの成分と上記キーワード以外の背景雑音の成分とを含む複数のクラスの各々に対する尤度を表す情報を出力するように学習されたモデルを取得する。第1の計算部は、上記音声データの上記フレームごとに、上記特徴量を抽出し、上記モデルに入力することによって、上記モデルから出力される情報に基づいて、上記キーワードの成分の出現確率の高さを表すキーワードスコアを計算する。第2の計算部は、上記音声データの上記フレームごとに、上記特徴量を抽出し、上記モデルに入力することによって、上記モデルから出力される情報に基づいて、上記背景雑音の成分の出現確率の高さを表す背景雑音スコアを計算する。判定部は、上記キーワードスコアと、上記背景雑音スコアと、あらかじめ設定された閾値とに基づいて、上記音声データが上記キーワードを含むか否かを判定する。
図1は、第1の実施形態に係る情報処理装置を備えるシステムの全体構成の例を示す図である。 図2は、第1の実施形態に係る情報処理装置のシステム構成の例を示すブロック図である。 図3は、第1の実施形態に係る情報処理装置の機能構成の例を示すブロック図である。 図4は、第1の実施形態に係る情報処理装置による処理手順と処理内容の例を示すフローチャートである。 図5は、第1の実施形態に係る情報処理装置によって用いられるモデルを説明するための図である。 図6は、第1の実施形態に係る情報処理装置によるスコア計算を説明するための図である。 図7は、第2の実施形態に係る情報処理装置による処理手順と処理内容の第1の例を示すフローチャートである。 図8は、第2の実施形態に係る情報処理装置による処理手順と処理内容の第2の例を示すフローチャートである。 図9は、第3の実施形態に係る情報処理装置による処理手順と処理内容の第1の例を示すフローチャートである。 図10は、第3の実施形態に係る情報処理装置による処理手順と処理内容の第2の例を示すフローチャートである。 図11は、第3の実施形態に係る情報処理装置による処理手順と処理内容の第3の例を示すフローチャートである。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[第1の実施形態]
(1)音声キーワード検出システム
図1は、第1の実施形態に係る情報処理装置を備える音声キーワード検出システムの全体構成の一例を示す図である。
このシステムは、ネットワークNWを介して互いに通信可能な、サーバSVとクライアントCLとを備える。
ネットワークNWは、例えば、インターネットに代表されるIP(Internet Protocol)網と、このIP網に対しアクセスするための複数のアクセス網とから構成される。アクセス網としては、例えば、無線LAN(Local Area Network)、携帯電話網、有線電話網、FTTH(Fiber To The Home)、CATV(Cable Television)網が用いられる。
サーバSVは、例えば、サーバコンピュータとして実現される。クライアントCLは、例えば、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、携帯電話機、PDAなどの携帯情報端末、または各種電子機器に内蔵される組込みシステムとして実現される。サーバSVとクライアントCLのうちの少なくとも一方は、音声からキーワードを検出する音声キーワード検出機能を有する。なお、簡単のために図1では1つのサーバSVおよび1つのクライアントCLのみを示しているが、それぞれ任意の数が接続されてよい。
図1に示したシステムでは、クライアントCLが、音声を音声信号(音声データ)に変換するマイクロホン等を備える。そして、クライアントCLは、音声を受け取ると、マイクロホン等を用いて音声データを生成し、ネットワークNWを介してサーバSVに送信する。サーバSVは、音声データからキーワードを検出する機能を備える。サーバSVは、クライアントCLから音声データを受信すると、音声データからキーワードを抽出して、抽出したキーワードをクライアントCLに送信する。検出されたキーワードを受信したクライアントCLは、そのキーワードに応じた特定の動作を開始することができる。なお、クライアントCLは、音声データではなく、音声データから抽出される特徴量をサーバSVに送信してもよい。サーバSVは、受信した音声特徴量からキーワードを検出し、そのキーワードをクライアント1に送信することができる。
クライアントCLが、音声キーワード検出機能を有するようにしてもよい。その場合、クライアントCLは、生成した音声データからキーワードを検出することができる。
このように、上記システムでは、クライアントCLまたはサーバSVの少なくとも一方が、音声キーワード検出機能を有しており、音声データからキーワードを検出することができる。
以下では、説明を簡単にするために、音声キーワード検出機能を有するクライアントCLが、実施形態に係る情報処理装置であるものとして説明し、「音声キーワード検出装置」と称する。
(2)音声キーワード検出装置
(2−1)構成
図2は、第1の実施形態に係る情報処理装置としての音声キーワード検出装置1のシステム構成の一例を示すブロック図である。
音声キーワード検出装置1は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサ20Aを有する。そして、このハードウェアプロセッサに対し、プログラムメモリ20B、データメモリ30、入出力インタフェース(入出力I/F)11および通信インタフェース(通信I/F)12を、バス40を介して接続したものとなっている。
入出力インタフェース11には、音声キーワード検出装置1に付設される、マイクロホン2、入力デバイス3および出力デバイス4が接続される。入出力インタフェース11は、マイクロホン2によって集音された音声を取り込む。入出力インタフェース11はまた、キーボード、タッチパネル、タッチパッド、マウス等の入力デバイス3を通じてオペレータが入力した操作データを取り込む。入出力インタフェース11はまた、出力データを液晶または有機EL(Electro Luminescence)等を用いた表示デバイスや音声を出力するスピーカを含む出力デバイス4へ出力して表示させる処理を行う。なお、マイクロホン2、入力デバイス3および出力デバイス4は音声キーワード検出装置1に内蔵されたデバイスを使用してもよく、またネットワークを介して通信可能な他の情報端末のマイクロホン、入力デバイスおよび出力デバイスを使用してもよい。
通信インタフェース12は、例えば1つ以上の有線または無線の通信インタフェースユニットを含んでおり、外部機器との間で情報の送受信を可能にする。有線インタフェースとしては、例えば有線LANが使用され、また無線インタフェースとしては、例えば無線LANやBluetooth(登録商標)などの小電力無線データ通信規格を採用したインタフェースが使用される。
プログラムメモリ20Bは、記憶媒体として、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM等の不揮発性メモリとを組み合わせて使用したもので、一実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。
データメモリ30は、記憶媒体として、例えば、HDDまたはSSD等の随時書込みおよび読出しが可能な不揮発性メモリと、RAM(Random Access Memory)等の揮発性メモリとを組み合わせて使用したもので、情報処理を行う過程で取得および作成された各種データを記憶するために用いられる。
音声キーワード検出機能を有する装置は、例えば、音声データを取得したときに、入力音声の特徴量に対してキーワードスコアを計算し、スコアが閾値以上であればキーワードと判定することが可能である。しかし、その場合、特徴量が背景雑音に由来する可能性を判断していないため、背景雑音であってもスコアが閾値以上であればキーワードとして検出してしまうおそれがある。
本実施形態では、キーワードのスコアだけでなく、背景雑音のスコアも計算し、計算されたキーワードのスコアおよび背景雑音のスコアを用いてキーワードであるか否かの判定を行う。これにより、キーワードの誤検出を抑制することができる。
図3は、第1の実施形態に係る音声キーワード検出装置1の機能構成を示すブロック図である。
データメモリ30の記憶領域には、モデル記憶部31と、閾値記憶部32とが設けられている。
モデル記憶部31は、キーワードの成分と背景雑音の成分とを含むモデルを記憶する。この実施形態では、モデル記憶部31に記憶されるモデルは、音声データから抽出される特徴量を入力すると、特定のキーワードの成分とキーワード以外の背景雑音の成分とを含む複数のクラスの各々に対する尤度を表す情報を出力するように学習されたモデルである。当該モデルの形式は、GMM(Gaussian Mixture Model、混合ガウスモデル)でもよいし、DNN(Deep Neural Network、深層ニューラルネットワーク)でもよい。なお、あらかじめ設定されたキーワードが複数存在する場合、それぞれに対応する複数のモデルを記憶してもよい。
ここでは、背景雑音とは、環境から出ている雑音の総称を言い、音声と非音声の両方を含む。例えば、環境が会議室である場合、背景雑音は、稼働中のエアコンから出ている雑音や隣の会議室から漏れる音声を含む。あるいは、環境が自動車の車内である場合、背景雑音は、自動車のエンジン音やカーオーディオからの音楽を含む。
ここでは、キーワードの成分とは、キーワードを発話した音声に含まれる任意の構成単位を指す。以下では一例として、キーワードの成分が音素であるものとして説明する。またここでは、背景雑音の成分とは、あらかじめ設定された背景雑音に含まれる任意の構成単位を指す。以下では一例として、背景雑音の成分を疑似的に「背景雑音の音素」と称する。
閾値記憶部32は、音声キーワード検出処理で使用される、あらかじめ設定された種々の閾値を記憶する。
制御部20は、上記ハードウェアプロセッサ20Aと、上記プログラムメモリ20Bとから構成され、処理機能部として、音声取得部21と、スコア計算部22と、キーワード検出部23とを備える。これらの処理機能部は、いずれもプログラムメモリ20Bに格納されたプログラムを、上記ハードウェアプロセッサ20Aに実行させることにより実現される。制御部20は、また、ASIC(Application Specific Integrated Circuit)やFPGA(field-programmable gate array)などの集積回路を含む、他の多様な形式で実現されてもよい。また上記プログラムは、ネットワーク経由で提供されるものであってもよい。
音声取得部21は、第1の取得部として、複数のフレームを含む音声データを取得する処理を行う。音声取得部21は、例えば、マイクロホン2を介して集音された音声波形を受け付け、音声波形をデジタル化し、フレームごとの音声特徴量を抽出し、スコア計算部22に出力する。ここで、音声特徴量は、MFCC(Mel Frequency Cepstral Coefficient)でもよいし、メルフィルタバンクでもよい。あるいは、ピッチ特徴量、またはそれらのΔ成分もしくはΔΔ成分、またはこれら特徴量の組み合わせを用いてもよい。
スコア計算部22は、音声取得部21から受け取った音声特徴量をキーワードスコア計算部221および背景雑音スコア計算部222に渡す。スコア計算部22はまた、第2の取得部として、モデル記憶部31に記憶された学習済みのモデルを読み出し、スコア計算のために、読み出したモデルをキーワードスコア計算部221および背景雑音スコア計算部222に渡す。
キーワードスコア計算部221は、第1の計算部として、音声データの各フレームと、モデルのキーワードの成分とをマッチングすることによって、キーワードスコアを計算する。この実施形態では、キーワードスコア計算部221は、音声データのフレームごとに、音声データから特徴量を抽出し、該特徴量をモデルに入力することによって得られる出力に基づいて、キーワードスコアを計算する。キーワードスコアは、当該音声データにおける、あらかじめ設定されたキーワードの成分の出現確率の高さを表す情報である。
背景雑音スコア計算部222は、第2の計算部として、音声データの各フレームと、モデルの背景雑音成分とをマッチングすることによって、背景雑音スコアを計算する。この実施形態では、背景雑音スコア計算部222は、音声データのフレームごとに、音声データから特徴量を抽出し、該特徴量をモデルに入力することによって得られる出力に基づいて、背景雑音スコアを計算する。背景雑音スコアは、当該音声データにおける、あらかじめ設定された背景雑音の成分の出現確率の高さを表す情報である。
キーワード検出部23は、キーワードスコア計算部221によって計算されたキーワードスコアと、背景雑音スコア計算部222によって計算された背景雑音スコアと、閾値記憶部32に格納されたあらかじめ設定された閾値とに基づき、判定部として、音声データがキーワードを含むか否かを判定する。キーワード検出部23による判定動作の詳細は後述する。キーワード検出部23はまた、判定結果を出力することができる。例えば、キーワード検出部23は、音声データがキーワードを含むと判定された場合、当該キーワードを出力してもよい。
(2−2)動作
次に、以上のように構成された音声キーワード検出装置1による情報処理動作を説明する。図4はその処理手順と処理内容を示すフローチャートである。
一実施形態では、音声キーワード検出装置1は、マイクロホン2により集音された音声データが入出力インタフェース11を介して取り込まれると、この処理を開始する。
(2−2−1)音声データの取得と音声特徴量の出力
まずステップS101において、音声キーワード検出装置1は、音声取得部21の制御の下、音声データを取得して、音声特徴量を抽出し、出力する。
音声取得部21は、例えば、音声波形のアナログ波を16kHzでサンプリングし、デジタル波の1サンプルの振幅値を16ビットで表す。音声取得部21は、このデジタル波を一定の時間ごとに切り出す。ここでは一例として、デジタル波を256点サンプルずつ、128点サンプルずらしながら切り出すものとする。例えば、音声取得部21は、この256点サンプルを1フレームとし、1フレームからMFCC特徴量12次元を算出する。そして、3フレーム分のMFCC特徴量を連結した36次元を特徴量として出力する。なお、連結するフレーム数は3フレームに限定されず、1以上であれば任意のフレーム数であってよい。また、切り出すサンプル数やフレーム周期も上記した値に限定されない。
これにより、音声取得部21は、複数のフレームを含む音声データを取得するとともに、音声特徴量を抽出し、スコア計算部22に出力する。スコア計算部22は、受け取った音声特徴量をキーワードスコア計算部221および背景雑音スコア計算部222に渡す。
(2−2−2)キーワードスコアおよび背景雑音スコアの計算
次いで、ステップS102において、音声キーワード検出装置1は、キーワードスコア計算部221の制御の下、モデル記憶部31から読み出されたモデルと、上記フレームごとの音声特徴量とをもとに、キーワードスコアscoreKW を計算する。
キーワードスコアは、例えば、音声データのある始端フレームから終端フレームまでの最大累積音響スコアとして計算することができる(例えば、特開2018−155957号公報参照)。以下で、そのようなスコア計算の一例として、left−to−right型の隠れマルコフモデル(Hidden Markov Model,HMM)とビタビアルコリズムを用いて計算する方法を例示する。なお、上述のようにモデルはGMMでもDNNでもよいが、ここでは、モデルがフィードフォワード型のDNNであり、キーワードが「あかい」であるものとして説明する。
図5は、そのようなモデルの一例としてのDNN50のイメージを示す。DNN50は、例えば、複数の話者による複数のキーワードの発話を集音した音声データと、それぞれの正解ラベルとしてのテキストデータとの対、および背景雑音を集音して得られる背景雑音データとその正解ラベルとの対とを含む学習データを使用し、バックプロパゲーションを用いてあらかじめ学習される。DNN50は、入力層51と、中間層52と、出力層53とを有する。DNN50の入力層51は、36個のノードを備え(図では省略して示す)、音声取得部21によって出力された36次元特徴量がそれぞれのノードに入力される。ここでは、DNN50の中間層52は、256のノードを持つ層を3つ重ねたものとする(図では省略して示す)。DNN50の出力層53の各ノード531〜534は、それぞれ、キーワード「あかい」の音素「a」「ka」「i」と隠れマルコフモデル(HMM)の対応付け、および背景雑音の音素「BN」(Backgroud Noise,BN)とHMMの対応付けである。なお、簡易化のため、図5では、HMMは全部1状態としている。また、HMMのパラメータとして、音素間の遷移確率はどの遷移間の確率も同確率とし、出力確率はフレームごとの音素の出現確率(音響スコア)で表す。
キーワードスコア計算部221は、音声データと、上記のようなモデルのキーワードの成分をマッチングすることによって、キーワードスコアscoreKW を計算する。この実施形態では、まず、キーワードスコア計算部221は、音声データのフレームごとの特徴量と上記モデルを用いて、キーワードの各音素の出現確率の対数尤度を音響スコアとして計算する。そして、ビタビアルゴリズムを用いて最大の累積音響スコアをもつパスを特定する。キーワードスコア計算部221は、ある始端フレームts から終端フレームte までの最大累積音響スコアを、キーワードスコアscoreKW として計算する。
キーワードスコア計算部221は、te を時間方向にインクリメントしながらスコア計算を行うが、このとき何フレームずつかスコア計算をスキップし、計算量を削減するようにしてもよい。最大累積音響スコアは、例えば、対数尤度の時系列の和であるが、この和を特定の範囲(例えば、1から100までの範囲、または0から100までの範囲)に正規化した値として用いてもよい。
一方、ステップS103において、音声キーワード検出装置1は、背景雑音スコア計算部222の制御の下、キーワードスコアを計算したのと同じ音声データの特徴量を用いて、モデルの背景雑音成分に対して背景雑音スコアを計算する。具体的には、キーワードスコアの計算と同様に、まず、音声データのフレームごとの特徴量とモデルを用いて、背景雑音の音素の出現確率の対数尤度をノイズスコアとして計算する。そして、始端フレームts から終端フレームte までの累積ノイズスコアを背景雑音スコアscoreBN として計算する。
ステップS102とステップS103とは、並行して実施されてもよいし、順次に実施されてもよい。また、音声キーワード検出装置1は、キーワードスコアと背景雑音スコアを同時に計算してもよい。
図6は、上記のような最大累積音響スコアの計算を説明するための図である。図6は、キーワード「あかい」についてのキーワード空間を表す。縦軸は、各キーワードの状態に対するスコアを表し、横軸は、フレーム(時間)を表す。ts は、音声データ上のキーワードの始端フレームts の始端の時間であり、以下、始端情報とも言う。te は、音声データ上の当該キーワードの終端フレームte の終端の時間であり、以下、終端情報とも言う。scoreKW として示された太線は、キーワード空間における最大のパスを示している。背景雑音のスコアscoreBN も、各フレームについて計算されているが、キーワード空間にはプロットされないため下方に示されている。
(2−2−3)キーワードの検出
次いで、ステップS104において、音声キーワード検出装置1は、キーワード検出部23の制御の下、閾値記憶部32からあらかじめ設定された閾値を読み出し、この読み出した閾値と、キーワードスコア計算部221により計算されたキーワードスコアと、背景雑音スコア計算部222により計算された背景雑音スコアとに基づいて、音声データがキーワードを含むか否かを判定する。
この実施形態では、キーワードスコアscoreKW があらかじめ設定されたキーワードスコア閾値θKW よりも大きく、かつ、背景雑音スコアscoreBN があらかじめ設定された背景雑音スコア閾値θBN よりも小さい場合(YES)、ステップS105に移行する。キーワードスコア閾値θKW を高く設定すれば、キーワードは検出されにくくなり、キーワードスコア閾値θKW を低く設定すれば、キーワードは検出されやすくなる。背景雑音スコア閾値θBN についても同様である。なお、最大累積音響スコアが特定の範囲に正規化された値である場合、閾値もこの特定の範囲のいずれかの値に設定されるようにしてもよい。
ステップS105において、音声キーワード検出装置1は、キーワード検出部23の制御の下、上記条件を満たした始端フレームts から終端フレームte までの音声データをキーワードとして判定(検出)する。なお、始端フレームts と終端フレームte は累積スコアを計算する際に逐次記憶されており、音声キーワード検出装置1は、図6に示したようなキーワード空間において累積スコアが閾値を超えた場合にそれがどのフレームからどのフレームまでの区間に対応するかを容易に特定することができる。(キーワードが検出されたフレーム区間を特定する方法の詳細については、特開2018−155957号公報参照)。
一方、ステップS104の条件に合致しない場合(NO)、ステップS106に移行する。ステップS106では、音声キーワード検出装置1は、始端フレームts から終端フレームte までの音声データがキーワードではないものと判定する。したがって、仮にキーワードスコアscoreKW が閾値θKW 以上であっても、背景雑音スコアscoreBN が大きい場合には、背景雑音である可能性が高いため、キーワードと判定しないことになる。
続いて、キーワード検出部23は、入出力I/F11または通信I/F12を通じて、上記判定の結果を検出結果として出力することができる。例えば、キーワード検出部23は、キーワードと判定された場合には、当該キーワードを検出結果として出力することができる。キーワードと判定されなかった場合、キーワード検出部23は、処理を終了するか、またはte を時間方向にインクリメントして後続する音声データに対して処理を繰り返してもよい。処理を終了する場合、キーワード検出部23は、キーワードが検出されなかったことを示すメッセージを作成して出力するようにしてもよい。
(3)効果
以上説明したように、第1の実施形態によれば、音声キーワード検出装置1は、音声特徴量に基づいて、フレームごとに、キーワードスコアのみならず、背景雑音スコアも計算する。そして、キーワードスコアscoreKW があらかじめ設定されたキーワードスコア閾値θKW よりも大きく、かつ、背景雑音スコアscoreBN があらかじめ設定された背景雑音スコア閾値θBN よりも小さい場合に、当該フレームに係る音声データをキーワードとして検出する。
これにより、キーワードスコアのみでキーワードを検出する場合に比べて、誤検出が抑制された、より精度の高いキーワード検出を実現することができる。
[第2の実施形態]
(1)構成および動作
第2の実施形態に係る情報処理装置としての音声キーワード検出装置1は、背景雑音が強い場合にもキーワードを精度良く検出しようとするものである。
第2の実施形態に係る音声キーワード検出装置1は、図1〜図3を参照して説明した第1の実施形態と同様のシステム構成および機能構成を採用することができる。第2の実施形態に係る音声キーワード検出装置1は、第1の実施形態と同様に、音声取得部21、キーワードスコア計算部221と背景雑音スコア計算部222を含むスコア計算部22、キーワード検出部23、モデル記憶部31、および閾値記憶部32を備える。
(実施例1)
第2の実施形態に係る音声キーワード検出装置1は、実施例1では、キーワードスコアと背景雑音スコアの差分を使用する。すなわち、キーワード検出部23は、キーワードスコアと背景雑音スコアの差分があらかじめ設定されたスコア差分閾値よりも大きい場合、音声データがキーワードを含むと判定する。具体的には、scoreKW −scoreBN > θD の場合に、当該フレームに係る音声データをキーワードと判定する。
図7は、第2の実施形態の実施例1に係る音声キーワード検出装置1の処理内容と処理手順を示す。図7において、図4に示した第1の実施形態に係る処理と同じ処理には同じ符号を付し、詳細な説明は省略する。
まずステップS101において、音声取得部21は、音声データを取得して音声特徴量を出力する。
そしてステップS102において、キーワードスコア計算部221は、フレームごとの音声特徴量とモデルのキーワード成分とをもとに、キーワードスコアscoreKW を計算する。またステップS103において、背景雑音スコア計算部222は、フレームごとの音声特徴量とモデルの背景雑音成分をもとに、背景雑音スコアscoreBN を計算する。
次にステップS114において、図4のステップS104とは異なり、キーワード検出部23は、計算されたキーワードスコアscoreKW と背景雑音スコアscoreBN との差分を算出し、閾値記憶部32から読み出したスコア差分閾値θD と比較する。算出された差分がスコア差分閾値θD よりも大きければ(YES)、キーワードと判定し(S105)、スコア差分閾値θD 以下であれば(NO)、キーワードではないと判定する(S106)。
(実施例2)
第2の実施形態に係る音声キーワード検出装置1は、実施例2では、キーワードスコアと背景雑音スコアの比率を用いる。すなわち、キーワード検出部23が、キーワードスコアと背景雑音スコアの比率があらかじめ設定されたスコア比率閾値よりも大きい場合、音声データがキーワードを含むものとして判定する。具体的には、scoreKW /scoreBN > θR の場合に、当該フレームに係る音声データをキーワードと判定する。
図8は、第2の実施形態の実施例2に係るキーワード検出装置1の処理内容と処理手順を示す。図8においても、図4に示した第1の実施形態に係る処理と同じ処理には同じ符号を付し、詳細な説明は省略する。
まずステップS101において、音声取得部21は、音声データを取得して音声特徴量を出力する。ステップS102において、キーワードスコア計算部221は、フレームごとの音声特徴量とモデルのキーワード成分とをもとに、キーワードスコアscoreKW を計算する。またステップS103において、背景雑音スコア計算部222は、フレームごとの音声特徴量とモデルの背景雑音成分をもとに、背景雑音スコアscoreBN を計算する。
次にステップS124において、図4のステップS104とは異なり、キーワード検出部23は、計算されたキーワードスコアscoreKW と背景雑音スコアscoreBN との比率を算出し、閾値記憶部32から読み出されたスコア比率閾値θR と比較する。算出された比率がスコア比率閾値θR よりも大きければ(YES)、キーワードと判定し(S105)、スコア比率閾値θR 以下であれば(NO)、キーワードではないと判定する(S106)。
第2の実施形態の実施例1および実施例2のいずれにおいても、キーワード検出部23は、第1の実施形態と同様に、検出結果を出力することができる。例えば、キーワード検出部23は、音声データがキーワードを含むと判定された場合、検出結果として当該キーワードを出力することができる。
(2)効果
第2の実施形態に係る音声キーワード検出装置1は、キーワードスコアと背景雑音スコアを計算し、それらの差分または比率をあらかじめ設定された閾値と比較して、比較結果に応じて音声データがキーワードを含むか否かを判定する。
背景雑音が強い場合には、背景雑音スコアが大きく計算されるため、実際には音声データがキーワードを含む場合であってもキーワードを検出できない場合が考えられる。しかし、第2の実施形態によれば、背景雑音が強く、背景雑音スコアが大きい場合であっても、キーワードスコアが背景雑音スコアよりも十分大きければ、キーワードを検出することができる。したがって、やはりキーワードスコアのみの評価を行う場合に比べて、背景雑音がキーワードとして誤検出されるのを抑制し、キーワードの検出精度を向上させることができる。
[第3の実施形態]
(1)構成および動作
第3の実施形態に係る情報処理装置としての音声キーワード検出装置1は、計算量を低減しつつ、キーワードを精度良く検出しようとするものである。
第3の実施形態に係る音声キーワード検出装置1は、図1〜図3を参照して説明した第1の実施形態と同様のシステム構成および機能構成を採用することができる。第3の実施形態に係る音声キーワード検出装置1は、第1の実施形態と同様に、音声取得部21、キーワードスコア計算部221と背景雑音スコア計算部222を含むスコア計算部22、キーワード検出部23、モデル記憶部31、および閾値記憶部32を備える。ただし、図3に示した矢印の向きとは異なる処理を含み得る。
(実施例1)
第3の実施形態に係る音声キーワード検出装置1は、実施例1では、はじめにキーワードスコアに基づいてキーワード候補の検出を行い、キーワード候補が検出された場合に、当該キーワード候補のフレームに対して背景雑音スコアを計算し、背景雑音スコアを用いてキーワードであるか否かの判定を行う。
すなわち、第1および第2の実施形態とは異なり、キーワード検出部23が、キーワードスコア計算部221により計算されたキーワードスコアとキーワードスコア閾値とを比較して、キーワードの可能性があるキーワード候補であるか否かを判定する。そして、背景雑音スコア計算部222は、キーワード候補が検出された場合に、当該キーワード候補の始端情報と終端情報とを用いて背景雑音スコアを計算する。
より具体的には、キーワード検出部23は、キーワードスコアscoreKW がキーワードスコア閾値θKW よりも大きい場合に、音声データがキーワード候補を含むものと判定する。そして、背景雑音スコア計算部222は、当該キーワード候補の始端フレームts と終端フレームte を用いて、背景雑音スコアscoreBN を計算する。
続いて、キーワード検出部23は、背景雑音スコアscoreBN と背景雑音スコア閾値θBN との大小を比較して、キーワードであるか否かを判定する。具体的には、キーワード検出部23は、背景雑音スコアscoreBN があらかじめ設定された背景雑音スコア閾値θBN よりも小さい場合に、キーワード候補の始端フレームts と終端フレームte の間の音声データをキーワードとして判定(検出)する。
図9は、第3の実施形態の実施例1に係る音声キーワード検出装置1の処理内容と処理手順を示す。なお、図4を参照して説明した第1の実施形態に係る処理と同じ処理については、詳細な説明は省略する。
まずステップS201において、音声キーワード検出装置1は、音声取得部21の制御の下、第1の実施形態と同様に、音声データを取得し音声特徴量を出力する。
次いでステップS202において、音声キーワード検出装置1は、キーワードスコア計算部221の制御の下、第1の実施形態と同様に、キーワードスコアscoreKW を計算する。
ステップS203において、音声キーワード検出装置1は、キーワード検出部23の制御の下、閾値記憶部32からキーワードスコア閾値θKW を読み出し、キーワードスコア計算部221により計算されたキーワードスコアscoreKW がキーワードスコア閾値θKW よりも大きいか否かを判定する。キーワードスコア閾値以下の場合(NO)、ステップS207に移行し、キーワードではないものと判定する。一方、キーワードスコア閾値よりも大きい場合(YES)、キーワード候補として判定して、ステップS204に移行する。
続いてステップS204において、音声キーワード検出装置1は、背景雑音スコア計算部222の制御の下、当該キーワード候補の始端フレームts と終端フレームte の情報を用いて、キーワード候補に対応する区間の背景雑音スコアscoreBN を計算し、キーワード検出部23に渡す。
ステップS205において、音声キーワード検出装置1は、キーワード検出部23の制御の下、閾値記憶部32から背景雑音スコア閾値θBN を読み出し、計算された背景雑音スコアscoreBN が背景雑音スコア閾値θBN よりも小さいか否かを判定する。背景雑音スコア閾値よりも小さい場合(YES)、ステップS206に移行し、キーワードと判定する。一方、背景雑音スコア閾値以上の場合(NO)、ステップS207に移行し、キーワードではないと判定する。
(実施例2)
第3の実施形態に係る音声キーワード検出装置1は、実施例2では、キーワード候補が検出された場合に、背景雑音スコアを計算し、キーワードスコアと背景雑音スコアの差分を用いてキーワードであるか否かの判定を行う。
すなわち、上記実施例1と同様に、キーワード検出部23が、キーワードスコア計算部221により計算されたキーワードスコアとキーワードスコア閾値とを比較して、キーワードの可能性があるキーワード候補であるか否かを判定する。そして、背景雑音スコア計算部222は、キーワード候補が検出された場合に、当該キーワード候補の始端情報と終端情報とを用いて背景雑音スコアを計算する。
そして、キーワード検出部23は、キーワードスコアと背景雑音スコアの差分を算出し、当該差分とあらかじめ設定されたスコア差分閾値との大小を比較して、キーワードであるか否かを判定する。具体的には、実施形態2の実施例1で説明したのと同様に、scoreKW −scoreBN > θD の場合に、キーワード候補の始端フレームts と終端フレームte の間の音声データをキーワードとして判定(検出)する。
図10は、第3の実施形態の実施例2に係るキーワード検出装置1の処理内容と処理手順を示す。図10において、図9に示した第3の実施形態の実施例1に係る処理と同じ処理には同じ符号を付し、詳細な説明は省略する。
まずステップS201において、音声取得部21は、音声データを取得して音声特徴量を出力する。ステップS202において、キーワードスコア計算部221は、フレームごとの音声特徴量とモデルのキーワード成分とをもとに、キーワードスコアscoreKW を計算する。
ステップS203において、キーワード検出部23は、閾値記憶部32からキーワードスコア閾値θKW を読み出し、キーワードスコア計算部221により計算されたキーワードスコアscoreKW がキーワードスコア閾値θKW よりも大きいか否かを判定する。キーワードスコア閾値以下の場合(NO)、ステップS207に移行し、キーワードではないものと判定する。一方、キーワードスコア閾値よりも大きい場合(YES)、キーワード候補として判定して、ステップS204に移行する。
ステップS204において、背景雑音スコア計算部222は、当該キーワード候補に対応する区間の背景雑音スコアscoreBN を計算する。
次にステップS215において、図9のステップS205とは異なり、キーワード検出部23は、計算されたキーワードスコアscoreKW と背景雑音スコアscoreBN との差分を算出し、閾値記憶部32から読み出されたスコア差分閾値θD と比較する。算出された差分がスコア差分閾値θD よりも大きければ(YES)、キーワードと判定し(S206)、スコア差分閾値θD 以下であれば(NO)、キーワードではないと判定する(S207)。
(実施例3)
第3の実施形態に係る音声キーワード検出装置1は、実施例3では、キーワード候補が検出された場合に、背景雑音スコアを計算し、キーワードスコアと背景雑音スコアの比率を用いてキーワードであるか否かの判定を行う。
すなわち、上記実施例1、2と同様に、キーワード検出部23が、キーワードスコア計算部221により計算されたキーワードスコアとキーワードスコア閾値とを比較して、キーワードの可能性があるキーワード候補であるか否かを判定する。そして、背景雑音スコア計算部222は、キーワード候補が検出された場合に、当該キーワード候補の始端情報と終端情報とを用いて背景雑音スコアを計算する。
そして、キーワード検出部23は、キーワードスコアと背景雑音スコアの比率を算出し、当該比率とあらかじめ設定されたスコア比率閾値との大小を比較して、キーワードであるか否かを判定する。具体的には、実施形態2の実施例2で説明したのと同様に、scoreKW /scoreBN > θR の場合に、キーワード候補の始端フレームts と終端フレームte の間の音声データをキーワードとして判定(検出)する。
図11は、第3の実施形態の実施例3に係るキーワード検出装置1の処理内容と処理手順を示す。図11においても、図9に示した第3の実施形態の実施例1に係る処理と同じ処理には同じ符号を付し、詳細な説明は省略する。
まずステップS201において、音声取得部21は、音声データを取得して音声特徴量を出力する。ステップS202において、キーワードスコア計算部221は、フレームごとの音声特徴量とモデルのキーワード成分とをもとに、キーワードスコアscoreKW を計算する。ステップS203において、キーワード検出部23は、閾値記憶部32からキーワードスコア閾値θKW を読み出し、キーワードスコア計算部221により計算されたキーワードスコアscoreKW がキーワードスコア閾値θKW よりも大きいか否かを判定する。キーワードスコア閾値以下の場合(NO)、ステップS207に移行し、キーワードではないものと判定する。一方、キーワードスコア閾値よりも大きい場合(YES)、キーワード候補として判定して、ステップS204に移行する。ステップS204において、背景雑音スコア計算部222は、当該キーワード候補に対応する区間の背景雑音スコアscoreBN を計算する。
ステップS225において、図9のステップS205とは異なり、キーワード検出部23は、計算されたキーワードスコアscoreKW と背景雑音スコアscoreBN との比率を算出し、閾値記憶部32から読み出されたスコア比率閾値θR と比較する。算出された比率がスコア比率閾値θR よりも大きければ(YES)、キーワードと判定し(S206)、スコア比率閾値θR 以下であれば(NO)、キーワードではないと判定する(S207)。
第3の実施形態の実施例1〜3のいずれにおいても、キーワード検出部23は、第1、第2の実施形態と同様に、検出結果を出力することができる。例えば、キーワード検出部23は、音声データがキーワードを含むと判定された場合、検出結果として当該キーワードを出力することができる。
(2)効果
第3の実施形態に係る音声キーワード検出装置1は、まずキーワードスコアとキーワードスコア閾値とに基づいて、キーワード候補であるか否かを判定する。そして、キーワード候補であると判定された場合に、当該キーワード候補のフレームについて、背景雑音スコアを計算する。そして、音声キーワード検出装置1は、少なくとも背景雑音スコアとあらかじめ設定された閾値とに基づいて、キーワード候補のフレームがキーワードであるか否かをさらに判定する。
このように、実施形態3によれば、すべての音声データについて背景雑音スコアを計算するわけでなく、キーワードの可能性が高いと判定された場合に背景雑音スコアを計算するので、背景雑音がキーワードとして誤検出されるのを抑制しつつ、計算量を削減することができる。
[他の実施形態]
なお、この発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、背景雑音を1つの成分(音素)として扱ったが、背景雑音が複数の種類を含むものとしてモデルを作成し学習させることもできる。例えば、走行中の自動車内では、乗員の会話や動きに起因する雑音に加えて、エンジン音をはじめとする定常的な雑音が発生し得る。あるいは、会議室内では、ドアの開閉や隣室の会話などの雑音に加えて、運転中のエアコンから生じるファンやモータの定常的な雑音が発生し得る。したがって、背景雑音を、このような定常的な雑音と、それ以外の非定常的な雑音とに分けて扱い、それぞれについて背景雑音スコアを計算するようにしてもよい。またその際、定常的な雑音については閾値を厳しく設定するなど、複数種類の背景雑音に対しそれぞれ異なる閾値を設定してもよい。これにより、定常的な雑音(例えば、自動車や飛行機のエンジン音、冷蔵庫やエアコンなどのモータ音など)と、隣室の会話や人の活動音などを区別することができ、いっそうの精度向上が期待できる。
最大累積音響スコアを求めるためのモデルは、音素単位でのモデルに限定されない。例えば、音韻、モーラ、発音表記、または表記文字の単位でモデル化してもよい。また、累積スコアの算出方法は、HMMとビタビアルゴリズムを用いたものに限定されるものではなく、リカレント構造をもったニューラルネットワーク、例えば、LSTM(Long short-term memory)とCTC(Connectionist Temporal Classification)を組み合わせたもので算出する方法や、Attention Modelを用いて算出する方法も適用できる。また、フレーム単位の音響スコア計算に対しては、フィードフォワード型のニューラルネットワークに限定されることはなく、リカレント構造のニューラルネットワーク(例えばLSTM)を適用してもよい。
また、上記実施形態に関して説明した音声キーワード検出装置1が備える各機能部を、複数の装置(サーバ、エッジサーバ、他のクライアント端末など)に分散配置し、これらの装置が互いに連携することにより処理を行うようにしてもよい。また各機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
さらに、以上で説明した各処理の流れは、説明した手順に限定されるものではなく、いくつかのステップの順序が入れ替えられてもよいし、いくつかのステップが同時並行で実施されてもよい。また、以上で説明した一連の処理は、時間的に連続して実行される必要はなく、各ステップは任意のタイミングで実行されてもよい。
上記各実施形態の処理の少なくとも一部は、例えば汎用のコンピュータに搭載されたプロセッサを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体(記憶媒体)に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。
その他、音声データの取得やモデルの生成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…情報処理装置,音声キーワード検出装置、2…マイクロホン、3…入力デバイス、4…出力デバイス、11…入出力インタフェース(入出力I/F)、12…通信インタフェース(通信I/F)、20…制御部、20A…ハードウェアプロセッサ、20B…プログラムメモリ、21…音声取得部、22…スコア計算部、23…キーワード検出部、30…データメモリ、31…モデル記憶部、32…閾値記憶部、40…バス、221…キーワードスコア計算部、222…背景雑音スコア計算部、51…入力層、52…中間層、53…出力層、531,532,533,534…ノード。

Claims (15)

  1. 複数のフレームを含む音声データを取得する第1の取得部と、
    前記音声データから抽出される特徴量を入力すると、特定のキーワードの成分と前記キーワード以外の背景雑音の成分とを含む複数のクラスの各々に対する尤度を表す情報を出力するように学習されたモデルを取得する第2の取得部と、
    前記音声データの前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される情報に基づいて、前記キーワードの成分の出現確率の高さを表すキーワードスコアを計算する第1の計算部と、
    前記音声データの前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される情報に基づいて、前記背景雑音の成分の出現確率の高さを表す背景雑音スコアを計算する第2の計算部と、
    前記キーワードスコアと、前記背景雑音スコアと、あらかじめ設定された閾値とに基づいて、前記音声データが前記キーワードを含むか否かを判定する判定部と、
    を備える情報処理装置。
  2. 複数のフレームを含む音声データを取得する第1の取得部と、
    前記音声データから抽出される特徴量を入力すると、特定のキーワードの成分と前記キーワード以外の背景雑音の成分とを含む複数のクラスの各々に対する尤度を表す情報を出力するように学習されたモデルを取得する第2の取得部と、
    前記音声データの前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される情報に基づいて、前記キーワードの成分の出現確率の高さを表すキーワードスコアを計算する第1の計算部と、
    前記キーワードスコアと、あらかじめ設定された第1の閾値とに基づいて、前記音声データが前記キーワードの候補を含むか否かを判定し、前記音声データが前記キーワードの候補を含むと判定された場合に、前記キーワードの候補に対応する前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される前記情報に基づいて、前記背景雑音の成分の出現確率の高さを表す背景雑音スコアを計算する第2の計算部と、
    前記背景雑音スコアと、あらかじめ設定された第2の閾値とに少なくとも基づいて、前記音声データが前記キーワードを含むか否かを判定する判定部と、
    を備える情報処理装置。
  3. 前記モデルから出力される前記尤度を表す情報は、前記キーワードの成分としての音素と第1の隠れマルコフモデルとの対応付けと、前記背景雑音の成分としての音素と第2の隠れマルコフモデルとの対応付けとをさらに含む、請求項1または請求項2に記載の情報処理装置。
  4. 前記第1の計算部は、前記キーワードスコアとして、前記フレームごとに、前記キーワードの成分としての音素と隠れマルコフモデルとの対応付けの出現確率を計算し、さらにビタビアルゴリズムを用いて前記出現確率の累積値を計算する、請求項1または請求項2に記載の情報処理装置。
  5. 前記第2の計算部は、前記背景雑音スコアとして、前記フレームごとに、前記背景雑音の成分としての音素と隠れマルコフモデルとの対応付けの出現確率を計算し、さらにビタビアルゴリズムを用いて前記出現確率の累積値を計算する、請求項1または請求項2に記載の情報処理装置。
  6. 前記判定部は、前記キーワードスコアがあらかじめ設定された第1の閾値よりも大きく、かつ前記背景雑音スコアがあらかじめ設定された第2の閾値よりも小さい場合に、前記音声データが前記キーワードを含むと判定する、請求項1に記載の情報処理装置。
  7. 前記判定部は、前記キーワードスコアと前記背景雑音スコアの差分があらかじめ設定された第3の閾値よりも大きい場合に、前記音声データがキーワードを含むと判定する、請求項1に記載の情報処理装置。
  8. 前記判定部は、前記キーワードスコアと前記背景雑音スコアの比率があらかじめ設定された第4の閾値よりも大きい場合に、前記音声データがキーワードを含むと判定する、請求項1に記載の情報処理装置。
  9. 前記第2の計算部は、前記キーワードスコアが前記第1の閾値よりも大きい場合に、前記音声データが前記キーワードの候補を含むと判定し、前記キーワードの候補の始端情報と終端情報とを用いて前記キーワードの候補に対応するフレームについて前記背景雑音スコアを計算し、
    前記判定部は、前記背景雑音スコアが前記第2の閾値よりも小さい場合に、前記音声データが前記キーワードを含むと判定する、
    請求項2に記載の情報処理装置。
  10. 前記第2の計算部は、前記キーワードスコアが前記第1の閾値よりも大きい場合に、前記音声データが前記キーワードの候補を含むと判定し、前記キーワードの候補の始端情報と終端情報とを用いて前記キーワードの候補に対応するフレームについて前記背景雑音スコアを計算し、
    前記判定部は、前記キーワードスコアと前記背景雑音スコアの差分があらかじめ設定された第3の閾値よりも大きい場合に、前記音声データがキーワードを含むと判定する、
    請求項2に記載の情報処理装置。
  11. 前記第2の計算部は、前記キーワードスコアが前記第1の閾値よりも大きい場合に、前記音声データが前記キーワードの候補を含むと判定し、前記キーワードの候補の始端情報と終端情報とを用いて前記キーワードの候補に対応するフレームについて前記背景雑音スコアを計算し、
    前記判定部は、前記キーワードスコアと前記背景雑音スコアの比率があらかじめ設定された第4の閾値よりも大きい場合に、前記音声データがキーワードを含むと判定する、
    請求項2に記載の情報処理装置。
  12. 前記クラスは、前記背景雑音の成分を複数含み、
    前記第2の計算部は、前記フレームごとに、前記背景雑音の複数の成分の各々に関して前記背景雑音スコアを計算する、請求項1または請求項2に記載の情報処理装置。
  13. 情報処理装置が実行する情報処理方法であって、
    複数のフレームを含む音声データを取得することと、
    前記音声データから抽出される特徴量を入力すると、特定のキーワードの成分と前記キーワード以外の背景雑音の成分とを含む複数のクラスの各々に対する尤度を表す情報を出力するように学習されたモデルを取得することと、
    前記音声データの前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される情報に基づいて、前記キーワードの成分の出現確率の高さを表すキーワードスコアを計算することと、
    前記音声データの前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される情報に基づいて、前記背景雑音の成分の出現確率の高さを表す背景雑音スコアを計算することと、
    前記キーワードスコアと、前記背景雑音スコアと、あらかじめ設定された閾値とに基づいて、前記音声データが前記キーワードを含むか否かを判定することと、
    を備える情報処理方法。
  14. 情報処理装置が実行する情報処理方法であって、
    複数のフレームを含む音声データを取得することと、
    前記音声データから抽出される特徴量を入力すると、特定のキーワードの成分と前記キーワード以外の背景雑音の成分とを含む複数のクラスの各々に対する尤度を表す情報を出力するように学習されたモデルを取得することと、
    前記音声データの前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される情報に基づいて、前記キーワードの成分の出現確率の高さを表すキーワードスコアを計算することと、
    前記キーワードスコアと、あらかじめ設定された第1の閾値とに基づいて、前記音声データが前記キーワードの候補を含むか否かを判定し、前記音声データが前記キーワードの候補を含むと判定された場合に、前記キーワードの候補に対応する前記フレームごとに、前記特徴量を抽出し、前記モデルに入力することによって、前記モデルから出力される前記情報に基づいて、前記背景雑音の成分の出現確率の高さを表す背景雑音スコアを計算することと、
    前記背景雑音スコアと、あらかじめ設定された第2の閾値とに少なくとも基づいて、前記音声データが前記キーワードを含むか否かを判定することと、
    を備える情報処理方法。
  15. 請求項1乃至請求項12の何れかに記載の装置の各部による処理をプロセッサに実行させるプログラム。
JP2019153039A 2019-08-23 2019-08-23 情報処理装置、情報処理方法およびプログラム Active JP7191792B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019153039A JP7191792B2 (ja) 2019-08-23 2019-08-23 情報処理装置、情報処理方法およびプログラム
CN202010127298.8A CN112420020B (zh) 2019-08-23 2020-02-28 信息处理装置及信息处理方法
US16/804,346 US11823669B2 (en) 2019-08-23 2020-02-28 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019153039A JP7191792B2 (ja) 2019-08-23 2019-08-23 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021033051A true JP2021033051A (ja) 2021-03-01
JP7191792B2 JP7191792B2 (ja) 2022-12-19

Family

ID=74646370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019153039A Active JP7191792B2 (ja) 2019-08-23 2019-08-23 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11823669B2 (ja)
JP (1) JP7191792B2 (ja)
CN (1) CN112420020B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321798B1 (ko) * 2019-08-15 2021-11-05 엘지전자 주식회사 인공 신경망 기반의 음성 인식 모델을 학습시키는 방법 및 음성 인식 디바이스
EP3948516A1 (en) * 2020-06-09 2022-02-09 Google LLC Generation of interactive audio tracks from visual content
CN113035231B (zh) * 2021-03-18 2024-01-09 三星(中国)半导体有限公司 关键词检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202887A (ja) * 2001-12-28 2003-07-18 Toshiba Corp 音声認識装置、音声認識方法及び音声認識プログラム
JP2005092310A (ja) * 2003-09-12 2005-04-07 Kddi Corp 音声キーワード認識装置
JP2013117729A (ja) * 2005-02-01 2013-06-13 Qualcomm Inc 背景雑音情報の断続伝送及び正確な再生の方法
JP2016515741A (ja) * 2013-04-15 2016-05-30 マイクロソフト テクノロジー ライセンシング,エルエルシー マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266386A (ja) * 1993-03-16 1994-09-22 Nippon Telegr & Teleph Corp <Ntt> ワードスポッティング方法
EP0800158B1 (en) * 1996-04-01 2001-06-27 Hewlett-Packard Company, A Delaware Corporation Word spotting
US6985859B2 (en) * 2001-03-28 2006-01-10 Matsushita Electric Industrial Co., Ltd. Robust word-spotting system using an intelligibility criterion for reliable keyword detection under adverse and unknown noisy environments
JP2003308091A (ja) * 2002-04-17 2003-10-31 Pioneer Electronic Corp 音声認識装置、音声認識方法および音声認識プログラム
JP4226273B2 (ja) * 2002-05-27 2009-02-18 パイオニア株式会社 音声認識装置、音声認識方法および音声認識プログラム
JP2003345384A (ja) * 2002-05-27 2003-12-03 Pioneer Electronic Corp 音声認識装置、音声認識方法および音声認識プログラム
JP4357867B2 (ja) * 2003-04-25 2009-11-04 パイオニア株式会社 音声認識装置、音声認識方法、並びに、音声認識プログラムおよびそれを記録した記録媒体
JP4058521B2 (ja) * 2003-09-11 2008-03-12 独立行政法人産業技術総合研究所 背景雑音歪みの補正処理方法及びそれを用いた音声認識システム
KR100745976B1 (ko) * 2005-01-12 2007-08-06 삼성전자주식회사 음향 모델을 이용한 음성과 비음성의 구분 방법 및 장치
KR100679051B1 (ko) * 2005-12-14 2007-02-05 삼성전자주식회사 복수의 신뢰도 측정 알고리즘을 이용한 음성 인식 장치 및방법
US8131543B1 (en) * 2008-04-14 2012-03-06 Google Inc. Speech detection
JP6276513B2 (ja) * 2013-04-12 2018-02-07 株式会社レイトロン 音声認識装置および音声認識プログラム
JP2015118354A (ja) * 2013-12-20 2015-06-25 三菱電機株式会社 音声認識装置および音声認識方法
US9959863B2 (en) * 2014-09-08 2018-05-01 Qualcomm Incorporated Keyword detection using speaker-independent keyword models for user-designated keywords
JP6679898B2 (ja) * 2015-11-24 2020-04-15 富士通株式会社 キーワード検出装置、キーワード検出方法及びキーワード検出用コンピュータプログラム
US9972313B2 (en) * 2016-03-01 2018-05-15 Intel Corporation Intermediate scoring and rejection loopback for improved key phrase detection
US20170256270A1 (en) * 2016-03-02 2017-09-07 Motorola Mobility Llc Voice Recognition Accuracy in High Noise Conditions
GB2552723A (en) * 2016-08-03 2018-02-07 Cirrus Logic Int Semiconductor Ltd Speaker recognition
JP6585112B2 (ja) 2017-03-17 2019-10-02 株式会社東芝 音声キーワード検出装置および音声キーワード検出方法
US10964315B1 (en) * 2017-06-30 2021-03-30 Amazon Technologies, Inc. Monophone-based background modeling for wakeword detection
CN107665705B (zh) * 2017-09-20 2020-04-21 平安科技(深圳)有限公司 语音关键词识别方法、装置、设备及计算机可读存储介质
CN109903751B (zh) * 2017-12-08 2023-07-07 阿里巴巴集团控股有限公司 关键词确认方法和装置
US10964311B2 (en) * 2018-02-23 2021-03-30 Kabushiki Kaisha Toshiba Word detection system, word detection method, and storage medium
CN108615526B (zh) * 2018-05-08 2020-07-07 腾讯科技(深圳)有限公司 语音信号中关键词的检测方法、装置、终端及存储介质
US11037556B2 (en) * 2018-07-17 2021-06-15 Ford Global Technologies, Llc Speech recognition for vehicle voice commands
CN109461456B (zh) * 2018-12-03 2022-03-22 云知声智能科技股份有限公司 一种提升语音唤醒成功率的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202887A (ja) * 2001-12-28 2003-07-18 Toshiba Corp 音声認識装置、音声認識方法及び音声認識プログラム
JP2005092310A (ja) * 2003-09-12 2005-04-07 Kddi Corp 音声キーワード認識装置
JP2013117729A (ja) * 2005-02-01 2013-06-13 Qualcomm Inc 背景雑音情報の断続伝送及び正確な再生の方法
JP2016515741A (ja) * 2013-04-15 2016-05-30 マイクロソフト テクノロジー ライセンシング,エルエルシー マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出

Also Published As

Publication number Publication date
US11823669B2 (en) 2023-11-21
JP7191792B2 (ja) 2022-12-19
CN112420020B (zh) 2024-05-03
US20210056961A1 (en) 2021-02-25
CN112420020A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US11848018B2 (en) Utterance classifier
US11854545B2 (en) Privacy mode based on speaker identifier
US11138977B1 (en) Determining device groups
US10365887B1 (en) Generating commands based on location and wakeword
US20200075044A1 (en) System and method for performing multi-model automatic speech recognition in challenging acoustic environments
JP7191792B2 (ja) 情報処理装置、情報処理方法およびプログラム
Akbacak et al. Environmental sniffing: noise knowledge estimation for robust speech systems
US11302329B1 (en) Acoustic event detection
WO2018078885A1 (ja) 対話装置、対話方法及び対話用コンピュータプログラム
KR101840363B1 (ko) 오류 발음 검출을 위한 단말 및 음성 인식 장치, 그리고 그의 음향 모델 학습 방법
US11328713B1 (en) On-device contextual understanding
JP7098587B2 (ja) 情報処理装置、キーワード検出装置、情報処理方法およびプログラム
KR20230118165A (ko) 핫워드 속성에 기초한 자동화된 스피치 인식 파라미터적응시키기
JP6526602B2 (ja) 音声認識装置、その方法、及びプログラム
US20240153493A1 (en) Techniques for improved audio processing using combinations of clipping engines and acoustic models
Naga Sai Manish et al. Spoken Keyword Detection in Speech Processing using Error Rate Estimations.
Bohac Performance comparison of several techniques to detect keywords in audio streams and audio scene
Kanasro et al. Finding Accuracy of Utterance of Language Model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221207

R151 Written notification of patent or utility model registration

Ref document number: 7191792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151