JP2016119000A - 音声検索装置、音声検索方法及びプログラム - Google Patents

音声検索装置、音声検索方法及びプログラム Download PDF

Info

Publication number
JP2016119000A
JP2016119000A JP2014259419A JP2014259419A JP2016119000A JP 2016119000 A JP2016119000 A JP 2016119000A JP 2014259419 A JP2014259419 A JP 2014259419A JP 2014259419 A JP2014259419 A JP 2014259419A JP 2016119000 A JP2016119000 A JP 2016119000A
Authority
JP
Japan
Prior art keywords
likelihood
section
time length
acquisition
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014259419A
Other languages
English (en)
Other versions
JP6003972B2 (ja
Inventor
寛基 富田
Hiroki Tomita
寛基 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014259419A priority Critical patent/JP6003972B2/ja
Priority to US14/953,729 priority patent/US9767790B2/en
Priority to CN201510974271.1A priority patent/CN105719643B/zh
Publication of JP2016119000A publication Critical patent/JP2016119000A/ja
Application granted granted Critical
Publication of JP6003972B2 publication Critical patent/JP6003972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • G10L15/05Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Artificial Intelligence (AREA)

Abstract

【課題】異なる話速の音声信号の中から検索語を高精度に検索することができる音声検索装置、音声検索方法及びプログラムを提供する。【解決手段】変換部112は、検索文字列を音素列に変換する。時間長導出部114は、話速の異なる複数の音素の継続時間長を使用して、検索文字列に対応する音声の発話時間長を複数導出する。区間指定部115は、検索対象の音声信号における尤度取得区間を指定する。尤度取得部119は、尤度取得区間が検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する。選択部121は、尤度が高くなる話速に対応する継続時間長を用いた尤度取得区間を選択する。特定部125は、選択された尤度取得区間のそれぞれについて取得した尤度に基づいて、検索対象の音声信号の中から検索文字列に対応する音声が発せられていることが推定される推定区間を特定する。【選択図】図2

Description

本発明は、音声検索装置、音声検索方法及びプログラムに関する。
音声や動画等のマルチメディアコンテンツの拡大・普及に伴い、高精度なマルチメディア検索技術が求められている。その中で検索対象とする検索語(クエリ)に対応する音声が発話されている箇所を音声信号の中から特定する音声検索の技術が研究されている。音声検索では、画像認識を用いた文字列検索の技術に比べて、十分な性能の検索手法が未だ確立されていない。そのため、十分な性能の音声検索を実現するための技術が様々に研究されている。
例えば非特許文献1は、音声信号同士を高速に比較する方法を開示している。これにより、音声で入力されたクエリに対応する箇所を、検索対象の音声信号の中から高速に特定することができる。
Y.Zhang and J.Glass. "An inner−product lower−bound estimate for dynamic time warping," in Proc. ICASSP,2011,pp.5660−5663.
非特許文献1が開示する技術では、検索対象の音声の話速とクエリ入力者の話速とが異なる場合には検索精度が低くなるという問題がある。
本発明は、以上のような課題を解決するためのものであり、異なる話速の音声信号の中から検索語を高精度に検索することが可能な音声検索装置、音声検索方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明に係る音声検索装置は、
検索文字列を音素列に変換する変換手段と、
前記変換手段が変換した音素列に含まれる各音素の継続時間長を、音素に関する継続時間長データを記憶しているデータベースから取得する時間長取得手段と、
前記時間長取得手段が取得した継続時間長に基づいて、前記検索文字列に対応する音声の発話時間長の候補として、複数の異なる話速に対応した複数の時間長を導出する時間長導出手段と、
検索対象の音声信号における前記時間長導出手段が導出した時間長を有する区間である尤度取得区間を、前記複数の時間長のそれぞれについて複数指定する区間指定手段と、
前記区間指定手段が指定した尤度取得区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する尤度取得手段と、
前記区間指定手段が指定した尤度取得区間のそれぞれについて前記尤度取得手段が取得した尤度に基づいて、前記検索対象の音声信号の中から前記検索文字列に対応する音声が発せられていることが推定される推定区間を特定する特定手段と、
を備えることを特徴とする。
本発明によれば、異なる話速の音声信号の中から検索語を高精度に検索することができる。
本発明の実施形態1に係る音声検索装置の物理構成を示す図である。 本発明の実施形態1に係る音声検索装置の機能構成を示す図である。 音素の状態について説明するための図である。 話速に対応する発話時間長の導出について説明するための図である。 (a)は、検索対象の音声信号の波形図である。(b)は、検索対象の音声信号において設定されるフレームを示す図である。(c)は、検索対象の音声信号において指定される尤度取得区間を示す図である。 出力確率をLower−Bound化する例を示す図である。 選択部による候補区間の選択方法について説明するための図である。 本発明の実施形態1に係る音声検索装置が実行する音声検索処理の流れを示すフローチャートである。 検索文字列に対応する区間を特定する処理の流れを示すフローチャートである。 本発明の実施形態2に係る音声検索装置の機能構成を示す図である。 選択部による候補区間の選択方法について説明するための図であり、(a)は取得した尤度の重み係数を掛けた後で候補区間を選択する方法を説明するための図であり、(b)は重み係数の例を示す図である。 選択部による候補区間の選択方法について説明するための図である。 選択部による候補区間の選択方法について説明するための図であり、(a)は音声信号を分割した区分の最大の尤度を話速毎に記載した例であり、(b)は音声信号を分割した区分毎に話速に対応する尤度の順位を示した例である。
以下、本発明の実施形態に係る音声検索装置、音声検索方法及びプログラムについて、図面を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
(実施形態1)
実施形態1に係る音声検索装置100は、物理的には、図1に示すように、ROM(Read Only Memory)1と、RAM(Random Access Memory)2と、外部記憶装置3と、入力装置4と、出力装置5と、CPU(Central Processing Unit)6と、バス7と、を備える。
ROM1は、音声検索プログラムを記憶する。RAM2は、CPU6のワークエリアとして使用される。
外部記憶装置3は、例えば、ハードディスクから構成され、解析対象である音声信号、後述するモノフォンモデル、トライフォンモデル及び音素の時間長をデータとして記憶する。
入力装置4は、例えば、キーボードや音声認識装置から構成される。入力装置4は、ユーザが入力した検索語をテキストデータもしくは音声データとしてCPU6に供給する。出力装置5は、例えば、液晶ディスプレイの画面、スピーカを備える。出力装置5は、CPU6によって出力されたテキストデータを画面に表示し、音声データをスピーカから出力する。
CPU6は、ROM1に記憶された音声検索プログラムをRAM2に読み出して、その音声検索プログラムを実行することにより、以下に示す機能を実現する。バス7は、ROM1、RAM2、外部記憶装置3、入力装置4、出力装置5、CPU6、を接続する。
音声検索装置100は、機能的には、図2に示すように、音声信号記憶部101と、モノフォンモデル記憶部102と、トライフォンモデル記憶部103と、時間長記憶部104と、検索文字列取得部111と、変換部112と、時間長取得部113と、時間長導出部114と、区間指定部115と、特徴量算出部116と、出力確率取得部117と、置換部118と、尤度取得部119と、繰り返し部120と、選択部121と、第2の変換部122と、第2の出力確率取得部123と、第2の尤度取得部124と、特定部125と、を備える。音声信号記憶部101、モノフォンモデル記憶部102、トライフォンモデル記憶部103、及び時間長記憶部104は、外部記憶装置3の記憶領域に構築されている。
音声信号記憶部101は、検索対象の音声信号を記憶する。検索対象の音声信号は、例えばニュース放送等の音声、録音された会議の音声、録音された講演の音声、映画の音声等に係る音声信号である。
モノフォンモデル記憶部102及びトライフォンモデル記憶部103は、音響モデルを記憶する。音響モデルは、検索文字列として取得可能な文字列を構成する各音素の周波数特性等をモデル化したものである。具体的には、モノフォンモデル記憶部102は、モノフォン(1音素)による音響モデル(モノフォンモデル)を記憶し、トライフォンモデル記憶部103は、トライフォン(3音素)による音響モデル(トライフォンモデル)を記憶する。
音素とは、話者により発話された音声を構成する成分の単位である。例えば、「カテゴリ」という単語は、「k」、「a」、「t」、「e」、「g」、「o」、「r」、「i」という8個の音素から構成される。
モノフォンモデルは、1音素毎に生成された音響モデルであり、隣接する音素に依存しない、すなわち前後の音素状態との状態遷移を固定化した音響モデルである。トライフォンモデルは、3音素毎に生成された音響モデルであり、隣接する音素に依存する、すなわち前後の音素状態との状態遷移を考慮した音響モデルであり、モノフォンモデルに比べると多くの情報を有している。音声検索装置100は、モノフォンモデル及びトライフォンモデルを一般的な方法で学習して、それぞれモノフォンモデル記憶部102及びトライフォンモデル記憶部103に予め記憶しておく。
モノフォンモデル及びトライフォンモデルとして、例えば、一般的な音声認識で利用される音響モデルであるHMM(Hidden Markov Model;隠れマルコフモデル)を利用できる。HMMは、統計的な手法により音声信号からその音声信号を構成する音素を確率的に推定するためのモデルである。HMMには、時間的な状態の揺らぎを示す遷移確率と、各状態から入力された特徴量を出力する確率(出力確率)と、をパラメータとした標準パターンを用いる。
時間長記憶部104は、音響モデルで利用される各音素の継続時間長を、話速や性別や年齢層毎や発話環境等のグループに分けて、各音素の状態単位で記憶する。各音素の継続時間長とは、各音素が発せられるときの平均的な時間長である。各音素の状態とは、各音素を時間方向に細分化した単位であり、音響モデルの最小単位に相当する。各音素には予め状態数が定められている。例えば、各音素に定められた状態数が「3」である場合を例にとって説明する。例えば、音声「あ」の音素「a」は、図3に示すように、この音素の発声開始時を含む第1の状態「a1」と、中間状態である第2の状態「a2」と、発声終了時を含む第3の状態「a3」と、の3つの状態に分けられる。すなわち、1音素は3つの状態から構成される。音響モデルで利用される全音素の数をQとした場合、(3×Q)個の状態が存在する。音声検索装置100は、(3×Q)個の状態のそれぞれについて、大量の音声信号のデータから継続時間長の平均値を算出し、時間長記憶部104に予め記憶しておく。
本実施形態では、音素の継続時間長のグループを「早め」、「やや早め」、「普通」、「やや遅め」、「遅め」の5段階の話速に対応するグループに分ける。時間長記憶部104は、大量の音声データを「早め」、「やや早め」、「普通」、「やや遅め」、「遅め」の5段階の話速のグループに分け、各話速のグループごとに音素の継続時間長の平均を求め、話速に対応するグループごとに継続時間長を記憶しておく。
検索文字列取得部111は、入力装置4を介してユーザが入力した検索文字列を取得する。すなわち、ユーザは、音声検索装置100に対して、検索対象の音声信号から目的の音声が発話されている部分を検索するための検索語(クエリ)を、文字列(テキスト)で与える。
変換部112は、隣接する音素に依存しない音響モデルであるモノフォンモデルの音素を、検索文字列取得部111が取得した検索文字列に従って並べて、検索文字列を音素列に変換する。すなわち、変換部112は、検索文字列に含まれる文字と同順で、各文字を発声したときの音素(モノフォン)を並べることにより、検索文字列をモノフォン音素列に変換する。
本実施形態では、日本語の「カテゴリ」を検索する場合について説明する。検索文字列として日本語「カテゴリ」が入力された場合、「カテゴリ」は「k」と「a」と「t」と「e」と「g」と「o」と「r」と「i」との8つの音素(モノフォン)を含むため、変換部112は、音素列「k,a,t,e,g,o,r,i」を生成する。
時間長取得部113は、時間長記憶部104から5段階の話速に対応した音素の状態毎の継続時間長を取得する。時間長導出部114は、変換部112が出力した音素列に含まれる各音素の状態毎の継続時間長を時間長取得部113から取得する。そして、取得した継続時間長に基づいて、検索文字列に対応する音声の時間長(以下、発話時間長)を導出する。
具体的には、時間長導出部114は、まず、「k,a,t,e,g,o,r,i」の8個の音素に対応する継続時間長を「早め」用の音素の継続時間長のグループから取得する。正確には、各音素は、3つの状態を有しており、状態毎に継続時間長のデータが蓄積されているので、24個の継続時間長のデータを取得する。そして、取得した継続時間長を加算して音素列「k,a,t,e,g,o,r,i」の話速「早め」用の発話時間長を導出する。次に、「やや早め」用の音素の継続時間長のグループから、同様にして24個の継続時間長のデータを取得して、話速「やや早め」用の発話時間長を導出する。以下、同様にして、「普通」用の音素の継続時間長のグループ、「やや遅め」用の音素の継続時間長のグループ、「遅め」用の音素の継続時間長のグループから各々24個の継続時間長のデータを取得して、発話時間長を導出する。
図4を用いて、より詳しく説明する。図4の1列目は、検索語「カテゴリ」の8音素の24状態を記載している。2列目は、各音素の状態に対応する継続時間長を、時間長記憶部104の話速「早め」用の継続時間長のグループから取得した値である。そして、継続時間長を24個合計した値(515ms)が、話速「早め」用の発話時間長である。3列目は、各音素の状態に対応する継続時間長を、時間長記憶部104の話速「やや早め」用の継続時間長のグループから取得した値である。そして、継続時間長を24個合計した値(635ms)が、話速「やや早め」用の発話時間長である。以下同様にして、話速「普通」用の発話時間長(755ms)、話速「やや遅め」用の発話時間長(875ms)、話速「遅め」用の発話時間長(995ms)を取得する。
すなわち、音声検索装置100は、音素の状態毎に発話の際の典型的な5種類の継続時間長を予め時間長記憶部104に用意しておき、検索語について話速に対応する5つの音声の発話時間長を導出する。
図2に戻って、区間指定部115は、音声信号記憶部101から検索対象の音声信号を取得して、検索対象の音声信号における先頭から順に、時間長導出部114が導出した発話時間長の区間を尤度取得区間として指定する。尤度とは、検索対象の音声と音響モデルから作成した検索文字列に対応する音素列との類似の度合を示す指標である。区間指定部115は、検索文字列から変換された音素列と音声信号とを比較するため、指定した尤度取得区間内の音声信号を切り出して、切り出した音声信号を音素列に含まれる各音素の状態に対応するフレームに分割する。区間指定部115は、時間長導出部114が導出した5つの時間長のそれぞれについて、切り出した音声信号に含まれる各フレームと音素列に含まれる各音素の状態とを対応付ける。
フレームとは、音素の1状態の時間長を有する時間窓である。具体的に図5を参照して、検索対象の音声信号に設定されるフレームについて説明する。図5(a)は、先頭から末尾までの時間長Tの検索対象の音声信号の波形図である。縦軸は波形の振幅を示し、横軸は時間tを示す。図5(b)は、図5(a)に示す音声信号において設定されるフレームを示す。1行目は、音声信号の先頭から始まる第0フレーム列である。「カテゴリ」の音素数は8音素で、24状態あるので、第0フレーム列に含まれるフレーム数は24個である。話速に対応して音素の継続時間長が異なるので、フレーム長Fも話速に対応して異なることになる。したがって、音声信号の先頭から始まる第0フレーム列も、「早め」、「やや早め」、「普通」、「やや遅め」、「遅め」の5段階の話速に対応して5つのフレーム列を設定する。2行目の第1フレーム列は、音声信号の先頭から所定のシフト長Sだけシフトして設定する。第1フレーム列もフレーム数は24個であり、話速に対応して5つのフレーム列を設定する。以後、同様にしてフレーム列の先頭位置を1シフト長Sずつシフトして第(P−1)フレーム列まで、それぞれ5つのフレーム列を設定する。
シフト長Sは、音声信号のどの位置に検索対象の検査語が存在するかを検索する検索位置の精度を決める長さである。シフト長Sは、最も短いフレーム長よりも短い値に設定される固定値である。本実施形態においては、図4に示す音素の状態の最短が15msであるので、それより短い5msに設定する。
図5(c)は、検索対象の音声信号において区間指定部115により指定される尤度取得区間を示す。区間指定部115は、まず始めに、音声信号の先頭から始まる24個のフレームを含む第0フレーム列の区間を時間長Lの第0尤度取得区間に指定する。第0フレーム列が話速に対応して5つあるので、第0尤度取得区間も話速に対応して5つ指定する。次に、音声信号の先頭から1シフト長Sだけシフトした位置から始まる第1フレーム列の区間を第1尤度所得区間に指定する。第1尤度指定区間についても5つ指定する。以下、同様にして、第(P−1)フレーム列の区間に対応する第(P−1)尤度取得区間までを5つずつ指定する。
図2に戻って、特徴量算出部116は、区間指定部115が指定した尤度取得区間における検索対象の音声信号の特徴量を、フレーム毎に算出する。この特徴量は、音声データを周波数軸上に変換して得られる周波数軸系特徴パラメータと、音声データのエネルギーの2乗和やその対数を計算することにより得られるパワー系特徴パラメータと、を組み合わせることによって得られる。
例えば周知のように、特徴量は、周波数軸系特徴パラメータ12成分(12次元)とパワー系特徴パラメータ1成分(1次元)、直前の時間窓の各成分との差分を取ったもの、すなわち△周波数軸系特徴パラメータ12成分(12次元)と△パワー系特徴パラメータ1成分(1次元)、及び直前の時間窓の各成分との差分の差分を取ったもの、すなわち△△周波数軸系特徴パラメータ12成分(12次元)の、合計38成分を有する38次元ベクトル量として構成される。
図2に戻って、出力確率取得部117は、特徴量算出部116が算出した特徴量に基づいて、この特徴量が音素列に含まれる各音素から出力される確率(出力確率)を、フレーム毎に取得する。具体的には、出力確率取得部117は、モノフォンモデル記憶部102からモノフォンモデルを取得して、特徴量算出部116が算出した各フレームにおける特徴量と、音素列に含まれる音素の状態の中でこのフレームに対応する状態のモノフォンモデルとを比較する。そして、各フレームにおける特徴量が対応する状態から出力される確率を計算する。
出力確率取得部117は、この出力確率を区間指定部115が指定した話速に対応する5つの尤度取得区間について、尤度取得区間に含まれる24個のフレームのそれぞれに対して出力確率を計算する。
置換部118は、出力確率取得部117が取得した出力確率のそれぞれを、隣接する前後数フレームの中で最大の出力確率に置換する。この置換処理は、Lower−Bound化と呼ばれる。この処理も5つの尤度取得区間のそれぞれについて行う。
具体的に図6を参照して、Lower−Bound化を説明する。図6において、実線はフレーム毎に取得された出力確率を示す。縦軸は出力確率の高さを下になるほど高くなるように示し、横軸は時間tを示す。置換部118は、各フレームの出力確率を、そのフレームと、そのフレームの前のN1個のフレームと、そのフレームの後のN2個のフレームの中で最大の出力確率に置き換える。N1とN2は0を含む自然数であるが、N1とN2のいずれかは0ではないものとする。N1=N2=2として説明する。フレーム列内の第1フレームの出力確率は、その前にフレームが無いので、自身の第1フレームとその後の第2フレームと第3フレームの中で最大の出力確率と置換する。第2フレームの出力確率は、その前の第1フレームと自身の第2フレームとその後の第3フレームと第4フレームの中で最大の出力確率と置換する。第3フレームの出力確率は、その前の第1フレームと第2フレームと、自身の第3フレームと、その後の第4フレームと第5フレームの中で最大の出力確率と置換する。このように、第24フレームまで置換処理を行う。置換の結果、実線で示した出力確率は、破線で示したLB(Lower−Bound)化出力確率のように、時間方向において値の変化が小さくなった出力確率に変換される。
このようなLower−Bound化により、時間長記憶部104に記憶された各音素の継続時間長と実際の音声信号の継続時間長との誤差、及び、時間長導出部114が導出した検索文字列に対応する音声の発話時間長と実際の音声信号の発話時間長との誤差を、前後数フレームの範囲内で小さくすることができる。
尤度取得部119は、置換部118による置換後の出力確率に基づいて、区間指定部115が指定した尤度取得区間が検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する。具体的には、尤度取得部119は、置換後の出力確率の対数をとって得られる値を、尤度取得区間の先頭から末尾までの全フレーム、この例では24フレームにわたって加算することにより、この尤度取得区間の尤度を取得する。すなわち、出力確率が高いフレームを多く含む尤度取得区間ほど、尤度取得部119が取得する尤度は大きくなる。これを話速に対応する5つの尤度取得区間について行う。
なお、各フレームの出力確率をかけ算する処理であるので、対数をとらずにそのまま出力確率のかけ算をしてもよいし、対数の代わりに近似式を用いてもよい。
繰り返し部120は、区間指定部115が指定する尤度取得区間の音声信号における指定区間を変えて、区間指定部115、特徴量算出部116、出力確率取得部117、置換部118、及び尤度取得部119の処理を繰り返すように各部を制御する。
具体的に図5(b)と(c)を参照して説明すると、繰り返し部120の制御を受けて、区間指定部115はフレーム列の先頭位置を1シフト長(S=10ms)分シフトさせて第1フレーム列を指定し、第1フレーム列の区間を第1尤度取得区間として新たに指定する。第1尤度取得区間についても話速に対応する5つの尤度取得区間を指定する。そして、繰り返し部120は、新たに指定した第1尤度取得区間において、上述した特徴量算出部116から尤度取得部119までの処理と同様の処理を各部に実行させて、第1尤度取得区間の尤度を取得するように各部を制御する。
同様に、繰り返し部120は、第2尤度取得区間から第(P−1)尤度取得区間まで、区間指定部115が指定する尤度取得区間を1シフト長(S=10ms)ずつシフトさせて、シフト後の尤度取得区間のそれぞれについて尤度を取得するように各部を制御する。その結果、検索対象の音声信号を1シフト長Sずつシフトした尤度取得区間のそれぞれに対して、モノフォンモデルから作成した音素列「k,a,t,e,g,o,r,i」に対する尤度が取得される。
なお、検索対象の音声信号の中で指定可能な尤度取得区間の数Pは、音声信号の時間長Tと尤度取得区間の時間長Lとシフト長Sとを用いて、P=(T−L+S)/Sと定められる。話速に対応して5つずつ設定されるので、尤度取得区間は、全部で5P個の尤度取得区間のそれぞれに対して尤度を求めることになる。
選択部121は、尤度取得部119が取得した尤度に基づいて、区間指定部115が指定した尤度取得区間の中から、検索文字列に対応する音声が発せられていることが推定される推定区間の候補を尤度が高い順にx個を選択する。すなわち、選択部121は、後段のトライフォンモデルに基づくより精度の高い尤度取得の計算量を抑えるため、尤度を取得した5P個の尤度取得区間の中から最終的な検索結果の候補となる区間x個を予備的に選択し、残りの尤度取得区間を候補から除外する。
このとき、区間指定部115が指定した尤度取得区間は多くの重なりを有するため、尤度が大きい区間は時系列的に連続して存在することが多い。そのため、選択部121が、尤度取得区間の中で単純に尤度が大きい区間から順に推定区間の候補を選択すると、選択される区間が検索対象の音声信号における一部に集中する可能性が大きくなる。
これを避けるために、選択部121は、所定の選択時間長を設け、選択時間長ごとに、この所定の選択時間長の区間の中から開始する尤度取得区間の中で尤度が最大の尤度取得区間を1つずつ選択する。この所定の選択時間長は、例えば尤度取得区間の時間長Lの1/m(例えば1/2)に相当する時間長のように、尤度取得区間の時間長Lよりも短い時間に設定する。例えば、検索語「カテゴリ」の発話時間長が2秒以上(L≧2秒)であると仮定した場合、m=2とし、選択時間長を1秒に設定する。選択時間長(L/m)毎に1個ずつ尤度取得区間が候補として選択され、残りは候補から除外される。これにより、選択部121は、推定区間の候補を、検索対象の音声信号全体にわたって満遍なく選択できる。
選択部121は、この選択時間長(L/m)毎に行う尤度取得区間の選択の中から、尤度が高い尤度取得区間をx個選択する。この選択を5つの話速に対応する尤度取得区間ごとに行う。つまり、5つの話速のそれぞれについて、選択された尤度取得区間の中から尤度が高いx個(合計5x個)の尤度取得区間を選択する。
次に、選択部121は、候補となる区間をさらに限定するために、どの話速に対応する尤度取得区間の尤度が良いかを比較し、尤度が高くなる話速に対応するx個の尤度取得区間のみを最終候補とし、残りの尤度取得区間を候補から除外する。
選択する個数x個を10個(x=10)とした例を図7を用いて説明する。「カテゴリ」の発話時間長は2秒以上かかると仮定して、ここでは選択時間長を1秒に設定する。まず、選択部121は、話速「早め」に対応するP個の尤度取得区間の中から、選択時間長(1秒)毎に尤度が最も高い尤度取得区間を1つずつ選択する。そして、1秒ごとに選択した尤度取得区間の中から尤度が高い順に10個の尤度取得区間を選択し、図7に示すように話速「早め」の尤度の欄に記憶する。そして、選択部121は、この10個の尤度を合計する(0.93)。次に、話速「やや早め」に対応するP個の尤度取得区間の中から、選択時間長(1秒)毎に尤度が最も高い尤度取得区間を1つずつ選択する。そして、選択した尤度取得区間の中から尤度が高い順に10個の尤度取得区間を選択し、図7に示すように話速「やや早め」の尤度の欄に記憶する。そして、選択部121は、この10個の尤度を合計する(1.39)。以下同様にして、話速「普通」に対応する合計値は(2.12)であり、話速「やや遅め」に対応する合計は(2.51)であり、話速「遅め」に対応する合計は(1.33)である。
次に、選択部121は、以上の合計値を比較して、合計値が最も大きい(2.51)である「やや遅め」に対応する尤度取得区間10個のみを最終候補として選択する。
選択部121による選択結果は、出力装置5が備える画面を介して外部に表示される。その後、音声検索装置100は、選択したx個の区間に対して、トライフォンモデル及び動的計画法(DP(Dynamic Programming)マッチング)に基づくより精度の高い尤度取得処理を実行する。DPマッチングは、解析区間の尤度が最大になるように状態遷移を選択する手法である。トライフォンモデルでは、前後の音素との状態遷移を考慮する必要があるので、DPマッチングにより、尤度取得区間の尤度が最大となるように、前後の音素の状態遷移を決める。
第2の変換部122は、隣接する音素に依存する第2の音響モデルであるトライフォンモデルの音素を、検索文字列取得部111が取得した検索文字列に従って並べて、検索文字列を第2の音素列であるトライフォン音素列に変換する。例えば、検索文字列として日本語「カテゴリ」が入力された場合、「カテゴリ」は「k−a+t」と「a−t+e」と「t−e+g」と「e−g+o」と「g−o+r」と[o−r+i」との6つのトライフォンを含むため、第2の変換部122は、これら6つのトライフォンを並べたトライフォン音素列を生成する。さらに、始端と終端には2音素からなるバイフォン「k+a」と「r−i」を割り当てることもある。この場合には、予めバイフォンモデルを外部記憶装置3に記憶しておく。なお、「−」記号の左側にある音素は中心音素よりも前にあり、「+」記号の右側にある音素は中心音素よりも後にあることを示す。
第2の出力確率取得部123は、選択部121が推定区間の候補として選択した話速「やや遅め」に対応する10個の尤度取得区間における検索対象の音声信号の特徴量が、第2の変換部122が変換した第2の音素列(トライフォン音素列)に含まれる各音素から出力される出力確率を、フレーム毎に取得する。具体的には、第2の出力確率取得部123は、トライフォンモデル記憶部103からトライフォンモデルを取得して、特徴量算出部116が算出した各フレームにおける特徴量と、トライフォン音素列に含まれる各トライフォンのモデルとを比較する。そして、各フレームにおける特徴量が各トライフォンから出力される確率を計算する。
第2の尤度取得部124は、選択部121が推定区間の候補として選択した話速「やや遅め」の10個の尤度取得区間が検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す第2の尤度を、選択部121がx個(10個)に限定した区間の候補のそれぞれについて取得する。第2の尤度は、第2の音素列であるトライフォン音素列に基づいて取得されるため、モノフォン音素列に基づいて尤度取得部119が取得した尤度に比べて、より精度が高い指標である。
第2の尤度取得部124は、第2の出力確率取得部123が取得した出力確率に基づいて、選択部121が限定した尤度取得区間に含まれる各フレームについて、音声信号の特徴量とトライフォン音素列に含まれるトライフォンモデルとの対応を、DPマッチングにより探索する。そして、選択部121が選択した尤度取得区間における各フレームのそれぞれについて取得された出力確率の対数をとって得られる値を加算することにより、その区間における第2の尤度を得る。
特定部125は、第2の尤度取得部124が取得した第2の尤度に基づいて、選択部121が選択した話速「やや遅め」の10個の区間の候補の中から、検索対象の音声信号の中から検索文字列に対応する音声が発せられていることが推定される推定区間を特定する。例えば、特定部125は、第2の尤度取得部124が取得した第2の尤度が大きい順に所定の数の区間を、推定区間として特定する。もしくは、尤度が所定の値以上の区間を推定区間として特定する。特定部125が特定した区間の位置情報は、最終的な検索結果として、出力装置5が備える画面を介して外部に表示される。
以上のような物理的構成及び機能的構成を有する音声検索装置100が実行する音声検索処理について、図8に示すフローチャートを参照して説明する。
ユーザは、予め、「早め」、「やや早め」、「普通」、「やや遅め」、「遅め」の5段階の話速に対応する大量の音声データから、各話速に対応する音素の状態毎の継続時間長を求め、時間長記憶部104に記憶しておく。解析対象の音声信号は、例えば、1時間の講演の録音された音声とし、音声信号記憶部101に記憶しておく。ここでは、検索対象のクエリは、「カテゴリ」とする。
CPU6が、ROM1から音声検索プログラムを読み出して、音声検索プログラムを実行することにより、図8に示すフローチャートは開始する。ユーザが、検索対象のクエリ「カテゴリ」を入力装置4から入力し、検索文字列取得部111が検索文字列を取得する(ステップS11)。検索文字列取得部111が検索文字列を取得すると、変換部112及び第2の変換部122は、検索文字列を音素列に変換し(ステップS12)、音素列の音素順に音響モデルの音素を並べる(ステップS13)。具体的には、変換部112は、検索文字列をモノフォンモデルによるモノフォン音素列「k,a,t,e,g,o,r,i」に変換し、第2の変換部122は、検索文字列をトライフォンモデルによるトライフォン音素列「k−a+t」と「a−t+e」と「t−e+g」と「e−g+o」と「g−o+r」と[o−r+i」に変換する。また、バイフォンモデル「k+a」と「r−i」を追加しても良い。
検索文字列を音素列に変換すると、時間長導出部114は、検索文字列に対応する音声の発話時間長を導出する(ステップS14)。具体的には、時間長導出部114は、時間長記憶部104において音素の状態毎に記憶された継続時間長を加算することにより、検索文字列に対応する音声の発話時間長を導出する。時間長記憶部104は、「早め」、「やや早め」、「普通」、「やや遅め」、「遅め」の5段階の音素の継続時間長のグループを記憶している。従って、時間長導出部114は、音素の継続時間長のグループのそれぞれに対して時間長を導出するので、発話時間長として5種類の時間長を導出する。
具体的には、図4を用いて説明したように、時間長導出部114は、検索語「カテゴリ」の発話時間長として、話速「早め」用の発話時間長(515ms)、話速「やや早め」用の発話時間長(635ms)、話速「普通」用の発話時間長(755ms)、話速「やや遅め」用の発話時間長(875ms)、話速「遅め」用の発話時間長(995ms)、を導出する。
図8に戻って、時間長導出部114が5つの時間長を導出すると、区間指定部115は、フレーム列の先頭位置から始まる第0フレーム列を指定する(ステップS15)。最初に、話速「早め」用に図4の2列目に示す話速「早め」用の「k1」から「i3」までの24状態の継続時間長をフレーム長とする第0フレーム列を指定する。そして、音声信号の先頭から(0ms〜515ms)の区間を話速「早め」用の第0尤度取得区間に指定する。次に、話速「やや早め」用に図4の3列目に示す話速「やや早め」用の「k1」から「i3」までの24状態の継続時間長をフレーム長とする第0フレーム列を指定する。そして、音声信号の先頭から(0ms〜635ms)の区間を話速「やや早め」用の第0尤度取得区間に指定する。以下、同様にして、話速「普通」に対して音声信号の先頭から(0ms〜755ms)までの第0尤度取得区間を指定し、話速「やや遅め」に対して音声信号の先頭から(0ms〜875ms)までの第0尤度取得区間を指定し、話速「遅め」に対して音声信号の先頭から(0ms〜995ms)までの区間を第0尤度取得区間として指定する。5つの尤度取得区間の先頭位置は同じであるが、時間長が異なるので終了位置は異なった位置となる。
区間指定部115が尤度取得区間を指定すると、特徴量算出部116は、指定した尤度取得区間の音声信号の特徴量を、フレーム毎に算出する(ステップS16)。
具体的には、まず、話速「早め」用の第0フレーム列の第1フレームについて、図4に示す音素「k1」に対する特徴量を計算する。次に、第0フレーム列の第2フレームについて、音素「k2」に対する特徴量を計算する。以下、同様にして、第0フレーム列の第24フレームについて、「i3」までの話速「早め」用の特徴量を計算する。
話速「早め」用の第0フレーム列について特徴量の計算が終わったら、次に、話速「やや早め」用の第0フレーム列について、同様にして24フレーム分の特徴量の計算を行う。以下、同様にして、話速「普通」「やや遅め」「遅め」用の第0フレーム列について、それぞれ24フレーム分の特徴量の計算を行う。
そして、出力確率取得部117は、特徴量算出部116が算出した特徴量と対応するモノフォンモデルとに基づいて、この特徴量が音素列に含まれる各音素から出力される出力確率を、フレーム毎に取得する(ステップS17)。すなわち、(話速5種類×フレーム数24フレーム)分の出力確率を求める。
出力確率取得部117が出力確率を取得すると、置換部118は、フレーム毎に取得した出力確率を、そのフレームとそのフレーム前のN1個のフレームとそのフレーム後のN2個のフレームの、合計(1+N1+N2)個のフレームの中で最大の出力確率に置き換えることにより、Lower−Bound化処理を実行する(ステップS18)。これにより、時間長導出部114が導出した発話時間長と実際の音声信号の発話時間長との誤差を縮小する。
尤度取得部119は、Lower−Bound化後の出力確率をフレームごとに対数をとって加算することにより、区間指定部115が指定した尤度取得区間の尤度を取得する(ステップS19)。尤度取得部119は、区間指定部115が指定した5つの尤度取得区間に対してこの処理を行う。尤度取得部119が尤度を取得すると、繰り返し部120は、検索対象の音声信号における全区間の尤度取得が終了したか否かを判定する(ステップS20)。
全区間の尤度取得が終了していない場合(ステップS20;NO)、区間指定部115が直前に指定した第0フレーム列を1シフト長(S=10ms)だけシフトした第1フレーム列を指定し、その区間を第1尤度取得区間として指定して(ステップS21)、音声検索処理はステップS16に戻る。つまり、区間指定部115は、第1フレーム列の開始位置を音声信号の先頭から1シフト長S(10ms)だけシフトした位置から指定する。したがって、話速「早め」に対する第1フレーム列として、音声信号の先頭から(10ms〜525ms)までの区間を指定し、この区間を話速「早め」に対応する第1尤度取得区間に指定する。次に、話速「やや早め」に対する第1フレーム列を指定し、音声信号の先頭から(10ms〜645ms)までの区間を話速「やや早め」用の第1尤度取得区間に指定する。以下、同様にして、話速「普通」に対して音声信号の先頭から(10ms〜765ms)までの第1尤度取得区間を指定し、話速「やや遅め」に対して、音声信号の先頭から(10ms〜885ms)までの第1尤度取得区間を指定し、話速「遅め」に対して、音声信号の先頭から(10ms〜1005ms)までの区間を第1尤度取得区間として指定する。
そして、繰り返し部120は、区間指定部115が新たに指定した尤度取得区間に対して上述したステップS16〜S20の処理を繰り返して、特徴量算出、出力確率取得、Lower−Bound化処理を行って、尤度を取得するように各部を制御する。このように、繰り返し部120は、検索対象の音声信号の末尾に達するまで、尤度取得区間を1シフト長(S=10ms)ずつシフトさせて順次尤度を取得するように、区間指定部115、特徴量算出部116、出力確率取得部117、置換部118、尤度取得部119を制御する。
最終的に、全区間の尤度取得が終了すると(ステップS20;YES)、音声検索処理は、取得した尤度に基づいて検索文字列に対応する区間を特定する処理(ステップS22)に移行する。この特定処理の詳細については、図9に示すフローチャートを参照して説明する。
尤度取得処理が終了した状態において、選択部121は、区間指定部115が指定した話速毎にP個指定した尤度取得区間の中から、所定の選択時間長(1秒)毎に各話速について1つずつ尤度取得区間を選択する(ステップS101)。つまり、1秒ごとに5つの尤度取得区間が選択される。さらに選択部121は、このように選択した区間の中から、尤度が高い順にx個の尤度取得区間を各話速毎に選択する(ステップS102)。すなわち、選択部121は、最終的な検索結果として特定する区間の候補を、検索対象の音声信号の全体から満遍なく候補が残るように、予備選択する。
選択部121は、さらに最終候補を限定するために、5つの話速の中から最も尤度が高い話速に対応する尤度取得区間のみを最終候補として選択する(ステップS103)。具体的には、5つの話速のそれぞれについて、選択したx個の区間に対応する尤度を加算した値が最も大きい話速に対応するx個の尤度取得区間のみを最終候補として選択する。つまり、5x個の候補をx個に限定する。
選択する個数x個を10個とした場合について、図7を用いて説明したように、まず、選択部121は、話速「早め」に対応するP個の尤度取得区間を、選択時間長(1秒)毎に1つずつ選択した尤度取得区間の中から尤度が高い順に10個の尤度取得区間を選択し、この10個の尤度を合計する(0.93)。同様にして、話速「やや早め」に対応する合計値(1.39)、話速「普通」に対応する合計値(2.12)、話速「やや遅め」に対応する合計値(2.51)、話速「遅め」に対応する合計値(1.33)を取得する。次に、選択部121は、以上の合計値を比較して、合計値が最も大きい(2.51)である「やや遅め」に対応する尤度取得区間10個のみを予備選択として残す。
選択部121による予備選択の後、第2の出力確率取得部123は、トライフォン音素列に基づいて、選択部121が選択したx個(10個)の区間における出力確率を、フレーム毎に取得する(ステップS104)。そして、第2の尤度取得部124は、選択部121が選択した区間の尤度をDPマッチングにより取得する(ステップS105)。すなわち、第2の出力確率取得部123及び第2の尤度取得部124は、トライフォンモデル及びDPマッチングに基づいて、出力確率取得部117及び尤度取得部119に比べて精度の高い尤度取得処理を実行する。
第2の尤度取得部124が第2の尤度を取得すると、特定部125は、取得した第2の尤度に基づいて、検索文字列に対応する区間を特定する(ステップS106)。例えば、特定部125は、第2の尤度取得部124が取得した第2の尤度が大きい順に所定の数の区間を、検索文字列に対応する音声が発せられていることが推定される区間として特定する。ステップS106の処理が終了すると、図9に示すフローチャートの処理は、図8に示すフローチャートのステップS23に遷移する。
図8に示すフローチャートの説明に戻って、検索文字列に対応する区間を特定すると、特定部125は、出力装置5を介して特定結果を出力する(ステップS23)。以上により、音声検索装置100が実行する音声検索処理は終了する。
以上説明したように、実施形態1に係る音声検索装置100は、異なる話速に対応した複数の音素の継続時間長を使用して、検索対象の音声信号の中からクエリに対応する音声が発せられていることが推定される区間を特定するので、検索対象の話速が異なる場合でも、検索対象の音声信号の中から、クエリに対応する音声区間を特定できる。
また、実施形態1に係る音声検索装置100は、計算処理負荷が軽い予備選択において異なる話速に対応する多くの継続時間長を使用した計算処理を行うことにより、高い検索精度を確保している。そして、予備選択で候補の区間数を限定することにより、情報量が多いトライフォンモデルを用いた高精度ではあるが計算処理が重たい処理を減らしている。その結果、音声検索装置100は、計算量を抑えつつ、高精度に音声検索できる。
なお、実施形態1の説明では、区間指定部117が1シフト長Sずつフレーム列の先頭位置をシフトさせ、シフトさせる毎に特徴量の算出と出力確率の取得と尤度の取得を行う処理をP回繰り返す説明をした。しかし、区間指定部117が、最初に第0フレーム列から第(P−1)フレーム列の指定と、第0尤度取得区間から第(P−1)尤度取得区間の指定を行った後で、特徴量の計算と出力確率の取得と尤度の取得をするようにしてもよい。
また、バイフォンモデルを併用する場合には、モノフォンモデルでの予備選択をした後で、バイフォンモデルを用いた2次選択を行い、その後でトライフォンモデルを用いた3次選択(最終選択)をすることもできる。また、モノフォンモデルを用いた予備検索においてモノフォンモデルとバイフォンモデルを組み合わせた1次選択とすることも、トライフォンモデルを用いた最終選択においてバイフォンモデルとトライフォンモデルとを組み合わせた最終選択とすることもできる。
(実施形態2)
次に、本発明の実施形態2について説明する。
実施形態1に係る音声検索装置100は、尤度の取得に用いる出力確率の算出を、検索文字列取得部111が検索文字列を取得してから実行した。しかし、本発明はこれに限定されるものではない。実施形態2に係る音声検索装置は、検索文字列に対応する区間の候補を予備選択する際のモノフォンモデルを用いた計算量の多い出力確率の算出を予めしておくことにより、検索時の高速化を図る。つまり、検索対象とする音声信号の全区間に対して、検索語に対応する出力確率を予め求めておき、検索インデックスとして格納しておく。そして、検索時には、後で入力される検索語の音素列に対応する出力確率を検索インデックスから取得して加算するだけで尤度取得区間の尤度を取得するようにし、検索時の処理を軽くする。以下、説明する。
実施形態2に係る音声検索装置300は、実施形態1に係る音声検索装置100と同様、物理的には図10に示したように構成される。
実施形態2に係る音声検索装置300は、機能的には図10に示すように構成される。音声検索装置300は、実施形態1に係る音声検索装置100が備えていたモノフォンモデル記憶部102を備えず、その代わりに出力確率記憶部105を備える。出力確率を取得する際にはモノフォンモデルは必要であるが、この出力確率の取得は別装置で取得し、取得した結果を音声検索装置300の出力確率記憶部105に記憶するので、音声検索装置300はモノフォンモデル記憶部102を備えていない。出力確率記憶部105は、外部記憶装置3の記憶領域に構築されている。以下、実施形態1と異なるところについて説明する。
出力確率記憶部105は、検索対象の音声信号に含まれるフレーム毎に、音響モデルの各音素と、該各音素から検索対象の音声信号の特徴量が出力される出力確率と、を対応付けて記憶する。別装置で出力確率を取得する際に用いる音響モデルは、予備選択時に使用するモノフォンモデルである。例えば日本語のモノフォンは、全部で約40種類の音素を有する。出力確率記憶部105は、これら40種類の音素に無音1音素を加え、これらに対して、「早め」、「やや早め」、「普通」、「やや遅め」、「遅め」の5段階の話速のグループを有するので、205種類の音素615状態に対して、予め検索対象の音声信号の先頭から末尾までの検索語に対応する出力確率を計算した結果を、検索インデックスとして出力確率記憶部105に格納する。
なお、モノフォンモデルを用いた出力確率を予め算出する処理は、他の情報処理装置が出力確率を算出し、その結果を音声検索装置300が取得して、出力確率記憶部105に記憶する。
検索文字列取得部111、変換部112については、実施形態1で行った説明と同じである。
出力確率取得部117は、変換部112が検索文字列をモノフォン音素列に変換すると、この音素列に含まれる各音素とフレームとを対応付けて記憶された出力確率を、出力確率記憶部105に記憶された出力確率の中から取得する。具体的には、出力確率取得部117は、フレーム毎に記憶されたモノフォンモデルの全音素の出力確率の中から、検索に必要となる音素の出力確率を、検索対象の音声信号の全フレームについて取得する。
置換部118、時間長導出部114、尤度取得部の説明も実施形態1で行った説明と同じである。繰り返し部120は、区間指定部115が指定する尤度取得区間を1シフト長Sずつシフトさせて、区間指定部115、尤度取得部119の処理を繰り返すように制御する。そして、検索対象の音声信号において指定可能な尤度取得区間のそれぞれについて尤度を取得するように各部を制御する。
選択部121、特徴量算出部116、第2の変換部122、第2の出力確率取得部123、第2の尤度取得部124、特定部125の説明も実施形態1で行った説明と同じである。
以上説明したように、実施形態2に係る音声検索装置300は、予備選択の尤度取得の際は出力確率を算出せず、予め検索対象の音声信号全体の出力確率を算出しておき、検索インデックスとして保持しておく。そして、検索時には、音声検索装置300は、その検索インデックスを利用して尤度取得区間の尤度を求める。そして、その尤度を求めた尤度取得区間の中から最終候補を予備選択し、候補として残った区間に対してのみ、検索文字列に含まれるトライフォン音素を使用して出力確率を算出する。その結果、高速に音声検索できる。
(変形例1)
実施形態1において図7を用いて説明したように、選択部121は、最も尤度が高くなる時間長を選択する際に、時間長毎に尤度が高い順にx個(10個)の尤度を加算して、尤度の加算値が最も大きくなる時間長に基づく尤度取得区間を選択した。しかし、選択方法はこれに限定する必要はない。本変形例1では、図11に例示するように、尤度が高いほど大きな重み係数を掛けた補正後の尤度の加算値を用いて、どの話速に基づく尤度取得区間の尤度が良いかを比較する。
図11(b)は、重み係数の例であり、尤度の順位が高いほど大きな重み係数を設定する。図11(a)は、どの話速に対応する尤度取得区間の尤度が良いかを比較する際に、尤度に重み係数を掛けた後の値で比較する例である。
図11(a)の補正前尤度の欄には、選択部121が選択した10個の尤度が尤度の高い順にソートされている。図11(a)の補正後尤度の欄は、補正前尤度に重み係数を掛けた値を記載する。
具体的には、話速「早め」の尤度順位1の補正前尤度(0.20)に、図11(b)の尤度順位1用の重み係数(10)を掛け、補正後尤度(2.00)を求める。話速「早め」の尤度順位2の補正前尤度(0.17)に、図11(b)の尤度順位2用の重み係数(9)を掛け、補正後尤度(1.53)を取得する。以下同様にして、尤度順位10の補正前尤度(0.03)に、図11(b)の尤度順位10用の重み係数(1)を掛け、補正後尤度(0.03)までを取得する。話速「やや早め」「普通」「やや遅め」「遅め」についても同様にして補正後尤度を求める。
そして、重み係数を掛けた補正後の尤度10個を加算した値を比較し、合計値が最も大きい話速に対応する尤度取得区間のグループを最終候補の区間として残す。図11に示す場合では、「やや遅め」のグループの補正後の尤度の合計(17.0)が最も大きいので、「やや遅め」の尤度取得区間のグループを最終候補の区間として残す。
この処理によって、尤度の順位が上位である区間に適した発話時間長を選択することになるので、尤度の順位が高い区間の検索精度を上げることができる。例えば、検索対象の音声信号の全体に渡って漏れなく検索対象のクエリを検索するのではなく、ノイズの多い音声信号の中に検索対象とするクエリが含まれているか否かを判断する場合などに好適である。
(変形例2)
選択部121が最終候補の区間を選択する方法として、以上の実施形態1と2及び変形例1で説明したように、尤度の加算値で時間長を選択した場合、飛びぬけて尤度の高い区間があった場合に尤度の加算値も大きくなるので、音声信号の全体に対して最適な発話時間長を選択することについて誤判定を生じる場合がある。特に選択部121が選択するx個の数が小さい場合には誤った判定を生じやすくなる。そこで、尤度の絶対値を用いるのではなく、5つの時間長に基づく尤度取得区間の相対的な順位比較をすることによって、発話時間長に基づく尤度取得区間のグループを選択する。
図12を用いて具体例を説明する。図12は、図7における尤度が高い順に話速に対応する5つのグループ間の順位をつけている。図7の順位1の行では、「やや遅め」の尤度が(0.55)と一番高いので1位とする。次いで、「普通」の尤度が(0.4)で2番目に高いので2位とする。この様に、各グループの順位1の中でグループ間の尤度を比較して順位をつける。順位2の2行目では、「普通」の尤度が(0.35)と最も高いので1位とし、「やや遅め」が(0.32)と2番目に高いので2位とする。このよに、尤度の順位1から10までのそれぞれの行について、尤度が高い順にグループ間の順位付けを行う。そして、その順位の合計を比較して、合計値が小さいグループを選択する。図12に示す例では、「やや遅め」の順位の合計が最も小さいので、「やや遅め」に対応する時間長に基づく尤度取得区間10個を最終候補の区間として選択する。
この処理により、飛びぬけて尤度が高い区間があった場合などの発話時間長の選択誤りを防止することができる。したがって、検索対象とする音声信号の全体において、検索精度を良くすることができる。
(変形例3)
変形例2では、尤度の順位が同じ順位の尤度を話速間で比較し、どの話速に基づく尤度が相対的に良いかを比較した。しかし、この手法では、例えば、1時間の音声信号の中の短い区間(例えば10分間)に尤度の高い区間が集中する場合がある。この場合、長い音声信号の全区間で平均的に良い話速を選択できたとは言えない。
そこで、選択部121が最終候補の区間を選択する方法として、以下の選択方法を採用することもできる。すなわち、音声信号を所定数N個の区分に分割する。分割の仕方は、例えば、音声信号を100の区分に分割するとか、所定の時間長(例えば、1分ごとの時間長)の区分に分割する。分割した各区分の中で、どの時間長を発話時間長とした尤度取得区間の尤度が高いかを順位付ける。そして、N個の区分における平均順位が最も高い時間長に基づく尤度取得区間を最終候補の尤度取得区間として選択する。
図13を用いて具体例を説明する。図13は、音声信号の時間長T(例えば、10分)を1分ずつの10個の区分に分割している。図13(a)は、10個の区分の中で最も高い尤度を話速毎に記載してある。図13(b)は、区分ごとに、どの話速に基づく尤度が高いかを順位付けする。
図13(a)では、区分1(最初の1分間)では、「やや遅め」の尤度(0.55)が一番高いので1位とし、「普通」の尤度(0.40)が2番目に高いので2位とし、「やや早め」が3位(0.35)、「遅め」が4位(0.30)、「早め」が5位(0.20)の順位である。区分2(2分目)では、「普通」の尤度が一番高いので1位(0.35)、「やや遅め」の尤度が2番目に高いので2位(0.32)、「やや早め」が3位(0.21)、「遅め」が4位(0.18)、「早め」が5位(0.17)の順位である。このように、各区分の中で話速に対応する尤度を比較して順位付けを行い、区分1から区分10まで順位をつける。そして、その順位の合計を比較して、合計値が小さいものを選択する。図13(b)に示す例では、「やや遅め」の順位の合計が最も小さいので、「やや遅め」に対応する時間長に基づく尤度取得区間を最終候補の区間として選択する。
この処理により、飛びぬけて尤度が高い区分があった場合などの発話時間長の選択誤りを防止することができる。したがって、検索対象とする音声信号の全区分において、検索精度を良くすることができる。
なお、以上の実施形態1と2の説明では、音素の継続時間長の話速を5段階のグループに分類した場合について説明したが、本発明の用途はこれには限定されない。音素の継続時間長を細かく分類するほど検索精度は上がるが、処理負荷が大きくなり処理時間は長くなる。しかし、モノフォンモデルを用いた予備検索は、トライフォンモデルを用いた検索に対して処理負荷が軽い。そのため、モノフォンモデルの継続時間長のグループ数を10倍にしても、音声検索処理の全体時間はあまり増加しない。この傾向を踏まえて、装置仕様の要求にあった継続時間長のグループ数を決めることが望ましい。
また、以上の説明では、検索語を入力装置4からテキストデータとして入力する場合について説明したが、検索語を音声認識装置のマイクに音声データとして入力し、音声認識装置で検索語を認識するようにしてもよい。
また、以上の説明では、話速情報(継続時間長の変更率)を入力装置4から入力する場合について説明した。しかし、音声信号の一部を解析し、単位時間あたりに含まれる音声のピッチ情報から話速を推定し、その推定に基づいて継続時間長に対する変更率を決めるようにしてもよい。
また、実施形態1及び2における図8を用いた検索処理のフローチャート図の説明では、予備選択の工程において、音素の5種類の継続時間長のグループを並列的に同一処理ループの中で処理する方法について説明した。しかし、予備選択の工程で候補とする尤度取得区間を絞り込むようなフローチャートであればこれに限定されることはない。例えば、まず1つの話速(例えば、早め)に対応する継続時間長に基づいて、予備選択の候補としてx個の区間を選択する。その後、異なる話速(例えば、やや早め)に対応する継続時間長に基づいて、予備選択の候補区間をx個選択する。そして、話速毎に予備選択をした後で、どの話速に基づく尤度取得区間を選択するかを決めてもよい。
また、以上の実施形態の説明では、選択部121は話速に対応した5つの時間長に基づくそれぞれP個の尤度取得区間の中から、尤度の高い順に各x個を選択する場合について説明した。しかし、選択の仕方はこれに限定されることはない。例えば、特定の尤度の値を閾値として、その値以上の尤度取得区間を選択してもよい。特定部125が行う最終的な推定区間の特定においても、第2の尤度が大きい順に所定の数の区間を推定区間として特定するのではなく、尤度が所定の値以上である区間を推定区間として特定してもよい。
また、選択部121は、5つの時間長の中から尤度の高い1つの時間長を選択した後で、トライフォンモデルを用いた最終処理を行う場合について説明したが、処理時間に余裕がある場合には、時間長の選択を省略してもよい。
また、検索精度を要求されない場合には、Lower−Bound化処理を省略することもできる。検索精度を要求される場合においても、多くの話速に対応する継続時間長を用いて検索する場合には、Lower−Bound化処理を省略できる場合がある。
また、本発明に係る機能を実現するための構成を予め備えた音声検索装置として提供できることはもとより、プログラムの適用により、既存のパーソナルコンピュータや情報端末機器等を、本発明に係る音声検索装置として機能させることもできる。すなわち、上記実施形態で例示した音声検索装置100,300による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器等を制御するCPU等が実行できるように適用することで、本発明に係る音声検索装置として機能させることができる。また、本発明に係る音声検索方法は、音声検索装置を用いて実施できる。
また、このようなプログラムの適用方法は任意である。プログラムを、例えば、コンピュータが読取可能な記録媒体(CD−ROM(Compact Disc Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto Optical disc)等)に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
検索文字列を音素列に変換する変換手段と、
前記変換手段が変換した音素列に含まれる各音素の継続時間長を、音素に関する継続時間長データを記憶しているデータベースから取得する時間長取得手段と、
前記時間長取得手段が取得した継続時間長に基づいて、前記検索文字列に対応する音声の発話時間長の候補として、複数の異なる話速に対応した複数の時間長を導出する時間長導出手段と、
検索対象の音声信号における前記時間長導出手段が導出した時間長を有する区間である尤度取得区間を、前記複数の時間長のそれぞれについて複数指定する区間指定手段と、
前記区間指定手段が指定した尤度取得区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する尤度取得手段と、
前記区間指定手段が指定した尤度取得区間のそれぞれについて前記尤度取得手段が取得した尤度に基づいて、前記検索対象の音声信号の中から前記検索文字列に対応する音声が発せられていることが推定される推定区間を特定する特定手段と、
を備えることを特徴とする音声検索装置。
(付記2)
前記尤度取得手段が取得した尤度に基づいて、前記複数の時間長の中から1つの時間長を選択する選択手段を更に備え、
前記特定手段は、前記選択された時間長を有する尤度取得区間について取得した尤度に基づいて、前記選択された時間長の尤度取得区間の中から前記推定区間を特定する、
ことを特徴とする付記1に記載の音声検索装置。
(付記3)
前記選択手段は、同じ時間長の尤度取得区間について取得した尤度を尤度が高い順に所定個加算した加算値を、前記複数の時間長のそれぞれについて取得し、取得した加算値を比較して、前記複数の時間長の中から加算値が最大となる時間長を選択する、
ことを特徴とする付記2に記載の音声検索装置。
(付記4)
前記選択手段は、前記加算値を、同じ時間長の尤度取得区間について取得した尤度を、尤度が高いほど大きな重み係数を乗じて加算することによって取得する、
ことを特徴とする付記3に記載の音声検索装置。
(付記5)
前記区間指定手段が指定した尤度取得区間における前記検索対象の音声信号の特徴量を、音声信号と音素モデルとを比較する区間であるフレーム毎に算出する特徴量算出手段と、
前記検索対象の音声信号の特徴量が前記音素列に含まれる各音素から出力される出力確率を、フレーム毎に取得する出力確率取得手段と、
をさらに備え、
前記尤度取得手段は、前記区間指定手段が指定した尤度取得区間に含まれるフレーム毎に取得された出力確率の対数をとった値を加算して該尤度取得区間の前記尤度を取得する、
ことを特徴とする付記1から4のいずれかに記載の音声検索装置。
(付記6)
前記検索対象の音声信号に含まれるフレーム毎に、音響モデルの音素の各状態と、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態から出力される出力確率と、を対応付けて記憶する出力確率記憶手段をさらに備え、
前記出力確率取得手段は、前記変換手段が前記検索文字列を前記音素列に変換すると、該音素列に含まれる音素の各状態に対応付けて記憶された出力確率を、前記出力確率記憶手段に記憶された出力確率の中から前記尤度取得区間に含まれるフレーム毎に取得する、
ことを特徴とする付記5に記載の音声検索装置。
(付記7)
前記出力確率取得手段がフレーム毎に取得した出力確率のそれぞれを、そのフレームとそのフレームの前のN1個のフレームとそのフレームの後のN2個のフレームの中で最大の出力確率に置換する置換手段をさらに備え、
前記N1とN2は0を含む自然数であって、N1とN2のいずれかは0ではなく、
前記尤度取得手段は、前記置換手段による置換後の出力確率に基づいて、前記区間指定手段が指定した尤度取得区間の前記尤度を取得する、
ことを特徴とする付記6に記載の音声検索装置。
(付記8)
前記変換手段は、隣接する音素に依存しない音響モデルの音素を並べて、前記検索文字列を前記音素列に変換し、
前記尤度取得手段は、前記音素列に基づいて、前記区間指定手段が指定した尤度取得区間の前記尤度を取得し、
前記選択手段は、前記尤度取得手段が取得した尤度に基づいて、前記区間指定手段が指定した尤度取得区間の中から前記推定区間の複数の候補を選択し、
隣接する音素に依存する第2の音響モデルの音素を並べて、前記検索文字列を第2の音素列に変換する第2の変換手段と、
前記第2の音素列に基づいて、前記選択手段が前記推定区間の候補として選択した区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す第2の尤度を、前記選択手段が選択した複数の候補のそれぞれについて取得する第2の尤度取得手段と、
をさらに備え、
前記特定手段は、前記第2の尤度取得手段が取得した第2の尤度に基づいて、前記選択手段が選択した複数の候補の中から前記推定区間を特定する、
ことを特徴とする付記2に記載の音声検索装置。
(付記9)
前記選択手段は、前記区間指定手段が指定した尤度取得区間の中から、所定の選択時間長毎に、該所定の選択時間長の区間の中から開始する尤度取得区間の中で前記尤度が最大の尤度取得区間を1つずつ選択することにより、前記推定区間の複数の候補を選択する、
ことを特徴とする付記8に記載の音声検索装置。
(付記10)
検索文字列を音素列に変換する変換ステップと、
前記変換ステップにおいて変換した音素列に含まれる各音素の継続時間長を、音素に関する継続時間長データを記憶しているデータベースから取得する時間長取得ステップと、
前記時間長取得ステップにおいて取得した継続時間長に基づいて、前記検索文字列に対応する音声の発話時間長の候補として、複数の異なる話速に対応した複数の時間長を導出する時間長導出ステップと、
検索対象の音声信号における前記時間長導出ステップにおいて導出した時間長を有する区間である尤度取得区間を、前記複数の時間長のそれぞれについて複数指定する区間指定ステップと、
前記区間指定ステップにおいて指定した尤度取得区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する尤度取得ステップと、
前記区間指定ステップにおいて指定した尤度取得区間のそれぞれについて前記尤度取得ステップにおいて取得した尤度に基づいて、前記検索対象の音声信号の中から前記検索文字列に対応する音声が発せられていることが推定される推定区間を特定する特定ステップと、
を含む音声検索方法。
(付記11)
コンピュータを、
検索文字列を音素列に変換する変換手段、
前記変換手段が変換した音素列に含まれる各音素の継続時間長を、音素に関する継続時間長データを記憶しているデータベースから取得する時間長取得手段、
前記時間長取得手段が取得した継続時間長に基づいて、前記検索文字列に対応する音声の発話時間長の候補として、複数の異なる話速に対応した複数の時間長を導出する時間長導出手段、
検索対象の音声信号における前記時間長導出手段が導出した時間長を有する区間である尤度取得区間を、前記複数の時間長のそれぞれについて複数指定する区間指定手段、
前記区間指定手段が指定した尤度取得区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する尤度取得手段、
前記区間指定手段が指定した尤度取得区間のそれぞれについて前記尤度取得手段が取得した尤度に基づいて、前記検索対象の音声信号の中から前記検索文字列に対応する音声が発せられていることが推定される推定区間を特定する特定手段、
として機能させるためのプログラム。
1…ROM、2…RAM、3…外部記憶装置、4…入力装置、5…出力装置、6…CPU、7…バス、100,300…音声検索装置、101…音声信号記憶部、102…モノフォンモデル記憶部、103…トライフォンモデル記憶部、104…時間長記憶部、105…出力確率記憶部、111…検索文字列取得部、112…変換部、113…時間長取得部、114…時間長導出部、115…区間指定部、116…特徴量算出部、117…出力確率取得部、118…置換部、119…尤度取得部、120…繰り返し部、121…選択部、122…第2の変換部、123…第2の出力確率取得部、124…第2の尤度取得部、125…特定部

Claims (11)

  1. 検索文字列を音素列に変換する変換手段と、
    前記変換手段が変換した音素列に含まれる各音素の継続時間長を、音素に関する継続時間長データを記憶しているデータベースから取得する時間長取得手段と、
    前記時間長取得手段が取得した継続時間長に基づいて、前記検索文字列に対応する音声の発話時間長の候補として、複数の異なる話速に対応した複数の時間長を導出する時間長導出手段と、
    検索対象の音声信号における前記時間長導出手段が導出した時間長を有する区間である尤度取得区間を、前記複数の時間長のそれぞれについて複数指定する区間指定手段と、
    前記区間指定手段が指定した尤度取得区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する尤度取得手段と、
    前記区間指定手段が指定した尤度取得区間のそれぞれについて前記尤度取得手段が取得した尤度に基づいて、前記検索対象の音声信号の中から前記検索文字列に対応する音声が発せられていることが推定される推定区間を特定する特定手段と、
    を備えることを特徴とする音声検索装置。
  2. 前記尤度取得手段が取得した尤度に基づいて、前記複数の時間長の中から1つの時間長を選択する選択手段を更に備え、
    前記特定手段は、前記選択された時間長を有する尤度取得区間について取得した尤度に基づいて、前記選択された時間長の尤度取得区間の中から前記推定区間を特定する、
    ことを特徴とする請求項1に記載の音声検索装置。
  3. 前記選択手段は、同じ時間長の尤度取得区間について取得した尤度を尤度が高い順に所定個加算した加算値を、前記複数の時間長のそれぞれについて取得し、取得した加算値を比較して、前記複数の時間長の中から加算値が最大となる時間長を選択する、
    ことを特徴とする請求項2に記載の音声検索装置。
  4. 前記選択手段は、前記加算値を、同じ時間長の尤度取得区間について取得した尤度を、尤度が高いほど大きな重み係数を乗じて加算することによって取得する、
    ことを特徴とする請求項3に記載の音声検索装置。
  5. 前記区間指定手段が指定した尤度取得区間における前記検索対象の音声信号の特徴量を、音声信号と音素モデルとを比較する区間であるフレーム毎に算出する特徴量算出手段と、
    前記検索対象の音声信号の特徴量が前記音素列に含まれる各音素から出力される出力確率を、フレーム毎に取得する出力確率取得手段と、
    をさらに備え、
    前記尤度取得手段は、前記区間指定手段が指定した尤度取得区間に含まれるフレーム毎に取得された出力確率の対数をとった値を加算して該尤度取得区間の前記尤度を取得する、
    ことを特徴とする請求項1から4のいずれか1項に記載の音声検索装置。
  6. 前記検索対象の音声信号に含まれるフレーム毎に、音響モデルの音素の各状態と、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態から出力される出力確率と、を対応付けて記憶する出力確率記憶手段をさらに備え、
    前記出力確率取得手段は、前記変換手段が前記検索文字列を前記音素列に変換すると、該音素列に含まれる音素の各状態に対応付けて記憶された出力確率を、前記出力確率記憶手段に記憶された出力確率の中から前記尤度取得区間に含まれるフレーム毎に取得する、
    ことを特徴とする請求項5に記載の音声検索装置。
  7. 前記出力確率取得手段がフレーム毎に取得した出力確率のそれぞれを、そのフレームとそのフレームの前のN1個のフレームとそのフレームの後のN2個のフレームの中で最大の出力確率に置換する置換手段をさらに備え、
    前記N1とN2は0を含む自然数であって、N1とN2のいずれかは0ではなく、
    前記尤度取得手段は、前記置換手段による置換後の出力確率に基づいて、前記区間指定手段が指定した尤度取得区間の前記尤度を取得する、
    ことを特徴とする請求項6に記載の音声検索装置。
  8. 前記変換手段は、隣接する音素に依存しない音響モデルの音素を並べて、前記検索文字列を前記音素列に変換し、
    前記尤度取得手段は、前記音素列に基づいて、前記区間指定手段が指定した尤度取得区間の前記尤度を取得し、
    前記選択手段は、前記尤度取得手段が取得した尤度に基づいて、前記区間指定手段が指定した尤度取得区間の中から前記推定区間の複数の候補を選択し、
    隣接する音素に依存する第2の音響モデルの音素を並べて、前記検索文字列を第2の音素列に変換する第2の変換手段と、
    前記第2の音素列に基づいて、前記選択手段が前記推定区間の候補として選択した区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す第2の尤度を、前記選択手段が選択した複数の候補のそれぞれについて取得する第2の尤度取得手段と、
    をさらに備え、
    前記特定手段は、前記第2の尤度取得手段が取得した第2の尤度に基づいて、前記選択手段が選択した複数の候補の中から前記推定区間を特定する、
    ことを特徴とする請求項2に記載の音声検索装置。
  9. 前記選択手段は、前記区間指定手段が指定した尤度取得区間の中から、所定の選択時間長毎に、該所定の選択時間長の区間の中から開始する尤度取得区間の中で前記尤度が最大の尤度取得区間を1つずつ選択することにより、前記推定区間の複数の候補を選択する、
    ことを特徴とする請求項8に記載の音声検索装置。
  10. 検索文字列を音素列に変換する変換ステップと、
    前記変換ステップにおいて変換した音素列に含まれる各音素の継続時間長を、音素に関する継続時間長データを記憶しているデータベースから取得する時間長取得ステップと、
    前記時間長取得ステップにおいて取得した継続時間長に基づいて、前記検索文字列に対応する音声の発話時間長の候補として、複数の異なる話速に対応した複数の時間長を導出する時間長導出ステップと、
    検索対象の音声信号における前記時間長導出ステップにおいて導出した時間長を有する区間である尤度取得区間を、前記複数の時間長のそれぞれについて複数指定する区間指定ステップと、
    前記区間指定ステップにおいて指定した尤度取得区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する尤度取得ステップと、
    前記区間指定ステップにおいて指定した尤度取得区間のそれぞれについて前記尤度取得ステップにおいて取得した尤度に基づいて、前記検索対象の音声信号の中から前記検索文字列に対応する音声が発せられていることが推定される推定区間を特定する特定ステップと、
    を含む音声検索方法。
  11. コンピュータを、
    検索文字列を音素列に変換する変換手段、
    前記変換手段が変換した音素列に含まれる各音素の継続時間長を、音素に関する継続時間長データを記憶しているデータベースから取得する時間長取得手段、
    前記時間長取得手段が取得した継続時間長に基づいて、前記検索文字列に対応する音声の発話時間長の候補として、複数の異なる話速に対応した複数の時間長を導出する時間長導出手段、
    検索対象の音声信号における前記時間長導出手段が導出した時間長を有する区間である尤度取得区間を、前記複数の時間長のそれぞれについて複数指定する区間指定手段、
    前記区間指定手段が指定した尤度取得区間が前記検索文字列に対応する音声が発せられている区間であることの尤もらしさを示す尤度を取得する尤度取得手段、
    前記区間指定手段が指定した尤度取得区間のそれぞれについて前記尤度取得手段が取得した尤度に基づいて、前記検索対象の音声信号の中から前記検索文字列に対応する音声が発せられていることが推定される推定区間を特定する特定手段、
    として機能させるためのプログラム。
JP2014259419A 2014-12-22 2014-12-22 音声検索装置、音声検索方法及びプログラム Active JP6003972B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014259419A JP6003972B2 (ja) 2014-12-22 2014-12-22 音声検索装置、音声検索方法及びプログラム
US14/953,729 US9767790B2 (en) 2014-12-22 2015-11-30 Voice retrieval apparatus, voice retrieval method, and non-transitory recording medium
CN201510974271.1A CN105719643B (zh) 2014-12-22 2015-12-22 声音检索装置、声音检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014259419A JP6003972B2 (ja) 2014-12-22 2014-12-22 音声検索装置、音声検索方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016119000A true JP2016119000A (ja) 2016-06-30
JP6003972B2 JP6003972B2 (ja) 2016-10-05

Family

ID=56130170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014259419A Active JP6003972B2 (ja) 2014-12-22 2014-12-22 音声検索装置、音声検索方法及びプログラム

Country Status (3)

Country Link
US (1) US9767790B2 (ja)
JP (1) JP6003972B2 (ja)
CN (1) CN105719643B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017015847A (ja) * 2015-06-30 2017-01-19 カシオ計算機株式会社 音声検索装置、音声検索方法及びプログラム
US9792907B2 (en) 2015-11-24 2017-10-17 Intel IP Corporation Low resource key phrase detection for wake on voice
US9972313B2 (en) * 2016-03-01 2018-05-15 Intel Corporation Intermediate scoring and rejection loopback for improved key phrase detection
EP3474276A4 (en) * 2016-06-15 2019-07-31 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US10043521B2 (en) 2016-07-01 2018-08-07 Intel IP Corporation User defined key phrase detection by user dependent sequence modeling
US11082511B2 (en) * 2016-12-21 2021-08-03 Allstate Solutions Private Limited Highway detection system for generating customized notifications
US10083689B2 (en) * 2016-12-23 2018-09-25 Intel Corporation Linear scoring for low power wake on voice
CN107068145B (zh) * 2016-12-30 2019-02-15 中南大学 语音评测方法及系统
US11386913B2 (en) * 2017-08-01 2022-07-12 Dolby Laboratories Licensing Corporation Audio object classification based on location metadata
US11276390B2 (en) * 2018-03-22 2022-03-15 Casio Computer Co., Ltd. Audio interval detection apparatus, method, and recording medium to eliminate a specified interval that does not represent speech based on a divided phoneme
US10714122B2 (en) 2018-06-06 2020-07-14 Intel Corporation Speech classification of audio for wake on voice
US10650807B2 (en) 2018-09-18 2020-05-12 Intel Corporation Method and system of neural network keyphrase detection
US11127394B2 (en) 2019-03-29 2021-09-21 Intel Corporation Method and system of high accuracy keyphrase detection for low resource devices
US11302301B2 (en) * 2020-03-03 2022-04-12 Tencent America LLC Learnable speed control for speech synthesis
CN111462777B (zh) * 2020-03-30 2023-02-14 厦门快商通科技股份有限公司 关键词检索方法、系统、移动终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250585A (ja) * 1999-02-25 2000-09-14 Nippon Telegr & Teleph Corp <Ntt> 対話型データベース検索方法、装置及び対話型データベース検索プログラムを記録した記録媒体
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
JP2011185997A (ja) * 2010-03-04 2011-09-22 Fujitsu Ltd 音声検索装置、音声検索方法、プログラム及び記録媒体
JP2013088488A (ja) * 2011-10-13 2013-05-13 Casio Comput Co Ltd 音声検索装置、音声検索方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04288599A (ja) * 1991-03-18 1992-10-13 Fujitsu Ltd 音声符号器における雑音符号帳の検索方式
US7904296B2 (en) * 2003-07-23 2011-03-08 Nexidia Inc. Spoken word spotting queries
JP3945778B2 (ja) * 2004-03-12 2007-07-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 設定装置、プログラム、記録媒体、及び設定方法
WO2005096271A1 (ja) * 2004-03-30 2005-10-13 Pioneer Corporation 音声認識装置及び音声認識方法
JP4114888B2 (ja) * 2005-07-20 2008-07-09 松下電器産業株式会社 声質変化箇所特定装置
CN101622660A (zh) * 2007-02-28 2010-01-06 日本电气株式会社 语音识别装置、语音识别方法及语音识别程序
JP5072415B2 (ja) * 2007-04-10 2012-11-14 三菱電機株式会社 音声検索装置
US8352268B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
CN102081634B (zh) * 2009-11-27 2015-07-08 株式会社理光 语音检索装置和语音检索方法
CN102280106A (zh) * 2010-06-12 2011-12-14 三星电子株式会社 用于移动通信终端的语音网络搜索方法及其装置
JP5874341B2 (ja) * 2011-11-18 2016-03-02 沖電気工業株式会社 音声信号処理装置及びプログラム
JP6039577B2 (ja) * 2012-04-20 2016-12-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 音声処理装置、音声処理方法、プログラムおよび集積回路
JP2014038282A (ja) * 2012-08-20 2014-02-27 Toshiba Corp 韻律編集装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250585A (ja) * 1999-02-25 2000-09-14 Nippon Telegr & Teleph Corp <Ntt> 対話型データベース検索方法、装置及び対話型データベース検索プログラムを記録した記録媒体
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
JP2011185997A (ja) * 2010-03-04 2011-09-22 Fujitsu Ltd 音声検索装置、音声検索方法、プログラム及び記録媒体
JP2013088488A (ja) * 2011-10-13 2013-05-13 Casio Comput Co Ltd 音声検索装置、音声検索方法及びプログラム

Also Published As

Publication number Publication date
US9767790B2 (en) 2017-09-19
CN105719643B (zh) 2019-10-11
US20160180839A1 (en) 2016-06-23
CN105719643A (zh) 2016-06-29
JP6003972B2 (ja) 2016-10-05

Similar Documents

Publication Publication Date Title
JP6003972B2 (ja) 音声検索装置、音声検索方法及びプログラム
JP6003971B2 (ja) 音声検索装置、音声検索方法及びプログラム
US9477753B2 (en) Classifier-based system combination for spoken term detection
KR0134158B1 (ko) 음성인식장치
US9431007B2 (en) Voice search device, voice search method, and non-transitory recording medium
CN106297800B (zh) 一种自适应的语音识别的方法和设备
JP5610197B2 (ja) 検索装置、検索方法、及び、プログラム
JPH05289692A (ja) ワードを予測する会話認識装置用言語生成装置及び方法
US9437187B2 (en) Voice search device, voice search method, and non-transitory recording medium
US5680509A (en) Method and apparatus for estimating phone class probabilities a-posteriori using a decision tree
JP6235280B2 (ja) 音声同時処理装置、方法およびプログラム
CA3162378A1 (en) A text-to-speech synthesis method and system, a method of training a text-to-speech synthesis system, and a method of calculating an expressivity score
CN112750445B (zh) 语音转换方法、装置和系统及存储介质
US8983847B2 (en) Voice recognition apparatus, method, and computer program product
KR100542757B1 (ko) 음운변이 규칙을 이용한 외래어 음차표기 자동 확장 방법및 그 장치
JP6565416B2 (ja) 音声検索装置、音声検索方法及びプログラム
JP6604013B2 (ja) 音声認識装置、音声認識方法及びプログラム
JP2017015847A (ja) 音声検索装置、音声検索方法及びプログラム
JP6680009B2 (ja) 検索インデクス生成装置、検索インデックス生成方法、音声検索装置、音声検索方法及びプログラム
JP2017167248A (ja) 検索インデクス生成装置、検索インデックス生成方法、音声検索装置、音声検索方法及びプログラム
JP5369079B2 (ja) 音響モデル作成方法とその装置とプログラム
JP6903613B2 (ja) 音声認識装置、音声認識方法及びプログラム
JP5849819B2 (ja) 音声データ検索装置、音声データ検索方法および音声データ検索プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160822

R150 Certificate of patent or registration of utility model

Ref document number: 6003972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150