JP2018005122A - Detection device, detection method, and detection program - Google Patents

Detection device, detection method, and detection program Download PDF

Info

Publication number
JP2018005122A
JP2018005122A JP2016135403A JP2016135403A JP2018005122A JP 2018005122 A JP2018005122 A JP 2018005122A JP 2016135403 A JP2016135403 A JP 2016135403A JP 2016135403 A JP2016135403 A JP 2016135403A JP 2018005122 A JP2018005122 A JP 2018005122A
Authority
JP
Japan
Prior art keywords
speech
acoustic signal
voice
detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016135403A
Other languages
Japanese (ja)
Other versions
JP6731802B2 (en
Inventor
悠哉 藤田
Yuya Fujita
悠哉 藤田
健一 磯
Kenichi Iso
健一 磯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2016135403A priority Critical patent/JP6731802B2/en
Publication of JP2018005122A publication Critical patent/JP2018005122A/en
Application granted granted Critical
Publication of JP6731802B2 publication Critical patent/JP6731802B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve accuracy of voice recognition.SOLUTION: A detection device comprises an acquisition unit, a discrimination unit and a detection unit. The acquisition unit acquires an acoustic signal of a predetermined time length. The discrimination unit discriminates between target voice which is voice to be processed and background utterance which is voice other than the target voice from the acoustic signal acquired by the acquisition unit. The detection unit detects a voice section including the target voice from the acoustic signal of the predetermined time length on the basis of the result obtained by discrimination through the discrimination unit.SELECTED DRAWING: Figure 4

Description

本発明は、検出装置、検出方法及び検出プログラムに関する。   The present invention relates to a detection device, a detection method, and a detection program.

近年、自動音声認識(Automatic Speech Recognition)を利用した技術が普及している。例えば、従来ではテキストデータを入力することで行われていた情報処理が、音響信号の入力によって行われる場合がある。すなわち、入力された音響信号がテキストデータとして認識され、テキストデータに変換されて情報処理が行われる。また、認識精度の向上のため、音声認識の前段として、入力された音響信号のうちいずれの区間が音声であるかを検出する音声区間検出(Voice Activity Detection)といった技術が知られている。   In recent years, a technique using automatic speech recognition has become widespread. For example, information processing conventionally performed by inputting text data may be performed by inputting an acoustic signal. That is, the input acoustic signal is recognized as text data, converted into text data, and information processing is performed. In addition, in order to improve recognition accuracy, a technique such as voice activity detection (Voice Activity Detection) is known as a preceding stage of voice recognition, in which one of the input acoustic signals is a voice.

音声区間検出に関する技術として、例えば、話者が3名以上であっても音声信号ストリーム中の複数の話者による対話状況の区切りや対話状況を推定する技術が知られている。   As a technique related to voice section detection, for example, a technique is known in which even when there are three or more speakers, a conversation situation is divided by a plurality of speakers in the voice signal stream and a conversation situation is estimated.

特開2008−139654号公報JP 2008-139654 A

しかしながら、従来技術では、音声認識の精度を向上させることができない場合がある。例えば、入力される音響信号には、話者の特徴が明確でないテレビやラジオ等の背景発話(Background speech)が含まれる場合がある。従来技術では、背景発話についても音声として認識されてしまい、適切に音声区間検出が行われない場合がある。そして、音声区間検出が適切に行われない場合、音声ではない部分(ノイズ)や背景発話がテキストに変換されることがあるため、音声認識の精度が低下するという問題があった。   However, the conventional technology may not be able to improve the accuracy of speech recognition. For example, the input acoustic signal may include background speech such as television or radio whose speaker characteristics are not clear. In the prior art, the background utterance is also recognized as speech, and there are cases where speech segment detection is not performed appropriately. If speech segment detection is not performed properly, a portion that is not speech (noise) or a background utterance may be converted to text, resulting in a problem that the accuracy of speech recognition is reduced.

本願の開示する技術は、上記に鑑みてなされたものであって、音声認識の精度を向上させることができる検出装置、検出方法及び検出プログラムを提供することを目的とする。   The technology disclosed in the present application has been made in view of the above, and an object thereof is to provide a detection device, a detection method, and a detection program capable of improving the accuracy of speech recognition.

本願に係る検出装置は、所定の時間長の音響信号を取得する取得部と、音響信号における音素の尤度を測定する音響モデルを用いて、前記取得部によって取得された音響信号から、処理対象とする音声である目的音声と、目的音声以外の音声である背景発話とを識別する識別部と、前記識別部によって識別された結果に基づいて、前記所定の時間長の音響信号の中から目的音声が含まれる音声区間を検出する検出部と、を備えることを特徴とする。   The detection apparatus according to the present application uses an acquisition unit that acquires an acoustic signal having a predetermined time length, and an acoustic model that measures the likelihood of phonemes in the acoustic signal, from the acoustic signal acquired by the acquisition unit. An identification unit that identifies a target voice that is a voice and a background utterance that is a voice other than the target voice, and based on a result identified by the identification unit, a target signal is selected from the acoustic signals of the predetermined time length. And a detection unit that detects a voice section including voice.

実施形態の一態様によれば、音声認識の精度を向上させることができるという効果を奏する。   According to one aspect of the embodiment, there is an effect that the accuracy of voice recognition can be improved.

図1は、実施形態に係る検出処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of a detection process according to the embodiment. 図2は、実施形態に係る検出処理の概要を説明する図である。FIG. 2 is a diagram illustrating an outline of the detection process according to the embodiment. 図3は、実施形態に係る検出処理システムの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of the detection processing system according to the embodiment. 図4は、実施形態に係る検出装置の構成例を示す図である。FIG. 4 is a diagram illustrating a configuration example of the detection device according to the embodiment. 図5は、実施形態に係る学習データ記憶部の一例を示す図である。FIG. 5 is a diagram illustrating an example of a learning data storage unit according to the embodiment. 図6は、実施形態に係る音響モデル記憶部の一例を示す図である。FIG. 6 is a diagram illustrating an example of the acoustic model storage unit according to the embodiment. 図7は、実施形態に係る処理手順を示すフローチャートである。FIG. 7 is a flowchart illustrating a processing procedure according to the embodiment. 図8は、検出装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 8 is a hardware configuration diagram illustrating an example of a computer that realizes the function of the detection apparatus.

以下に、本願に係る検出装置、検出方法及び検出プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る検出装置、検出方法及び検出プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。   Hereinafter, embodiments for carrying out a detection apparatus, a detection method, and a detection program according to the present application (hereinafter referred to as “embodiments”) will be described in detail with reference to the drawings. In addition, the detection apparatus, the detection method, and the detection program which concern on this application are not limited by this embodiment. In addition, the embodiments can be appropriately combined within a range that does not contradict processing contents. In the following embodiments, the same portions are denoted by the same reference numerals, and redundant description is omitted.

〔1.検出処理の一例〕
まず、図1を用いて、実施形態に係る検出処理の一例について説明する。図1は、実施形態に係る検出処理の一例を示す図である。図1では、本願に係る検出装置100が、ユーザが利用する端末装置であるユーザ端末10から音響信号を取得し、取得した音響信号から音声区間を検出する処理の一例を示している。
[1. Example of detection process)
First, an example of detection processing according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of a detection process according to the embodiment. FIG. 1 illustrates an example of processing in which the detection device 100 according to the present application acquires an acoustic signal from the user terminal 10 that is a terminal device used by a user, and detects a voice section from the acquired acoustic signal.

図1に示す検出装置100は、音響信号を取得し、取得した音響信号から音声区間を検出する処理を行うサーバ装置である。具体的には、検出装置100は、自動音声認識を利用したサービス(例えば、音声認識を利用して検索を行うウェブ検索サービス)をユーザが利用する場合に、自動音声認識の前段の処理として、ユーザ端末10から送信される音響信号を取得する。そして、検出装置100は、取得した所定の時間長の音響信号において、いずれの区間に音声(例えば、ユーザがユーザ端末10に入力した音声)が含まれているかを識別する。さらに、検出装置100は、音声と識別した区間を、音声検出区間として切り出す。そして、検出装置100は、音声検出区間として切り出した音響信号を、自動音声認識の後段の処理を行う所定の情報処理装置に送信する。   The detection apparatus 100 illustrated in FIG. 1 is a server apparatus that performs a process of acquiring an acoustic signal and detecting a voice section from the acquired acoustic signal. Specifically, when the user uses a service that uses automatic speech recognition (for example, a web search service that performs search using speech recognition), the detection apparatus 100 performs processing as a preceding stage of automatic speech recognition. An acoustic signal transmitted from the user terminal 10 is acquired. Then, the detection apparatus 100 identifies in which section the voice (for example, the voice input to the user terminal 10 by the user) is included in the acquired acoustic signal having a predetermined length of time. Furthermore, the detection apparatus 100 cuts out the section identified as the voice as the voice detection section. Then, the detection apparatus 100 transmits the acoustic signal cut out as the voice detection section to a predetermined information processing apparatus that performs a process subsequent to automatic voice recognition.

図1に示すユーザ端末10は、ユーザによって利用されるスマートフォン等の情報処理端末である。ユーザは、ユーザ端末10を介して、ウェブサーバから提供される検索サービス等のサービスコンテンツを利用する。この場合、ユーザ端末10は、ユーザから音声の入力を受け付ける。具体的には、ユーザ端末10は、内蔵したマイクロフォン等の音声入力装置を利用して、ユーザが発する音声を取得する。そして、ユーザ端末10は、取得した音声を含む音響信号を検出装置100に送信する。なお、本明細書中においては、ユーザとユーザ端末10とを同一視する場合がある。例えば、「ユーザが音響信号を送信する」とは、実際には、「ユーザが利用するユーザ端末10が音響信号を送信する」ことを意味する場合がある。   A user terminal 10 illustrated in FIG. 1 is an information processing terminal such as a smartphone used by a user. A user uses service content such as a search service provided from a web server via the user terminal 10. In this case, the user terminal 10 receives voice input from the user. Specifically, the user terminal 10 acquires a voice uttered by the user using a voice input device such as a built-in microphone. Then, the user terminal 10 transmits an acoustic signal including the acquired voice to the detection device 100. In the present specification, the user and the user terminal 10 may be identified with each other. For example, “the user transmits an acoustic signal” may actually mean “the user terminal 10 used by the user transmits an acoustic signal”.

検出装置100は、検出処理にあたり、まずユーザ端末10から取得した音響信号が音声であるか非音声であるかを判定する。取得した音響信号が音声でなく単なるノイズであれば、検出装置100は、そのような音響信号に対して処理を行うことを要さない。すなわち、検出装置100は、音響信号のうち音声のみを処理対象とすることで、後段の処理を行う装置等の処理負荷を軽減させることができる。   In the detection process, the detection apparatus 100 first determines whether the acoustic signal acquired from the user terminal 10 is voice or non-voice. If the acquired acoustic signal is not a voice but a mere noise, the detection apparatus 100 does not need to process such an acoustic signal. That is, the detection apparatus 100 can reduce the processing load of an apparatus or the like that performs subsequent processing by setting only the sound among the acoustic signals as a processing target.

ところで、ユーザ端末10がユーザの音声を取得する環境は様々であることが想定される。例えば、ユーザが自動車内でユーザ端末10を利用する場合には、ユーザ端末10は、ユーザの音声の他に、ユーザ端末10に音声を入力しようとするユーザ以外の音声(例えば、同乗者の音声)を取得する場合がある。また、図1に示すように、テレビ20やラジオ30がユーザ端末10の付近に存在する場合、ユーザ端末10は、ユーザの音声の他に、テレビ20やラジオ30から発せられる音声を取得する場合がある。   By the way, it is assumed that the environment in which the user terminal 10 acquires the user's voice is various. For example, when the user uses the user terminal 10 in a car, the user terminal 10 is not limited to the user's voice, but is a voice other than the user who wants to input the voice to the user terminal 10 (for example, a passenger's voice ) May get. Also, as shown in FIG. 1, when the television 20 and the radio 30 exist in the vicinity of the user terminal 10, the user terminal 10 acquires the sound emitted from the television 20 and the radio 30 in addition to the user's voice. There is.

ユーザの置かれた環境において、ユーザの音声のような処理の対象とすべき音声(以下、「目的音声」と表記する)以外の音声である背景発話が存在すると、ユーザ端末10によって取得される音声は、目的音声と背景発話とが混在する音声となる。そして、これらの音声を含む音響信号から音声区間検出を行った場合、背景発話を含む音声を検出することになるため、本来の処理対象である目的音声を含む区間の検出精度が低下する場合がある。そして、音声区間検出の精度が低下することで、後段の音声認識処理等の精度も低下するおそれがある。   In the environment where the user is placed, if there is a background utterance other than the voice to be processed (hereinafter referred to as “target voice”) such as the voice of the user, it is acquired by the user terminal 10. The voice is a voice in which the target voice and the background utterance are mixed. And, when the speech section is detected from the acoustic signal including these sounds, the speech including the background utterance is detected, so the detection accuracy of the section including the target speech that is the original processing target may be lowered. is there. And since the accuracy of voice segment detection is reduced, the accuracy of subsequent speech recognition processing and the like may also be reduced.

そこで、実施形態に係る検出装置100は、下記に説明する処理によって、背景発話を含む音声であっても、目的音声を含む区間を精度よく検出する。これにより、検出装置100は、音声認識の精度を向上させる。以下、図1を用いて、検出装置100によって行われる検出処理の一例を流れに沿って説明する。   Therefore, the detection apparatus 100 according to the embodiment accurately detects a section including the target voice even if the voice includes the background utterance by the process described below. Thereby, the detection apparatus 100 improves the accuracy of voice recognition. Hereinafter, an example of the detection process performed by the detection apparatus 100 will be described along the flow with reference to FIG.

まず、音声認識を用いたサービスを利用しようとするユーザは、ユーザ端末10に音声を入力する。ユーザ端末10は、ユーザから発せられた音声の入力を受け付け、受け付けた音声を取得する(ステップS11)。ユーザ端末10は、所定時間(例えば、10秒など)、ユーザから音声の入力を受け付けることで、音声を含んだ所定の時間長の音響信号を生成する。   First, a user who intends to use a service using voice recognition inputs voice to the user terminal 10. The user terminal 10 receives an input of a voice uttered by the user and acquires the received voice (Step S11). The user terminal 10 receives a voice input from the user for a predetermined time (for example, 10 seconds), thereby generating an acoustic signal having a predetermined time length including the voice.

このとき、ユーザ端末10の付近には、テレビ20やラジオ30があり、音声を発しているものとする。このため、ユーザ端末10は、目的音声であるユーザの音声のみならず、テレビ20やラジオ30から発せられる背景発話による音声も取得しているものとする。すなわち、ユーザ端末10が生成する音響信号には、ユーザの発した音声のみならず、背景発話による音声も含まれる。   At this time, it is assumed that the television 20 and the radio 30 are in the vicinity of the user terminal 10 and emit sound. For this reason, it is assumed that the user terminal 10 acquires not only the user's voice as the target voice but also the voice by the background utterance uttered from the television 20 or the radio 30. That is, the acoustic signal generated by the user terminal 10 includes not only the voice uttered by the user but also the voice due to the background utterance.

ユーザ端末10は、生成した音響信号を検出装置100に送信する(ステップS12)。例えば、ユーザ端末10は、音声検索サービスにおける検索クエリとして、入力された音声を含んだ音響信号を検出装置100に送信する。   The user terminal 10 transmits the generated acoustic signal to the detection device 100 (step S12). For example, the user terminal 10 transmits an acoustic signal including the input voice to the detection apparatus 100 as a search query in the voice search service.

検出装置100は、ユーザ端末10から送信された音響信号を取得する。そして、検出装置100は、音響信号のうち目的音声を含んだ音声区間を検出する(ステップS13)。かかる処理について、図2を用いて説明する。   The detection device 100 acquires the acoustic signal transmitted from the user terminal 10. And the detection apparatus 100 detects the audio | voice area containing the target audio | voice among acoustic signals (step S13). Such processing will be described with reference to FIG.

図2は、実施形態に係る検出処理の概要を説明する図である。図2では、検出装置100によって行われる検出処理のダイアグラムを示している。   FIG. 2 is a diagram illustrating an outline of the detection process according to the embodiment. FIG. 2 shows a diagram of detection processing performed by the detection apparatus 100.

まず、検出装置100は、取得した音響信号について、音響信号が音声を含むか否かを判定する処理を行う。例えば、検出装置100は、所定の学習処理を経たDNN(Deep Neural Network)を利用して、音響信号に関して音声・非音声の判定を行う(ステップS13A)。具体的には、検出装置100は、学習に充分な数の音声データをDNNで学習させることで、音声・非音声を判定するモデルを生成しておく。より具体的には、検出装置100は、例えば10ミリ秒ごとに音声をフレーム処理し、音響信号における、ある時間のフレームが音声か非音声かを識別するようDNNで学習を行うことで、音声・非音声を判定するモデルを生成する。そして、検出装置100は、取得した音響信号をモデルに入力することによって、当該音響信号が音声を含むか否かを判定する。   First, the detection apparatus 100 performs processing for determining whether or not the acoustic signal includes sound for the acquired acoustic signal. For example, the detection apparatus 100 performs voice / non-voice determination on an acoustic signal using a DNN (Deep Neural Network) that has undergone a predetermined learning process (step S13A). Specifically, the detection apparatus 100 generates a model for determining speech / non-speech by causing the DNN to learn a sufficient number of speech data for learning. More specifically, for example, the detection apparatus 100 performs frame processing on sound every 10 milliseconds, and performs learning by DNN so as to identify whether a certain time frame in the acoustic signal is sound or non-speech. Generate a model for judging non-speech. And the detection apparatus 100 determines whether the said acoustic signal contains an audio | voice by inputting the acquired acoustic signal into a model.

検出装置100は、ステップS13Aにおいて非音声と判定された音響信号については処理の対象から棄却する。一方、検出装置100は、ステップS13Aにおいて音声と判定された音響信号については、さらに検出処理を進める。上述のように、音響信号が含む音声は、ユーザから発せられた目的音声と、テレビ20やラジオ30等から発せられた背景発話とを含む。このため、ステップS13Aを経た音響信号にも、目的音声の他に背景発話による音声が含まれる。   The detection apparatus 100 rejects the acoustic signal determined to be non-speech in step S13A from the processing target. On the other hand, the detection apparatus 100 further proceeds with the detection process for the acoustic signal determined to be sound in step S13A. As described above, the voice included in the acoustic signal includes the target voice uttered by the user and the background utterance uttered from the television 20, the radio 30, or the like. For this reason, the sound signal that has undergone step S13A also includes the voice of the background speech in addition to the target voice.

ここで、検出装置100は、上記モデルとして、一般的には音声認識で用いられるモデルである音響モデル(Acoustic Model)を実施形態に係る検出処理において利用するものとする。音響モデルは、音響信号の所定の時間長(フレーム)において、どの音素が発話されているかを識別又は予測するモデルである。なお、音素とは、個別の言語において音声の基本となる要素であり、例えば日本語であれば、「/a/、/i/、/u/、/e/、/o/」の母音や、「/k/、/g/、/s/」等の子音が該当する。例えば、音響モデルは、入力された音響信号の所定のフレームがどのような音素で表されるかを識別して、音素の尤もらしさを示す尤度を出力する。   Here, it is assumed that the detection apparatus 100 uses an acoustic model, which is a model generally used in speech recognition, in the detection processing according to the embodiment as the model. The acoustic model is a model for identifying or predicting which phoneme is uttered in a predetermined time length (frame) of an acoustic signal. Phonemes are basic elements of speech in individual languages. For example, in Japanese, the vowels of “/ a /, / i /, / u /, / e /, / o /” , “/ K /, / g /, / s /” and other consonants. For example, the acoustic model identifies what phoneme is represented by a predetermined frame of the input acoustic signal, and outputs a likelihood indicating the likelihood of the phoneme.

検出装置100は、実施形態において、音響モデルの音素事後確率(所定のフレームにおいて音素を特定する確率、すなわち、音響信号に含まれる音声が音素であると識別される確率であり、どの音素が尤もらしいかを示す値)を算出する。そして、検出装置100は、算出された音素事後確率に基づいて、目的音声と背景発話とを識別する。これは、目的音声と背景発話において、音響モデルの音素事後確率が異なる値をとると想定されることによる。一般に、背景発話は、マイクロフォン等の入力装置(図1の例では、ユーザ端末10が該当する)に対して、目的音声を発した話者よりも遠くの位置から発せられた音声であることが多い。このため、背景発話は、目的音声と比較して、音声以外の音(ノイズ)による影響や、部屋の残響などの影響を受け易い。すると、音響モデルでは、どの音素が発話されているのか厳密に識別できないため、複数の音素の事後確率が大きな値をとる。言い換えれば、背景発話は、目的音声と比較して、音響モデルの音素事後確率にばらつきが生じやすい。検出装置100は、このような音素事後確率を判定基準とすることにより、目的音声と背景発話とを識別する。   In the embodiment, the detection device 100 is a phoneme posterior probability of an acoustic model (a probability of specifying a phoneme in a predetermined frame, that is, a probability that a speech included in an acoustic signal is identified as a phoneme, and any phoneme is Value). Then, the detection apparatus 100 identifies the target speech and the background utterance based on the calculated phoneme posterior probability. This is because it is assumed that the phoneme posterior probabilities of the acoustic model take different values in the target speech and the background utterance. In general, the background utterance is a voice uttered from a position farther than the speaker who has issued the target voice to an input device such as a microphone (in the example of FIG. 1, the user terminal 10 corresponds). Many. For this reason, the background utterance is more susceptible to the influence of sound (noise) other than the voice and the reverberation of the room, compared to the target voice. Then, in the acoustic model, which phoneme is being uttered cannot be identified accurately, the posterior probability of a plurality of phonemes takes a large value. In other words, background utterances tend to vary in phoneme posterior probabilities of the acoustic model as compared to the target speech. The detection apparatus 100 identifies the target speech and the background utterance by using such a phoneme posterior probability as a determination criterion.

具体的には、検出装置100は、処理対象とする音響信号において、音響モデルの音素事後確率のエントロピーを算出する(ステップS13B)。音響モデルの音素事後確率のばらつきが生じるということは、すなわち、音素事後確率のエントロピーの値が大きくなることを意味する。このため、検出装置100は、音響モデルの音素事後確率のエントロピーを算出し、算出した値を判定基準とすることで、目的音声と背景発話とを識別することができる。例えば、検出装置100は、所定の閾値を設定し、算出したエントロピーの値が所定の閾値を超える場合には、当該区間の音声を背景発話であると推定する。言い換えれば、検出装置100は、算出したエントロピーの値が所定の閾値を超えない場合には、当該区間の音声を目的音声であると推定する。   Specifically, the detection apparatus 100 calculates the entropy of the phoneme posterior probability of the acoustic model in the acoustic signal to be processed (step S13B). The variation in phoneme posterior probability of the acoustic model means that the entropy value of the phoneme posterior probability increases. For this reason, the detection apparatus 100 can identify the target speech and the background utterance by calculating the entropy of the phoneme posterior probability of the acoustic model and using the calculated value as a determination criterion. For example, the detection apparatus 100 sets a predetermined threshold value, and when the calculated entropy value exceeds the predetermined threshold value, the detection apparatus 100 estimates that the voice in the section is a background utterance. In other words, when the calculated entropy value does not exceed the predetermined threshold, the detection apparatus 100 estimates that the voice in the section is the target voice.

図2に示すように、検出装置100は、ステップS13Bで算出したエントロピーの値に基づいて、処理対象とする音響信号のうち、背景発話と推定した区間を棄却する。そして、検出装置100は、背景発話と推定して棄却した区間を除いた区間を、目的音声を含む音声区間として検出する(ステップS13C)。検出装置100は、目的音声を含む音声区間を検出したのちに、検出結果を後段の情報処理装置(例えば、音声認識装置)に送信する。情報処理装置は、音声区間の検出処理が行われた音響信号を処理することにより処理負荷を軽減することができる。また、情報処理装置は、音声以外の音をテキストに変換するような処理を避けることができるため、音声認識の精度を向上させることができる。   As illustrated in FIG. 2, the detection apparatus 100 rejects a section estimated as a background utterance among acoustic signals to be processed based on the entropy value calculated in step S <b> 13 </ b> B. Then, the detection apparatus 100 detects a section excluding the section that has been estimated and rejected as the background utterance as a speech section including the target speech (step S13C). The detection apparatus 100 transmits a detection result to a subsequent information processing apparatus (for example, a voice recognition apparatus) after detecting a voice section including the target voice. The information processing apparatus can reduce the processing load by processing the acoustic signal subjected to the voice section detection process. In addition, since the information processing apparatus can avoid processing such as converting sound other than speech into text, the accuracy of speech recognition can be improved.

このように、実施形態に係る検出装置100は、所定の時間長の音響信号を取得する。続いて、検出装置100は、音響信号における音素の尤度を測定する音響モデルを用いて、取得された音響信号から、処理対象とする音声である目的音声と、目的音声以外の音声である背景発話とを識別する。そして、検出装置100は、識別された結果に基づいて、所定の時間長の音響信号のうち、目的音声が含まれる音声区間を検出する。   Thus, the detection apparatus 100 according to the embodiment acquires an acoustic signal having a predetermined time length. Subsequently, the detection apparatus 100 uses the acoustic model that measures the likelihood of phonemes in the acoustic signal, and acquires the target speech that is the speech to be processed and the background that is speech other than the target speech from the acquired acoustic signal. Identify utterances. And the detection apparatus 100 detects the audio | voice area in which the target audio | voice is included among the acoustic signals of predetermined time length based on the identified result.

これにより、実施形態に係る検出装置100は、目的音声に背景発話が混在するような音声を含む音響信号からも、精度良く目的音声を含む音声区間検出を行うことができる。具体的には、検出装置100は、音響モデルを用いて背景発話を識別し、背景発話と識別された区間を棄却することにより、頑健な音声区間検出を実現する。このため、検出装置100は、音声認識の精度を向上させることができる。以下、このような処理を行う検出装置100、及び、検出装置100を含む検出処理システム1の構成等について、詳細に説明する。   Thereby, the detection apparatus 100 according to the embodiment can accurately detect a voice section including the target voice from an acoustic signal including a voice in which background speech is mixed in the target voice. Specifically, the detection apparatus 100 realizes robust speech section detection by identifying a background utterance using an acoustic model and rejecting the section identified as the background utterance. For this reason, the detection apparatus 100 can improve the accuracy of voice recognition. Hereinafter, the configuration of the detection apparatus 100 that performs such processing and the detection processing system 1 including the detection apparatus 100 will be described in detail.

〔2.検出処理システムの構成〕
図3を用いて、実施形態に係る検出装置100が含まれる検出処理システム1の構成について説明する。図3は、実施形態に係る検出処理システム1の構成例を示す図である。図3に例示するように、実施形態に係る検出処理システム1には、ユーザ端末10と、検出装置100と、情報処理装置200とが含まれる。これらの各種装置は、ネットワークN(例えば、インターネット)を介して、有線又は無線により通信可能に接続される。なお、図3に示した検出処理システム1に含まれる装置は、図3に示した台数に限られない。例えば、検出処理システム1は、複数台のユーザ端末10を含んでもよい。
[2. Configuration of detection processing system)
The configuration of the detection processing system 1 including the detection apparatus 100 according to the embodiment will be described with reference to FIG. FIG. 3 is a diagram illustrating a configuration example of the detection processing system 1 according to the embodiment. As illustrated in FIG. 3, the detection processing system 1 according to the embodiment includes a user terminal 10, a detection device 100, and an information processing device 200. These various apparatuses are communicably connected via a network N (for example, the Internet) in a wired or wireless manner. Note that the number of devices included in the detection processing system 1 shown in FIG. 3 is not limited to the number shown in FIG. For example, the detection processing system 1 may include a plurality of user terminals 10.

ユーザ端末10は、例えば、スマートフォンや、デスクトップ型PC(Personal Computer)や、ノート型PCや、タブレット型端末や、携帯電話機、PDA(Personal Digital Assistant)、ウェアラブルデバイス(Wearable Device)等の情報処理装置である。   The user terminal 10 is, for example, an information processing apparatus such as a smartphone, a desktop PC (Personal Computer), a notebook PC, a tablet terminal, a mobile phone, a PDA (Personal Digital Assistant), or a wearable device. It is.

ユーザ端末10は、ユーザによる操作に従って所定のウェブサーバにアクセスすることで、ウェブサーバから提供されるウェブページを取得する。そして、ユーザ端末10は、取得したウェブページを表示装置(例えば、液晶ディスプレイ)に表示する。また、ユーザ端末10は、ウェブページが音声入力によるサービス等を行うサービスページである場合、ユーザから入力された音声を含む音響信号をサービス側に送信する。この場合、ウェブサーバは、本願に係る検出装置100と一体であってもよい。また、ウェブサーバと検出装置100が別の装置である場合、ウェブサーバは、ユーザ端末10から送信された音響信号を検出装置100に送信するような構成であってもよい。   The user terminal 10 acquires a web page provided from the web server by accessing a predetermined web server according to an operation by the user. Then, the user terminal 10 displays the acquired web page on a display device (for example, a liquid crystal display). In addition, when the web page is a service page that performs a service or the like by voice input, the user terminal 10 transmits an acoustic signal including voice input from the user to the service side. In this case, the web server may be integrated with the detection device 100 according to the present application. When the web server and the detection device 100 are different devices, the web server may be configured to transmit the acoustic signal transmitted from the user terminal 10 to the detection device 100.

検出装置100は、ユーザ端末10から取得した音響信号から、目的音声を含む音声区間を検出するサーバ装置である。すなわち、検出装置100は、後述する情報処理装置200の処理の前段として、目的音声を含む音声区間を検出することで、音声認識等の処理の精度を向上させる。なお、検出装置100は、情報処理装置200と一体に構成されてもよい。   The detection device 100 is a server device that detects a voice section including a target voice from an acoustic signal acquired from the user terminal 10. That is, the detection device 100 improves the accuracy of processing such as speech recognition by detecting a speech section including the target speech as a previous stage of processing of the information processing device 200 described later. Note that the detection device 100 may be configured integrally with the information processing device 200.

情報処理装置200は、音響信号に関する情報処理を実行するサーバ装置である。情報処理装置200は、検出装置100によって音声区間の検出処理が施された音響信号を取得し、情報処理を実行する。例えば、情報処理装置200は、音響信号に含まれる音声を認識し、テキストデータへ変換する。あるいは、情報処理装置200は、音響信号を圧縮したり編集したりする処理を行ってもよい。   The information processing device 200 is a server device that performs information processing related to an acoustic signal. The information processing apparatus 200 acquires the acoustic signal that has been subjected to the voice segment detection processing by the detection apparatus 100 and executes information processing. For example, the information processing apparatus 200 recognizes speech included in the acoustic signal and converts it into text data. Alternatively, the information processing apparatus 200 may perform processing for compressing or editing the acoustic signal.

〔3.検出装置の構成〕
次に、図4を用いて、実施形態に係る検出装置100の構成について説明する。図4は、実施形態に係る検出装置100の構成例を示す図である。図4に示すように、検出装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、検出装置100は、検出装置100を利用する管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
[3. Configuration of detection device)
Next, the configuration of the detection apparatus 100 according to the embodiment will be described with reference to FIG. FIG. 4 is a diagram illustrating a configuration example of the detection apparatus 100 according to the embodiment. As illustrated in FIG. 4, the detection apparatus 100 includes a communication unit 110, a storage unit 120, and a control unit 130. The detection device 100 includes an input unit (for example, a keyboard and a mouse) that receives various operations from an administrator who uses the detection device 100, and a display unit (for example, a liquid crystal display) for displaying various types of information. You may have.

(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。かかる通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、ユーザ端末10や、情報処理装置200との間で情報の送受信を行う。
(About the communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card). The communication unit 110 is connected to the network N by wire or wirelessly, and transmits and receives information to and from the user terminal 10 and the information processing apparatus 200 via the network N.

(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、学習データ記憶部121と、音響モデル記憶部122とを有する。
(About the storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 120 includes a learning data storage unit 121 and an acoustic model storage unit 122.

(学習データ記憶部121について)
学習データ記憶部121は、実施形態に係る処理に用いるモデルを学習するための学習データに関する情報を記憶する。図5に、実施形態に係る学習データ記憶部121の一例を示す。図5は、実施形態に係る学習データ記憶部121の一例を示す図である。図5に示した例では、学習データ記憶部121は、「学習データID」、「学習データ」といった項目を有する。
(About the learning data storage unit 121)
The learning data storage unit 121 stores information related to learning data for learning a model used for the processing according to the embodiment. FIG. 5 shows an example of the learning data storage unit 121 according to the embodiment. FIG. 5 is a diagram illustrating an example of the learning data storage unit 121 according to the embodiment. In the example illustrated in FIG. 5, the learning data storage unit 121 includes items such as “learning data ID” and “learning data”.

「学習データID」は、学習データを識別する識別情報を示す。「学習データ」は、モデルを学習するためのデータを示す。図5では、学習データの項目を「E01」等の概念で示しているが、実際には、学習データの項目には、学習に用いるための多数のデータファイル等が記憶される。学習データは、例えば音声認識の場合では、多数の話者による多数の発話データ(例えば数千時間分)である。モデルは、学習するデータによって異なる判定基準を有することになるため、図5に示すように、複数の種別の学習データが学習データ記憶部121に記憶されてもよい。例えば、検出装置100は、話者の言語別に学習データを有していてもよい。   “Learning data ID” indicates identification information for identifying learning data. “Learning data” indicates data for learning a model. In FIG. 5, the learning data item is indicated by a concept such as “E01”, but actually, the learning data item stores a large number of data files to be used for learning. For example, in the case of speech recognition, the learning data is a large number of utterance data (for example, several thousand hours) by a large number of speakers. Since the model has different determination criteria depending on the data to be learned, a plurality of types of learning data may be stored in the learning data storage unit 121 as shown in FIG. For example, the detection apparatus 100 may have learning data for each speaker language.

すなわち、図5に示した例では、学習データID「C01」で識別される学習データとして学習データ「E01」というデータ群と、学習データID「C02」で識別される学習データとして学習データ「E02」というデータ群とが学習データ記憶部121に記憶されていることを示している。   That is, in the example illustrated in FIG. 5, the learning data “E01” is identified as the learning data identified by the learning data ID “C01”, and the learning data “E02” is identified as the learning data identified by the learning data ID “C02”. "Is stored in the learning data storage unit 121.

(音響モデル記憶部122について)
音響モデル記憶部122は、識別処理に用いられるモデルに関する情報を記憶する。図6に、実施形態に係る音響モデル記憶部122の一例を示す。図6は、実施形態に係る音響モデル記憶部122の一例を示す図である。図6に示した例では、音響モデル記憶部122は、「音響モデルID」、「学習に用いるデータ」といった項目を有する。
(Acoustic model storage unit 122)
The acoustic model storage unit 122 stores information related to a model used for identification processing. FIG. 6 shows an example of the acoustic model storage unit 122 according to the embodiment. FIG. 6 is a diagram illustrating an example of the acoustic model storage unit 122 according to the embodiment. In the example illustrated in FIG. 6, the acoustic model storage unit 122 includes items such as “acoustic model ID” and “data used for learning”.

「音響モデルID」は、音響信号の所定の時間長(フレーム)において、どの音素が発話されているかを識別又は予測する音響モデルを識別する識別情報である。図6に示すように、音響モデル記憶部122には、複数の音響モデルが記憶されてもよい。例えば、検出装置100は、異なる判定基準(例えば、言語ごと)を有する音響モデルを複数有していてもよい。なお、音響モデルは、十分な数の学習データで学習された、音声・非音声を判定するモデルでもある。例えば、実施形態に係る音響モデルは、複数のニューロンによって形成される入力層と、複数のニューロンを含む多段のニューロン群の層によって形成される隠れ層(中間層ともいう)と、複数のニューロンによって形成される出力層によって構成される、DNN等の階層型ニューラルネットワークである。   The “acoustic model ID” is identification information for identifying an acoustic model that identifies or predicts which phoneme is uttered in a predetermined time length (frame) of the acoustic signal. As illustrated in FIG. 6, the acoustic model storage unit 122 may store a plurality of acoustic models. For example, the detection apparatus 100 may include a plurality of acoustic models having different determination criteria (for example, for each language). The acoustic model is also a model for determining speech / non-speech learned with a sufficient number of learning data. For example, the acoustic model according to the embodiment includes an input layer formed by a plurality of neurons, a hidden layer (also referred to as an intermediate layer) formed by a multistage neuron group including a plurality of neurons, and a plurality of neurons. It is a hierarchical neural network such as DNN that is configured by an output layer to be formed.

「学習に用いるデータ」は、図5に示した学習データに対応する。すなわち、学習に用いるデータは、モデルを学習する際に利用される学習データを示す。   “Data used for learning” corresponds to the learning data shown in FIG. That is, the data used for learning indicates learning data used when learning the model.

すなわち、図6に示した例では、音響モデルID「A01」によって識別される音響モデルと、音響モデルID「A02」によって識別される音響モデルとが音響モデル記憶部122に記憶されていることを示している。また、音響モデルID「A01」によって識別される音響モデルは、学習データ「E01」によって学習され、音響モデルID「A02」によって識別される音響モデルは、学習データ「E02」によって学習されていることを示している。   That is, in the example illustrated in FIG. 6, the acoustic model identified by the acoustic model ID “A01” and the acoustic model identified by the acoustic model ID “A02” are stored in the acoustic model storage unit 122. Show. The acoustic model identified by the acoustic model ID “A01” is learned by the learning data “E01”, and the acoustic model identified by the acoustic model ID “A02” is learned by the learning data “E02”. Is shown.

(制御部130について)
制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、検出装置100内部の記憶装置に記憶されている各種プログラム(検出プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
(About the control unit 130)
The control unit 130 is a controller, for example, various programs (an example of a detection program) stored in a storage device inside the detection apparatus 100 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. This is realized by executing the RAM as a work area. The control unit 130 is a controller, and is realized by an integrated circuit such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).

図4に示すように、制御部130は、取得部131と、識別部132と、判定部133と、算出部134と、検出部135と、送信部136とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図4に示した接続関係に限られず、他の接続関係であってもよい。   As shown in FIG. 4, the control unit 130 includes an acquisition unit 131, an identification unit 132, a determination unit 133, a calculation unit 134, a detection unit 135, and a transmission unit 136. Information described below Implement or execute a processing function or action. Note that the internal configuration of the control unit 130 is not limited to the configuration illustrated in FIG. 4, and may be another configuration as long as the information processing described below is performed. In addition, the connection relationship between the processing units included in the control unit 130 is not limited to the connection relationship illustrated in FIG. 4, and may be another connection relationship.

(取得部131について)
取得部131は、各種情報を取得する。具体的には、取得部131は、ユーザ端末10から、所定の時間長の音響信号を取得する。取得部131は、取得した音響信号を識別部132に送る。なお、音響信号は、音声認識の処理対象となる話者から発せられた音声(目的音声)、目的音声以外のノイズや、目的音声以外の音声である背景発話等を含む場合がある。また、音響信号は、ユーザ端末10に音声が入力された際の音の大きさ(音圧)や、音の高さ(周波数)や、音の種類(波形)等の情報を含むものであってもよい。
(About the acquisition unit 131)
The acquisition unit 131 acquires various types of information. Specifically, the acquisition unit 131 acquires an acoustic signal having a predetermined time length from the user terminal 10. The acquisition unit 131 sends the acquired acoustic signal to the identification unit 132. Note that the acoustic signal may include speech (target speech) uttered from a speaker that is a target of speech recognition, noise other than the target speech, background speech that is speech other than the target speech, and the like. The acoustic signal includes information such as the volume (sound pressure), pitch (frequency), and sound type (waveform) when sound is input to the user terminal 10. May be.

(識別部132について)
識別部132は、取得部131によって取得された音響信号が示す情報が音声か非音声であるかを識別する。例えば、識別部132は、音響信号における音素の尤度を測定する音響モデルを用いて、取得部131によって取得された音響信号から、処理対象とする音声である目的音声と、目的音声以外の音声である背景発話とを識別する。図4に示すように、実施形態に係る識別部132は、判定部133と、算出部134とが協働することにより、処理を実現する。すなわち、以下の説明において、判定部133や算出部134が実行する処理は、識別部132が実行する処理と読み替えてもよい。
(About the identification unit 132)
The identification unit 132 identifies whether the information indicated by the acoustic signal acquired by the acquisition unit 131 is voice or non-voice. For example, the identification unit 132 uses the acoustic model that measures the likelihood of phonemes in the acoustic signal, and uses the target speech that is the processing target speech and the speech other than the target speech from the acoustic signal acquired by the acquisition unit 131. Is identified as a background utterance. As illustrated in FIG. 4, the identification unit 132 according to the embodiment realizes processing through the cooperation of the determination unit 133 and the calculation unit 134. That is, in the following description, the process executed by the determination unit 133 and the calculation unit 134 may be read as the process executed by the identification unit 132.

(判定部133について)
判定部133は、音響信号が音声であるか否かを予め学習した音響モデルを用いて、取得部131によって取得された音響信号に音声が含まれるか否かを判定する。例えば、判定部133は、多数の話者の発話データを学習データとして学習されたDNNを用いて、音響信号の所定の区間が音声を含むか否かを判定する。
(About the determination unit 133)
The determination unit 133 determines whether or not sound is included in the acoustic signal acquired by the acquisition unit 131 using an acoustic model that has been learned in advance as to whether or not the acoustic signal is sound. For example, the determination unit 133 determines whether or not a predetermined section of the acoustic signal includes speech by using DNN learned using speech data of a large number of speakers as learning data.

判定部133は、モデルやDNNに関する学習処理について、種々の既知の手法を利用するようにしてもよい。また、図2で示したように、判定部133は、後述する算出部134の前段として機能する。すなわち、算出部134は、取得部131によって取得された音響信号のうち、判定部133によって非音声と判定された区間は、処理対象から棄却してもよい。なお、判定部133は、所定のフレーム単位で音声・非音声を判定した場合、音声と判定したフレームに対応する区間のみを音声区間として算出部134に渡してもよいし、音声と判定したフレーム同士に挟まれた範囲の区間を音声区間として算出部134に渡してもよい。   The determination unit 133 may use various known methods for learning processing related to a model and DNN. Further, as illustrated in FIG. 2, the determination unit 133 functions as a preceding stage of the calculation unit 134 described later. That is, the calculation unit 134 may reject the section determined as non-speech by the determination unit 133 among the acoustic signals acquired by the acquisition unit 131 from the processing target. When the determination unit 133 determines speech / non-speech in a predetermined frame unit, only the section corresponding to the frame determined to be speech may be passed to the calculation unit 134 as a speech section, or the frame determined to be speech A section between the ranges may be passed to the calculation unit 134 as a voice section.

(算出部134について)
算出部134は、音響モデルの音素事後確率を算出する。そして、算出部134は、音響信号の所定の区間において、算出された音素事後確率に基づいて、目的音声と背景発話とを識別する。
(About the calculation unit 134)
The calculation unit 134 calculates a phoneme posterior probability of the acoustic model. Then, the calculation unit 134 identifies the target speech and the background utterance based on the calculated phoneme posterior probability in a predetermined section of the acoustic signal.

具体的には、算出部134は、音響信号における音響モデルの音素事後確率のエントロピーを算出する。上述のように、音響モデルの音素事後確率のエントロピーは、音素事後確率のばらつきを示す値となりうる。このため、算出部134は、算出されたエントロピーの値と所定の閾値とを比較することによって、当該区間における音声が、目的音声であるか背景発話であるかを識別することができる。   Specifically, the calculation unit 134 calculates the entropy of the phoneme posterior probability of the acoustic model in the acoustic signal. As described above, the entropy of the phoneme posterior probability of the acoustic model can be a value indicating the variation of the phoneme posterior probability. Therefore, the calculation unit 134 can identify whether the sound in the section is the target sound or the background utterance by comparing the calculated entropy value with a predetermined threshold.

以下、判定部133及び算出部134を含む識別部132が音声を識別する処理に関して、処理の流れに沿って具体的に説明する。なお、以下で説明する数式等は、あくまで一例であり、他の算出手法を用いてもよい。   Hereinafter, the process of identifying the voice by the identification unit 132 including the determination unit 133 and the calculation unit 134 will be specifically described along the flow of the process. Note that formulas described below are merely examples, and other calculation methods may be used.

入力される音響信号のフレームtにおける特徴量をx(t)とし、WmをDNNにおける第m層の重み行列(weight matrix)、bを第m層におけるバイアスベクトル(bias vector)とすると、音声・非音声を示す事後確率は、以下の流れによって算出される。 Let x (t) be the feature quantity of the input acoustic signal at frame t, W m is the weight matrix of the m-th layer in DNN, and b m is the bias vector in the m-th layer. The posterior probability indicating voice / non-voice is calculated by the following flow.

まず、DNNにおける第1の隠れ層(中間層)の出力は、下記式(1)および(2)で示される。   First, the output of the 1st hidden layer (intermediate layer) in DNN is shown by the following formulas (1) and (2).

Figure 2018005122
Figure 2018005122

Figure 2018005122
Figure 2018005122

また、第m層{m=2、3、4、・・・、M}の出力は、下記式(3)および(4)で示される。   The outputs of the m-th layer {m = 2, 3, 4,..., M} are expressed by the following equations (3) and (4).

Figure 2018005122
Figure 2018005122

Figure 2018005122
Figure 2018005122

ここで、上記式(2)および(4)のgは、第m層における非線形活性化関数を示す。また、第m層目の活性化関数は、例えば下記式(5)で定義されるシグモイド関数(sigmoid function)を用いる。なお、第m層目の活性化関数は、下記式(5)以外にも、正規化線形関数(Rectified Linear)等であってもよい。そして、最後のM層目では恒等関数、すなわち、g(y)=yという関数を用いる。 Here, g m in the above formulas (2) and (4) represents a nonlinear activation function in the m-th layer. The m-th layer activation function uses, for example, a sigmoid function defined by the following equation (5). Note that the activation function of the m-th layer may be a normalized linear function (Rectified Linear) or the like in addition to the following formula (5). In the last M-th layer, an identity function, that is, a function g (y) = y is used.

Figure 2018005122
Figure 2018005122

そして、最終的な第M層の出力は、ソフトマックス関数(softmax function)を用いて、下記式(6)で示すような事後確率へと変換される。   Then, the final M-th layer output is converted into a posteriori probability as shown in the following equation (6) using a softmax function.

Figure 2018005122
Figure 2018005122

この場合、音声Hと非音声Hの事後確率は、下記式(7)及び(8)から算出される。 In this case, the posterior probabilities of the voice H 1 and the non-voice H 0 are calculated from the following equations (7) and (8).

Figure 2018005122
Figure 2018005122

Figure 2018005122
Figure 2018005122

上記式(7)および(8)において、「S」は、音声(Speech)の状態に対応するインデックスの集合を示し、「N」は、非音声(Non-speech)の状態に対応するインデックスの集合を示す。ここで、下記式(9)で示す条件を満たす場合に、識別部132は、フレームtにおける音声が音声フレームであると識別する。   In the above formulas (7) and (8), “S” represents a set of indexes corresponding to the speech state, and “N” represents the index corresponding to the non-speech state. Indicates a set. Here, when the condition expressed by the following formula (9) is satisfied, the identification unit 132 identifies that the audio in the frame t is an audio frame.

Figure 2018005122
Figure 2018005122

そして、識別部132は、事後確率のエントロピーに関しても、上記判定基準(閾値)を利用して識別を行うことができる。事後確率のエントロピーは、例えば下記式(10)によって算出される。   The identifying unit 132 can also identify the entropy of the posterior probability using the determination criterion (threshold value). The entropy of the posterior probability is calculated by the following equation (10), for example.

Figure 2018005122
Figure 2018005122

よって、下記式(11)で示す条件を満たす場合に、識別部132は、フレームtにおける音声が目的音声を含むフレームであると識別することができる(τは所定の閾値を示す)。   Therefore, when the condition represented by the following equation (11) is satisfied, the identification unit 132 can identify that the sound in the frame t is a frame including the target sound (τ represents a predetermined threshold).

Figure 2018005122
Figure 2018005122

上記式(11)で示すように、エントロピーの値(e(t))が所定の閾値を超えない場合、識別部132は、フレームtにおける音声が目的音声を含むフレームであると識別する。上述のように、背景発話における音素の事後確率は、音声が入力される距離や部屋の残響等の影響から、目的音声と比較して一様になる(すなわち、どの音素かを特定し難い)傾向となる。言い換えれば、背景発話における事後確率のエントロピーの値は、目的音声と比較して高くなる傾向にある。このため、識別部132は、エントロピーの値が閾値以上の場合には、フレームtにおける音声が背景発話による音声を含むフレームであると識別する。このように、識別部132は、エントロピーの値を閾値と比較することによって、目的音声と背景発話とを識別することができる。   As indicated by the above equation (11), when the entropy value (e (t)) does not exceed a predetermined threshold, the identification unit 132 identifies that the sound in the frame t is a frame including the target sound. As described above, the posterior probability of the phoneme in the background utterance is uniform compared to the target speech due to the influence of the distance to which the speech is input and the reverberation of the room (that is, it is difficult to identify which phoneme). It becomes a trend. In other words, the entropy value of the posterior probability in the background utterance tends to be higher than that of the target speech. Therefore, when the entropy value is greater than or equal to the threshold value, the identification unit 132 identifies that the sound in the frame t is a frame including the sound from the background utterance. Thus, the identification unit 132 can identify the target speech and the background utterance by comparing the entropy value with the threshold value.

(検出部135について)
検出部135は、識別部132によって識別された結果に基づいて、所定の時間長の音響信号の中から目的音声が含まれる音声区間を検出する。例えば、検出部135は、識別部132によって算出されたエントロピーが所定の閾値を超えない区間を、目的音声が含まれる音声区間として検出する。
(About the detection unit 135)
Based on the result identified by the identification unit 132, the detection unit 135 detects a voice section including the target voice from the acoustic signal having a predetermined time length. For example, the detecting unit 135 detects a section where the entropy calculated by the identifying unit 132 does not exceed a predetermined threshold as a voice section including the target voice.

なお、上述のように識別部132が所定のフレーム(10ミリ秒など)の単位で音声を識別する処理を行う場合、検出部135は、目的音声が含まれると識別されたフレームに対応する区間のみを音声区間として検出してもよいし、目的音声が含まれると識別されたフレームに挟まれた範囲の区間を音声区間として検出してもよい。   As described above, when the identification unit 132 performs the process of identifying the voice in units of a predetermined frame (10 milliseconds or the like), the detection unit 135 includes a section corresponding to the frame identified as including the target voice. May be detected as a voice section, or a section in a range sandwiched between frames identified as containing the target voice may be detected as a voice section.

(送信部136について)
送信部136は、各種情報を送信する。例えば、送信部136は、検出部135によって検出された音声区間に関する情報を情報処理装置200に送信する。なお、音声区間に関する情報は、実際に音声区間として切り出された範囲の音響信号であってもよいし、音響信号のうち、いずれの範囲が目的音声を含む音声区間であるかを示す情報であってもよい。
(About transmitter 136)
The transmission unit 136 transmits various information. For example, the transmission unit 136 transmits information related to the voice section detected by the detection unit 135 to the information processing apparatus 200. The information related to the voice section may be an acoustic signal in a range actually cut out as a voice section, or information indicating which range of the acoustic signal is a voice section including the target voice. May be.

〔4.処理手順〕
次に、図7を用いて、実施形態に係る検出装置100による処理の手順について説明する。図7は、実施形態に係る処理手順を示すフローチャートである。
[4. Processing procedure)
Next, the procedure of processing performed by the detection apparatus 100 according to the embodiment will be described with reference to FIG. FIG. 7 is a flowchart illustrating a processing procedure according to the embodiment.

図7に示すように、検出装置100は、ユーザ端末10から音響信号を取得したか否かを判定する(ステップS101)。検出装置100は、音響信号を取得していない場合(ステップS101;No)、取得するまで待機する。一方、検出装置100は、音響信号を取得した場合(ステップS101;Yes)、取得した音響信号を、DNNを利用した音響モデルに音響信号を入力する(ステップS102)。そして、検出装置100は、入力された音響信号における所定のフレームが音声であるか否かを判定する(ステップS103)。   As illustrated in FIG. 7, the detection apparatus 100 determines whether or not an acoustic signal has been acquired from the user terminal 10 (step S <b> 101). If the detection apparatus 100 has not acquired an acoustic signal (step S101; No), the detection apparatus 100 waits until acquisition. On the other hand, when acquiring the acoustic signal (step S101; Yes), the detection apparatus 100 inputs the acquired acoustic signal into the acoustic model using DNN (step S102). And the detection apparatus 100 determines whether the predetermined | prescribed frame in the input acoustic signal is an audio | voice (step S103).

検出装置100は、処理対象とするフレームが音声でないと判定した場合(ステップS103;No)、すなわち非音声と判定した場合、当該フレームを処理の対象から棄却する(ステップS104)。そして、検出装置100は、音響信号の全てのフレームを処理し終えたか否かを判定する(ステップS105)。   If the detection apparatus 100 determines that the frame to be processed is not speech (step S103; No), that is, determines that the frame is non-speech, the detection device 100 rejects the frame from the processing target (step S104). Then, the detection apparatus 100 determines whether all the frames of the acoustic signal have been processed (Step S105).

検出装置100は、音響信号の全てのフレームを処理し終えた場合(ステップS105;Yes)、それまでの処理の結果に基づいて音声区間を検出する(ステップS111)。一方、検出装置100は、音響信号の全てのフレームを処理し終えていない場合には(ステップS105;No)、次のフレームに処理を進めて(ステップS106)、識別処理を繰り返す。   When the detection apparatus 100 has finished processing all the frames of the acoustic signal (step S105; Yes), the detection apparatus 100 detects a speech section based on the results of the processing so far (step S111). On the other hand, when the detection apparatus 100 has not processed all the frames of the acoustic signal (step S105; No), the detection apparatus 100 proceeds to the next frame (step S106) and repeats the identification process.

ステップS103において、処理対象とするフレームが音声であると判定した場合(ステップS103;Yes)、検出装置100は、音響モデルの音素事後確率のエントロピーを算出する(ステップS107)。   If it is determined in step S103 that the frame to be processed is speech (step S103; Yes), the detection apparatus 100 calculates the entropy of the phoneme posterior probability of the acoustic model (step S107).

そして、検出装置100は、エントロピーが閾値よりも大きいか否かを判定する(ステップS108)。所定のフレームにおけるエントロピーが閾値以上である場合(ステップS108;Yes)、検出装置100は、そのフレームを背景発話と推定して棄却する(ステップS109)。   And the detection apparatus 100 determines whether entropy is larger than a threshold value (step S108). When the entropy in the predetermined frame is greater than or equal to the threshold (step S108; Yes), the detection apparatus 100 estimates that frame as a background utterance and rejects it (step S109).

一方、検出装置100は、所定のフレームにおけるエントロピーが閾値よりも小さい場合(ステップS108;No)、検出装置100は、そのフレームが目的音声を含む区間であると推定する。そして、検出装置100は、音響信号の全てのフレームを処理し終えたか否かを判定する(ステップS110)。   On the other hand, when the entropy in the predetermined frame is smaller than the threshold (step S108; No), the detection apparatus 100 estimates that the frame is a section including the target voice. Then, the detection apparatus 100 determines whether or not all the frames of the acoustic signal have been processed (step S110).

処理を終えていない場合(ステップS110;No)、検出装置100は、音響信号の全てのフレームを処理し終えるまで、処理対象を次のフレームに進めたのち、ステップS103に処理を戻す。一方、検出装置100は、音響信号の全てのフレームを処理し終えた場合には(ステップS110;Yes)、目的音声と背景発話との識別結果に基づいて、非音声や背景発話のフレームを除いた区間を、音響信号における目的音声を含む音声区間として検出する(ステップS111)。   When the process has not been completed (step S110; No), the detection apparatus 100 advances the process target to the next frame until all the frames of the acoustic signal have been processed, and then returns the process to step S103. On the other hand, when all the frames of the acoustic signal have been processed (step S110; Yes), the detection apparatus 100 excludes non-speech and background utterance frames based on the discrimination result between the target voice and the background utterance. The detected section is detected as a voice section including the target voice in the acoustic signal (step S111).

〔5.変形例〕
上述した検出装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、検出装置100の他の実施形態について説明する。
[5. (Modification)
The above-described detection device 100 may be implemented in various different forms other than the above embodiment. Therefore, in the following, another embodiment of the detection device 100 will be described.

〔5−1.学習処理〕
上記実施形態では、エントロピーの値が所定の閾値を超えるか否かに基づいて、目的音声と背景発話とを識別する処理を説明した。ここで、所定の閾値は、予め定められた一定の値に限られず、種々の学習処理を経て最適化されるようにしてもよい。
[5-1. Learning process)
In the embodiment described above, the process of identifying the target speech and the background utterance based on whether the entropy value exceeds a predetermined threshold has been described. Here, the predetermined threshold value is not limited to a predetermined constant value, and may be optimized through various learning processes.

例えば、検出装置100は、目的音声と識別した結果について、正解データのフィードバックを取得する。例えば、検出装置100は、目的音声と識別した結果が、真に目的音声であったか否かのフィードバックを取得する。そして、検出装置100は、フィードバックの結果に基づいて、閾値の値を学習する。例えば、検出装置100は、目的音声として出力する結果と、真に目的音声であったとするフィードバックとの一致率を上昇させるよう、閾値の値を学習する。これにより、検出装置100は、処理を行う回数が増すにつれ、閾値として設定する値を最適化することができる。   For example, the detection apparatus 100 acquires feedback of correct data for the result of identification as the target voice. For example, the detection apparatus 100 acquires feedback as to whether or not the result of identifying the target voice is truly the target voice. And the detection apparatus 100 learns the value of a threshold value based on the result of feedback. For example, the detection apparatus 100 learns the threshold value so as to increase the matching rate between the result output as the target voice and the feedback that is truly the target voice. Thereby, the detection apparatus 100 can optimize the value set as the threshold value as the number of times of processing increases.

〔5−2.モデル〕
上記実施形態では、音声か非音声かを判定するモデルと、目的音声と背景発話とを識別するモデルとを同じ音響モデルとして示した。しかし、これらの処理を実現する音響モデルは、別々のモデルであってもよい。例えば、実施形態に係る音響モデルは、音声と非音声を判定する判定モデルと、発話データによって発せられた音素を識別する識別モデルとで実現されてもよい。これらのモデルは、それぞれDNNによって多数の発話者の発話データを学習する。そして、判定モデルは、発話データによって音声か非音声かを判定する処理を学習する。また、識別モデルは、発話データによって発せられた音素を学習する。このように、実施形態に係る処理は、DNNによって学習された別々のモデルによって実現されてもよい。
[5-2. model〕
In the above-described embodiment, the model for determining whether the sound is speech or non-speech and the model for identifying the target speech and the background speech are shown as the same acoustic model. However, the acoustic models for realizing these processes may be separate models. For example, the acoustic model according to the embodiment may be realized by a determination model that determines speech and non-speech, and an identification model that identifies phonemes emitted by speech data. Each of these models learns utterance data of a large number of speakers by DNN. Then, the determination model learns processing for determining whether the speech data is speech or non-speech based on the speech data. The identification model learns phonemes uttered by the utterance data. As described above, the processing according to the embodiment may be realized by separate models learned by the DNN.

〔5−3.学習〕
上記実施形態では、DNNを利用して学習されたモデルを用いることを示した。しかし、検出装置100は、DNNに限らず、他の学習処理を利用して学習されたモデルを利用してもよい。例えば、検出装置100は、既知の機械学習によって学習されたモデルを利用してもよい。すなわち、検出装置100は、上記のように音素の事後確率のエントロピーを算出可能なモデルであれば、任意のモデルを用いてもよい。
[5-3. Learning)
In the said embodiment, it showed using the model learned using DNN. However, the detection apparatus 100 is not limited to DNN, and may use a model learned using another learning process. For example, the detection apparatus 100 may use a model learned by known machine learning. In other words, the detection apparatus 100 may use any model as long as it can calculate the entropy of the posterior probability of phonemes as described above.

〔6.ハードウェア構成〕
上述してきた実施形態に係る検出装置100や、ユーザ端末10や、情報処理装置200は、例えば図8に示すような構成のコンピュータ1000によって実現される。以下、検出装置100を例に挙げて説明する。図8は、検出装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
[6. Hardware configuration)
The detection apparatus 100, the user terminal 10, and the information processing apparatus 200 according to the above-described embodiments are realized by a computer 1000 having a configuration as illustrated in FIG. Hereinafter, the detection apparatus 100 will be described as an example. FIG. 8 is a hardware configuration diagram illustrating an example of a computer 1000 that implements the functions of the detection apparatus 100. The computer 1000 includes a CPU 1100, RAM 1200, ROM 1300, HDD 1400, communication interface (I / F) 1500, input / output interface (I / F) 1600, and media interface (I / F) 1700.

CPU1100は、ROM1300又はHDD1400に記憶されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を記憶する。   The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400 and controls each unit. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started up, a program depending on the hardware of the computer 1000, and the like.

HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス1500は、通信網500(図3に示したネットワークNに対応)を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを、通信網500を介して他の機器へ送信する。   The HDD 1400 stores a program executed by the CPU 1100, data used by the program, and the like. The communication interface 1500 receives data from other devices via the communication network 500 (corresponding to the network N shown in FIG. 3), sends the data to the CPU 1100, and transmits the data generated by the CPU 1100 to the other devices via the communication network 500. Send to device.

CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。   The CPU 1100 controls an output device such as a display and a printer and an input device such as a keyboard and a mouse via the input / output interface 1600. The CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the data generated via the input / output interface 1600 to the output device.

メディアインターフェイス1700は、記録媒体1800に記憶されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。   The media interface 1700 reads a program or data stored in the recording medium 1800 and provides it to the CPU 1100 via the RAM 1200. The CPU 1100 loads such a program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. Etc.

例えば、コンピュータ1000が実施形態に係る検出装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、HDD1400には、記憶部120内のデータが記憶される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から通信網500を介してこれらのプログラムを取得してもよい。   For example, when the computer 1000 functions as the detection device 100 according to the embodiment, the CPU 1100 of the computer 1000 implements the function of the control unit 130 by executing a program loaded on the RAM 1200. The HDD 1400 stores data in the storage unit 120. The CPU 1100 of the computer 1000 reads these programs from the recording medium 1800 and executes them, but as another example, these programs may be acquired from other devices via the communication network 500.

〔7.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[7. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図4に示した識別部132と検出部135とは統合されてもよい。また、例えば、記憶部120に記憶される情報は、ネットワークNを介して、外部に備えられた所定の記憶装置に記憶されてもよい。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the identification unit 132 and the detection unit 135 illustrated in FIG. 4 may be integrated. Further, for example, information stored in the storage unit 120 may be stored in a predetermined storage device provided outside via the network N.

また、上記実施形態では、検出装置100が、音響信号を取得する取得処理と、音声区間を検出する検出処理と、検出した結果を送信する送信処理とを行う例を示した。しかし、上述した検出装置100は、音響信号を取得する取得装置と、音声区間を検出する検出装置と、検出した結果を送信する送信装置とに分離されてもよい。この場合、取得装置は、少なくとも取得部131を有する。検出装置は、少なくとも検出部135を有する。また、送信装置は、少なくとも送信部136を有する。そして、上述してきた検出装置100による処理は、取得装置と、検出装置と、送信装置との各装置を有する検出処理システム1によって実現される。   Moreover, in the said embodiment, the detection apparatus 100 showed the example which performs the acquisition process which acquires an acoustic signal, the detection process which detects an audio | voice area, and the transmission process which transmits the detected result. However, the detection device 100 described above may be separated into an acquisition device that acquires an acoustic signal, a detection device that detects a voice section, and a transmission device that transmits a detection result. In this case, the acquisition device includes at least the acquisition unit 131. The detection device has at least a detection unit 135. Further, the transmission device includes at least a transmission unit 136. And the process by the detection apparatus 100 mentioned above is implement | achieved by the detection processing system 1 which has each apparatus of an acquisition apparatus, a detection apparatus, and a transmission apparatus.

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。   In addition, the above-described embodiments and modifications can be combined as appropriate within a range that does not contradict processing contents.

〔8.効果〕
上述してきたように、実施形態に係る検出装置100は、取得部131と、識別部132と、検出部135とを有する。取得部131は、所定の時間長の音響信号を取得する。識別部132は、音響信号における音素の尤度を測定する音響モデルを用いて、取得部131によって取得された音響信号から、処理対象とする音声である目的音声と、目的音声以外の音声である背景発話とを識別する。検出部135は、識別部132によって識別された結果に基づいて、所定の時間長の音響信号の中から目的音声が含まれる音声区間を検出する。
[8. effect〕
As described above, the detection apparatus 100 according to the embodiment includes the acquisition unit 131, the identification unit 132, and the detection unit 135. The acquisition unit 131 acquires an acoustic signal having a predetermined time length. The identification unit 132 is a target speech that is a speech to be processed and a speech other than the target speech from the acoustic signal acquired by the acquisition unit 131 using an acoustic model that measures the likelihood of phonemes in the acoustic signal. Identify background utterances. Based on the result identified by the identification unit 132, the detection unit 135 detects a voice section including the target voice from the acoustic signal having a predetermined time length.

このように、実施形態に係る検出装置100は、音響モデルを用いて音声区間検出を行うことにより、目的音声に背景発話が混在するような音声を含む音響信号からも、精度良く目的音声を含む音声区間検出を行うことができる。具体的には、検出装置100は、音響モデルを用いて背景発話を識別し、背景発話と識別された区間を棄却することにより、頑健な音声区間検出を実現する。これにより、検出装置100は、後段の処理として音声認識を行う情報処理装置200に、精度良く音声区間が検出された音響信号を送信することができるため、結果として、音声認識の精度を向上させることができる。   As described above, the detection apparatus 100 according to the embodiment includes the target voice with high accuracy from the acoustic signal including the voice in which the background speech is mixed in the target voice by detecting the voice section using the acoustic model. Voice segment detection can be performed. Specifically, the detection apparatus 100 realizes robust speech section detection by identifying a background utterance using an acoustic model and rejecting the section identified as the background utterance. Thereby, since the detection apparatus 100 can transmit the acoustic signal in which the voice section is detected with high accuracy to the information processing apparatus 200 that performs voice recognition as a subsequent process, as a result, the accuracy of voice recognition is improved. be able to.

また、識別部132は、音響モデルの音素事後確率に基づいて、目的音声と背景発話とを識別する。   The identifying unit 132 identifies the target speech and the background utterance based on the phoneme posterior probability of the acoustic model.

このように、実施形態に係る検出装置100は、音響モデルによって識別される音素の事後確率を求めることによって、目的音声と比較して音素が不明瞭になる傾向にある背景発話を識別する。これにより、検出装置100は、目的音声と背景発話とを高い精度で識別することができるため、音声区間の検出精度を向上させることができる。   As described above, the detection apparatus 100 according to the embodiment identifies a background utterance in which the phoneme tends to be unclear compared to the target speech by obtaining the posterior probability of the phoneme identified by the acoustic model. Thereby, since the detection apparatus 100 can identify the target speech and the background utterance with high accuracy, the detection accuracy of the speech section can be improved.

また、識別部132は、音響信号における音響モデルの音素事後確率のエントロピーを算出する。検出部135は、識別部132によって算出されたエントロピーが所定の閾値を超えない区間を、目的音声が含まれる音声区間として検出する。   The identifying unit 132 also calculates the entropy of the phoneme posterior probability of the acoustic model in the acoustic signal. The detection unit 135 detects a section in which the entropy calculated by the identification unit 132 does not exceed a predetermined threshold as a voice section including the target voice.

このように、実施形態に係る検出装置100は、音響モデルの音素事後確率のエントロピーを算出し、算出した値に基づいて目的音声を含む区間を検出する。このように、検出装置100は、エントロピーという指標値に基づいて目的音声と背景発話とを識別することができるため、より頑健な音声区間の検出処理を行うことができる。   As described above, the detection apparatus 100 according to the embodiment calculates the entropy of the phoneme posterior probability of the acoustic model, and detects a section including the target speech based on the calculated value. Thus, since the detection apparatus 100 can identify the target speech and the background utterance based on the index value called entropy, the detection device 100 can perform more robust speech section detection processing.

また、識別部132は、音響信号が音声であるか否かを学習した音響モデルを用いて、取得部131によって取得された音響信号に音声が含まれるか否かを判定し、音声が含まれると判定された音響信号から、音響モデルを用いて目的音声と背景発話とを識別する。   In addition, the identification unit 132 determines whether or not sound is included in the acoustic signal acquired by the acquisition unit 131 by using an acoustic model that has learned whether or not the acoustic signal is sound, and includes the sound. The target speech and the background utterance are identified using the acoustic model from the determined acoustic signal.

このように、実施形態に係る検出装置100は、予め音声か非音声かを判定するためのモデルを学習しておき、かかる処理を経て、目的音声と背景発話とを識別する処理を行う。すなわち、検出装置100は、音声検出処理において多段的な処理を行うことにより、音声区間の検出処理の精度を向上させることができる。   As described above, the detection apparatus 100 according to the embodiment learns a model for determining whether it is speech or non-speech in advance, and performs processing for identifying the target speech and the background utterance through such processing. That is, the detection apparatus 100 can improve the accuracy of the speech section detection processing by performing multistage processing in the speech detection processing.

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   The embodiment of the present application has been described in detail with reference to the drawings. However, this is an exemplification, and various modifications and improvements are made based on the knowledge of those skilled in the art including the aspects described in the column of the disclosure of the invention. The present invention can be implemented in other forms.

また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。   In addition, the “section (module, unit)” described above can be read as “means” or “circuit”. For example, the acquisition unit can be read as acquisition means or an acquisition circuit.

1 検出処理システム
10 ユーザ端末
100 検出装置
110 通信部
120 記憶部
121 学習データ記憶部
122 音響モデル記憶部
130 制御部
131 取得部
132 識別部
133 判定部
134 算出部
135 検出部
136 送信部
200 情報処理装置
DESCRIPTION OF SYMBOLS 1 Detection processing system 10 User terminal 100 Detection apparatus 110 Communication part 120 Storage part 121 Learning data storage part 122 Acoustic model storage part 130 Control part 131 Acquisition part 132 Identification part 133 Determination part 134 Calculation part 135 Detection part 136 Transmission part 200 Information processing apparatus

Claims (6)

所定の時間長の音響信号を取得する取得部と、
音響信号における音素の尤度を測定する音響モデルを用いて、前記取得部によって取得された音響信号から、処理対象とする音声である目的音声と、目的音声以外の音声である背景発話とを識別する識別部と、
前記識別部によって識別された結果に基づいて、前記所定の時間長の音響信号の中から目的音声が含まれる音声区間を検出する検出部と、
を備えることを特徴とする検出装置。
An acquisition unit for acquiring an acoustic signal of a predetermined time length;
Using the acoustic model that measures the likelihood of phonemes in the acoustic signal, the target speech that is the speech to be processed and the background utterance that is speech other than the target speech are identified from the acoustic signal acquired by the acquisition unit An identification part to be
Based on the result identified by the identification unit, a detection unit for detecting a voice section including a target voice from the acoustic signal of the predetermined time length;
A detection apparatus comprising:
前記識別部は、
前記音響モデルの音素事後確率に基づいて、前記目的音声と前記背景発話とを識別する、
ことを特徴とする請求項1に記載の検出装置。
The identification unit is
Identifying the target speech and the background utterance based on the phoneme posterior probability of the acoustic model;
The detection apparatus according to claim 1.
前記識別部は、
前記音響信号における前記音響モデルの音素事後確率のエントロピーを算出し、
前記検出部は、
前記識別部によって算出されたエントロピーが所定の閾値を超えない区間を、前記目的音声が含まれる音声区間として検出する、
ことを特徴とする請求項1又は2に記載の検出装置。
The identification unit is
Calculating the entropy of the phoneme posterior probability of the acoustic model in the acoustic signal;
The detector is
Detecting a section in which the entropy calculated by the identification unit does not exceed a predetermined threshold as a voice section including the target voice;
The detection device according to claim 1, wherein
前記識別部は、
音響信号が音声であるか否かを学習した前記音響モデルを用いて、前記取得部によって取得された音響信号に音声が含まれるか否かを判定し、音声が含まれると判定された音響信号から、前記音響モデルを用いて前記目的音声と前記背景発話とを識別する、
ことを特徴とする請求項1〜3のいずれか一つに記載の検出装置。
The identification unit is
Using the acoustic model that has learned whether or not the acoustic signal is speech, it is determined whether or not speech is included in the acoustic signal acquired by the acquisition unit, and the acoustic signal determined to include speech To identify the target speech and the background utterance using the acoustic model,
The detection device according to claim 1, wherein
コンピュータが実行する検出方法であって、
所定の時間長の音響信号を取得する取得工程と、
音響信号における音素の尤度を測定する音響モデルを用いて、前記取得工程によって取得された音響信号から、処理対象とする音声である目的音声と、目的音声以外の音声である背景発話とを識別する識別工程と、
前記識別工程によって識別された結果に基づいて、前記所定の時間長の音響信号の中から目的音声が含まれる音声区間を検出する検出工程と、
を含んだことを特徴とする検出方法。
A detection method performed by a computer,
An acquisition step of acquiring an acoustic signal of a predetermined time length;
Using the acoustic model that measures the likelihood of phonemes in the acoustic signal, the target speech that is the speech to be processed and the background utterance that is speech other than the target speech are identified from the acoustic signal acquired by the acquisition step An identification process to
Based on the result identified by the identification step, a detection step of detecting a voice section including a target voice from the acoustic signal of the predetermined time length;
The detection method characterized by including.
所定の時間長の音響信号を取得する取得手順と、
音響信号における音素の尤度を測定する音響モデルを用いて、前記取得手順によって取得された音響信号から、処理対象とする音声である目的音声と、目的音声以外の音声である背景発話とを識別する識別手順と、
前記識別手順によって識別された結果に基づいて、前記所定の時間長の音響信号の中から目的音声が含まれる音声区間を検出する検出手順と、
をコンピュータに実行させることを特徴とする検出プログラム。
An acquisition procedure for acquiring an acoustic signal of a predetermined time length;
Using the acoustic model that measures the likelihood of phonemes in the acoustic signal, the target speech that is the speech to be processed and the background utterance that is speech other than the target speech are identified from the acoustic signal acquired by the acquisition procedure An identification procedure to
Based on the result identified by the identification procedure, a detection procedure for detecting a speech section including the target speech from the acoustic signal of the predetermined time length;
A detection program for causing a computer to execute.
JP2016135403A 2016-07-07 2016-07-07 Detecting device, detecting method, and detecting program Active JP6731802B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016135403A JP6731802B2 (en) 2016-07-07 2016-07-07 Detecting device, detecting method, and detecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016135403A JP6731802B2 (en) 2016-07-07 2016-07-07 Detecting device, detecting method, and detecting program

Publications (2)

Publication Number Publication Date
JP2018005122A true JP2018005122A (en) 2018-01-11
JP6731802B2 JP6731802B2 (en) 2020-07-29

Family

ID=60946284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016135403A Active JP6731802B2 (en) 2016-07-07 2016-07-07 Detecting device, detecting method, and detecting program

Country Status (1)

Country Link
JP (1) JP6731802B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168674A (en) * 2018-03-22 2019-10-03 カシオ計算機株式会社 Voice section detection apparatus, voice section detection method, and program
CN112002347A (en) * 2020-08-14 2020-11-27 北京奕斯伟计算技术有限公司 Voice detection method and device and electronic equipment
WO2021125037A1 (en) * 2019-12-17 2021-06-24 ソニーグループ株式会社 Signal processing device, signal processing method, program, and signal processing system
US11276390B2 (en) 2018-03-22 2022-03-15 Casio Computer Co., Ltd. Audio interval detection apparatus, method, and recording medium to eliminate a specified interval that does not represent speech based on a divided phoneme
CN112002347B (en) * 2020-08-14 2024-05-14 海宁奕斯伟集成电路设计有限公司 Voice detection method and device and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015059947A1 (en) * 2013-10-22 2015-04-30 日本電気株式会社 Speech detection device, speech detection method, and program
WO2015059946A1 (en) * 2013-10-22 2015-04-30 日本電気株式会社 Speech detection device, speech detection method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015059947A1 (en) * 2013-10-22 2015-04-30 日本電気株式会社 Speech detection device, speech detection method, and program
WO2015059946A1 (en) * 2013-10-22 2015-04-30 日本電気株式会社 Speech detection device, speech detection method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168674A (en) * 2018-03-22 2019-10-03 カシオ計算機株式会社 Voice section detection apparatus, voice section detection method, and program
US11276390B2 (en) 2018-03-22 2022-03-15 Casio Computer Co., Ltd. Audio interval detection apparatus, method, and recording medium to eliminate a specified interval that does not represent speech based on a divided phoneme
JP7222265B2 (en) 2018-03-22 2023-02-15 カシオ計算機株式会社 VOICE SECTION DETECTION DEVICE, VOICE SECTION DETECTION METHOD AND PROGRAM
WO2021125037A1 (en) * 2019-12-17 2021-06-24 ソニーグループ株式会社 Signal processing device, signal processing method, program, and signal processing system
CN112002347A (en) * 2020-08-14 2020-11-27 北京奕斯伟计算技术有限公司 Voice detection method and device and electronic equipment
CN112002347B (en) * 2020-08-14 2024-05-14 海宁奕斯伟集成电路设计有限公司 Voice detection method and device and electronic equipment

Also Published As

Publication number Publication date
JP6731802B2 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
US11657812B2 (en) Message playback using a shared device
US10607597B2 (en) Speech signal recognition system and method
US9875739B2 (en) Speaker separation in diarization
US11769492B2 (en) Voice conversation analysis method and apparatus using artificial intelligence
US11308955B2 (en) Method and apparatus for recognizing a voice
US11094316B2 (en) Audio analytics for natural language processing
US11443750B2 (en) User authentication method and apparatus
US20200219384A1 (en) Methods and systems for ambient system control
US11393459B2 (en) Method and apparatus for recognizing a voice
US10157614B1 (en) Message playback using a shared device
US10186267B1 (en) Message playback using a shared device
CN108039181B (en) Method and device for analyzing emotion information of sound signal
JP6246636B2 (en) PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM
JP6892426B2 (en) Learning device, detection device, learning method, learning program, detection method, and detection program
US20220084543A1 (en) Cognitive Assistant for Real-Time Emotion Detection from Human Speech
JP6731802B2 (en) Detecting device, detecting method, and detecting program
US10923113B1 (en) Speechlet recommendation based on updating a confidence value
US20240071408A1 (en) Acoustic event detection
US20230223014A1 (en) Adapting Automated Speech Recognition Parameters Based on Hotword Properties
JP6784255B2 (en) Speech processor, audio processor, audio processing method, and program
US11749270B2 (en) Output apparatus, output method and non-transitory computer-readable recording medium
KR20210098250A (en) Electronic device and Method for controlling the electronic device thereof
US10649725B1 (en) Integrating multi-channel inputs to determine user preferences
CN113689886B (en) Voice data emotion detection method and device, electronic equipment and storage medium
US20230230613A1 (en) Computerized distress call detection and authentication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200707

R150 Certificate of patent or registration of utility model

Ref document number: 6731802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350