JP2016006440A - 音声処理装置、音声処理方法および音声処理プログラム - Google Patents

音声処理装置、音声処理方法および音声処理プログラム Download PDF

Info

Publication number
JP2016006440A
JP2016006440A JP2014126828A JP2014126828A JP2016006440A JP 2016006440 A JP2016006440 A JP 2016006440A JP 2014126828 A JP2014126828 A JP 2014126828A JP 2014126828 A JP2014126828 A JP 2014126828A JP 2016006440 A JP2016006440 A JP 2016006440A
Authority
JP
Japan
Prior art keywords
utterance
voice
section
speech
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014126828A
Other languages
English (en)
Other versions
JP6394103B2 (ja
Inventor
太郎 外川
Taro Togawa
太郎 外川
千里 塩田
Chisato Shioda
千里 塩田
猛 大谷
Takeshi Otani
猛 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014126828A priority Critical patent/JP6394103B2/ja
Priority to US14/723,907 priority patent/US20150371662A1/en
Publication of JP2016006440A publication Critical patent/JP2016006440A/ja
Application granted granted Critical
Publication of JP6394103B2 publication Critical patent/JP6394103B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

【課題】
周囲雑音に依存せずに受話音声の発話区間を推定することが可能となる音声処理装置を提供する。
【解決手段】
音声処理装置は、送話音声を取得する取得部と、送話音声の第1発話区間を検出する検出部と、第1発話区間の区間長、または、第1発話区間の母音数を含む第1特徴量を算出する算出部を備える。更に当該音声処理装置は、第1特徴量が第1閾値未満となる第2特徴量が送話音声に出現する頻度を判定する判定部と、頻度に基づいて、受話音声の発話時間を推定する推定部を備える。
【選択図】図1

Description

本発明は、例えば、発話時間を推定する音声処理装置、音声処理方法および音声処理プログラムに関する。
近年、情報処理機器の発達に伴い、例えば、携帯端末やパーソナルコンピュータにインストールされる通話アプリケーションを介して会話が行われる場面が増加している。相手と自分が会話する場合、お互いの考えを理解し合いながら対話を進めることで円滑なコミュニケーションが実現できる。この場合、相手の考えを理解する為には、自分が一方的に発話を続けることなく、相手の発話を十分に聞くことが重要とされている。円滑なコミュニケーションを実現出来ているか否かを把握する上で、入力音声から自分と相手の発話時間を高い精度で検出する技術が求められている。例えば、自分と相手の発話時間を検出することにより、双方で議論が活発に行われているか否かを判断することが出来る。また、外国語学習において、受講者が外国語を理解し、積極的に発言しているか否かを判定することが出来る。この様な状況下において、入力音声の信号品質を評価し、当該評価結果に基づいて発話区間を推定する技術が開示されている。
国際公開第2009/145192号パンフレット
上述の発話区間を検出する技術において、周囲雑音レベルが音声レベルよりも大きい場合においては発話区間を推定することは難しい。例えば、第1ユーザ(自分と称しても良い)と第2ユーザ(相手と称しても良い)の対面での会話において、第1ユーザがウェアラブルマイクを着用し、第2ユーザの発話区間を検出する場合、第2ユーザとウェアラブルマイクとの距離が離れている為、第2ユーザの音声は周囲雑音に埋もれ易くなる傾向がある。また、第1ユーザと第2ユーザの通信網を介した会話においても、第2ユーザが屋外に存在する場合、第2ユーザの音声レベルは周囲雑音に埋もれ易くなる傾向がある。換言すると、周囲雑音に依存せずに受話音声の発話区間を推定することが出来る音声処理装置は実現されていない状況にある。本発明においては、周囲雑音に依存せずに受話音声の発話区間を推定することが出来る音声処理装置を提供することを目的とする。
本発明が開示する音声処理装置は、送話音声を取得する取得部と、送話音声の第1発話区間を検出する検出部と、第1発話区間の区間長、または、第1発話区間の母音数を含む第1特徴量を算出する算出部を備える。更に当該音声処理装置は、第1特徴量が第1閾値未満となる第2特徴量が送話音声に出現する頻度を判定する判定部と、頻度に基づいて、受話音声の発話時間を推定する推定部を備える。
なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
本明細書に開示される音声処理装置では、周囲雑音に依存せずに受話音声の発話区間を推定することが可能となる。
第1の実施形態による音声処理装置の機能ブロック図である。 音声処理装置による音声処理方法のフローチャートである。 一つの実施形態による検出部の機能ブロック図である。 検出部による発話区間と無音区間の検出結果を示す図である。 判定部の第2特徴量の出現の判定結果を示す図である 第1ユーザ相槌の頻度と第2ユーザの発話時間の関係図である (a)は、頻度と推定される受話音声の発話時間の第1関係図である。(b)は、頻度と推定される受話音声の発話時間の第2関係図である。 頻度と推定される受話音声の発話時間の第3関係図である。 第2の実施形態による音声処理装置の機能ブロック図である。 受話音声の発話区間における重複区間の概念図である。 一つの実施形態による携帯端末装置として機能するハードウェア構成図である。 一つの実施形態による音声処理装置として機能するコンピュータのハードウェア構成図である。
以下に、一つの実施形態による音声処理装置、音声処理方法及び音声処理プログラムの実施例を図面に基づいて詳細に説明する。なお、当該実施例は、開示の技術を限定するものではない。
(実施例1)
図1は、第1の実施形態による音声処理装置1の機能ブロック図である。音声処理装置1は、取得部2、検出部3、算出部4、判定部5、推定部6を有する。図2は、音声処理装置1の音声処理のフローチャートである。実施例1においては、図2に示す音声処理装置1による音声処理のフローを、図1に示す音声処理装置1の機能ブロック図の各機能の説明に対応付けて説明する。
取得部2は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部2は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部2は、入力音声の一例となる送話音声を、例えば、外部装置を介して取得する。なお、当該処理は、図2に示すフローチャートのステップS201に対応する。また、送話音声は、音声処理装置1を使用する第1ユーザ(自分と称しても良い)の会話相手となる第2ユーザ(相手と称しても良い)に対して発話する音声を指す。また、取得部2は、例えば、音声処理装置1に接続または配置される、図示しないマイクロフォン(上述の外部装置に相当)から送話音声を取得することが可能である。送話音声は、例えば、日本語であるが、英語等の他の言語であっても良い。換言すると、実施例1における音声処理においては、言語依存は存在しない。取得部2は取得した送話音声を検出部3に出力する。
検出部3は、例えば、ワイヤードロジックによるハードウェア回路である。また、検出部3は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検出部3は、送話音声を取得部2から受け取る。検出部3は、送話音声に含まれる発話区間(第1発話区間、または、有音区間と称しても良い)を示す呼気区間を検出する。なお、当該処理は、図2に示すフローチャートのステップS202に対応する。また、呼気区間は、例えば、第1ユーザが発話中において吸気を行ってから発話を開始し、再び吸気を実施するまでの区間(換言すると第1の呼吸と第2呼吸の間の区間、または発話を続けている区間)となる。検出部3は、例えば、送話音声に含まれる複数のフレームから信号品質(第1信号対雑音比と称しても良い)の一例となる信号電力対雑音比となる平均SNRを検出し、当該平均SNRが所定の条件を満たしている区間を発話区間(上述の通り、第1発話区間と称しても良い)として検出することが出来る。また、検出部3は、送話音声に含まれる発話区間の後端に連接する無音区間を示す吸気区間を検出する。検出部3は、例えば、上述の当該平均SNRが所定の条件を満たさない区間を無音区間(換言すると吸気区間)として検出することが出来る。
ここで、検出部3による発話区間と無音区間の検出処理の詳細について説明する。図3は、一つの実施形態による検出部3の機能ブロック図である。検出部3は、音量算出部9、雑音推定部10、平均SNR算出部11、区間決定部12を有する。なお、検出部3は、音量算出部9、雑音推定部10、平均SNR算出部11、区間決定部12を必ずしも有する必要はなく、各部が有する機能を、一つのまたは複数のワイヤードロジックによるハードウェア回路で実現させても良い。また、検出部3に含まれる各部が有する機能をワイヤードロジックによるハードウェア回路に代えて、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールで実現させても良い。
図3において、送話音声が検出部3を介して音量算出部9に入力される。なお、音量算出部9は、図示しない長さMのバッファまたはキャッシュを有する。音量算出部9は、送話音声に含まれる各フレームの音量を算出し、当該音量を雑音推定部10と平均SNR算出部11へ出力する。なお、送話音声に含まれる各フレーム長は、例えば0.2msecである。各フレームの音量S(n)は、次式の通り、算出することが出来る。
(数1)

ここで、nは、送話音声に含まれる音響フレームの入力開始から各フレームに連続して付されるフレーム番号(nは0以上の整数)、Mは1フレームの時間長、tは時間、c(t)は、送話音声の振幅(電力)を示す。
雑音推定部10は、各フレームの音量S(n)を音量算出部9から受け取る。雑音推定部10は、各フレームにおける雑音を推定して、雑音推定結果を平均SNR算出部11へ出力する。ここで、雑音推定部10による各フレームの雑音推定は、例えば、以下の(雑音推定方法1)または、(雑音推定方法2)を用いることが出来る。
(雑音推定方法1)
雑音推定部10は、フレームnにおける雑音の大きさ(電力)N(n)を、フレームnにおける音量S(n)、前フレーム(n−1)における音量S(n−1)ならびに、雑音の大きさN(n−1)に基づいて、次式を用いて推定することが出来る。
(数2)

ここで、α、βは、定数であり、実験的に決定されれば良い。例えば、α=0.9、β=2.0であれば良い。また、雑音電力の初期値N(−1)も、実験的に決定されれば良い。上述の(数2)において、フレームnの音量S(n)が、1つ前のフレームn−1の音量S(n−1)に対して一定値β以上変化しない場合には、フレームnの雑音電力N(n)が更新される。一方、フレームnの音量S(n)が、1つ前のフレームn−1の音量S(n−1)に対して一定値β以上変化する場合には、1つ前のフレームn−1の雑音電力N(n−1)をフレームnの雑音電力N(n)とする。なお、雑音電力N(n)を上述の雑音推定結果と称しても良い。
(雑音推定方法2)
雑音推定部10は、雑音の大きさの更新を、次式の(数3)を用いて、フレームnの音量S(n)と、1つ前のフレームn−1の雑音電力N(n−1)との比に基づいて実施しても良い。
(数3)

ここで、γは定数であり、実験的に決定されれば良い。例えば、γ=2.0であれば良い。また、雑音電力の初期値N(−1)も、実験的に決定されれば良い。上述の(数3)において、フレームnの音量S(n)が、1つ前のフレームn−1の雑音電力N(n−1)に対して一定値γ倍未満である場合には、フレームnの雑音電力N(n)を更新する。一方、フレームnの音量S(n)が、1つ前のフレームn−1の雑音電力N(n−1)に対して一定値γ倍以上である場合には、1つ前のフレームn−1の雑音電力N(n−1)をフレームnの雑音電力N(n)とする。
図3において、平均SNR算出部11は、音量算出部9から各フレームの音量S(n)を受け取り、雑音推定部10から雑音推定結果となる各フレームの雑音電力N(n)を受け取る。なお、平均SNR算出部11は、図示しないキャッシュまたはメモリを有しており、過去Lフレーム分の音量S(n)、雑音電力N(n)を保持する。平均SNR算出部11は、次式を用いて、分析対象時間(フレーム)内の平均SNRを算出し、当該平均SNRを区間決定部12へ出力する。
(数4)

ここで、Lは促音の一般的な長さよりも大きな値に規定すれば良く、例えば、0.5msecに相当するフレーム数を規定すれば良い。
区間決定部12は、平均SNRを平均SNR算出部11から受け取る。区間決定部12は、図示しないバッファまたはキャッシュを有しており、区間決定部12による前処理フレームが、発話区間内(換言すると呼気区間内)であるか否かを示すフラグn_breathを保持する。区間決定部12は、平均SNRとn_breathに基づいて、次式の(数5)を用いて発話区間の始点Ts(n)を検出し、次式の(数6)に用いて発話区間の終点Te(n)を検出する。
(数5)
Ts(n)=n×M
(if n_breath=発話区間ではない、かつ、SNR(n)>THSNR)
(数6)
Te(n)=n×M−1
(if n_breath=発話区間、かつ、SNR(n)<THSNR)
ここで、THSNRは、区間決定部12による処理フレームnが雑音ではないと看做すための任意の閾値(当該閾値を第5閾値(例えば、第5閾値=12dB)と称しても良い)であり、実験的に規定されれば良い。なお、発話区間の始点Ts(n)は、発話区間の始点におけるサンプル数であり、終点Te(n)は、発話区間の終点Te(n)のサンプル数であるものと考えることが出来る。また、区間決定部12は、送話音声において発話区間以外の区間を無音区間として検出することが出来る。
図4は、検出部3による発話区間と無音区間の検出結果を示す図である。図4の横軸は時間を示し、縦軸は送話音声の音量(振幅)を示している。図4に示される通り、各発話区間の後端に連接する区間が無音区間として検出される。また、図4に示される通り、実施例1に開示する検出部3による発話区間の検出においては、周囲雑音に合わせて雑音を学習し、SNRに基づいて発話区間を判別している。この為、周囲雑音による発話区間の誤検出を防ぐことができる。また、平均SNRを複数フレームから求めることで、発話区間内で瞬間的に無音となる時間があっても、連続した発話区間として抽出することができる利点を有している。なお、検出部3は、国際公開第2009/145192号パンフレットに記載の方法を用いることも可能である。検出部3は検出した発話区間を算出部4に出力する。
図1において、算出部4は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部4は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部4は、検出部3が検出した発話区間を検出部3から受け取る。算出部4は、発話区間の第1特徴量を算出する。なお、当該処理は、図2に示すフローチャートのステップS203に対応する。また、第1特徴量は、例えば、発話区間の区間長、または、発話区間に含まれる母音数である。
算出部4は、発話区間の始点と終点から第1特徴量の一例となる発話区間の区間長L(n)を次式に基づいて算出する。
(数7)
L(n)=Te(n)−Ts(n)
但し、上述の(数7)において、Ts(n)は発話区間の始点におけるサンプル数であり、Te(n)は、発話区間の終点におけるサンプル数である。なお、Ts(n)とTe(n)は、例えば、上述の(数5)または(数6)に基づいて算出することが出来る。また、算出部4は、例えば、フォルマント分布により、第1特徴量の一例となる発話区間における母音数を検出する。算出部4は、フォルマント分布に基づく母音数の検出方法として、例えば特開2009−258366号公報に記載の方法を用いることが出来る。算出部4は算出した第1特徴量を判定部5に出力する。
判定部5は、例えば、ワイヤードロジックによるハードウェア回路である。また、判定部5は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。判定部5は、第1特徴量を算出部4から受け取る。判定部5は第1特徴量が所定の第1閾値未満となる第2特徴量が送話音声に出現する頻度を判定する。換言すると、第2特徴量を受話音声の発話への反応(相槌)として、第2特徴量が送話音声に出現する頻度を判定する。更に換言すると、第1特徴量に基づいて、受話音声の発話区間(第2発話区間と称しても良い)において、受話音声の理解に対する応答として送話音声に出現する第2特徴量が送話音声に出現する頻度を判定する。なお、当該処理は、図2に示すフローチャートのステップS204に対応する。また、第1閾値は、発話区間の区間長に関する任意の第2閾値(例えば、第2閾値=2秒)、または、発話区間の母音数に関する任意の第3閾値(例えば、第3閾値=4個)である。例えば、判定部5は、第2閾値か第3閾値の何れか一方の条件を満たす場合に、第1閾値の条件を満たすと判定することが出来る。また、判定部5は、第2閾値と第3閾値の双方の条件を満たす場合に、第1閾値の条件を満たすと判定することも出来る。判定部5は、1つの発話区間の区間長が任意の第2閾値未満または、1つの発話区間の母音数が任意の第3閾値未満の場合に、第2特徴量が出現するものとして判定する。換言すると、第2特徴量の頻度は相槌の回数として取扱う特徴量である。相槌は、例えば、「はい」、「いいえ」、「うんうん」、「本当?」、「そうです」等の会話において出現する間投詞である為、区間長が通常の発話の区間長に比較して短く、また、母音数も少ない特徴を有する。この為、判定部5は、上述の第2閾値と第3閾値を用いることで相槌に対応する第2特徴量が出現する頻度を判定することが出来る。
また、判定部5は、送話音声を文字列として認識し、当該文字列から第2特徴量に対応する所定の単語が出現する出現回数を第2特徴量が出現する頻度と判定しても良い。判定部5は、送話音声を文字列として認識する方法として、例えば、特開平4−255900号公報に開示される方法を適用することが出来る。また、所定の単語は、判定部5が有する図示しないキャッシュまたはメモリに保存される単語リスト(テーブル)に格納される、相槌に相当する単語である。所定の単語は、例えば、「はい」、「いいえ」、「うんうん」、「本当?」、「そうです」等の一般的に相槌に該当する単語であれば良い。
図5は、判定部5の第2特徴量の出現の判定結果を示す図である。発話区間と無音区間の検出結果を示す図である。図5の横軸は図4と同様に時間を示し、縦軸は送話音声の音量(振幅)を示している。図5に示される通り、発話区間の中から第2閾値と第3閾値を満たす区間が、第2特徴量が出現する区間として判定される。
次に、判定部5は、単位時間あたりの第2特徴量の出現回数を頻度として判定する。判定部5は、例えば、1分間あたりの相槌に対応する第2特徴量の出現回数を、頻度freq(t)として次式の通り算出することが出来る。
(数8)

但し、上述の(数8)において、L(n)は発話区間の区間長、Ts(n)は発話区間の始点におけるサンプル数、TH2は第2閾値、TH3は第3閾値である。
判定部5は、上述した送話音声を文字列として認識し、当該文字列から第2特徴量に対応する所定の単語が出現する出現回数を判定する場合、単位時間あたりの第2特徴量の出現間隔を頻度として判定しても良い。判定部5は、例えば、1分間あたりの相槌に対応する第2特徴量が出現する平均的な時間間隔を、頻度freq’(t)として次式の通り算出することが出来る。
(数9)

但し、上述の(数9)において、Ts’(n)は第2特徴量区間の始点におけるサンプル数であり、Te’(n)は、第2特徴量区間の終点におけるサンプル数である。
更に、判定部5は、発話区間の区間数に対する第2特徴量の出現回数の比率を頻度として判定しても良い。換言すると、判定部5は、例えば、1分間あたりの発話区間の出現回数と相槌に対応する第2特徴量の出現回数を用いて、次式の通り、第2特徴量が出現する頻度freq’’(t)を次式に基づいて算出することが出来る。
(数10)

但し、上述の(数10)において、L(n)は発話区間の区間長、Ts(n)は発話区間の始点におけるサンプル数、NV(n)は第2特徴量、TH2は第2閾値、TH3は第3閾値である。判定部5は、判定した頻度を推定部6に出力する。
推定部6は、例えば、ワイヤードロジックによるハードウェア回路である。また、推定部6は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。推定部6は、頻度を判定部5から受け取る。推定部6は、当該頻度に基づいて、受話音声(第2ユーザ)の発話時間を推定する。なお、当該処理は、図2に示すフローチャートのステップS205に対応する。
ここで、実施例1における頻度に基づいて受話音声の発話時間を推定する技術的意義について説明する。本発明者らの鋭意検証により、以下の事項が明らかになった。本発明者らは、第2ユーザ(相手)が発話している間は、第1ユーザ(自分)は相槌を打つ性質が存在する点に着目し、第1ユーザの相槌の頻度を利用して相手の発話時間(受話音声の発話時間と称しても良い)を推定できる可能性について新たに鋭意検証を行った。図6は第1ユーザ相槌の頻度と第2ユーザの発話時間の関係図である。図6においては、複数の被験者(11名)同士で2分間会話させ、第1ユーザ(自分)の音声に含まれる単位時間(1分間)あたりの相槌の頻度と、第2ユーザ(相手)の発話時間の相関関係を示している。なお、第1ユーザに対する受話音声となる第2音声の発話音声には、バブル性騒音(SNR=0dB)を重畳させている。これにより、周囲雑音の存在を再現させている。
図6に示す通り、第1ユーザ(自分)の音声に含まれる単位時間(1分間)あたりの相槌の頻度と、第2ユーザ(相手)の発話時間の相関係数rは、0.77であり強相関関係を有することが明らかになった。なお、比較例として、第1ユーザ(自分)が会話していない無音区間と、第2ユーザ(相手)の発話区間の相関関係についても調査したが、十分な相関関係は有していないことも明らかになった。これは、自分が発話していない場合は、相手が必ず発話しているという保証は無く、双方が発話していない場合も存在することに依るものと推察される。例えば、双方が互いに文書の内容を確認している場合などが例として挙げられる。一方、相槌は、相手の発話内容を理解していることを表現する間投詞であり、相手が発話しない場合には、出現することがない性質を有するからこそ、相手の発話時間と強相関関係を有するものと推察される。この為、相槌に対応する第2特徴量が出現する頻度に基づいて、受話音声を推定すれば、相手の受話音声の信号品質に依存しない為、周囲雑音に依存せずに受話音声の発話時間を推定することが可能となることが、本発明者らの鋭意検証により明らかになった。また、検出部3は、自分が発話している発話区間も検出する為、自分が一方的に発話を行っている状況と、自分が発話しながら相手の発話を聞いている状況を区別して検出することも可能となる。
推定部6は、予め規定される、頻度と発話時間の第1相関に基づいて受話音声の発話時間を推定する。なお、第1相関は、例えば、図6に示される相関関係に基づいて実験的に適宜規定することが出来る。図7(a)は、頻度と推定される受話音声の発話時間の第1関係図である。図7(a)においては、横軸は上述の(数8)で算出される頻度freq(t)であり、縦軸は推定される受話音声の発話時間となる。図7(b)は、頻度と推定される受話音声の発話時間の第2関係図である。図7(b)においては、横軸は上述の(数9)で算出される頻度freq’(t)であり、縦軸は推定される受話音声の発話時間となる。推定部6は、第1関係図または第2関係図を第1相関とし、頻度に対応する受話音声の発話時間を推定する。
また、推定部6は、発話区間の区間長の合計値が第4閾値(例えば、第4閾値=15sec)未満の場合、上述の第1相関よりも受話音声の発話時間が短く規定される第2相関と頻度に基づいて、受話音声の発話時間を推定しても良い。推定部6は、単位時間(例えば1分間)あたりの発話区間の区間長の合計値TL1(t)を算出する。
(数11)

但し、上述の(数11)において、L(n)は発話区間の区間長、Ts(n)は発話区間の始点におけるサンプル数である。
図8は、頻度と推定される受話音声の発話時間の第3関係図である。図8においては、横軸は上述の(数8)で算出される頻度freq(t)であり、縦軸は推定される受話音声の発話時間となる。推定部6は、第3関係図を第2相関とし、頻度に対応する受話音声の発話時間を推定する。推定部6が上述の(数11)を用いて算出した合計値TL1(t)は、第4閾値(例えば、第4閾値=15sec)未満は、第3関係図に示される第2相関を用いて受話音声の発話時間を推定する。推定部6は、第2相関に基づいて受話音声の発話時間を推定するとで、第1ユーザ(自分)と第2ユーザ(相手)の双方が発話していない場合(黙っている場合)、相槌の頻度が低くなる影響を低減させることが可能となる。
推定部6は、推定した受話音声の発話時間を外部装置に出力する。なお、当該処理は、図2に示すフローチャートのステップS206に対応する。また、外部装置は、例えば、受話音声の発話時間を音声に変換させた上で再生するスピーカや、発話時間を文字情報として表示するディスプレイであれば良い。また、推定部6は、受話音声の発話時間(第2発話区間と称しても良い)と、送話音声の発話区間(第1発話区間と称しても良い)の合計値の比率に基づいて、所定の制御信号を外部装置に発信しても良い。なお、当該処理を行う場合は、図2に示すフローチャートのステップS206と合わせて実施すれば良い。また、制御信号は、例えば、アラーム音であれば良い。推定部6は、単位時間(例えば1分間)あたりの、受話音声の発話時間TL2(t)と、送話音声の発話時間TL1(t)の比率R(t)を、次式に基づいて算出する。
(数12)
R(t)=TL2(t)/TL1(t)
なお、上述の(数12)において、なお、TL1(t)は、上述の(数11)を用いて算出することが可能であり、TL2(t)においては、TL1(t)と同様の方法を用いて算出することが可能である為、詳細な説明は省略する。
推定部6は、上述の(数12)に基づいて算出した比率R(t)と、所定の第6閾値(例えば、第6閾値=0.5)との次式で表現される比較に基づいて制御信号を発信する。
(数13)
if R(t)<TH5 CS(t)=1 (制御信号発信有り)
else CS(t)=0 (制御信号発信無し)
実施例1における音声処理装置によれば、周囲雑音に依存せずに受話音声の発話時間を推定することが可能となる。
(実施例2)
図9は、第2の実施形態による音声処理装置20の機能ブロック図である。音声処理装置20は、取得部2、検出部3、算出部4、判定部5、推定部6、受信部7、評価部8を有する。取得部2、検出部3、算出部4、判定部5、推定部6は、少なくとも実施例1で開示した機能と同様の機能を有する為、詳細な説明は省略する。
受信部7は、例えば、ワイヤードロジックによるハードウェア回路である。また、受信部7は、音声処理装置20で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。受信部7は、入力音声の一例となる受話音声を、例えば、有線回路または無線回路を介して受信する。受信部7は、受信した受話音声を評価部8に出力する。
評価部8は、受話音声を受信部7から受け取る。評価部8は、受話音声の第2信号対雑音比を評価する。評価部8は、第2信号対雑音比の評価方法として、実施例1の検出部3が検出する第1信号対雑音比と同様の手法を適用することが出来る。評価部8は、例えば、上述の(数4)に基づいて第2信号対雑音比の一例となる平均SNRを評価する。評価部8は、第2信号対雑音比の一例となる平均SNRが所定の第7閾値(例えば、第7閾値=10dB)未満の場合は、実施例1に基づく音声処理方法を実施することを取得部2に指示をする。換言すると、取得部2は第2信号対雑音比に基づいて送話音声の取得の要否を判断する。また、評価部8は、第2信号対雑音比の一例となる平均SNRが第7閾値以上の場合、受話音声を検出部3に出力し、検出部3に受話音声の発話区間(第2発話区間と称しても良い)を検出させる。なお、受話音声の発話区間の検出方法は、実施例1に開示した第1発話区間の検出方法を同様に用いることが出来る為、詳細な説明は省略する。検出部3は、検出した受話音声の発話区間(第2発話区間)を推定部6に出力する。
推定部6は、実施例1に開示した方法で推定した受話音声の発話時間Lを用いて、単位時間あたりの第2特徴量が出現する区間の[Ts1、Te1]の中央区間[Ts2、Te2]を、受話音声の発話区間として推定する。なお、中央区間[Ts2、Te2]は次式に基づいて算出することが出来る。
(数14)
Ts2=(Ts1+Te1)/2−L/2
Te2=(Ts1+Te1)/2+L/2
図10は、受話音声の発話区間における重複区間の概念図である。図10には、検出部3が検出した受話音声の発話区間(発話区間1、発話区間2)と、推定部6が上述の(数14)に基づいて推定した受話音声の発話区間(発話区間1’、発話区間2’)が示されている。推定部6は、発話区間1と発話区間1’が重畳する区間、発話区間2と発話区間2’が重畳する区間を、重複区間(発話区間1’’、発話区間2’’)として推定する。検出部3が検出した受話音声の発話区間が、実際に第2ユーザが発話していた否かを示す一致度を評価者が評価した結果、一致度は40%程度であった。一方、重複区間の一致度は49%であり、受話音声の発話区間の推定精度が向上していることが確認出来た。
実施例2における音声処理装置によれば、受話音声の信号品質に応じて、周囲雑音に依存せずに受話音声の発話時間を推定することが可能となる。更に、実施例2における音声処理装置によれば、受話音声の発話区間を推定することが可能となる。
(実施例3)
図11は、一つの実施形態による携帯端末装置30として機能するハードウェア構成図である。携帯端末装置30は、アンテナ31、無線部32、ベースバンド処理部33、端末インタフェース部34、マイク35、スピーカ36、制御部37、主記憶部38、補助記憶部39を有する。
アンテナ31は、送信アンプで増幅された無線信号を送信し、また、基地局から無線
信号を受信する。無線部32は、ベースバンド処理部33で拡散された送信信号をD/A変換し、直交変調により高周波信号に変換し、その信号を電力増幅器により増幅する。無線部32は、受信した無線信号を増幅し、その信号をA/D変換してベースバンド処理部33に伝送する。
ベースバンド処理部33は、送信データの誤り訂正符号、データ変調、受信信号、受信環境の判定、各チャネル信号の閾値判定、誤り訂正復号などのベースバンド処理などを行う。
制御部37は、例えば、CPU、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。制御部37は、制御信号の送受信などの無線制御を行う。また、制御部37は、補助記憶部39などに記憶されている音声処理プログラムを実行し、例えば、実施例1または実施例2における音声処理を行う。換言すると、制御部37は、例えば、図1または図9に記載の取得部2、検出部3、算出部4、判定部5、推定部6、受信部7、評価部8等の機能ブロックの処理を実行することが出来る。
主記憶部38は、ROMやRAMなどであり、制御部37が実行する基本ソフトウェアであるOSやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部39は、HDDやSSDなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
端末インタフェース部34は、データ用アダプタ処理、ハンドセットおよび外部デー
タ端末とのインタフェース処理を行う。
マイク35は、発話者(例えば、第1ユーザ)の音声を入力し、マイク信号として制御部37に出力する。スピーカ36は、出力音声または制御信号として制御部37から出力された信号を出力する。
(実施例4)
図12は、一つの実施形態による音声処理装置1として機能するコンピュータのハードウェア構成図である。図12に示す通り、音声処理装置1は、コンピュータ100、およびコンピュータ100に接続する入出力装置(周辺機器)を含んで構成される。
コンピュータ100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してRAM(Random Access Memory)102と複数の周辺機器が接続されている。なお、プロセッサ101は、マルチプロセッサであってもよい。また、プロセッサ101は、例えば、CPU、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。更に、プロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。なお、例えば、プロセッサ101は、図1または図9に記載の取得部2、検出部3、算出部4、判定部5、推定部6、受信部7、評価部8等の機能ブロックの処理を実行することが出来る。
RAM102は、コンピュータ100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。バス109に接続されている周辺機器としては、HDD(Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
HDD103は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。HDD103は、例えば、コンピュータ100の補助記憶装置として使用される。HDD103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。
グラフィック処理装置104には、モニタ110が接続されている。グラフィック処理装置104は、プロセッサ101からの命令にしたがって、各種画像をモニタ110の画面に表示させる。モニタ110としては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、キーボード111とマウス112とが接続されている。入力インタフェース105は、キーボード111やマウス112から送られてくる信号をプロセッサ101に送信する。なお、マウス112は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク113に記録されたデータの読み取りを行う。光ディスク113は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク113には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。可搬型の記録媒体となる光ディスク113に格納されたプログラムは光学ドライブ装置106を介して音声処理装置1にインストールされる。インストールされた所定のプログラムは、音声処理装置1より実行可能となる。
機器接続インタフェース107は、コンピュータ100に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース107には、メモリ装置114やメモリリーダライタ115を接続することが出来る。メモリ装置114は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ115は、メモリカード116へのデータの書き込み、またはメモリカード116からのデータの読み出しを行う装置である。メモリカード116は、カード型の記録媒体である。また、機器接続インタフェース107には、マイク35やスピーカ36を接続することが出来る。
ネットワークインタフェース108は、ネットワーク117に接続されている。ネットワークインタフェース108は、ネットワーク117を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
コンピュータ100は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述した音声処理機能を実現する。コンピュータ100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、1つのまたは複数の機能モジュールから構成することが出来る。例えば、図1または図9に記載の取得部2、検出部3、算出部4、判定部5、推定部6、受信部7、評価部8等の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ100に実行させるプログラムをHDD103に格納しておくことができる。プロセッサ101は、HDD103内のプログラムの少なくとも一部をRAM102にロードし、プログラムを実行する。また、コンピュータ100に実行させるプログラムを、光ディスク113、メモリ装置114、メモリカード116などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ101からの制御により、HDD103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。
以上に図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。
以上、説明した実施形態に関し、更に以下の付記を開示する。
(付記1)
送話音声を取得する取得部と、
前記送話音声の第1発話区間を検出する検出部と、
前記第1発話区間の第1特徴量を算出する算出部と、
前記第1特徴量が第1閾値未満となる第2特徴量が前記送話音声に出現する頻度を判定する判定部と、
前記頻度に基づいて、受話音声の発話時間を推定する推定部
を備えることを特徴とする音声処理装置。
(付記2)
前記第1閾値は、前記区間長に関する第2閾値、または、前記母音数に関する第3閾値であり、
前記判定部は、前記区間長が前記第2閾値未満または、前記母音数が前記第3閾値未満の場合に、前記第2特徴量として判定することを特徴とする付記1記載の音声処理装置。
(付記3)
前記判定部は、前記第2特徴量を前記受話音声の発話への反応として、前記頻度を判定することを特徴とする付記1または付記2記載の音声処理装置。
(付記4)
前記判定部は、単位時間あたりの前記第2特徴量の出現回数、または、前記単位時間あたりの前記第2特徴量の出現間隔を前記頻度として判定することを特徴とする付記1ないし付記3の何れか一つに記載の音声処理装置。
(付記5)
前記判定部は、前記第1発話区間の区間数に対する前記第2特徴量の出現回数の比率を前記頻度として判定することを特徴とする付記1ないし付記4の何れか一つに記載の音声処理装置。
(付記6)
前記判定部は、前記送話音声を文字列として認識し、前記文字列から前記第2特徴量に対応する所定の単語が出現する出現回数を前記頻度として算出することを特徴とする付記1記載の音声処理装置。
(付記7)
前記推定部は、予め規定される、前記頻度と前記発話時間の第1相関に基づいて前記発話時間を推定し、
前記第1発話区間の区間長の合計値が第4閾値未満の場合、前記第1相関よりも前記発話時間が短く規定される第2相関に基づいて前記発話時間を推定することを特徴とする付記1ないし付記6の何れか一つに記載の音声処理装置。
(付記8)
前記推定部は、前記受話音声の前記発話時間と、前記第1発話区間の前記合計値の比率に基づいて、所定の制御信号を発信することを特徴とする付記1ないし付記7の何れか一項に記載の音声処理装置。
(付記9)
前記検出部は、前記送話音声に含まれる複数のフレームの第1信号対雑音比を検出し、前記第1信号対雑音比が第5閾値以上の前記フレームを前記第1発話区間として検出することを特徴とする付記1ないし付記8の何れか一項に記載の音声処理装置。
(付記10)
前記受話音声を受信する受信部と、
前記受話音声の第2信号対雑音比を評価する評価部を更に有し、
前記取得部は、前記第2信号対雑音比に基づいて前記送話音声の取得の要否を判断する
ことを特徴とする付記1ないし付記9の何れか一つに記載の音声処理装置。
(付記11)
前記検出部は、前記受話音声の第2発話区間を更に検出し、
前記推定部は、前記第2特徴量と前記第2発話区間に基づいて、前記受話音声の発話区間を推定することを特徴とする付記10記載の音声処理装置。
(付記12)
前記第2特徴量は前記受話音声の発話に対する相槌であることを特徴とする付記1ないし付記11の何れか一つに記載の音声処理装置。
(付記13)
送話音声を取得し、
前記送話音声の第1発話区間を検出し、
前記第1発話区間の区間長、または、前記第1発話区間の母音数を含む第1特徴量を算出し、
前記第1特徴量が第1閾値未満となる第2特徴量が前記送話音声に出現する頻度を判定し、
前記頻度に基づいて、受話音声の発話時間を推定すること
を含むことを特徴とする音声処理方法。
(付記14)
前記第1閾値は、前記区間長に関する第2閾値、または、前記母音数に関する第3閾値であり、
前記判定部は、前記区間長が前記第2閾値未満または、前記母音数が前記第3閾値未満の場合に、前記第2特徴量として判定することを特徴とする付記13記載の音声処理方法。
(付記15)
前記判定部は、前記第2特徴量を前記受話音声の発話への反応として、前記頻度を判定することを特徴とする付記13または付記14記載の音声処理方法。
(付記16)
前記判定することは、単位時間あたりの前記第2特徴量の出現回数、または、前記単位時間あたりの前記第2特徴量の出現間隔を前記頻度として判定することを特徴とする付記13ないし付記15の何れか一つに記載の音声処理方法。
(付記17)
前記判定することは、前記第1発話区間の区間数に対する前記第2特徴量の出現回数の比率を前記頻度として判定することを特徴とする付記13ないし付記16の何れか一つに記載の音声処理方法。
(付記18)
前記判定することは、前記送話音声を文字列として認識し、前記文字列から前記第2特徴量に対応する所定の単語が出現する出現回数を前記頻度として算出することを特徴とする付記13記載の音声処理方法。
(付記19)
前記推定することは、予め規定される、前記頻度と前記発話時間の第1相関に基づいて前記発話時間を推定し、
前記第1発話区間の区間長の合計値が第4閾値未満の場合、前記第1相関よりも前記発話時間が短く規定される第2相関に基づいて前記発話時間を推定することを特徴とする付記13ないし付記18の何れか一つに記載の音声処理方法。
(付記20)
前記推定することは、前記受話音声の前記発話時間と、前記第1発話区間の前記合計値の比率に基づいて、所定の制御信号を発信することを特徴とする付記13ないし付記19の何れか一つに記載の音声処理方法。
(付記21)
前記受話音声を受信し、
前記受話音声の第2信号対雑音比を評価することを更に含み、
前記取得することは、前記第2信号対雑音比に基づいて前記送話音声の取得の要否を判断することを特徴とする付記13ないし付記19の何れか一つに記載の音声処理方法。
(付記22)
前記検出することは、前記受話音声の第2発話区間を更に検出し、
前記推定することは、前記第2特徴量と前記第2発話区間に基づいて、前記受話音声の発話区間を推定することを特徴とする付記21記載の音声処理方法。
(付記23)
前記検出することは、前記送話音声に含まれる複数のフレームの第1信号対雑音比を検出し、前記第1信号対雑音比が第5閾値以上の前記フレームを前記第1発話区間として検出することを特徴とする付記13の音声処理方法。
(付記24)
前記第2特徴量は前記受話音声の発話に対する相槌であることを特徴とする付記13ないし付記23の何れか一つに記載の音声処理方法。
(付記25)
コンピュータに
送話音声を取得し、
前記送話音声の第1発話区間を検出し、
前記第1発話区間の区間長、または、前記第1発話区間の母音数を含む第1特徴量を算出し、
前記第1特徴量が第1閾値未満となる第2特徴量が前記送話音声に出現する頻度を判定し、
前記頻度に基づいて、受話音声の発話時間を推定すること
を実行させることを特徴とする音声処理プログラム。
(付記26)
発話者の音声を送話音声として入力するマイクと、
送話音声を取得する取得部と、
前記送話音声の第1発話区間を検出する検出部と、
前記第1発話区間の区間長、または、前記第1発話区間の母音数を含む第1特徴量を算出する算出部と、
前記第1特徴量が第1閾値未満となる第2特徴量が前記送話音声に出現する頻度を判定する判定部と、
前記頻度に基づいて、前記受話音声の発話時間を推定する推定部
前記発話時間を出力するスピーカ
を備えることを特徴とする携帯端末装置。
1 音声処理装置
2 取得部
3 検出部
4 算出部
5 判定部
6 推定部

Claims (13)

  1. 送話音声を取得する取得部と、
    前記送話音声の第1発話区間を検出する検出部と、
    前記第1発話区間の区間長、または、前記第1発話区間の母音数を含む第1特徴量を算出する算出部と、
    前記第1特徴量が第1閾値未満となる第2特徴量が前記送話音声に出現する頻度を判定する判定部と、
    前記頻度に基づいて、受話音声の発話時間を推定する推定部
    を備えることを特徴とする音声処理装置。
  2. 前記第1閾値は、前記区間長に関する第2閾値、または、前記母音数に関する第3閾値であり、
    前記判定部は、前記区間長が前記第2閾値未満または、前記母音数が前記第3閾値未満の場合に、前記第2特徴量として判定することを特徴とする請求項1記載の音声処理装置。
  3. 前記判定部は、前記第2特徴量を前記受話音声の発話への反応として、前記頻度を判定することを特徴とする請求項1または請求項2記載の音声処理装置。
  4. 前記判定部は、単位時間あたりの前記第2特徴量の出現回数、または、前記単位時間あたりの前記第2特徴量の出現間隔を前記頻度として判定することを特徴とする請求項1ないし請求項3の何れか一項に記載の音声処理装置。
  5. 前記判定部は、前記第1発話区間の区間数に対する前記第2特徴量の出現回数の比率を前記頻度として判定することを特徴とする請求項1ないし請求項4の何れか一項に記載の音声処理装置。
  6. 前記判定部は、前記送話音声を文字列として認識し、前記文字列から前記第2特徴量に対応する所定の単語が出現する出現回数を前記頻度として算出することを特徴とする請求項1記載の音声処理装置。
  7. 前記推定部は、予め規定される、前記頻度と前記発話時間の第1相関に基づいて前記発話時間を推定し、
    前記第1発話区間の区間長の合計値が第4閾値未満の場合、前記第1相関よりも前記発話時間が短く規定される第2相関に基づいて前記発話時間を推定することを特徴とする請求項1ないし請求項6の何れか一項に記載の音声処理装置。
  8. 前記推定部は、前記受話音声の前記発話時間と、前記第1発話区間の前記合計値の比率に基づいて、所定の制御信号を発信することを特徴とする請求項1ないし請求項7の何れか一項に記載の音声処理装置。
  9. 前記検出部は、前記送話音声に含まれる複数のフレームの第1信号対雑音比を検出し、前記第1信号対雑音比が第5閾値以上の前記フレームを前記第1発話区間として検出することを特徴とする請求項1ないし請求項8の何れか一項に記載の音声処理装置。
  10. 前記受話音声を受信する受信部と、
    前記受話音声の第2信号対雑音比を評価する評価部を更に有し、
    前記取得部は、前記第2信号対雑音比に基づいて前記送話音声の取得の要否を判断する
    ことを特徴とする請求項1ないし請求項9の何れか一項に記載の音声処理装置。
  11. 前記検出部は、前記受話音声の第2発話区間を更に検出し、
    前記推定部は、前記第2特徴量と前記第2発話区間に基づいて、前記受話音声の発話区間を推定することを特徴とする請求項10記載の音声処理装置。
  12. 送話音声を取得し、
    前記送話音声の第1発話区間を検出し、
    前記第1発話区間の区間長、または、前記第1発話区間の母音数を含む第1特徴量を算出し、
    前記第1特徴量が第1閾値未満となる第2特徴量が前記送話音声に出現する頻度を判定し、
    前記頻度に基づいて、受話音声の発話時間を推定すること
    を含むことを特徴とする音声処理方法。
  13. コンピュータに
    送話音声を取得し、
    前記送話音声の第1発話区間を検出し、
    前記第1発話区間の区間長、または、前記第1発話区間の母音数を含む第1特徴量を算出し、
    前記第1特徴量が第1閾値未満となる第2特徴量が前記送話音声に出現する頻度を判定し、
    前記頻度に基づいて、受話音声の発話時間を推定すること
    を実行させることを特徴とする音声処理プログラム。
JP2014126828A 2014-06-20 2014-06-20 音声処理装置、音声処理方法および音声処理プログラム Expired - Fee Related JP6394103B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014126828A JP6394103B2 (ja) 2014-06-20 2014-06-20 音声処理装置、音声処理方法および音声処理プログラム
US14/723,907 US20150371662A1 (en) 2014-06-20 2015-05-28 Voice processing device and voice processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014126828A JP6394103B2 (ja) 2014-06-20 2014-06-20 音声処理装置、音声処理方法および音声処理プログラム

Publications (2)

Publication Number Publication Date
JP2016006440A true JP2016006440A (ja) 2016-01-14
JP6394103B2 JP6394103B2 (ja) 2018-09-26

Family

ID=54870220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014126828A Expired - Fee Related JP6394103B2 (ja) 2014-06-20 2014-06-20 音声処理装置、音声処理方法および音声処理プログラム

Country Status (2)

Country Link
US (1) US20150371662A1 (ja)
JP (1) JP6394103B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017126120A1 (de) 2016-11-18 2018-05-24 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungsvorrichtung

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565500B2 (ja) * 2015-08-31 2019-08-28 富士通株式会社 発話状態判定装置、発話状態判定方法、及び判定プログラム
CN109166570B (zh) * 2018-07-24 2019-11-26 百度在线网络技术(北京)有限公司 一种语音切分的方法、装置、设备和计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265367A (ja) * 2000-03-16 2001-09-28 Mitsubishi Electric Corp 音声区間判定装置
JP2008051907A (ja) * 2006-08-22 2008-03-06 Toshiba Corp 発話区間識別装置及びその方法
JP2010175684A (ja) * 2009-01-28 2010-08-12 Nippon Telegr & Teleph Corp <Ntt> 通話状態判定装置、通話状態判定方法、プログラム、記録媒体
JP2013225002A (ja) * 2012-04-20 2013-10-31 Nippon Telegr & Teleph Corp <Ntt> データ分析装置、データ分析方法およびデータ分析プログラム
WO2014069122A1 (ja) * 2012-10-31 2014-05-08 日本電気株式会社 表現分類装置、表現分類方法、不満検出装置及び不満検出方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4786384B2 (ja) * 2006-03-27 2011-10-05 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
JP5326533B2 (ja) * 2008-12-09 2013-10-30 富士通株式会社 音声加工装置及び音声加工方法
US8160877B1 (en) * 2009-08-06 2012-04-17 Narus, Inc. Hierarchical real-time speaker recognition for biometric VoIP verification and targeting
US9015046B2 (en) * 2010-06-10 2015-04-21 Nice-Systems Ltd. Methods and apparatus for real-time interaction analysis in call centers
EP2661053A4 (en) * 2010-12-27 2015-04-29 Fujitsu Ltd LANGUAGE CONTROL DEVICE, VOICE CONTROL METHOD, LANGUAGE CONTROL PROGRAM AND MOBILE TERMINAL
US8762147B2 (en) * 2011-02-02 2014-06-24 JVC Kenwood Corporation Consonant-segment detection apparatus and consonant-segment detection method
JP6098149B2 (ja) * 2012-12-12 2017-03-22 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
JP2015169827A (ja) * 2014-03-07 2015-09-28 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265367A (ja) * 2000-03-16 2001-09-28 Mitsubishi Electric Corp 音声区間判定装置
JP2008051907A (ja) * 2006-08-22 2008-03-06 Toshiba Corp 発話区間識別装置及びその方法
JP2010175684A (ja) * 2009-01-28 2010-08-12 Nippon Telegr & Teleph Corp <Ntt> 通話状態判定装置、通話状態判定方法、プログラム、記録媒体
JP2013225002A (ja) * 2012-04-20 2013-10-31 Nippon Telegr & Teleph Corp <Ntt> データ分析装置、データ分析方法およびデータ分析プログラム
WO2014069122A1 (ja) * 2012-10-31 2014-05-08 日本電気株式会社 表現分類装置、表現分類方法、不満検出装置及び不満検出方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017126120A1 (de) 2016-11-18 2018-05-24 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungsvorrichtung
US10607490B2 (en) 2016-11-18 2020-03-31 Toyota Jidosha Kabushiki Kaisha Driving support apparatus
DE102017126120B4 (de) 2016-11-18 2020-07-02 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungsvorrichtung

Also Published As

Publication number Publication date
JP6394103B2 (ja) 2018-09-26
US20150371662A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
US9293133B2 (en) Improving voice communication over a network
JP5664480B2 (ja) 異常状態検出装置、電話機、異常状態検出方法、及びプログラム
EP2816558B1 (en) Speech processing device and method
CN112071328B (zh) 音频降噪
US20130197912A1 (en) Specific call detecting device and specific call detecting method
US10403289B2 (en) Voice processing device and voice processing method for impression evaluation
JP6244658B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP6098149B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP2015222847A (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP6394103B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP2017062307A (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP6268916B2 (ja) 異常会話検出装置、異常会話検出方法及び異常会話検出用コンピュータプログラム
EP3252765B1 (en) Noise suppression in a voice signal
JP2013182150A (ja) 発話区間検出装置及び発話区間検出のためのコンピュータプログラム
US9907509B2 (en) Method for judgment of drinking using differential frequency energy, recording medium and device for performing the method
EP2736043A2 (en) Signal processing device, method for processing signal
CN108352169B (zh) 困惑状态判定装置、困惑状态判定方法、以及程序
CN111582708A (zh) 医疗信息的检测方法、系统、电子设备及计算机可读存储介质
US20130317821A1 (en) Sparse signal detection with mismatched models
JP2015132777A (ja) 音声処理装置、音声処理方法および音声処理プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20180528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180813

R150 Certificate of patent or registration of utility model

Ref document number: 6394103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees