JP2019211515A - 音声対話システム、その処理方法及びプログラム - Google Patents

音声対話システム、その処理方法及びプログラム Download PDF

Info

Publication number
JP2019211515A
JP2019211515A JP2018104982A JP2018104982A JP2019211515A JP 2019211515 A JP2019211515 A JP 2019211515A JP 2018104982 A JP2018104982 A JP 2018104982A JP 2018104982 A JP2018104982 A JP 2018104982A JP 2019211515 A JP2019211515 A JP 2019211515A
Authority
JP
Japan
Prior art keywords
voice
user
topic
response sentence
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018104982A
Other languages
English (en)
Other versions
JP7151181B2 (ja
Inventor
生聖 渡部
Seisho Watabe
生聖 渡部
佐和 樋口
Sawa Higuchi
佐和 樋口
達朗 堀
Tatsuro Hori
達朗 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018104982A priority Critical patent/JP7151181B2/ja
Priority to CN201910411917.3A priority patent/CN110634479B/zh
Priority to US16/425,031 priority patent/US11270691B2/en
Publication of JP2019211515A publication Critical patent/JP2019211515A/ja
Application granted granted Critical
Publication of JP7151181B2 publication Critical patent/JP7151181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】聞返し用の単語を登録しておく必要もなく、感動詞を含まない幅広い音声に対しても聞返しを検出できること。【解決手段】音声対話システムは、ユーザと音声対話を行う。音声対話システムは、音声対話の話題を推定し、該推定した話題の変化を検出する話題検出手段と、話題検出手段により話題の変化が検出された場合に、ユーザの音声の韻律情報に基づいて、ユーザの音声を該ユーザによる聞返しとして検出する聞返し検出手段と、を備えている。【選択図】図１

Description

本発明は、ユーザと音声対話を行う音声対話システム、その処理方法及びプログラムに関する。
ユーザの音声を認識し、該音声に含まれる単語が、登録された単語と一致する場合、その音声を聞返しとして検出する音声対話システムが知られている（特許文献１参照）。ユーザの音声に含まれる感動詞に基づいて、聞返しを検出する音声対話システムが知られている（特許文献２参照）。
特開２０１４−０９５７５３号公報 特開２０１０−２１７５０２号公報
上記特許文献１に示す音声対話システムにおいては、音声認識に時間がかかるだけでなく、登録されていない単語に関して聞返しを検出できないという問題がある。上記特許文献２に示す音声対話システムにおいては、聞返しを検出できる音声が、感動詞を含む音声に限られ、非常に限定されたものとなってしまうという問題がある。
本発明は、このような問題点を解決するためになされたものであり、聞返し用の単語を登録しておく必要もなく、感動詞を含まない幅広い音声に対しても聞返しを検出できる音声対話システム、その処理方法及びプログラムを提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、
ユーザと音声対話を行う音声対話システムであって、
前記音声対話の話題を推定し、該推定した話題の変化を検出する話題検出手段と、
前記話題検出手段により前記話題の変化が検出された場合に、前記ユーザの音声の韻律情報に基づいて、前記ユーザの音声を該ユーザによる聞返しとして検出する聞返し検出手段と、
を備える、ことを特徴とする音声対話システム
である。
この一態様において、前記ユーザの音声の韻律情報を分析し、該韻律の変化量を検出する韻律検出手段を更に備え、前記聞返し検出手段は、前記話題検出手段により前記話題の変化が検出され、かつ、前記韻律検出手段により検出された韻律の変化量が所定量以上である場合に、前記ユーザの音声を該ユーザによる聞返しとして検出してもよい。
この一態様において、前記韻律情報を入力とし、前記聞返し検出を出力として、前記韻律情報と前記聞返し検出との関係を機械学習する学習手段を備え、前記聞返し検出手段は、前記話題検出手段により前記話題の変化が検出され、かつ、前記ユーザの音声の韻律情報が前記学習手段により入力され該学習手段が前記聞返し検出を出力した場合に、前記ユーザの音声を該ユーザによる聞返しとして検出してもよい。
この一態様において、前記聞返し検出手段により聞返しが検出された場合、該聞返し対し、該聞返し前に前記ユーザに応答した応答文に基づいて、聞返し用の応答文を生成する応答文生成手段を更に備え、前記応答文生成手段は、前記応答文において、前記ユーザとの音声対話の履歴における出現頻度が第１所定値以下の単語が含まれる場合、該単語のみからなる前記聞返し用の応答文、または、前記応答文において該単語を強調した前記聞返し用の応答文を生成してもよい。
上記目的を達成するための本発明の一態様は、
ユーザと音声対話を行う音声対話システムの処理方法であって、
前記音声対話の話題を推定し、該推定した話題の変化を検出するステップと、
前記話題の変化が検出された場合に、前記ユーザの音声の韻律情報に基づいて、前記ユーザの音声を該ユーザによる聞返しとして検出するステップと、
を含む、ことを特徴とする音声対話システムの処理方法
であってもよい。
上記目的を達成するための本発明の一態様は、
ユーザと音声対話を行う音声対話システムのプログラムであって、
前記音声対話の話題を推定し、該推定した話題の変化を検出する処理と、
前記話題の変化が検出された場合に、前記ユーザの音声の韻律情報に基づいて、前記ユーザの音声を該ユーザによる聞返しとして検出する処理と、
をコンピュータに実行させる、ことを特徴とする音声対話システムのプログラム
であってもよい。
本発明によれば、聞返し用の単語を登録しておく必要もなく、感動詞を含まない幅広い音声に対しても聞返しを検出できる音声対話システム、その処理方法及びプログラムを提供することができる。
本発明の実施形態１に係る音声対話システムの概略的なシステム構成を示すブロック図である。 韻律の変化を示す図である。 テーブル情報の一例を示す図である。 本発明の実施形態１に係る音声対話システムの処理方法のフローを示すフローチャートである。 本発明の実施形態２に係る音声対話システムの概略的なシステム構成を示すブロック図である。 本発明の実施形態２に係る音声対話システムの処理方法のフローを示すフローチャートである。
実施形態１
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態１に係る音声対話システムの概略的なシステム構成を示すブロック図である。本実施形態１に係る音声対話システム１は、例えば、ロボット、ＰＣ（Personal Computer）、携帯端末（スマートフォン、タブレットなど）、ナビゲーション装置等に搭載され、ユーザと対話を行う。
ここで、ユーザは、音声対話システム１と音声対話を行う際、音声対話システム１の音声を聞き取れなかった場合に、例えば、「もう一回言って？」などの、その音声を聞き返すこと（以下、聞返し）を行う。本実施形態１に係る音声対話システム１は、このようなユーザの「聞返し」を検出するものである。
本実施形態１に係る音声対話システム１は、ユーザの音声を認識する音声認識部２と、音声の構文を解析する構文解析部３と、ユーザの音声に対する応答文を生成する応答文生成部４と、音声を出力する音声出力部５と、ユーザの音声の韻律の変化量を検出する韻律検出部６と、話題の変化を検出する話題検出部７と、ユーザによる聞返しを検出する聞返し検出部８と、を備えている。
なお、音声対話システム１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
音声認識部２は、例えば、マイクを介して入力されたユーザの音声情報に基づいて音声認識処理を行い、ユーザの音声情報をテキスト化し文字列情報として認識する。
例えば、音声認識部２は、マイクを介して入力されたユーザの音声情報をデジタル化する。音声認識部２は、そのデジタル化した情報から発話区間を検出し、検出した発話区間の音声情報に対して、統計言語モデルなどを参照してパターンマッチングを行うことで音声認識を行う。
ここで、統計言語モデルは、例えば、単語の出現分布やある単語の次に出現する単語の分布等、言語表現の出現確率を計算するための確率モデルであり、形態素単位で連結確率を学習したものである。統計言語モデルは、メモリなどに予め記憶されている。音声認識部２は、ユーザの音声情報の各形態素に対してその品詞種類（名詞、形容詞、動詞、副詞など）を付加した品詞情報付き形態素情報を生成する。音声認識部２は、認識したユーザの音声情報を構文解析部３に出力する。
構文解析部３は、音声認識部２により認識された音声情報の構文を解析する。構文解析部３は、例えば、一般的な形態素解析器を用いて音声認識されたユーザの音声情報を示す文字列情報に対して形態素解析などを行い、文字列情報の意味解釈を行う。構文解析部３は、文字列情報の解析結果（形態素情報、係り受け情報、認識結果のテキストなどを含む）を応答文生成部４に出力する。
応答文生成部４は、構文解析部３により解析された音声情報の解析結果に基づいて、ユーザの音声情報に対する応答文を生成する。
応答文生成部４は、例えば、構文解析部３から出力される文字列情報の解析結果に基づいて、ユーザの音声情報に対する応答文を生成する。より具体的には、応答文生成部４は、文字列情報「囲碁を打ちますよ。」から一つの述語項「囲碁を打つ」を抜き出す。構文解析部３は、抜き出した形態素列「囲碁 を 打つ」を特徴べクトルとし、ＳＶＭ（support vector machine）モデルを用いて感情判別（ネガティブ及びポジティブ）を行う。
応答文生成部４は、感情判別結果がポジティブである場合、応答文「いいですね。」を生成する。一方、応答文生成部４は、感情判別結果がネガティブである場合、応答文「大変ですね。」を生成する。なお、上述した応答文の生成方法は一例であり、これに限定されず、任意の生成方法を用いることができる。応答文生成部４は、生成した応答文を音声出力部５に出力する。
音声出力部５は、応答文生成部４により生成された応答文を、音声で出力する。音声出力部５は、例えば、スピーカなどを用いてユーザに対して応答文の音声を出力する。
ところで、従来の音声対話システムにおいては、音声認識に時間がかかるだけでなく、登録されていない単語に関して聞返しを検出できないという問題がある。また、従来の音声対話システムにおいては、聞返しを検出できる音声が、感動詞を含む音声に限られ、非常に限定されたものとなってしまうという問題がある。
これに対し、本実施形態１に係る音声対話システム１は、話題検出部７により話題の変化が検出された場合に、ユーザの音声の韻律情報に基づいて、ユーザの音声を該ユーザによる聞返しとして検出する。
音声対話の話題の変化時には、ユーザはその音声を聞き取り難く、聞返しが発生し易い。さらに、聞返しの音声は、特徴的な韻律変化がある。本実施形態１に係る音声対話システム１は、これら特性を踏まえて、上述の如く、話題の変化が検出された場合に、ユーザの音声の韻律情報に基づいて、ユーザの音声を該ユーザによる聞返しとして検出する。これにより、上述のような聞返し用の単語を予め登録しておく必要もなく、感動詞を含まない幅広い音声に対しても聞返しを検出できる。
また、話題変化及び韻律情報に基づいて聞返しの検出を行うことで、処理遅延が生じ難く、聞返しの言葉や音声認識の精度に依存せず、聞返しの検出精度を向上させることができる。
韻律検出部６は、韻律検出手段の一具体例である。韻律検出部６は、例えば、マイクを介して入力されたユーザの音声の韻律情報を分析し、韻律の変化量を検出する。ここで、ユーザの音声が聞返しの場合、その音声の句末に特徴が現れる。したがって、韻律検出部６は、例えば、ユーザの音声の句末の、所定期間を２分割し、その前半区間の音声高さの平均値とその後半区間の音声高さの平均値との差分（又は傾き）を、韻律の変化量として検出する。
より具体的には、韻律検出部６は、図２に示す如く、ユーザの音声「山に行ってね」の終わりの１００ミリ秒間の音声高さの平均値と、その直前の１００ミリ秒間の音声高さの平均値との差分を、韻律の変化量として検出する。韻律検出部６は、検出した韻律の変化量を聞返し検出部８に出力する。
話題検出部７は、話題検出手段の一具体例である。話題検出部７は、応答文生成部４により生成された応答文中に出現する単語に基づいて、音声対話の話題を推定する。話題検出部７は、応答文中の単語と、予めメモリに設定されたテーブル情報と、を照らし合わせて話題を推定する。
テーブル情報には、図３に示す如く、話題と、その話題に含まれる単語とが対応付けられている。話題検出部７は、テーブル情報の話題の中から、最も多くのテーブル情報の単語が出現した話題を推定する。なお、話題検出部７は、出現した単語数が同数の場合、テーブル情報において、上位の話題を推定してもよい。
例えば、話題検出部７は、応答文「朝ごはんをいっぱい食べたよ」中の単語「朝ごはん」、「いっぱい」、「食べたよ」と、テーブル情報と、を照らし合わせる。話題検出部７は、テーブル情報の話題「食事」、「健康」、「家族」の中から、最も多くのテーブル情報の単語「朝ごはん」、「食べる」が出現した話題「食事」を推定する。なお、上述した話題検出部７の推定方法は一例であり、これに限定されない。
話題検出部７は、マイクを介して入力されたユーザの音声中に出現する単語に基づいて、音声対話の話題を推定してもよい。話題検出部７は、ユーザの音声中の単語と、予めメモリに設定されたテーブル情報と、を照らし合わせて話題を推定する。
話題検出部７は、上述の如く、音声対話の話題を推定し、該推定した話題の変化を検出する。話題検出部７は、例えば、推定した話題が「食事」から「健康」に変化した場合、その話題の変化を検出する。
聞返し検出部８は、聞返し検出手段の一具体例である。聞返し検出部８は、上述の如く、話題検出部７により話題の変化が検出された場合に、ユーザの音声の韻律情報に基づいて、ユーザの音声を該ユーザによる聞返しとして検出する。
ここで、ユーザの音声が聞返しの場合、図２に示す如く、その音声の句末において、韻律の変化量が大きくなる。これは、聞返しの場合、例えば、質問口調になるため音声の句末で音声が高くなるからである。
したがって、聞返し検出部８は、例えば、話題検出部７により話題の変化が検出され、かつ、韻律検出部６により検出された韻律の変化量が所定量以上で高い場合に、ユーザの音声を該ユーザによる聞返しとして検出する。上記所定量は、予め、聞返し時の音声句末における韻律の変化量が実験的に求められ、メモリに設定されている。聞返し検出部８は、聞返しを検出すると、その結果を示す検出信号を応答文生成部４に対して出力する。
応答文生成部４は、応答文生成手段の一具体例である。応答文生成部４は、聞返し検出部８から検出信号を受けると、そのユーザによる聞返しの音声の直前に出力した応答文に基づいて、聞返し用の応答文を生成する。応答文生成部４は、例えば、そのユーザによる聞返しの音声の直前に出力した応答文をそのまま、聞返し用の応答文として再生成する。これにより、聞返し用の応答文を簡易に生成できる。
ここで、聞返し用の応答文中にユーザにとって聞き取り難い単語が含まれている場合、その応答文を繰り返しても、やはり聞き取り難いという状況は変わらない虞がある。
これに対し、応答文生成部４は、聞返し直前にユーザに応答した応答文において、ユーザとの音声対話の履歴における出現頻度が第１所定値以下の単語が含まれる場合、該単語のみからなる聞返し用の応答文を生成する。
例えば、応答文生成部４は、聞返し直前の応答文「岐阜へゴルフに行ったよ」に対し、出現頻度が第１所定値以下の単語「ゴルフ」のみからなる聞返し用の応答文「ゴルフ」を生成する。
ユーザとの音声対話の履歴（以下、音声対話履歴）において出現頻度が低い単語は、ユーザにとって聞き慣れない単語であり、聞き取り難い単語と推定できる。したがって、応答文生成部４は、聞返し直前の応答文において、ユーザとの音声対話の履歴における出現頻度が第１所定値以下で低い単語が含まれる場合、その聞き取り難い単語のみからなる聞返し用の応答文を生成する。これにより、ユーザにとって、特に聞き取り難い単語のみを抜出し際立たせることで、聞き取り易くすることができる。すなわち、ユーザからの聞返しを検出した場合に、聞き取り易い応答文を生成し出力することができる。
音声対話履歴は、ユーザと音声対話システム１とで行われた音声対話の履歴であり、複数の音声対話が含まれる。音声対話履歴は、メモリなどに逐次記憶されている。上記第１所定値は、例えば、予め、ユーザが聞き取り難いと判断されたときの単語の出現頻度が実験的に求められ、メモリに記憶されている。
応答文生成部４は、聞返し直前の応答文において、音声対話履歴における出現頻度が第１所定値以下の単語が含まれる場合、その応答文において、その単語を強調した聞返し用の応答文を生成してもよい。これにより、ユーザにとって、特に聞き取り難い単語を強調し際立たせることで、聞き取り易くすることができる。すなわち、ユーザからの聞返しを検出した場合に、聞き取り易い応答文を生成し出力することができる。
例えば、応答文生成部４は、聞返し直前の応答文において、その単語の音声速度を、該単語以外の単語の音声速度よりも低下させる。これにより、音声速度が遅い、その単語を特に際立出せることができ、その単語を聞返し用の応答文中でより強調し、聞取り易くすることができる。
応答文生成部４は、聞返し直前の応答文において、その単語の音量を、該単語以外の単語の音量よりも大きくする。これにより、音量が大きい、その単語を特に際立出せることができ、その単語を聞返し用の応答文中でより強調し、聞取り易くすることができる。上記音声速度及び音量は、予め、ユーザが聞き取り易い音声速度及び音量が実験的に求められ、メモリに設定されている。
応答文生成部４は、聞返し直前の応答文において、その単語と前後の単語との間隔を空ける。これにより、その単語を特に際立出せることができ、その単語を聞返し用の応答文中でより強調し、聞取り易くすることができる。
さらに、応答文生成部４は、聞返し直前の応答文において、上記を任意に組み合わせて聞返し用の応答文を生成してもよい。例えば、応答文生成部４は、聞返し直前の応答文において、その単語の音声速度及び音量を、該単語以外の単語の音声速度及び音量よりも低下させた聞返し用の応答文を生成してもよい。
応答文生成部４は、生成した聞返し用の応答文を音声出力部５に出力する。音声出力部５は、応答文生成部４により生成された聞返し用の応答文を、音声で出力する。これにより、音声対話システム１は、ユーザからの聞返しに対して、的確に応答することができる。
図４は、本発明の実施形態１に係る音声対話システムの処理方法のフローを示すフローチャートである。韻律検出部６は、マイクを介して入力されたユーザの音声の韻律を分析し、韻律の変化量を検出する（ステップＳ１０１）。
話題検出部７は、音声対話の話題を推定し、該推定した話題の変化を検出する（ステップＳ１０２）。聞返し検出部８は、話題検出部７により話題の変化が検出され、かつ、韻律検出部６により検出された韻律の変化量が所定量以上である場合に、ユーザの音声を該ユーザによる聞返しとして検出する（ステップＳ１０３）。
聞返し検出部８が、聞返しを検出した場合（ステップＳ１０３のＹＥＳ）、応答文生成部４は、聞返し用の応答文を生成し（ステップＳ１０４）、生成した応答文を音声出力部５に出力し、後述の（ステップＳ１０８）に遷移する。
一方で、聞返し検出部８が、聞返しを検出しない場合（ステップＳ１０３のＮＯ）、音声認識部２は、ユーザの音声情報に基づいて音声認識処理を行い、ユーザの音声情報をテキスト化し文字列情報として認識し、認識したユーザの音声情報を構文解析部３に出力する（ステップＳ１０５）。
構文解析部３は、音声認識部２により認識された音声情報の構文を解析し、その解析結果を応答文生成部４に出力する（ステップＳ１０６）。応答文生成部４は、構文解析部３により解析された音声情報の解析結果に基づいて、ユーザの音声情報に対する応答文を生成する（ステップＳ１０７）。音声出力部５は、応答文生成部４により生成された応答文を、音声で出力する（ステップＳ１０８）。
以上、本実施形態１に係る音声対話システム１は、話題検出部７により話題の変化が検出された場合に、ユーザの音声の韻律情報に基づいて、ユーザの音声を該ユーザによる聞返しとして検出する。これにより、聞返し用の単語を予め登録しておく必要もなく、感動詞を含まない幅広い音声に対しても聞返しを検出できる。
実施形態２
図５は、本発明の実施形態２に係る音声対話システムの概略的なシステム構成を示すブロック図である。本実施形態２に係る音声対話システム２０は、ユーザの音声の韻律情報を入力とし、聞返し検出を出力として、ユーザの音声の韻律情報と聞返し検出との関係を機械学習する学習部９を更に備えている。
学習部９は、学習手段の一具体例である。学習部９は、入力としての聞返しの時のユーザの音声の韻律情報と、出力としての聞返し検出と、を対応付けた学習データで予め学習する。学習部９は、例えば、ＲＮＮ（Recurrent neural Network）などのニューラルネットワークで構成されている。このＲＮＮは、中間層にＬＳＴＭ（Long Short Term Memory）を有している。学習部９により、聞返し時におけるユーザの音声の韻律変化を学習し、その特性を捉えることで、より高精度に聞返しを検出できる。
上記学習部９の構成は、例えば、Towards a General, Continuous Model of Turn-taking in Spoken Dialogue using LSTM Recurrent Neural Networks, Sigdial 2017,に詳細に開示されており、これを援用できるものとする。
学習部９は、ニューラルネットワークの代わりに、ＳＶＭ（Support Vector Machine）などの他の学習器で構成されてもよい。
話題検出部７は、応答文生成部４により生成された応答文の単語ベクトルに基づいて、その単語の上位概念語を特定し、話題を推定してもよい。これにより、テーブル情報にない、未知の話題を推定できる。
上記推定方法は、「上位語・下位語の射影関係とそのクラスタの同時学習、山根丈亮、高谷智哉、山田整、三輪誠、佐々木裕、第２２回言語処理学会年次大会、Ｂ３−４、仙合、２０１６」に詳細に開示されており、これを援用できるものとする。
なお、音声対話システム１が主体となってユーザとの対話を進める場合がある。この場合、音声対話システム１には、ユーザと音声対話を行う話題が予め設定されている。したがって、話題検出部７は、予め設定されたその音声対話の話題を推定してもよい。これにより、確実に音声対話の話題を推定できる。
話題検出部７は、上述の如く、音声対話の話題を推定し、該推定した話題の変化を検出する。聞返し検出部８は、話題検出部７により話題の変化が検出され、かつ、韻律検出部６からユーザの音声の韻律情報が学習部９により入力され、該学習部９が聞返し検出を出力した場合に、ユーザの音声を該ユーザによる聞返しとして検出する。
図６は、本発明の実施形態２に係る音声対話システムの処理方法のフローを示すフローチャートである。学習部９は、聞返しの時のユーザの音声の韻律情報と、聞返し検出と、を対応付けた学習データで学習する（ステップＳ２０１）。
韻律検出部６は、マイクを介して入力されたユーザの音声の韻律を分析し、韻律情報（韻律の変化量など）を検出する（ステップＳ２０２）。話題検出部７は、応答文生成部４により生成された応答文の単語ベクトルに基づいて、その単語の上位概念語を特定し、話題を推定し、該推定した話題の変化を検出する（ステップＳ２０３）。
ユーザの音声の韻律情報が、韻律検出部６から学習部９に入力される（ステップＳ２０４）。聞返し検出部８は、話題検出部７により話題の変化が検出され、かつ、学習部９が聞返し検出を出力した場合に、ユーザの音声を該ユーザによる聞返しとして検出する（ステップＳ２０５）。
聞返し検出部８が、聞返しを検出した場合（ステップＳ２０５のＹＥＳ）、応答文生成部４は、聞返し用の応答文を生成し（ステップＳ２０６）、生成した応答文を音声出力部５に出力し、後述の（ステップＳ２１０）に遷移する。
聞返し検出部８が、聞返しを検出しない場合（ステップＳ２０５のＮＯ）、音声認識部２は、ユーザの音声情報に基づいて音声認識処理を行い、ユーザの音声情報をテキスト化し文字列情報として認識し、認識したユーザの音声情報を構文解析部３に出力する（ステップＳ２０７）。
構文解析部３は、音声認識部２により認識された音声情報の構文を解析し、その解析結果を応答文生成部４に出力する（ステップＳ２０８）。応答文生成部４は、構文解析部３により解析された音声情報の構文に基づいて、ユーザの音声情報に対する応答文を生成する（ステップＳ２０９）。音声出力部５は、応答文生成部４により生成された応答文を、音声で出力する（ステップＳ２１０）。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本発明は、例えば、図４及び図６に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１ 音声対話システム、２ 音声認識部、３ 構文解析部、４ 応答文生成部、５ 音声出力部、６ 韻律検出部、７ 話題検出部、８ 聞返し検出部、９ 学習部、２０ 音声対話システム

Claims (6)

  1. ユーザと音声対話を行う音声対話システムであって、
    前記音声対話の話題を推定し、該推定した話題の変化を検出する話題検出手段と、
    前記話題検出手段により前記話題の変化が検出された場合に、前記ユーザの音声の韻律情報に基づいて、前記ユーザの音声を該ユーザによる聞返しとして検出する聞返し検出手段と、
    を備える、ことを特徴とする音声対話システム。
  2. 請求項１記載の音声対話システムであって、
    前記ユーザの音声の韻律情報を分析し、該韻律の変化量を検出する韻律検出手段を更に備え、
    前記聞返し検出手段は、前記話題検出手段により前記話題の変化が検出され、かつ、前記韻律検出手段により検出された韻律の変化量が所定量以上である場合に、前記ユーザの音声を該ユーザによる聞返しとして検出する、
    ことを特徴とする音声対話システム。
  3. 請求項１記載の音声対話システムであって、
    前記韻律情報を入力とし、前記聞返し検出を出力として、前記韻律情報と前記聞返し検出との関係を機械学習する学習手段を備え、
    前記聞返し検出手段は、前記話題検出手段により前記話題の変化が検出され、かつ、 前記ユーザの音声の韻律情報が前記学習手段により入力され該学習手段が前記聞返し検出を出力した場合に、前記ユーザの音声を該ユーザによる聞返しとして検出する、
    ことを特徴とする音声対話システム。
  4. 請求項１乃至３のうちいずれか１項記載の音声対話システムであって、
    前記聞返し検出手段により聞返しが検出された場合、該聞返し対し、該聞返し前に前記ユーザに応答した応答文に基づいて、聞返し用の応答文を生成する応答文生成手段を更に備え、
    前記応答文生成手段は、前記応答文において、前記ユーザとの音声対話の履歴における出現頻度が第１所定値以下の単語が含まれる場合、該単語のみからなる前記聞返し用の応答文、または、前記応答文において該単語を強調した前記聞返し用の応答文を生成する、ことを特徴とする音声対話システム。
  5. ユーザと音声対話を行う音声対話システムの処理方法であって、
    前記音声対話の話題を推定し、該推定した話題の変化を検出するステップと、
    前記話題の変化が検出された場合に、前記ユーザの音声の韻律情報に基づいて、前記ユーザの音声を該ユーザによる聞返しとして検出するステップと、
    を含む、ことを特徴とする音声対話システムの処理方法。
  6. ユーザと音声対話を行う音声対話システムのプログラムであって、
    前記音声対話の話題を推定し、該推定した話題の変化を検出する処理と、
    前記話題の変化が検出された場合に、前記ユーザの音声の韻律情報に基づいて、前記ユーザの音声を該ユーザによる聞返しとして検出する処理と、
    をコンピュータに実行させる、ことを特徴とする音声対話システムのプログラム。
JP2018104982A 2018-05-31 2018-05-31 音声対話システム、その処理方法及びプログラム Active JP7151181B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018104982A JP7151181B2 (ja) 2018-05-31 2018-05-31 音声対話システム、その処理方法及びプログラム
CN201910411917.3A CN110634479B (zh) 2018-05-31 2019-05-17 语音交互系统、其处理方法以及其程序
US16/425,031 US11270691B2 (en) 2018-05-31 2019-05-29 Voice interaction system, its processing method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018104982A JP7151181B2 (ja) 2018-05-31 2018-05-31 音声対話システム、その処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019211515A true JP2019211515A (ja) 2019-12-12
JP7151181B2 JP7151181B2 (ja) 2022-10-12

Family

ID=68694137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018104982A Active JP7151181B2 (ja) 2018-05-31 2018-05-31 音声対話システム、その処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11270691B2 (ja)
JP (1) JP7151181B2 (ja)
CN (1) CN110634479B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071921A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 인공지능과 음성 인식을 기반으로 동작하는 전자 장치 및 이의 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6481643B2 (ja) * 2016-03-08 2019-03-13 トヨタ自動車株式会社 音声処理システムおよび音声処理方法
JP7142315B2 (ja) * 2018-09-27 2022-09-27 パナソニックＩｐマネジメント株式会社 説明支援装置および説明支援方法
US11250853B2 (en) 2020-04-30 2022-02-15 Robert Bosch Gmbh Sarcasm-sensitive spoken dialog system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331191A (ja) * 2000-05-23 2001-11-30 Sharp Corp 音声合成装置および音声合成方法、携帯端末器、並びに、プログラム記録媒体
JP2007017990A (ja) * 2006-07-20 2007-01-25 Denso Corp 単語列認識装置
JP2016061970A (ja) * 2014-09-18 2016-04-25 株式会社東芝 音声対話装置、方法およびプログラム
JP2017516153A (ja) * 2014-05-20 2017-06-15 アマゾン テクノロジーズ インコーポレイテッド 以前の対話行為を使用する自然言語処理における文脈解釈
JP2018104983A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 戸装置の施工方法、戸装置及びこれを用いた戸装置取付構造

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69232407T2 (de) * 1991-11-18 2002-09-12 Toshiba Kawasaki Kk Sprach-Dialog-System zur Erleichterung von Rechner-Mensch-Wechselwirkung
US20070294229A1 (en) * 1998-05-28 2007-12-20 Q-Phrase Llc Chat conversation methods traversing a provisional scaffold of meanings
JP2001272991A (ja) * 2000-03-24 2001-10-05 Sanyo Electric Co Ltd 音声対話方法及び音声対話装置
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US7257537B2 (en) * 2001-01-12 2007-08-14 International Business Machines Corporation Method and apparatus for performing dialog management in a computer conversational interface
JP4156563B2 (ja) * 2004-06-07 2008-09-24 株式会社デンソー 単語列認識装置
US20050283473A1 (en) * 2004-06-17 2005-12-22 Armand Rousso Apparatus, method and system of artificial intelligence for data searching applications
US20100286490A1 (en) * 2006-04-20 2010-11-11 Iq Life, Inc. Interactive patient monitoring system using speech recognition
US20070260450A1 (en) * 2006-05-05 2007-11-08 Yudong Sun Indexing parsed natural language texts for advanced search
JP4264841B2 (ja) * 2006-12-01 2009-05-20 ソニー株式会社 音声認識装置および音声認識方法、並びに、プログラム
US9014365B1 (en) * 2007-06-06 2015-04-21 United Services Automobile Association (Usaa) Systems and methods for state information exchange
US20090210411A1 (en) * 2008-02-15 2009-08-20 Oki Electric Industry Co., Ltd. Information Retrieving System
JP2010197858A (ja) 2009-02-26 2010-09-09 Gifu Univ 音声対話システム
JP5382780B2 (ja) 2009-03-17 2014-01-08 株式会社国際電気通信基礎技術研究所 発話意図情報検出装置及びコンピュータプログラム
US9634855B2 (en) * 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US20120016674A1 (en) * 2010-07-16 2012-01-19 International Business Machines Corporation Modification of Speech Quality in Conversations Over Voice Channels
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US20130325447A1 (en) * 2012-05-31 2013-12-05 Elwha LLC, a limited liability corporation of the State of Delaware Speech recognition adaptation systems based on adaptation data
KR102056461B1 (ko) * 2012-06-15 2019-12-16 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP6073649B2 (ja) 2012-11-07 2017-02-01 株式会社日立システムズ 音声自動認識・音声変換システム
JP6221301B2 (ja) * 2013-03-28 2017-11-01 富士通株式会社 音声処理装置、音声処理システムおよび音声処理方法
US9519634B2 (en) * 2014-05-30 2016-12-13 Educational Testing Service Systems and methods for determining lexical associations among words in a corpus
US10395552B2 (en) * 2014-12-19 2019-08-27 International Business Machines Corporation Coaching a participant in a conversation
JP6601069B2 (ja) * 2015-09-01 2019-11-06 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
JP2017049471A (ja) * 2015-09-03 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
WO2017112813A1 (en) * 2015-12-22 2017-06-29 Sri International Multi-lingual virtual personal assistant
JP6851871B2 (ja) * 2016-03-30 2021-03-31 光吉　俊二 意思創発装置、意思創発方法および意思創発プログラム
JP6719740B2 (ja) * 2016-05-20 2020-07-08 日本電信電話株式会社 対話方法、対話システム、対話装置、およびプログラム
US10049263B2 (en) * 2016-06-15 2018-08-14 Stephan Hau Computer-based micro-expression analysis
US9875740B1 (en) * 2016-06-20 2018-01-23 A9.Com, Inc. Using voice information to influence importance of search result categories
US10592611B2 (en) * 2016-10-24 2020-03-17 Conduent Business Services, Llc System for automatic extraction of structure from spoken conversation using lexical and acoustic features
JP6731326B2 (ja) * 2016-10-31 2020-07-29 ファーハット ロボティクス エービー 音声対話装置及び音声対話方法
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
JP2019057123A (ja) * 2017-09-21 2019-04-11 株式会社東芝 対話システム、方法、及びプログラム
US10824595B1 (en) * 2017-10-09 2020-11-03 United Services Automobile Services (USAA) Personalized user interface systems and methods
JP6943158B2 (ja) * 2017-11-28 2021-09-29 トヨタ自動車株式会社 応答文生成装置、方法及びプログラム並びに音声対話システム
US20190371318A1 (en) * 2018-02-15 2019-12-05 DMAI, Inc. System and method for adaptive detection of spoken language via multiple speech models
WO2019161198A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for speech understanding via integrated audio and visual based speech recognition
US10713441B2 (en) * 2018-03-23 2020-07-14 Servicenow, Inc. Hybrid learning system for natural language intent extraction from a dialog utterance
US11018997B2 (en) * 2018-04-12 2021-05-25 Disney Enterprises, Inc. Systems and methods for maintaining a conversation
JP7059813B2 (ja) 2018-05-31 2022-04-26 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331191A (ja) * 2000-05-23 2001-11-30 Sharp Corp 音声合成装置および音声合成方法、携帯端末器、並びに、プログラム記録媒体
JP2007017990A (ja) * 2006-07-20 2007-01-25 Denso Corp 単語列認識装置
JP2017516153A (ja) * 2014-05-20 2017-06-15 アマゾン テクノロジーズ インコーポレイテッド 以前の対話行為を使用する自然言語処理における文脈解釈
JP2016061970A (ja) * 2014-09-18 2016-04-25 株式会社東芝 音声対話装置、方法およびプログラム
JP2018104983A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 戸装置の施工方法、戸装置及びこれを用いた戸装置取付構造

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三宅梨帆他: "相槌／聞き返し認識とその音声対話システムへの応用", 日本音響学会２００５年春季研究発表会講演論文集, JPN6021037942, March 2005 (2005-03-01), pages 71 - 72, ISSN: 0004607486 *
大原康平他: "不足情報を自律的に問う対話エージェントの実現に向けた聞き返しの必要性検知", DEIM FORUM 2017 [ONLINE], vol. F4-2, JPN6022010286, March 2017 (2017-03-01), pages 1 - 7, ISSN: 0004726576 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071921A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 인공지능과 음성 인식을 기반으로 동작하는 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
CN110634479B (zh) 2023-02-28
US11270691B2 (en) 2022-03-08
JP7151181B2 (ja) 2022-10-12
US20190371302A1 (en) 2019-12-05
CN110634479A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
JP7059813B2 (ja) 音声対話システム、その処理方法及びプログラム
KR102161579B1 (ko) 응답문 생성 장치, 방법 및 프로그램, 그리고 음성 대화 시스템
US8219397B2 (en) Data processing system for autonomously building speech identification and tagging data
US10452352B2 (en) Voice interaction apparatus, its processing method, and program
JP2019211515A (ja) 音声対話システム、その処理方法及びプログラム
US11133025B2 (en) Method and system for speech emotion recognition
JP5506738B2 (ja) 怒り感情推定装置、怒り感情推定方法およびそのプログラム
CN105390137B (zh) 响应生成方法、响应生成装置和响应生成程序
Chakraborty et al. Knowledge-based framework for intelligent emotion recognition in spontaneous speech
JP5136512B2 (ja) 応答生成装置及びプログラム
JP7287006B2 (ja) 話者決定装置、話者決定方法、および話者決定装置の制御プログラム
KR20210000802A (ko) 인공지능 음성 인식 처리 방법 및 시스템
JP2016024384A (ja) 応答生成装置、応答生成方法及びプログラム
JP2016080981A (ja) 応答生成装置、応答生成方法及び応答生成プログラム
JP6287754B2 (ja) 応答生成装置、応答生成方法及び応答生成プログラム
JP6773074B2 (ja) 応答生成方法、応答生成装置及び応答生成プログラム
JP2016191740A (ja) 音声処理装置、音声処理方法およびプログラム
CN113763921A (zh) 用于纠正文本的方法和装置
PANDIPATI et al. A Survey on Voice to Text Conversion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151