JP2008512789A - 機械学習 - Google Patents

機械学習 Download PDF

Info

Publication number
JP2008512789A
JP2008512789A JP2007531341A JP2007531341A JP2008512789A JP 2008512789 A JP2008512789 A JP 2008512789A JP 2007531341 A JP2007531341 A JP 2007531341A JP 2007531341 A JP2007531341 A JP 2007531341A JP 2008512789 A JP2008512789 A JP 2008512789A
Authority
JP
Japan
Prior art keywords
communication
agent
conversation
party type
communications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007531341A
Other languages
English (en)
Other versions
JP4901738B2 (ja
Inventor
アール.ウィリアムズ デビッド
ヒル ジェフリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2008512789A publication Critical patent/JP2008512789A/ja
Application granted granted Critical
Publication of JP4901738B2 publication Critical patent/JP4901738B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5166Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing in combination with interactive voice response systems or voice portals, e.g. as front-ends
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

自動化応答システム(たとえば、自動化音声応答システム)は、学習戦略を利用して、自動化応答機能を開発し、または改良することができる。学習戦略は、会話における一方の当事者(カスタマーサービスエージェント)のコミュニケーション(発声、テキストメッセージなど)を用いて、会話における他方の当事者(発信者)のコミュニケーションを識別し、カテゴリ化することを含み得る。カテゴリ化されたコミュニケーションから、分類器を組み立てることができる。分類器は、会話における当事者(エージェント)の共通コミュニケーションパターンを識別するのに使うことができる。学習戦略は、選択基準(システムが、信頼できない、または重要でない例からは学習しないようにするために選ばれた選択基準)に基づいて、コミュニケーションを、自動化応答機能を改良するための学習機会として選択することも含み得る。

Description

本明細書は、自動化応答システムにおける機械学習に関する。
会話が管理されるあるアプリケーションが、顧客コンタクトセンター内にある。顧客コンタクトセンター、たとえばコールセンターは、新経済において、企業の最も重要であり動的な分野の1つとして出現した。今日の厳しい経済環境において、費用効果が高くなるように顧客にサービス提供し、つなぎ止めることが、戦略的に重要である。ほとんどの企業は、満足している顧客を保ち続けることの方が、新規顧客を獲得するよりも費用がかからないことを理解している。すべての顧客対話のうち半数を超えるものに対する企業の接点として、コンタクトセンターは、成功を収める事業戦略の土台となった。
コンタクトセンターの重要性が増しつつあるのが、最近の現象である。伝統的には、カスタマーサービスは、ほとんどの組織によって、高いにも関わらず、事業を行うのに必要なコストであり、問題および非効率性を伴うと見なされていた。大量の通話は通常、トレーニングされたスタッフを閉口させ、顧客に対して長時間話し中の待ち行列を生じさせる。不適当な情報システムは、ほとんどの発信者に対して、基本情報を何回か繰り返すことを要求する。このため、推定20パーセントの買物客は、組織のコンタクトセンターに電話しなければならない事態に直面すると、ウェブサイトを見限り、より多くの客が、保留待ち行列または苛立たせるようなメニュー選択肢に遭遇すると、通話を諦める。さらに、顧客コンタクトセンターは、並外れた業務コストに相当し、平均的事業に対する収益の約10パーセントを消費している。労働コストは、この支出の上位を占め、産業界の並外れて高い離職率により、新たなエージェントの採用およびトレーニングが際限なく続いている。
事業にとっては残念ながら、費用効果が高いカスタマーサービスを保証するという目標は、より困難になりつつある。インターネットにより、組織とその顧客との間のコミュニケーションの激増が推進された。顧客は、インターネット経済では、サービスに対してより高い価値を置いている。というのは、オンラインで購入される製品およびサービスが、従来の販売チャネルを通して購入されたものよりも多数の照会を生じさせるからである。コンタクトセンターの役割は、ビジネスパートナー、投資家、さらには会社の従業員など、新たな消費者へのサービス提供を含むまでに拡大した。効果の高い新規の広告およびマーケティング構想により、顧客は、情報を取得するために、既に過剰負担であるコンタクトセンターと対話するようになっている。電話の呼出しに加えて、照会は今では、eメール、ウェブメールおよびチャットを含む、新たなウェブベースのテキストチャネルを介して行われ、これが、カスタマーサービス業務に過大な負担をかけている。
優れたカスタマーサービスの増しつつある重要性およびそのようなサービスを実現する上での障害が結びついて、カスタマーサービスの挑戦課題となっている。
米国特許第6401061号
一態様では、本発明は、以前記録されたエージェント−発信者間会話(たとえば、人間エージェント−発信者間会話)セットに取り込まれたエージェントコミュニケーション(たとえば、発声、テキストメッセージなど)を用いて、1組のエージェント分類器をトレーニングすることを特徴とする。エージェント分類器から、発信者の発声を突き止め、クラスタ化することができる。クラスタ化された発信者の発声は、1組の発信者クラスタをトレーニングするのに使うことができる。
別の態様では、本発明は、分類器(たとえば、エージェントや発信者分類器)を使って、以前記録されたエージェント−発信者間会話におけるコミュニケーションを分類し、分類されたコミュニケーションを、関連する分類器用のトレーニングセットに追加し、分類器を組立て直すことによって、発信者クラスタを増補することを特徴とする。
別の態様では、本発明は、エージェント分類器を使って、以前記録されたエージェント−発信者間会話セットの中の共通エージェント要求パターンを識別することを特徴とする。こうした共通エージェント要求パターンは、特定の通話タイプ(たとえば、同じ初期発信者要求に関係する通話)に関連し得る。こうしたエージェント要求パターンは、たとえば、アプリケーション開発者によって、自動化応答システムの会話の流れを考案するのに使うことができる。
別の態様では、本発明は、同じ情報について尋ねる様々なフレーズのエージェント質問に対する発信者応答の分布を用いて、発信者から所望の応答を生じる可能性が最も高い、自動化応答システム用の質問の言い回しを判定することを特徴とする。
別の態様では、本発明は、第1の当事者タイプのメンバ(たとえば、人間エージェントやソフトウェアエージェント)と第2の当事者タイプのメンバ(たとえば、人間発信者)との間の1つの会話セットを受け取ることを含む方法を特徴とし、会話はそれぞれ、第1の当事者タイプのメンバのコミュニケーションと、第1の当事者タイプのメンバのコミュニケーション(たとえば、要求に対して発話された応答)に応答する、第2の当事者タイプのメンバのコミュニケーション(たとえば、発話された要求)とを含む。本方法は、第1の当事者タイプのメンバのコミュニケーションを第1のクラスタセットにグループ化すること、および次いで、第2の当事者タイプのメンバの、応答側コミュニケーションを、第1の当事者タイプのメンバのコミュニケーションのグループ化に基づいて、第2のクラスタセットにグループ化することも含む。本方法は、マシンによって、第2のクラスタセット中の1つまたは複数のクラスタ用に、1組の第2の当事者タイプ分類器(たとえば、サポートベクターマシンや決定木)を生成することも含む。
本発明のこの態様の実装形態は、以下の特徴の1つまたは複数を含む。本方法は、自動化音声応答システムや自動化テキストメッセージ通信応答システムなど、自動化応答システム用の初期アプリケーションを開発するのに用いることができる。第1の当事者タイプのメンバのコミュニケーションは、コンピュータを使って、第1のクラスタセットにグループ化することができる。たとえば、コンピュータプロセスは、最初にコミュニケーションの意味特徴を判定し、次いで、意味特徴に基づいて、コミュニケーションをクラスタにグループ化することができる。
第1グループのメンバのコミュニケーショングループは、そのコミュニケーションの意味に基づいてグループ化することができる。言い換えると、コミュニケーションは、あるグループ中のコミュニケーションすべてが同じ意味をもつが、異なる言い回しをもち得るようにグループ化することができる。第2当事者タイプのメンバのコミュニケーショングループは、第1の当事者タイプのメンバからの、情報を求める要求への応答に対応するグループにグループ化することができる。
本方法は、第1の当事者タイプのメンバと第2の当事者タイプのメンバとの間の第2組の会話セットを受け取ること、第2の当事者タイプ分類器を適用して、第2の当事者タイプのメンバのコミュニケーションをグループ化すること、およびマシンによって、クラスタ中のグループ化されたコミュニケーションに関するデータを使って、第2のクラスタセット中のあるクラスタ向けの第2の当事者タイプ分類器を生成し直すことをさらに含み得る。
別の態様では、本発明は、1組の分類器を適用して、応答側コミュニケーションも含む会話の一部である開始側コミュニケーション(たとえば、エージェントからの情報要求)をカテゴリ化すること、およびカテゴリ化されたコミュニケーションを用いて、共通のコミュニケーションパターンを識別することを特徴とする。
本発明の実装形態は、以下の特徴の1つまたは複数を含み得る。本方法は、会話セット中の会話を、主題(たとえば、コールセンターに電話した発信者の目的である主題)によってグループ化すること、および識別された共通のコミュニケーションパターンを、そのグループに関連づけることをさらに含み得る。
別の態様では、本発明は、1組の分類器(たとえば、サポートベクターマシン)を適用して、第1の当事者タイプのメンバと第2の当事者タイプのメンバとの間の会話における、第1の当事者タイプのメンバのコミュニケーションをカテゴリ化すること、および第1の当事者タイプのメンバの、カテゴリ化されたコミュニケーションの組合せまたは並びに基づいて、会話の主題を判定することを特徴とする。
本発明の実装形態は、以下の特徴の1つまたは複数を含み得る。本方法は、カテゴリ化されたコミュニケーションの並びを、既知の主題を有する会話に関連づけられた、カテゴリ化されたコミュニケーションの並びと突き合わせることも含み得る。
別の態様では、本発明は、発信者と自動化応答システム(たとえば、自動化テキストメッセージ通信応答システムや自動化音声応答システム)との間に発生したコミュニケーションの例を使って、システムの性能を向上させることを特徴とする。
別の態様では、本発明は、いくつかの選択基準に基づいて、自動化応答システム用の学習機会の例を選択することを特徴とする。選択基準は、システムが学習するための例が信用できるものであることを保証するのを助けるために、(たとえば、ユーザによってグラフィカルユーザインターフェイスを介して)選ぶことができる。選択基準は、システムが、結果としてシステムに対して有意義な改良をもたらす例のみを選択することを保証するように選ぶこともできる。結果としてシステムに対して有意義な改良をもたらさない例を無視することによって、システムは、リソース(たとえば、改良を実現する任務を負わされた処理リソースや、学習例を検討し、または承認する任務を負わされた、人間が管理するリソース)に対する負担を最小限にするのを助ける。
別の態様では、本発明は、少なくともそのいくつかが、人と、コンタクトセンターに関連するエージェント(たとえば、人間エージェントやソフトウェアエージェント)との間の一連のコミュニケーション(たとえば、発声、テキストメッセージなど)を含む会話のデジタル表現を受け取ること、ならびに1つまたは複数の選択基準が満たされる場合、あるコミュニケーションを学習機会として選択することを含む、コンタクトセンターに関連づけられた自動化応答システム用の学習機会を選択する方法を特徴とする。
実装形態は、以下の特徴の1つまたは複数を含み得る。選択基準は、コミュニケーションの後に人とエージェントの間にコミュニケーションのやり取りが続くという要件、コミュニケーションの後に人とエージェントの間の、後続の成功したいくつかのコミュニケーションやり取りが続くという要件、コミュニケーションが、エージェントによって課された満足性質問に対して、人が肯定的に応答した会話に含まれるという要件、第1の会話中のコミュニケーションが、他のいくつかの会話中に発生する同様のコミュニケーションによって確認されるという要件、またはコミュニケーションが、コミュニケーションを用いて組み立てられた1組の分類器に、以前の1組の分類器が正しく分類したコミュニケーションの分類を誤らせないという要件でよい。
いくつかの実装形態では、人とエージェントの間のコミュニケーションは、人間エージェントが人のコミュニケーションに対する応答を、自動化応答システムによって生成された、応答案のランクつきリストから選択した支援対話を含み得る。こうした支援対話に対して、選択基準は、支援対話中の選択された応答が、閾値を越えてランクづけされるという要件、または支援対話中の選択された応答が、信用できる人間エージェントから選択されるという要件を含み得る。
選択されたコミュニケーションは、選択されたコミュニケーションを用いて分類器を組み立て直し、選択されたコミュニケーションを用いて、自動音声認識エンジン用の言語モデルを生成し、または選択されたコミュニケーションを用いて有限状態ネットワークを変更することによって、システム性能を向上させるのに用いることができる。
音声応答の実装形態において、本方法は、オフラインの音声認識エンジンによって、学習機会として選択された発声に対して音声認識を実施することも含み得る。本方法は、音声認識の実施に先立って、コミュニケーションのデジタル表現に関連づけられた、発声の意味の信頼性レベルに基づいて、選択された発声に対して音声認識を実施するかどうか判定することも含み得る。
別の態様では、本発明は、発信者と、コンタクトセンターに関連づけられた1つまたは複数のエージェントとの間に起こった会話のデジタル表現を受け取ること、ならびに1つまたは複数の選択基準に基づいて、会話のデジタル表現に取り込まれた発声を転記のために選択することを含む、コンタクトセンターに関連づけられた自動化音声応答システム用の学習機会を選択する方法を特徴とする。
実装形態は、以下の特徴の1つまたは複数を含み得る。選択基準は、自動化音声応答システムによる応答の信頼性レベルが一定の値の範囲に収まるという要件、または会話中の発声に対して実施される音声認識プロセスの信頼性レベルが一定の値の範囲に収まるという要件を含み得る。本方法は、発声に対して音声認識を実施すること、および発声中の認識された単語を、システムによって会話中の発声を認識するのに用いられる音声認識プロセスによって使われる、単語の語彙集に追加することも含み得る。
別の態様では、本発明は、人と、その人のコミュニケーションに対する応答を、エージェントが、自動化応答システムによって応答案の中から選択した自動化応答システムに関連づけられた人間エージェントとの間の対話に基づいて、コミュニケーションを、自動化応答システムをトレーニングするための例として選択することを含む方法を特徴とする。
本発明の実装形態は、以下の特徴の1つまたは複数を含み得る。コミュニケーションの選択は、エージェントによって選択された応答の信頼性レベル、または応答を選択した人間エージェントの信用レベルに基づいてよい。
別の態様では、本発明は、人間エージェントによって扱われる応答を生じさせた自動化応答システムと交信する人と、自動化応答システムを、システムと交信する人からの将来の同様のコミュニケーションに対して応答するように変更するものとの間のコミュニケーションを識別する方法を特徴とする。
特定の一実装では、自動化応答システムを変更することは、システムに関連づけられた有限状態遷移ネットワークを変更することを含み得る。
別の態様では、本発明は、概念認識エンジン内の分類器用の1組のトレーニング例にコミュニケーションを追加すること、追加されたコミュニケーションを含むその1組のトレーニング例を使って、新たな分類器を生成すること、および新たな分類器に対する性能要件に基づいて、新たな分類器を無視することを含む、自動化応答システム用の学習機会を選択する方法を特徴とする。
実装形態は、以下の特徴の1つまたは複数を含み得る。性能要件は、新たな分類器が、他の少なくとも所定の数の例を正しく分類するという要件でも、新たな分類器が、以前の分類器の確定的な(definitive)1組の例とは所定の量だけ異なる、新たな確定的な1組の例をもつという要件でもよい。
別の態様では、本発明は、応答側コミュニケーションの少なくとも1つのクラスタ用の1組の分類器を生成することを特徴とし、クラスタは、会話中で応答側コミュニケーションが関連づけられる、開始側コミュニケーションの1つまたは複数のクラスタに基づく。
実装形態は、以下の特徴の1つまたは複数を含み得る。開始側の会話は、第1の当事者タイプのメンバ(たとえば、カスタマーサービスセンターにいるエージェント)からでよく、応答側会話は、第2の当事者タイプのメンバ(たとえば、カスタマーサービスセンターと交信する顧客)からでよい。本方法は、少なくともそのいくつかが開始側コミュニケーションおよび関連づけられた応答側コミュニケーションを含む、1つの会話セットを受け取ることも含み得る。応答コミュニケーションのクラスタは、開始側コミュニケーションに関連づけられた応答側コミュニケーションを含み得る。
他の利点、特徴、および実装形態が、以下の説明および特許請求の範囲から明らかになるであろう。
参照によってその全体が組み込まれている特許文献1に記載されている技術などの、概念または意味に基づく自然言語処理技術は、その文字通りの言い回しではなく、情報の意味、すなわち意味的文脈に基づいて、情報とインテリジェントに対話するのに利用することができる。したがって、コミュニケーション、たとえばユーザが質問を課し、システムが返答を与えるコミュニケーションを管理するシステムを組み立てることができる。このようなシステムは、ユーザクエリから、文字通りの言い回しによらずに、キーとなる概念を自動抽出するので、極めて効果的であり、ユーザフレンドリーであり、耐障害性がある。概念認識エンジン(特許文献1に記載されている種類のもの)は、顧客が、声またはテキストベースのコミュニケーションチャネルを介した会話に基底システムを従事させるとき、顧客が尋ねていることに基づく、適切な応答の形成を可能にする。会話は、顧客を伴う同期コミュニケーション(ボイスメッセージまたはインスタントメッセージを用いるリアルタイムのダイアログや、ウェブページを介した他のコミュニケーションなど)でも、非同期コミュニケーション(eメールやボイスメールメッセージなど)でもよい。非同期コミュニケーションモードを用いた会話では、顧客の照会と比較して、より後の時点で応答が与えられる。
顧客コンタクトセンターの例では、ランタイムに先立って、コミュニケーション管理システムは、顧客コンタクトセンターでの、顧客と人間エージェントの間の、ログをとられた実際の会話を使って、知識ベースを作成する。このように、可能なあらゆる顧客対話に対してシステムをプログラムしようとするのではなく、ログをとられた会話を使うことによって、セットアップが容易で迅速になり、幅広いシステム管理者の能力の範囲内となる。
変化し続ける事業状況に素早く適応することができない、従来のセルフサービスシステムとは異なり、本明細書に記載されるシステムは、典型的な質問および回答のペアを直ちにモデル化し、将来の会話を自動化することができる。
システムによって(ランタイムに先立って知識ベースを組み立てるため、またはランタイムに今現在のコミュニケーションを処理するために)処理される各会話は、順序づけられた1組の状態、ならびに各状態からの遷移が顧客による質問またはステートメントおよび人間エージェントによる応答を含む他の状態への遷移(あるいは一部のケースでは、逆に質問をユーザに課すなど、質問に応答してとられるべきアクション)としてモデル化される。記録された対話からの、処理中の会話に対する象徴的な、状態−遷移−状態のシーケンスを、図1に示す。いくつかの実装形態では、顧客による各ステートメントまたはコミュニケーションあるいは人間エージェントによる応答の区切りは、沈黙期間または発話による割込みである。
こうしたステートメントまたは応答それぞれのテキストは、会話においてどのようなコミュニケーション媒体、たとえばテキストまたは発語が使われようとも、そこから抽出される。たとえば、オンライン自動音声認識(ASR)エンジンは、発話された会話をテキストにコンバートするのに使うことができる。次に、システムは、顧客の質問またはステートメントあるいは人間エージェントの応答から、キーとなる概念を抽出する。この抽出は、特許文献1に記載されているように、テキストエレメント(S−Morph、すなわちS形態素)および1組の概念(意味要素)によるその意味ライブラリを、概念認識エンジンによって使用するための知識ベースとして作成することによって行われる。概念認識エンジンは、顧客またはエージェントからのテキストを、こうしたS形態素に解析し、次いで、こうしたS形態素に合致する概念が収集される。コミュニケーション(論じている例では、質問または応答)に対するこうしたキー概念は、順序づけられていないセットに格納することができ、「概念のバッグ」と呼ぶことができる。シンタクスまたは類似を反映する様々な構造への、概念のより高レベルの編成も可能である。ログをとられた会話(すなわち、ダイアログ)のセット全体が処理された後、各会話は、状態−遷移−状態シーケンスとして表される。システムは、会話状態遷移シーケンスをすべて、単一のグラフに蓄積し、そうすることによって、初期状態は、会話のいずれにも遷移することができるようになる。この集約型遷移グラフは次いで、重複状態および遷移を置き換えるグラフ理論技法を用いて凝縮される。システムは、所与の状態からのどの遷移が重複しているかを、遷移をその「概念」と比較することによって、再帰的に判定する。同じ状態からの重複遷移の後継状態は次いで、後継状態からの遷移すべてを有する1つの状態にマージされる。重複遷移の応答のうち1つのもののテキストは、標準応答として知識ベースに保存される。このテキストは、テキストの形の会話型やり取りの一部として、顧客に渡し戻され、または音声にコンバートされる。その結果得られる、凝縮された状態遷移グラフは、システム用の知識ベースを形成する。凝縮された状態遷移グラフの例を、図1Aに示す。いくつかの実装形態では、この知識ベース内の情報はすべて、明確なXML文法を用いて格納される。マークアップ言語の例は、ハイパーテキストマークアップ言語(HTML)および音声拡張マークアップ言語(VoiceXML)を含む。この場合、会話マークアップ言語(CML)は、知識ベース用の情報を格納するのに使われる。
知識ベースが形成されると、システムは、たとえば顧客コンタクトセンターにおけるコミュニケーションを管理するのにシステムが使われる動作(ランタイム)モードに進むことができる。所与の顧客コンタクトセンター向けの知識ベースを構築するのに使われたログは、いくつかの実装形態では、その同じ顧客コンタクトセンターまたは同様の種類の会話によって特徴づけられるコンタクトセンターで発生する会話から記録されることになる。知識ベースを使って、システムは、ランタイム会話の現在の状態を、顧客コンタクトセンター用の状態遷移グラフに基づいて追跡することができる。たとえば、顧客がその第1のコミュニケーション(テキストにコンバートされる)を顧客コンタクトセンターと行った(たとえば、ユーザが任意の、自然言語で発話されたクエリを行ってもよい)後、システムは、概念認識エンジンを使って、テキストから概念を抽出する。次に、システムは、テキストからの概念を、コンタクトセンターの状態遷移グラフ中の初期状態からの遷移と突き合わせることを試みる。この突合せは、現在のコミュニケーションに関連づけられた概念セットを、知識ベースに格納された概念セットと比較することによって行われる。2つのセットが近いほど、突合せ結果の正確さの信頼性が増す。知識ベース中の最も合致する遷移が、信頼性が一定の閾値を越える顧客のテキストに合致する場合、システムは、正しい遷移を識別したと想定し、知識ベース中で、対応する応答の場所を突き止め、対応する応答を顧客に伝達する。システムは、状態遷移グラフ中の次の状態に進み、顧客の次のコミュニケーションを待つ。この一連の状態および遷移の巡回は、顧客が会話を終了するか、または状態遷移グラフが終了状態に達するまで続き得る。ただし、概念認識エンジンによって受け取られるテキスト中のエラーと、顧客による非標準的(もしくは予期されない)質問またはステートメントとは、人間エージェントによる介入を必要とし得る。顧客のコミュニケーションが発語形式のとき、発語からテキストへのコンバートは、このようなエラーを有し得る。このようなエラーが起こり得るせいで、いくつかの実装形態では、システムは、顧客への応答の完全な自動化には依拠せず、代わりに、自動化が失敗すると、人間エージェントによる手動介入に円滑に遷移する。概して、このタイプの段階的自動化は、顧客1、システム3、および人間エージェント5の間の対話を示す図2によって示されている。(本システムの他の実装形態では、自動化応答は、信頼性が高い場合に与えることができるが、応答(システムが応答することができないということを示すもの以外)はユーザに与えられない)。
いくつかの例では、システムは、音声認識技術を使って、電話による会話に顧客を従事させる。音声認識技術は、顧客の発語を、概念認識エンジンへの入力となるテキストにコンバートする。概念認識エンジンを音声認識と統合することによって、基底システムは、顧客が意味することを概念的に理解することによって、顧客が言うことを認識する。この結合により、多数のチャネルを介して、直観的で、インテリジェントな、建設的な対話にユーザを引き込むことによって、カスタマーサービスセンターにおける新たなレベルの自動化が可能になる。また、組織が多大な量の日常的顧客トランザクションを、すべてのコンタクトチャネルを介して負担させることも可能になり、かなりの支出の節約となるとともにサービスレベルが向上する。
他の実装形態では、顧客とのこうした会話は、たとえば、VoiceXMLブラウザを使うオーディオインターフェイス、HTMLブラウザを使うウェブ、IMアプリケーションを使うインスタントメッセンジャー、メールアプリケーションを使うeメール、ならびにまだ使用されていない他のチャネルを介して起こり得る。
このシステムは、コンタクトセンターの応答が、顧客のコミュニケーションとは異なるコミュニケーションモードを使うことを可能にすることに留意されたい。たとえば、顧客は、声を使ってコミュニケーションを行うことができ、コンタクトセンターは、テキストで応答することができ、あるいは顧客がテキストを使ってコミュニケーションを行うことができ、コンタクトセンターが、コンピュータ生成による声で応答することができる。これは、セーブされた応答テキストを直接使うことによって、あるいはセーブされた応答テキストをコンピュータ生成による声にコンバートすることによって遂行される。
いくつかの実装形態では、本システムは、3つのタイプまたはレベルの会話管理を提供し、本システムは、所与の会話中に、こうした会話管理の間で切換えを行うことができる。
1.自動化:システムは、顧客の要求に対して適切な応答を生じ、人間エージェントに全く依存せずにトランザクションを自動化することが可能である。たとえば、顧客Aが、新製品に対する会社の保証について照会するために、会社の顧客コンタクトセンターに電話する。顧客Aは、自動化システムによって迎えられ、システムは、自己紹介を行い、自動化システムがどのように動くかを、サンプル照会を含んで手短に説明する。顧客は次いで、自分の照会内容を自分自身の言葉で述べるよう促される。顧客Aは、自分の照会内容を会話様式で述べる。自動化システムは、顧客に会社の包括的な保証方針を知らせる。システムは、顧客Aに、この解決が有用であったかどうか、また、追加の質問があるかどうか質問する。自分の質問が回答されると、顧客Aは通話を終える。
2.融合エージェント支援:このモードでは、システムは、人間エージェントを巻き込み、顧客の照会および信頼性/類似(「一致スコア」)によってランクづけされた、いくつかの応答案を人間エージェントに提示する。人間エージェントは、応答案の1つを選択し、システムが通話を完了することを可能にする。人間エージェントは、システムに質問を入れることによって、代替応答を求めてシステム知識ベースを検索することもできる。融合エージェント支援モードでは、エージェントは、電話をとることも、顧客と直接対話することもない。合成されたモデルは、エージェントがシステムを正しい解決に素早く「向かわせる」ことを可能にすることによって、通話にかかるエージェント時間を削減することが期待される。人間エージェントは次いで、新たなトランザクションに移ることができる。たとえば、顧客Bが、サービスに対する支払いを翌日まで延ばすことができるアドレスを尋ねるために、会社のカスタマーサービス組織に電話する。顧客Bは、自動化システムで迎えられ、システムは、自己紹介を行い、顧客の名前を確認する。名前の確認が行われた後、顧客Bは、自動化システムがどのように動くかを、サンプル照会を含んで手短に説明される。顧客は次いで、自分の照会内容を自分自身の言葉で述べるよう促される。顧客Bは、自分の照会内容を会話様式で述べる。自動化システムは、顧客の質問への回答を探す間、顧客に少し待つよう依頼する。システムは、次に応対可能なエージェントに電話をかける。顧客が待っている間、システムは、応対可能な人間エージェントにつなぎ、顧客Bの質問を小音量で伝える。人間エージェントは、顧客の質問に対する、いくつかの応答案を有するスクリーンポップを受け取る。人間エージェントは、適切な提案された回答を選択し、「応答する」をたたき、システムが対話を完了することを可能にする。システムは、顧客Bとの対話を再開すると、翌日持越し用アドレスを与える。システムは、顧客Bに、この解決が役に立ったかどうか、また、追加の質問があるかどうか質問する。質問が回答されると、顧客Bは、人間エージェントが応答のうちどれを選択したことを知ることなく、通話を終える。
3.エージェント支援引継ぎ:引継ぎモデルでは、システムは、人間エージェントに拡大し、人間エージェントは通話を完全に引き継ぎ、発信者を直接会話に引き込む。引継ぎモデルは、カスタマーサービスエージェント向けの通話から会話型情報を事前収集し、エージェントが通話中にシステムの知識ベース中で情報をルックアップすることを可能にすることによって、エージェントの生産性を向上させると期待され、電話に費やすのに必要とされるよりも時間量を削減する。たとえば、顧客Cが、自分の口座を解約するために、会社のカスタマーサービス組織に電話する。顧客Cは、自動化システムで迎えられ、システムは、自己紹介を行い、顧客の名前を確認する。名前の確認が行われた後、顧客Cは、自動化システムがどのように動くかを、サンプル照会を含んで手短に説明される。顧客は次いで、自分の照会を自分自身の言葉で述べるよう促される。顧客Cは、会社の口座を解約したいと述べる。自動化システムは、口座番号を確認するよう、顧客に依頼する。顧客Cは、電話キーパッドで口座番号を打ち込む。システムは、顧客Cに、エージェントに転送される間、そのまま待つよう告げる。システムは、通話を、このトランザクション向けの適切なエージェントプールに渡す。次に応対可能なエージェントが、顧客Cの質問の記録を受け取り、顧客の口座情報を有するスクリーンポップを受け取る。エージェントは、通話を引き継ぐと、顧客Cが口座をいつ解約したいのか尋ねる。
システムは、システムの、状況を扱う能力に基づいて、3つの会話管理モードの間で切換えを行う。たとえば、自動化会話モードでは、システムが顧客の照会を、十分な信頼性をもって標準質問/応答ペアに合致させることができない場合、システムは、融合エージェント支援モードに切り換えてよい。さらに、融合エージェント支援モードでは、コンピュータ生成による応答のどれもが、顧客の照会を与えられたと仮定した場合に適切でないと人間エージェントが判定した場合、システムは、エージェント支援引継ぎ会話モードに切り換えてよく、人間エージェントが会話を完成させる。本発明の好ましい実施形態では、顧客が、会話のモードを切り換えることもできる。たとえば、顧客は、自動化会話モードから抜けるように切換えを行うことを望む場合がある。別の実施形態では、システムは、顧客のコミュニケーションを解釈する際、人間エージェントがどれだけ忙しいかに基づいて、信頼性の閾値を調整することができる。こうすることにより、顧客は、忙しい人間エージェントを待つのではなく、自動化応答を試みるという選択肢を与えられる。
人間エージェントがシステムのコミュニケーションパターンを十分経験したことがある場合、追加の会話管理モードが発生する。この場合、顧客のコミュニケーションが、信頼性レベルが低い遷移に合致すると、人間エージェントは、顧客の質問を、より成功する合致をもたらし得る代替テキストで言い換えることを決定してよい。その場合、会話は、自動化モードで継続してよい。
システムのよって、こうした3つの会話モードを使って管理される、顧客とコンタクトセンターの間の会話は、図3に示すフローチャートによってモデル化される。このフローでは、最初に、ユーザが質問またはステートメントをコンタクトセンターに伝達することによって会話を開始する(2)。次に、コミュニケーションは、テキストにコンバートされる(4)。識別された遷移は、システムによる後続の応答に関する変数データを含み得る。変数データは、顧客の名前でも、識別用番号でもよく、特定のデータタイプ{ストリング、数字、日付など}を有する。変数データは(存在する場合は)、顧客のコミュニケーションのテキストから抽出される(6)。変数データを識別するのに、特殊な規則を使ってよい。次に、概念認識エンジンが、残っているテキストをS形態素に解析し、こうしたS形態素に合致する「概念バッグ」を収集する(8)。次に、システムは、信頼性レベルが最も高い顧客コミュニケーションからの、抽出された概念にその概念が一致する、現在の状態からの遷移を識別する(10)。遷移中にデータ変数が予期される場合、予期される変数のデータタイプを、抽出された変数のデータタイプと突き合わせることが、比較に含まれる。一致の信頼性が、設定された閾値より高い(12)場合、システムは、顧客が、識別された遷移をしていると想定する。この場合、システムは、識別された遷移に合致する応答用のデータをルックアップしなければならない場合がある(14)。たとえば、顧客のコミュニケーションが、営業時間について尋ねる質問の場合、システムは、データベース中で営業時間をルックアップし得る。次に、システムは、特別なデータが応答の一部である場合はそれとともに、合致する応答をユーザに送る(16)。この応答は、多くの形のコミュニケーションの1つでよい。会話が電話を介したものである場合、システムの応答は、コンピュータ生成による発語でよい。会話がテキストベースの場合、応答はテキストでよい。質問が発語であっても、応答はテキストでよく、その逆でもよい。システムが、十分な信頼性をもって遷移を識別した場合(12)、コンタクトセンターの人間エージェントは、支援を促される。人間エージェントは、ここまでの会話を提示したグラフィカルユーザインターフェイスを閲覧する(18)。システムは、人間エージェントに、顧客のコミュニケーションと最も合致する遷移から、最も合致しないものまでの順にランクづけされた、現在の状態からの予期される遷移のリストも示す。人間エージェントは、予期される遷移の1つが、会話の文脈に適しているかどうか判定する(20)。ある遷移が適している場合、人間エージェントは、その遷移をシステムに示し、システムは、会話を自動化モードで続ける(14)。あるいは、人間エージェントが、どの遷移も会話の文脈に適していないと判定した場合、人間エージェントは、会話を、その完了まで直接引き継ぐ(28)。
システムは、動作(ランタイム)モードの間、その知識ベースを拡大し続けることができる。システムは、エージェント支援引継ぎモードにあるとき、人間エージェントと顧客の間の会話のログをとる。定期的に、こうした会話は、知識ベースの初期作成中であるとして処理され、新たな状態遷移シーケンスが、知識ベースに追加される。1つ違うことは、エージェント支援引継ぎモードは一般に、初期状態の後の状態で始まることである。したがって、新たな状態遷移シーケンスの1つは一般に、非初期状態からの遷移として、集約型状態遷移グラフに追加される。新たな状態遷移シーケンスが知識ベース中の集約型状態遷移グラフに追加される度に、集約型状態遷移グラフは、前述したように凝縮される。
システムの一例の実装を、図4に示す。会話サーバ30は、システムのランタイムエンジンである。会話サーバ30は、J2EEアプリケーションサーバ上に展開されるJava(登録商標)2 Enterprise Edition(J2EE)アプリケーションである。このアプリケーションは、会話スタジオ32を使って会話サーバに開発され展開される。図4は、会話サーバ30と会話スタジオ32の間の関係を示す。
システムは、マルチチャネル会話型アプリケーションである。会話サーバ30内では、数組の自動化ソフトウェアエージェントが、システムアプリケーションを実行する。マルチチャネルという言葉によって、ここでは、たとえば、ソフトウェアエージェントが、多数の対話チャネル、すなわち電話、ウェブ、インスタントメッセージ、およびeメールを介して発信者と対話可能であることを意味する。会話型という言葉によって、ここでは、人間エージェントが発信者と行う会話と同様の対話型会話を、ソフトウェアエージェントが発信者と行うことを意味する。システムは、反復アプリケーション開発および実行パラダイムを用いる。上で説明したように、システムアプリケーションをサポートする発信者およびエージェントダイアログは、発信者と、コンタクトセンター内の人間顧客サポートエージェントとの間の実際のダイアログに基づく。
図4は、会話サーバとシステムの他のエレメントとの間の関係も示す。会話サーバ30は、顧客から発せられたデータを受諾し顧客質問への応答用データを与える企業情報サーバ(34)と対話する。エージェントワークステーション36は、会話が融合エージェント支援モードであるときにシステム用の遷移を人間エージェントに選択させるグラフィカルユーザインターフェイスを有するソフトウェアを実行する。エージェント電話38は、会話がエージェント支援引継ぎモードであるときに、今現在の顧客との口頭会話に人間エージェントが入ることを可能にする。
システムは、システムが展開された後でシステムが通話から学習を行うのを助けるためのプロセスを実装する学習用サーバ31も含む。学習用サーバ31については、後で図17を参照してより詳しく説明する。
会話サーバ30の内部アーキテクチャを、図5に示す。会話サーバ30は、システムアプリケーションの論理をサポートする4つの層からなるコアセットを有する。こうした層は、ウェブアプリケーションサーバにおいて従来見られる4つの層である。こうした層は、プレゼンテーション40、ワークフロー42、ビジネス44、および統合46である。
プレゼンテーション層40は、エンドユーザへの情報の提示を担当する。Java(登録商標)Server Pages(JSP)などのサーブレットは、従来、この層で利用されるJ2EE技術である。プレゼンテーション層は、対話チャネルサブシステム48およびエージェント対話サブシステム50という2つのサブシステムからなる。対話チャネルサブシステム48は、対話チャネル、すなわちウェブ52、VoiceXML54、インスタントメッセンジャーチャット56、およびeメール58それぞれを介した、会話サーバ30の顧客との対話を扱う。エージェント対話サブシステムは、会話サーバ30の、コンタクトセンター内の人間エージェントとの対話を扱う。
ワークフロー層42は、アクションの配列決定を扱う。こうしたアクションは、ビジネス層中のビジネスオブジェクトに対するトランザクションおよびエンドユーザとの対話を含む。会話サーバ30において、ワークフロー層42には、顧客と行われている会話を理解するソフトウェアエージェント60が投入される。さらに、こうしたエージェントは、ビジネス層44中のビジネスオブジェクトと対話する。ソフトウェアエージェント60は、会話スタジオ32(アプリケーション開発システム)によって作られた、マークアップ言語のインタープリタである。
ビジネス層44は、アプリケーションドメイン向けのビジネスオブジェクトを保持する。Enterprise Java(登録商標)Beans(EJB)は、ビジネス層において従来利用されている技術である。会話サーバは、この層にシステム固有技術を導入しない。そうではなく、会話サーバは、J2EEアプリケーションサーバ上で展開される他のアプリケーションにとっても使用可能な、同じコンポーネントセットを利用する。
統合層46は、アプリケーションサーバの、データベースおよび外部システムとのインターフェイスを担当する。J2EEコネクタおよびウェブサービスは、この層において利用される従来技術である。ビジネス層44のように、会話サーバ30は、この層にシステム固有技術を導入しない。そうではなく、会話サーバは、従来のJ2EEコンポーネントを利用する。共通統合層の価値は、外部のシステムを統合するためのどの作業も、J2EEサーバ上で展開される他のアプリケーションにとって利用可能なことである。
4つの層からなるコアセットの周りに、会話サーバ30の動作を促進する1組のサブシステムがある。こうしたサブシステムは、展開62、ロギング64、コンタクトサーバインターフェイス66、統計68、および管理70である。
展開サブシステムは、システムアプリケーションの反復的ホットデプロイメントをサポートする。このサポートは、会話がログをとられ、会話スタジオ32にフィードバックされる反復アプリケーション開発に調和し、ここで、コンタクトセンター内の担当者が、システムアプリケーションが理解できなかったフレーズでアプリケーションを増補することができる。
ロギングサブシステム64は、ソフトウェアエージェント60が顧客および顧客サポートエージェントと行った会話のログを維持する。このログは、会話スタジオ32によってサポートされる反復アプリケーション開発プロセスへの入力である。学習用サーバ31は、ログをとられたこうした通話を用いて、概念認識エンジン(CRE)74用に1つの学習機会セットを生成する。
コンタクトサーバインターフェイス(CTI)66は、いくつかのCTIおよびコンタクトサーバ72に、統一されたインターフェイスを提供する。
統計サブシステム68は、人間エージェントの通話取扱い統計を維持する。こうした統計は、ACDおよび/またはコンタクトサーバ72によって提供される統計と等価である。コールセンター業務従事者は、こうした統計を用いて、センターが予想しているトラフィックのために働く十分な人間エージェント要員を、センターが確実にもてるようにする。
管理サブシステム70は、企業内のネットワーク管理担当者によって会話サーバ30を管理させる。サブシステム70は、SNMPなどの標準ネットワーク管理プロトコルをサポートし、そうすることによって、会話サーバ30は、HP OpenViewなどのネットワーク管理システムによって管理することができるようになる。
図6は、システムのワークフロー層40のコンポーネントを示す。ソフトウェアエージェント60は、ワークフロー層40中の主要エンティティである。ソフトウェアエージェント60は、顧客、コンタクトセンター内の人間エージェント、およびバックエンドシステムと会話をもつ自動化エンティティである。こうした会話はすべて、会話スタジオ32によって開発され展開されるアプリケーションに従ってもたれる。
ワークフロー層40に対する機能要件は、以下の通りである。
展開されたアプリケーションのいずれも扱うことが可能なソフトウェアエージェントを会話サーバ30に割り振り、プールし、利用可能にする。このエージェントプール能力は、EJBのインスタンスプール能力と同様である。これも、コンタクトセンターの要員管理モデルに調和する。
対話チャネルは、ソフトウェアエージェント60を割り振り、ソフトウェアエージェント60が特定のアプリケーションを扱うことを要求する。ワークフロー層40は、アプリケーションを管理するアプリケーションマネージャと対話する。アプリケーションマネージャは、アプリケーションが利用するべきバージョンを(アプリケーション開発者によって命じられるように)選択することになる。
ソフトウェアエージェント60は、ライセンスマネージャを調べて、要求側チャネルを介して対話が確実に許可されるようにする。許可されない場合、ソフトウェアエージェント60は、適切な応答を返す。
ソフトウェアエージェントは、一度に多数のダイアログをもつことが可能である。ソフトウェアエージェントは、応答の解決中に人間エージェントと会話しながら、少なくとも1人の顧客と会話をもってよい。この能力は、一度に多数のチャネルを介して顧客と話すエージェントをもつように拡張することができる。
ソフトウェアエージェント60は、会話スタジオ32において開発されたアプリケーションに従って会話をもつ。
ソフトウェアエージェント60は、概念認識エンジン(CRE)74を呼び出して、顧客の入力を、受け取られた文脈において解釈し、返された結果に作用する。
各ソフトウェアエージェント60は、それが行っている会話のトランスクリプトを維持する。このトランスクリプトは最終的に、会話ロギングサブシステムを介してログをとられる。トランスクリプトは、すべて適切にタイムスタンプされた以下の情報を含む。
・稼動されるアプリケーション
・以下のものを含む、顧客とのダイアログを通るパス。
○認識されたテキストならびに発話されたフレーズ両方としての顧客入力。
○ダイアログの状態(文脈、遷移など)
○意味認識の結果
○ソフトウェアエージェントが意味認識結果に基づいてとるアクション。
○顧客に送られる出力。
ソフトウェアエージェント60がとり得るアクションの1つは、人間エージェントの支援を要求することである。このアクションは、人間エージェントとのダイアログに対するサブトランスクリプトを結果としてもたらす。このトランスクリプトは、以下のものを含む。
・通話の開始時点での、エージェントグループに対する待ち行列統計
・電話がかけられ、受けられた時刻
・以下のものを含む、通話に伴うエージェントのアクションのサブトランスクリプト。
○エージェントが支援するか、それとも引き継ぐか
○エージェントが支援する際にとるアクション。たとえば、ソフトウェアエージェント60によって提示された応答リストから選択し、クエリを調整し、知識ベースを検索して、カスタム応答を作成する。
○検討するための特定の応答、およびエージェントが応答に対して記す注記に、エージェントが印をつけるかどうか。
○ソフトウェアエージェント60に対するエージェントの命令。
・ワークフロー層42は、ソフトウェアエージェント60のプール(群)の統計を生じることになる。こうした統計は、統計サブシステム68を介して公開されることになる。
・ワークフロー層42を支配する操作パラメータ(たとえば、最小および最大エージェント/アプリケーション、成長量)が、管理サブシステム70を介して管理される構成データベースから取得されることになる。
図6は、ワークフロー層42を構成するコンポーネント、すなわちエージェントマネージャ76およびエージェントインスタンスを示す。エージェントマネージャ76は、エージェントインスタンスのプーリングと、特定のアプリケーション用のそうしたインスタンスの割振りとを扱う。エージェントマネージャ76は、会話サーバ32を構成する他のマネージャ/サブシステムとの対話を担当する(統計サブシステム68とのエージェントマネージャ76の対話については図示せず)。各エージェントインスタンス60は、ロギングマネージャ78を使って、会話トランスクリプトのログをとる。
プレゼンテーション層は、対話チャネル48およびエージェント対話サブシステム50という2つのサブシステムからなる。
会話サーバによってサポートされる対話モード、すなわちHTML80、VoiceXML82、インスタントメッセンジャー84、およびeメール86それぞれに関連づけられた対話チャネルがある。対話チャネルサブシステム48は、Cocoon XSP処理インフラストラクチャを基礎として組み立てられる。対話チャネル48の処理を、図7に示す。対話チャネルの機能要件は、以下の通りである。
・顧客(エンドユーザ)との各会話向けに対話セッションを開始し、維持し、終了する。そのセッションの一部として、対話チャネルは、顧客とのダイアログの状態を管理するエージェントインスタンスを保持することになる。
・着信ユニフォームリソースロケータ(URL)から、チャネルタイプおよびアプリケーションを判定する。URLは、http://host address/application name.mime type?parametersの形をとってよく、host address=IPアドレスおよびポート、application name=アプリケーションの展開された名称、MIME type=チャネルタイプ(たとえば、html、vxmlなど)を示し、parameters=要求パラメータである。
・HTMLおよびVoiceXMLチャネルが、エージェントに処理用のHTTP要求を渡すこと。IMおよびeメールチャネルが、等価な要求処理ステップを実施すること。
・チャネル非依存応答を、適切なドキュメント定義言語(HTML、VoiceXML、SIMPL、SMTPなど)を使ってチャネル固有応答に変換すること。この変換は、XSLスタイルシートによって支配される。応答および処理用スタイルシートの定義は、アプリケーション定義の一部であり、エージェントによって、各要求処理呼出しへの返答に入れて返される。
応答およびXSLスタイルシートの定義は、3つのユースケースに分かれる。対話チャネルは、こうしたユースケースを特に意識していない。
応答ドキュメントおよびXSLスタイルシートは、アプリケーション用のチャネル単位で定義される。応答ドキュメントは、CML<output>タグの内容ならびにCMLから生成された他の人工物(たとえば、文法ファイル)を要求する。
「ファイル」ユースケースにおいて、ユーザは、アプリケーション内で応答ドキュメントを定義する。応答ドキュメントは、チャネルで定義されるXSLスタイルシートを使って処理される。応答ドキュメントは、応答ドキュメントを支配するDTDに付随しなければならない。このDTDは、マルチフィールドフォームを定義させるようにする。
「オープン」ユースケースにおいて、ユーザは、応答ドキュメントならびにXSLスタイルシートを定義する。いずれにドキュメントにも制約は課されず、会話サーバ30は、応答の処理に関するどの結果についても責任をもたない。
この変換は、チャネル固有ドキュメント言語への変形およびある特定のクライアントに対する応答の印づけの両方を扱う。
VoiceXMLチャネル54に対して、対話チャネル82は、記録される顧客要求のロギングと、会話ログに含め、かつ/または人間エージェントに小声で受け渡すためのエージェントへの、記録用の場所の通知とを担当する。
前述したように、対話チャネルサブシステム48は、Cocoonインフラストラクチャを用いて実装される。Cocoonインフラストラクチャは、ウェブアプリケーションサーバインフラストラクチャのプレゼンテーション層40中でモデル−ビュー−コントローラパラダイムを提供する。
サーブレット90(コントローラ)が、HTTP要求を扱い、要求を処理するためにエージェントインスタンス60と対話する。エージェントインスタンス60は、ドキュメントの出力に適用するための応答XSPドキュメントおよびXSLスタイルシートを返す。
XSPドキュメント(モデル)は、サーブレット92としてコンパイルされ実行される。ドキュメントは、エージェントインスタンスに対して、その出力、すなわちXMLストリームを生じるためのパラメータを要求する。XSPドキュメントは、JSPドキュメントの等価物である。JSP処理のように、XSPコンパイルは、XSPドキュメントが、最後にコンパイルされたときから変化した場合にのみ起こる。
XMLストリームは、XSLスタイルシート(ビュー)に従って、対話チャネル特有の言語(たとえば、HTML、VXML)に変形される。
人間エージェント対話サブシステム(AIS)は、コンタクトセンター内の人間エージェントとのダイアログの確立、ならびに不確かな応答を解決するための、ソフトウェアエージェントと人間エージェントとの間の協調の管理を担当する。サブシステムは、アプリケーションにおいてアプリケーションの転送が要求されるときにも使われる。エージェント対話サブシステムは、CTIサーバインターフェイスと対話して、コンタクトセンター内での接続を実行する。CTIサーバインターフェイスはまた、エージェント対話サブシステムに、エージェントグループとの接続に対してその挙動を変える可能性がある待ち行列統計を提供する。
エージェント対話サブシステム(AIS)は、以下のアクションを行う。
・問題となっている応答を解決するために、コンタクトセンター内の人間エージェントとのダイアログを開始し、維持し、終了する。人間エージェントは、この特定のアプリケーション用の解決を扱うように指定された、特定エージェントグループのメンバである。
・エージェントとのダイアログの開始の一部として、AISは、応答の解決において人間エージェントのデスクトップアプリケーションを協働させるエージェントセッションにハンドルを割り振り、渡す。
・AISは、人間エージェントのデスクトップアプリケーションが以下のものを取得できるためのアプリケーションプログラミングインターフェイス(API)を提供する。すなわち、顧客要求および現時点で解決を必要とする応答案と、解決要求につながった閾値設定、および解決要求が、優良応答が多過ぎることによるのか、それとも優良応答がほとんどないことによるのかということと、顧客の対話チャネルタイプと、今までの会話のトランスクリプトと、この顧客会話に関連づけられたワークフローの現在の状態、たとえば、人間エージェントがこの会話中で支援を行った回数、顧客がソフトウェアエージェントと話していた時間の長さ、顧客が会話に関わっていた状態(文脈)、可能性としては、会話の状態および時間に基づく何らかの進行測度と、現在のアプリケーション(およびネットワーク)プロパティとである。
・AIS APIはまた、人間エージェントに、顧客に返すべき応答を選択させ、要求を修正させMREデータベースを検索させ、可能性としては、顧客に返すべき応答を選択させ、ソフトウェアエージェントから通話を引き継がせ、検討用の要求/応答対話を会話ログ中に示させ、対話に注記を関連づけさせる。
・AIS APIはまた、人間エージェントをコンタクトサーバ72にログイン/ログアウトさせ、コンタクトセンター待ち行列を参照してその作業状態を管理させるためのJTAPIインターフェイスを公表する。
・AIS APIは、いくつかの実装技術からアクセスされるようにするための言語非依存フォーマットを利用する。
・AISは、VoiceXMLサーバ54からコンタクトセンターまでのボイスコールの経路指定、およびそうしたボイスコールの、特定のエージェントセッションとの後続の関連づけをサポートする。
・AISは、アプリケーション設計者に、人間エージェントへのアプリケーションデータの提示を定義させる。この提示は、対話チャネル(82、84、86、または88)において利用される、同じXSL処理を用いるはずである。
人間エージェント対話サブシステムの一部は、コンタクトセンターエージェントに解決通話を扱わせるエージェントデスクトップアプリケーションである。このアプリケーションは、2つの形をとる。
・汎用的な人間エージェントデスクトップ:このデスクトップは、統合されていない顧客関係管理(CRM)環境において動作し、CTIおよびCSサーバに接続されたエージェントのデスクトップ上で、個別プロセスとして稼動する。
・CRMコンポーネント:このデスクトップは、CRMパッケージの文脈において稼動するコンポーネント(ActiveXコンポーネントまたはApplet)としてパッケージされる。
音声認識は、人間が発話した言葉をテキストに自動コンバートする技術である。多くの音声認識システム例がある。顧客が電話を介して談話するシステムの実装形態において、(オンラインASRによって実施される)音声認識は、適切な応答を有する、顧客のコミュニケーションを突き合わせる際の第1のステップである。典型的な音声認識は、有意義な音素を抽出するための、発語への信号処理技法の適用を伴う。次に、ソフトウェア検索エンジンが、こうした音素から構成することも可能な辞書から単語を検索するのに使われる。システムの音声認識部分は、この検索を、コミュニケーションの有望な文脈の知識によってガイドする。システムのこの音声認識部分のブロック図を、図8に示す。前述したように、システムは、顧客とコンタクトコールセンターの間の標準的な会話の状態遷移グラフを定義するマークアップ言語、すなわちCMLからなる知識ベースへのアクセス権を有する。ソフトウェアエージェントは、会話の現在の状態を追跡するので、この状態からの有望な遷移すべてをルックアップしてよい。こうした遷移はそれぞれ、「概念バッグ」または「S形態素バッグ」104を有する。こうしたS形態素104は、合致するテキスト112にコンバートすることができる。有望な遷移すべてからの、合致するテキストの集約は、辞書にある単語すべてのサブセットである。概して、グループ全体ではなく、グループのサブセットと突き合わせようとして検索することが、より効率的である。したがって、この音声認識装置用の検索エンジン102は最初に、顧客のコミュニケーションの音素を、有望な遷移すべてにあるテキスト112と突き合わせようと試みる。検索エンジン102は、このテキストと突き合わされなかった音素の、残っているどの組合せも求めて、辞書を検索する。
システムのいくつかの実装形態において使われる概念認識エンジン74(図5に示す)は、テキストおよびオーディオソース両方にあるユーザの自然言語質問を、堅牢で言語非依存なやり方で理解するための高度な自然言語処理技術である。この技術は、文字通りの言い回しではなく、情報の意味、すなわち意味的文脈に基づいて、情報を自動的に索引づけ、対話する。概念認識エンジンは、人々が現実に話し、タイプ入力するやり方を理解し、システムがインテリジェントなやり方で、言葉遣いにも言語にもよらず、ユーザを複雑な会話に引き込むことを可能にして、所望の情報へのアクセスを容易にする。
概念認識エンジンは、フレーズの形態素レベルの分析に基づき、詰め込まれた意味の主成分の「理解」をもたらすことを可能にする。この技法は、極めて正確であり堅牢であることに加えて、計算効率がよく、従来の自然言語技術より速く、言語非依存である。
自然言語処理を適用する他のほとんどのシステムは、統語分析を用いて、ユーザの入力に対する同義フレーズを探す。分析は最初に、極めて大きい語学辞書を使って、フレーズ中のあらゆる単語、または単語の成分を識別する。次に、システムは、こうしたエレメントを、固定リスト中の具体的なエントリ(すなわち、単語またはキーワード索引)と突き合わせることを試みる。その結果、こうしたシステムは、文字列レベルに基づく一致を用いる。少なくとも一文字が目標索引エントリと異なる場合、一致は失敗する。システムのいくつかの実装形態において使われる概念エンジンを用いると、マッピングは、一定の単語、フレーズまたは単語エレメントのセットには基づかず、一定の概念セットに基づく。
意味処理に重点を置いた結果として、概念認識プロセスは、本質的に堅牢である。すなわち、このプロセスは、「ノイズのある」入力データと、極めてうまく動く。これは、システムの、発話された単語を、音声認識ソフトウェアを使って認識する能力にとって有用である。システムは、よくあるタイプミス、音声認識ソフトウェアによって生成されるエラー、または文脈に沿わない単語に関わらず、実世界での会話型対話における意味を正確に認識するためのプロセスを利用する。ユーザは、単語をどのように組み合わせて言ってもよく、システムは、ユーザの意図を理解できる程度に十分に柔軟である。
概念認識エンジンは、意味ラベルを作成し比較するアルゴリズムに基づく。任意の長さである1つのテキストに対する意味ラベルは、その意味の最も重要な成分を取り込む短いコード化である。ソースデータストア(群)内の項目は、意味タグで示されるとき、自由形式の音声またはテキストクエリあるいはこうした入力テキストソース中で実際の単語および句読法に依存しない他の入力テキストソースに選択的にマップすることによって、他のやり方で取得することも、管理することもできる。たとえば、システムに「How can I bring back pants that don’t fit?」と尋ねるユーザには、正しい情報がどこにも「pants」も「bring back」という単語も含まない場合であっても、組織のリターンポリシーデータベースにある適切な情報が与えられることになる。あるいは、同じ情報を求める言葉で表現されたユーザクエリは、入力ストリング中で使われる実際の単語によらず、同じリターンポリシーに概念的にマップされる。
この手法は、統計的言語モデル自動音声認識(SLM ASR)ソフトウェアの利点と、有限状態文法ASRの間の差を埋める。この技術は、自然言語処理アルゴリズムである概念認識エンジン(CRE)と呼ばれる。
概念認識エンジン(CRE)は、テキストおよびオーディオソース両方にあるユーザの自然言語質問の、堅牢で言語非依存なやり方での理解をもたらす。この技術は、文字通りの言い回しではなく、情報の意味、すなわち意味的文脈に基づく、情報の索引づけ、マッピングおよび対話のための高度な自然言語処理技術である。他の自然言語における取組みの大勢とは反対に、この技術は、テキストの十分な「理解」をもたらそうと試みる際、フレーズの完全な形式的言語分析に依拠しない。そうではなく、この技術は、詰め込まれた意味の主成分の「理解」をもたらすことを可能にする、フレーズの形態素レベルの分析に基づく。
形態素は、意味、すなわち意味的文脈を含む最小の言語単位と定義される。単語は、1つまたはいくつかの形態素を含んでよく、形態素はそれぞれ、単一または多数の意味を有し得る。この比較的単純な例は、geographyという単語を使って示され、この単語は、地球を意味するgeo、および図を意味するgraphという形態素からなる。こうした別個の2つの形態素は、結合されると、地球に関する学問という概念的意味を形成する。したがって、個々の意味単位は、通常のコミュニケーションにおいて容易に理解される新たな概念を形成するように結合することができる。
この技術は、意味ラベルを作成し比較するアルゴリズムに基づく。任意の長さである所与の1つのテキストに対する意味ラベルは、その意味の最も重要な要素を取り込む短いコード化である。「データベース」中の項目は、意味タグで示されるとき、選択的に取得することも、入力ストリング中で使われる実際の単語および句読法によらない、ユーザ生成による自由形式のテキストクエリまたは他のタイプの入力テキスト列を構文解析することによって、それにマップすることもできる。
CREは、SLM ASRと協力して、結果として生じるエンジン出力を分析し、意味ラベルを割り当てることによって文脈を判定し、意味ラベルは次いで、会社情報の索引づけられたデータベースと比較することができる。さらに、CREは、通常は誤認識される単語(重要でない単語)を無視し、より文脈に重点が置かれた単語をその分析において使うことによって、音声認識エラーの影響を抑えるのを助ける。したがって、CREの影響は、よくあるタイプミスにも音声認識ソフトウェアによって生成されるエラーにも関わらず、実世界での会話型対話における意味を正確に認識するセルフサービスシステムを可能にすることである。より簡単に言うと、こうした2つの技術の組合せにより、システムが、人間が意味することを理解することによって、人間の言うことを認識することが可能になる。
設計時に、CREは、ユーザによって検索され取得されるデータを自動的に索引づける。会話型アプリケーションでは、このデータは、コールセンターエージェントとの顧客会話の転記された記録であるが、どのテキスト情報セット(ドキュメント、よくある質問(FAQ)の列挙、データベース、チャットスレッド、eメール中の自由テキスト情報など)も、CREを使って索引づけることができる。索引づけは、CREがデータを、その概念上の類似に従ってグループ化し、または「クラスタ化」するためのプロセスである。従来のアルファベット順の索引とは違い、CREによって作成されるクラスタは、概念空間と呼ばれる多次元空間に格納される特殊な概念参照である。こうしたクラスタは、特殊化された非常に大きい概念データベースを手作業で作成し維持する必要なく、どの概念の記述も生成するように結合することができる1つの主要原子概念セット(意味の基本ビルディングブロック)を用いて「ラベルづけ」される。概念の索引づけは、情報が、単語ではなくその意味に基づいて検索され、または管理されることを可能にするので、はるかに効率的で、耐障害性があり、インテリジェントなダイアログ管理アプリケーションを開発することができる。このクラスタ化プロセスを介して、CREは、クラスタの間の遷移(すなわち通話の流れ)も抽出し、後で自由形式の顧客照会を、通話ログに見られるエージェント応答にマップする索引を生成する。
ランタイムには、いくつかの例では、CREは、この同じプロセスを、顧客の照会に対してリアルタイムで実施する。CREは、音声認識エンジンから出力を取出し、形態素分析技法を用いて、関連づけられた形態素セットに分解する。システムは、誤綴り、句読法の誤り、および文脈違いまたは語順違いを含む乱雑な入力データをうまく扱い、入力フレーズの長さに対して制限は予め設定されていない。
CREは次いで、概念分析を用いて、形態素を上述した主要原子概念にコンバートし、この原子概念セットを、入力全体に対する単一の概念コードに組み立て、次いで、そのコードを、索引づけられたデータ中のそれと等価なコードにマップする。会話型アプリケーションでは、このプロセスは本質的に、システム応答でよいシステムダイアログ状態、既存の対話型音声応答(IVR)メニューツリー、またはトランザクションシステムに顧客口座情報を照会するための命令に、ユーザ入力を「向ける」。
このプロセスは、コンタクトセンターセルフサービスアプリケーションの文脈においてかなり多義的な会話型ユーザクエリを自動的に認識し「理解する」堅牢な手段をもたらす。
このCREおよびSLM音声認識の組合せの影響は、自動化を介して、顧客に対して情報を利用可能にするための能力を高めることである。5つの選択肢があるIVRメニューにも予め定義された発語文法にもきれいに収まらない企業情報は、会話型インターフェイスを介して利用可能にすることができる。結果として得られる顧客入力は、それに関連づけられた文脈を有するので、システムがどの程度インテリジェントなやり方で複雑な対話を扱うかに関するより多くの選択肢が利用可能になる。
単語空間ではなく意味要素空間への、ベクターモデル手法の応用は、以下の利益をもたらす。
1.単語から概念への遷移自体が、より統計的なものからより意味的なものへ移行する。
2.従来のベクターモデルはしばしば、単語の間のどの統語的または意味的関係も無視するモデルの組合せ文字を協調するための「単語モデルのバッグ」と呼ばれる。類推によって、ベクターモデルを「概念モデルのバッグ」と呼ぶことができる。従来のベクターモデルでは、自分たちの興味がある内部パラメータ、すなわち概念に統計的に関連づけられたいくつかの外部パラメータ(単語)を計算する。ベクターモデルでは、概念を直接計算する。
3.意味要素の数が、基本言語においてさえも単語の数よりはるかに少ない限り、ベクターモデルにおける計算強度は、はるかに低くなる。信頼性に基づく合致の順位を形成するのに、他の機械学習技法を用いてもよい。たとえば、決定木の導入またはサポートベクターマシンの構成を用いることもできよう。増強を用いた学習技法の組合せも可能であろう。
入力言語テキストオブジェクト>意味ラベル>出力言語テキストオブジェクトという、全体で2ステップのサイクルのモデル作業からなる個別部分について上述した。サイクル中の2つのステップは、明らかに独立していることに注目されたい。こうしたステップは、人間の言語のいずれにもに関連づけられない内部「言語」である意味ラベルを介してのみつなげられる。この特徴は、どのアプリケーションにおいても、入力および出力側両方において言語を変えることを可能にし、比較的容易にする。
第1のステップは、本質的に言語依存である。これは、異なる言語への切換えが、所与の言語におけるフレーズに対する意味ラベルの自動生成を必要とすることを意味する。この後で、この問題の可能な2つの解決法を説明する。第2のステップは、意味索引に基づく。索引自体は、オブジェクトの言語を気にせず、単にオブジェクトをポイントするだけであり、ポインタに関連づけられた意味ラベルは言語非依存である。意味索引には、言語固有情報はない。
第1の手法は、新たな言語用の新たなS形態素辞書を編纂することである。人間が書いた各言語ごとに、1つのS形態素セットを編纂することができる。編纂プロセスは、テキストの大きいコーパスまたはこの言語の大型辞書にある語彙の分析に基づき得る。
このような、ある言語(英語)での完全なS形態素セットをもつことは、別の言語での同様のS形態素セットの作成に有用である。開始点として、単に第2の言語における形態素上の等価物を探すことを試みてもよい。こうすることにより、第2の言語での、それ以外の労働集約的なコーパス分析の作業が削減される。これは、特に同じ言語グループ内で言語から言語へと移るときに成り立つ。というのは、このような言語は、たくさんの語彙「原料」を共有する。スペイン語のS形態素セットは、英語のものとほぼ同じサイズである。スペイン語のS形態素の例は、LENGU、FRAS、MULTI、ESPAN、SIGUIである。
等価物の探索の後、S形態素識別のアルゴリズムのある程度の調和が必要となる場合がある。このアルゴリズムに関する好材料は、そのジョブのほとんどが、同じグループの言語に共通なことである。アルゴリズムを全く変えずに英語からスペイン語に切り換えるときでも、結果は満足できるものである。何らかの変更が必要とされる場合でも、印欧言語のほとんどに対しては変更はわずかである。スペイン語の実験によりシステムの言語間能力の力量が証明された。すなわち、スペイン語の形態素を編纂した後、入力言語としてのスペイン語が、以前英語用に開発されたすべてのアプリケーションに対して可能になった。
概念認識エンジンに必要とされる情報を格納するのに、言語知識ベースが使われる。この知識ベースは、3つの主成分、すなわち意味要素辞書、S形態素辞書および同義語辞書を有する。意味要素辞書の各エントリは、以下を含む。
a)意味要素名、
b)意味要素の定義/記述、
c)この意味要素を使う単語概念コードの例。
S形態素辞書の各エントリは、以下を含む。
a)S形態素テキスト、
b)個別部分、すなわち複数の韻律単位からなる形態素の代替的意味からなる意義素を有する意味要素概念コード、
c)多要素コード中に、修正を加えることができる先頭要素用のラベル。
概念認識エンジンの機能ブロック図を、図9に示す。この図のブロックは、以下のように説明される。S形態素辞書122および意味要素辞書124は、アナライザ128によって、1組の概念コードを生じるのに使われる。
次に、CMLファイルが、例142に基づいて生成される。これは、シソーラスに基づく、データ駆動型であるCMLファイルを生じる。次のステップは、CMLファイルのルックアップおよび編集を行うことである。このルックアップおよび編集は、以下のステップからなる。
a)異なる検索基準を有するストリング発生を表示するステップ、
b)新たな言換えを追加するステップ、
c)新たなペアの質問と回答を追加するステップ、
d)1つの言換えまたはいくつかの言換えを削除するステップ、
e)1つの質問と回答ペア(すべての言換えを有する)またはいくつかのペアを削除するステップ、
f)2つの質問回答ペア(入力および出力フレーズの選択を有する)をマージするステップ、
g)入力および出力フレーズを割り当てることを伴う、1つのペアを2つのペアに分割するステップ、
h)フレーズを編集するステップ(グループ編集を含む)。
次に、CMLファイルが、どの編集時点でも入力情報として取り出され、索引が組み立てられる。続いて、2つのエントリが突き合わされ、特定されたCML/索引を用いた類似計算が行われる。これは、2つのフレーズと、2つの概念コードと、1つのフレーズおよび1つの概念コードと、入力の1つが毎回フィードファイルから届く周期的モードでの、2つのフレーズ、2つの概念コード、または1つのフレーズおよび1つの概念コードと、入力の1つが毎回フィードファイルから届き、結果が出力ファイルに格納される自動突合せおよび類似度計算に対して行うことができる。次に、事前分析による構文解析が、名前に対する擬似要素を作成し、単一語および複合語の個人名を処理し、単一語および複合語の事業および製品名を処理し、品詞タグを生成することによって行われる。
この時点で、アプリケーション制御およびテストが実施される。これは、以下のステップからなる。
a)入力会話のファイルを、周期的かつ自動的に分析し、同じファイルの以前の処理との違いが、表示され、または出力ファイルに送られる。
b)類似閾値の制御、
c)デルタ間隔(第1および第2の合致の間の類似の差)、
d)返される合致の数の制御。
会話マークアップ言語(CML)の主目標は、顧客との「会話」を自動化または半自動化された方式で扱う会話サーバへの1組の命令を指定することである。自動化会話は、最初から最後まで、全体が会話サーバによって扱われるものである。半自動化会話は、最初は会話サーバによって扱われ、次いで、収集されたどの情報も伴って、人間エージェントに受け渡される。
CMLは、以下を指定するマークアップ言語である。
・会話サーバが処理することができる言換えを含む顧客入力。
・応答するべき会話サーバ出力(たとえばTTSおよび/またはオーディオファイル)
・会話の流れ。この流れは、以下を含む1組の状態遷移ネットワークを使って記述される。
○各入力および出力が起こり得る文脈。
○顧客入力およびJava(登録商標)オブジェクトからの結果に基づく、他の文脈への遷移。
○バックエンドビジネス層オブジェクトへの通話
○インライン適用論理
会話サーバとユーザの間の会話を記述するCML言語に加えて、CMLApp言語は、再利用可能コンポーネントからアプリケーションを構成させる。
いくつかの例では、CMLは、以下を含む、特定の顧客サポートコンタクトセンターにおいて一般に見られる要求/応答対話を記述する。
・たとえば株価、趣意書要求など、一般的な情報要求。
・たとえば勘定残高、トランザクション履歴など、顧客固有の要求。
・たとえば株/資金トランザクションなど、顧客開始したトランザクション。
・たとえばテレマーケティングなど、センターが開始した対話。
CMLは、会話サーバ(CS)によって解釈され実行されるように設計される。上で説明したように、CSは、アプリケーションに基づいてCMLを解釈するソフトウェアエージェントセットを有する。こうしたエージェントは、HTML、VoiceXML、SIMPL、SMTPなどのチャネル固有ドキュメント言語と、CMLのチャネル非依存表現との間を、かつその逆に変換する1組の対話チャネルに対面する。
CMLドキュメント(またはアプリケーションと呼ばれる1組のドキュメント)が、ユーザとのソフトウェアエージェントのダイアログを記述する会話型状態遷移ネットワークを形成する。ユーザは常に、一度に1つの会話状態、すなわち文脈の中にいる。1組の遷移が、ダイアログが新たな文脈に移るための条件を定義する。こうした条件は、ユーザからの新たな要求、ダイアログ中の特定の状態、またはこの2つの組合せを含む。実行は、最後の文脈に到達した時点で終了する。
ソフトウェアエージェントとユーザの間のダイアログである状態遷移ネットワークを定義するのに、4つのエレメント、すなわちネットワーク、文脈、下位文脈、および遷移が使われる。
ネットワークとは、ソフトウェアエージェントがユーザと行うダイアログを定義する文脈(状態)および遷移の集合体である。各々が、参照用の一意の名前をもつ1つのCMLドキュメントごとに、1つまたは複数のネットワークが存在し得る。ユーザとのダイアログのシンタクスの定義に加えて、ネットワークは、ネットワークが活動的に実行している間にアクティブである1組のプロパティを定義する。こうしたプロパティは、ユーザへの出力に提示されているデータ、ならびにネットワークの実行を支配するデータを保持する。たとえば、遷移の事前条件および文脈の事後条件は、プロパティの観点で定義される。
文脈は、ソフトウェアエージェントとユーザの間のダイアログ中の状態を表す。あらゆる文脈が、アプリケーションを別の文脈に動かす(または同じ文脈に逆戻りさせる)、定義された1組の遷移を有する。文脈は、ユーザの要求が予期され、解釈されることになる状態を表す。特定の文脈が、最終として印づけられる。最終文脈は、ネットワークによって表されるダイアログの終わりを表す。
下位文脈とは、包含側ネットワークの文脈において別のネットワークが呼び出される特殊な文脈である。下位文脈は、リンクされたサブルーチン通話であり、起呼側および非呼側ネットワークのプロパティの束縛がある。下位文脈は、モード方式でも非モード方式でもよい。モード方式の下位文脈では、その包含側ネットワーク(または上位クラス)の遷移はアクティブでない。非モード方式の下位文脈では、その包含側ネットワーク(および上位クラス)の遷移はアクティブである。
遷移は、ある文脈から別の文脈への変化を定義する。遷移は、その事前条件が満たされ、かつ/またはユーザ要求が、遷移に関連づけられた発声のクラスタに合致する場合にとられる。遷移が事前条件を定義しない場合は、ユーザ要求と遷移の発声との間の合致のみが、遷移をトリガするのに必要とされる。遷移が発声のクラスタを定義していない場合、遷移は、その事前条件が成り立つ場合は常にトリガされる。事前条件も発声のクラスタも定義されていない場合、遷移は自動的にトリガされる。遷移のトリガは、遷移のスクリプトの実行および遷移によって指示される文脈への遷移を引き起こす。
いくつかの例では、CMLアプリケーションは、単一CMLAppドキュメント、単一CMLドキュメント、および1つのクラスタドキュメントを必要とする。複数ドキュメントアプリケーションは、単一CMLAppドキュメント、単一クラスタドキュメント、多数のCMLドキュメントを伴う。図10は、CMLAppドキュメント150、CMLドキュメント154、クラスタドキュメント152、出力ドキュメント156、被参照データファイル158、およびビジネスオブジェクト160の関係を示す。
付表1は、「abc12app.ucmlaという名称のCMLAppドキュメント、「abc12clusters.ucmlc」という名称のCMLクラスタドキュメント、および「abc12ucml.ucml」という名称のCMLドキュメントの例のテキストを説明する。CMLAppドキュメントは、マークアップ「clusterFile」を使ってクラスタファイルを、マークアップ「document」を使ってCMLファイルを指定する。CMLAppドキュメントは、マークアップ「channel type」を使って、顧客とのコミュニケーションチャネルも指定する。この場合、チャネルタイプは、「VXML」である。最初に、クラスタドキュメントは、所与の状態または文脈からの所与の遷移用の1つのクラスタにグループ化された、顧客からの、記録されたコミュニケーションすべてのテキストを格納する。このクラスタドキュメント例では、クラスタは、c1〜c41と命名される。クラスタに関連づけられたデータ変数は、マークアップ「variable」を使って特定され、「properName」および「digitString」のような型をもつ。こうしたクラスタは、CMLドキュメント例において参照される。CMLドキュメントは、状態遷移グラフ(またはネットワーク)を定義する。CMLドキュメント例は、1組の状態(マークアップ「context name」で示す)および遷移(マークアップ「transition name」で示す)を定義する。たとえば、CMLドキュメントの11〜16行は、以下の通りである。
Figure 2008512789
11〜16行は、状態(または文脈)s1への遷移t0を有する状態(または文脈)s0があることを指定する。遷移t0は、顧客のコミュニケーション「yeah I’d like to check on the my account balance please」およびコンタクトセンターの応答「do you have your account number sir」を有する。図11は、CMLドキュメント例によって定義される全体的状態遷移グラフのサブセットを示す。このサブセットは、初期状態からs0(162)、次にs1(164)、次にs2(166)、次にs3(168)、次にs4(170)、次にs5(172)、次にs6(174)そして最後にs7(176)への遷移を含む。
図12を参照すると、自動化音声応答システム用CMLアプリケーションの開発のためのプロセス180は、初期アプリケーション開発プロセス182およびランタイム学習プロセス190という2つの主要機械学習プロセスを含む。初期アプリケーション開発プロセス182は、記録された人間エージェント−発信者間の会話サンプルを使って、初期CMLアプリケーションを生成する。ランタイム学習プロセス190は、記録されたシステム−発信者間の会話サンプルを使って、CMLアプリケーションを絶えず改良する。
人間エージェント−発信者間の転記された会話セット181が、初期アプリケーション開発プロセス182に入力される。エージェント−発信者間の転記された会話181は、手動転記または自動化転記プロセス(たとえば、従来の音声認識プロセス)を用いてテキストに転記されている、人間顧客サポートエージェントと発信者の間の、記録された会話である。人間エージェントおよび発信者が電話でコミュニケーションを行ったコンタクトセンターにおいて、エージェントと発信者の間の会話のサンプルは、コンタクトセンターの品質保証音声記録機構から取得することができる。一実装形態では、サンプルである、人間エージェント−発信者間のトランスクリプトは、初期アプリケーション開発プロセス182に供給されるときには、インポートマークアップ言語(IML)ファイルの形である。
初期アプリケーション開発プロセス182は、サンプルトランスクリプトを使って、初期CMLアプリケーションを組み立てる。初期アプリケーション開発プロセス(図15〜16でより詳しく説明される例)は、以下の3つのフェーズを伴う。
1.分類器の組立て:このフェーズにおいて、エージェント発声および発信者の発声に対する1組の分類器が、記録された人間エージェント−発信者間の会話のサンプルを使って構築される。アプリケーションが展開されオンラインになると、こうした分類器は、発信者の発声を分類するのに使われる。発信者の発声が分類された後、ソフトウェアエージェントは、有限状態ネットワークを使って適切な応答を判定することができる。アプリケーションの展開に先立って、2組の分類器も、有限状態ネットワークを生成し、情報を求める有効なエージェント要求を識別し開発するのに使うことができる。
2.有限状態ネットワークの生成:このフェーズにおいて、ダイアログは、有限状態ネットワークまたは下位文脈を用いた文脈自由ネットワークとして取り込まれる。CMLエレメント、すなわち文脈(または状態)は、プリンシパル状態定義構造物である。
3.コード挿入フェーズ:このフェーズにおいて、状態ネットワークは、ダイアログに関連した自動化を有効にするように、アプリケーションに組み込まれる。分類器が組み立てられるフェーズに対して、特にコールセンターアプリケーションでは、最初にエージェント発声を1組の分類器にクラスタ化し、次いで、こうしたエージェント分類器を、発信者の発声を突き止め分類する際に使うことが有利であり得る。
コールセンターアプリケーションでは、発信者と人間エージェントの間のダイアログは一般に、エージェントによって制御される。実際、エージェントはしばしば、発信者との会話中に、標準化されたスクリプトに従うよう命じられる。こうしたスクリプトは、発信者の照会への回答が、信用できる効率的な方式で与えられるように、エージェント−発信者間の会話を指令し制約することを意図している。人間エージェントに対する共通の規則は、会話の流れの制御を決して失わないことである。
発信者およびエージェントの発声が、たとえば、Term−Frequency−Inverse Document Frequency(TF−IDF)アルゴリズムを使って、発声の意味に基づいてクラスタ化される場合、エージェントおよび発信者クラスタの分布は、全く異なったものとなる。
発信者の発声クラスタの分布は、非常に共通するいくつかの応答クラスタ(たとえば、発信者が番号を言い、または自分の身元を明らかにした発声クラスタ)をもつ傾向にあり、その後は、比較的少数のあまり共通しない応答に対するクラスタ頻度が急激に低下し、次いで、非常に末尾が長い単集合クラスタが続く。単集合クラスタは、一般に、発信者の全発声の半分を占め、全クラスタの約90〜95%を構成する。発信者の初期情報要求を表す発声(たとえば、「What is my account balance?」)は、自動化音声応答システムの設計用の、発信者の発声の最も重要なタイプの1つを表し、一般に、発声全体のごくわずかな比率を占める(通話の長さに応じて、20〜30回の発声につきほぼ1)。ある特定の要求を言い表すことができる多くのやり方があるので、こうした初期発信者要求発声タイプは通常、全分布に渡って整理され、多くの発声がそれ自体の単集合カテゴリに収まる。
エージェント発声クラスタの分布は一般に、エージェント発声の転記性質のせいで、発信者の発声クラスタの分布とはかなり大きく異なる。具体的には、エージェント発声クラスタの分布(TF−IDFアルゴリズムを用いて、エージェント発声をクラスタ化する)は、発信者に対して観察される分布よりはるかに平坦であり、最も一般的な発声クラスタに対して全体的頻度がより低く、はるかに段階的にクラスタ頻度が低下する。エージェントはしばしば、発信者との会話に従事するので、エージェント発声クラスタの分布も、末尾が長い単集合を有する。コールセンター環境における、エージェントの分布と、発信者クラスタとの間のもう1つの違いは、高頻度エージェントクラスタが、情報収集クエリ(たとえば、「Can I have your social security number,please?」)を含む傾向にあることであり、こうしたクエリが、自動化音声応答システムの設計にとって最も重要な発声である。実際、重要なエージェント挙動(たとえば、エージェントの情報要求)のほぼすべてを、最高頻度20%のクラスタを分析することによって特徴づけることが、しばしば可能である。
図15を参照すると、初期アプリケーション開発プロセス182が、最初に1組のエージェント分類器を生成し、次いで、その1組のエージェント分類器を使って、1組の発信者分類器を識別し生成するエージェント中心型データマイニング技法を用いる。
初期アプリケーションプロセス182は、入力として、テキストに転記されている、事前記録された統計的にかなりの数の発信者−エージェント間の会話181を受け取る。事前記録された発信者−エージェント間の会話におけるすべてのエージェント発声が、1組のエージェントクラスタにクラスタ化され(302)、重大なエージェントクラスタ(たとえば、エージェントが発信者から情報を引き出す発声を有するクラスタ)が次いで、識別される。こうした重大なエージェントクラスタは次いで、機械学習プロセス、たとえばサポートベクターマシン(SVM)をトレーニングするのに使われ(すなわち、そこに入力され)(304)、そこから、1組のエージェント分類器が生成される。
エージェント分類器が生成されると、こうした分類器は、転記された会話における発信者応答を突き止めるのに使われる(306)。こうした発信者の発声は次いで、1組の発信者クラスタにクラスタ化される(307)。こうしたクラスタ化された発信者の発声は次いで、機械学習プロセス、たとえばサポートベクターマシンをトレーニングする(308)(すなわち、そこに入力される)のに使われ、そこから、1つの発信者分類器セットが生成される。エージェントおよび発信者分類器セットは、判定された後で、新たな会話トランスクリプトにおいてエージェントおよび発信者の発声を分類するのに使うことができる。重要なエージェントクエリへの適切な発信者応答は次いで、新たなトランスクリプトから自動抽出され、発信者クラスタに追加される。こうした増補された発信者クラスタは次いで、新しい、改良された1組の発信者分類器310を組み立てるのに使われる。
転記された1つの会話セット、すなわち1組のエージェントおよび発信者分類器を使って分類されている発声を与えられると、規範的エージェント会話パターンを識別することができる(312)。規範的会話パターンは、エージェントによって、特定のタイプの発信者要求に応答する際に使われる情報要求および回答の共通パターンである。たとえば、発信者が、エージェントと交信し、自分の勘定残高を要求する場合、エージェントの共通の応答パターンは、質問X(たとえば、「What is your name?」)、その後に質問Y(たとえば、「What is your social security number?」)、その後に質問Z(たとえば、「What is your mother’s maiden name?」)を尋ねることである。一方、発信者が資料を要求する場合、エージェントの質問Xの後には、質問A(たとえば、What is your zip code?」)および質問B(たとえば、「What is your street address?」)が続き得る。こうした規範的会話パターンは、アプリケーション用の有限状態ネットワークを生成する(314)際に使うことができる。
さらに、転記された会話における、分類されたエージェントおよび発信者の発声ペアは、エージェントの成功した情報要求を識別する(316)のに使うことができる。同じ情報を引き出すことを意図した、様々な言葉で表現されたエージェント質問への発信者応答のタイプの分布の検査が、情報を求めるある尋ね方が、他のやり方より有効であることを明らかにし得る。たとえば、「May I have your social security number?」で言い表される第1のエージェント要求は、発信者の社会保障番号を得ず、かなりの数の「yes」という発信者応答を得る可能性がある。しかし、「What is your social security number?」で言い表されるエージェント要求を分類する別のエージェント分類器は、この質問への、非常に高い比率の発信者応答が、要求された情報(すなわち、発信者の社会保障番号)を与えたという分布をもたらし得る。
初期アプリケーション開発プロセスの一例を、図16A〜16Eにより詳しく示す。
図16Aに示すように、初期アプリケーション開発ソフトウェアツールが、記録された人間エージェント−発信者間の会話318の、ランダムに選択された、等しい大きさの2つのサンプル、すなわちトレーニングセットおよびテストセットを収集する(322)。アプリケーション開発者は次いで、各サンプルにある通話を、発信者の初期発信者要求に従って、1組のバケットにカテゴリ化する(324a、324b)。たとえば、発信者が自分の勘定残高を要求した通話は、あるバケットに置くことができ、発信者がアドレス変更を要求した通話は、別個のバケットに置くことができる。
アプリケーション開発者が通話をバケットにカテゴリ化した後、アプリケーション開発者は、ソフトウェアツールを使って、各通話セットごとに初期発信者要求の分布を検査する(326)。通話のトレーニングセットおよびテストセットの分布が類似していない場合、アプリケーション開発者は、ランダムに選択された通話のより大きなサンプルを取得し(330)、トレーニングセットおよびテストセットが類似した通話タイプの分布を生じるまで、バケット化プロセスを繰り返す。
トレーニングセットおよびテストセットが、類似した通話タイプの分布を有すると判定されると、アプリケーション開発者は、ソフトウェアツールを使って、トレーニングセット中の通話のエージェント発声をクラスタ化する(332)。エージェント発声をクラスタ化するために、ソフトウェアツールは、概念認識エンジン(上でより詳しく説明した)に発声を通して、各発声用の意味特徴リストを判定し、次いで、TF−IDFアルゴリズムを用いて、その意味特徴リストに基づいて発声をクラスタ化する。
図16Bを参照すると、アプリケーション開発者は、エージェントクラスタを検査し、どの重複クラスタもマージし(334)、一定の数より多い発声(たとえば、4を超える発声)を有するエージェントクラスタを、分類での使用のために承認する(336)。アプリケーション開発者は一般に、あらゆるエージェントクラスタを分類するわけではない。というのは、発生頻度が低いクラスタは、エージェントが発信者から確かな情報を引き出したエージェント発声(たとえば、「Can I have your name,please.」)である可能性が低いからである。そうではなく、低頻度のクラスタ(たとえば、単集合クラスタ)が、エージェントが発信者を会話に引き込んだエージェント発声(たとえば、「How is the weather there today?」)を含む可能性が高い。
アプリケーション開発者が、(たとえば、ソフトウェアツールへのグラフィカルユーザインターフェイスを使って)クラスタを承認した後、アプリケーション開発者は、承認されたクラスタ(すなわち、トレーニングデータ)中の発声の概念特徴に基づいて1組の分類器を生成するよう、ソフトウェアツールに命じる。1組の分類器は、機械学習プロセスの出力(たとえば、決定木、サポートベクターマシン)である。分類器は、トレーニングセットにあるどのクラスタに、新たな各発声が最も類似しているか判定するのに使われる。好ましい実装形態では、ソフトウェアツールは、サポートベクターマシン(SVM)機械学習プロセスを用いて1組の分類器を組み立てる。このプロセスは、1組のペアになった判別装置を、他のすべてと比較される各クラスタに1つずつ与え、判別装置は次いで、新たな発声に適用される。最も多い数の比較に「勝つ」クラスタが、新たな発声が属すべきクラスタであると判定される。たとえば、3つのクラスタ用のSVMを用いて分類器が組み立てられる場合、分類器は、クラスタ1をクラスタ2と、クラスタ1をクラスタ3と、クラスタ2をクラスタ3と比較する、ペアになった3つの判別装置からなるセットを有し得る。新たな発声が分類器に提示されると、こうした3つの比較はそれぞれ、発声の意味要素(会話認識エンジンによって判定される)に適用される。最も多い数の比較に「勝つ」どのクラスタも、発声が属すべきクラスタであると見なされる。
1組のエージェント分類器が組み立てられると、通話のトレーニングセットが、分類器の整合性を検証する(340)ために分類器に供給される。分類器の整合性は、分類器が、トレーニングセットのエージェント発声が属すと見なすクラスタを、エージェント分類器の生成に先立って、エージェント発声が分類されたクラスタと比較することによって調べられる。分類器がトレーニングセットを分類せず、それによりトレーニングセットが一定の認証基準(たとえば、分類器は、トレーニングセット中のエージェント発声の少なくとも98%を、その適正なクラスタに分類しなければならない)を満たさない場合、アプリケーション開発者は、オリジナルクラスタを調整し(344)、エージェント分類器を組み立て直す(338)。
分類器が認証基準を満足すると、通話のテストセットの中のエージェント発声は、分類器を使って注釈をつけられる(346)。これは、エージェント発声が分類されており、発声が最も類似すると思われたクラスタを識別するタグが、各エージェント発声に関連づけられていることを意味する。たとえば、「What is your social security number?」というエージェント発声は、エージェント発声が、発信者の社会保障番号を求めるエージェントの要求に対応するクラスタに分類されたことを示すタグ「REQ_SSN」で注釈をつけることができる。
テストセットの中にあるエージェント発声に注釈をつけた後、アプリケーション開発者は、注釈を検討し(348)、エージェント発声が正しく分類されたかどうかに従って、注釈をつけられたテストセットにスコアをつける。たとえば、「What is your social security number?」というエージェント発声が「REQ_ADDRESS」として分類された場合、アプリケーション開発者は、この分類を、正しくないというスコアをつける。スコア(たとえば、正しい分類の比率)が許容可能である(350)ことをアプリケーション開発者が確信していない場合、アプリケーション開発者は、オリジナルクラスタを調整し(344)、エージェント分類器を組み立て直す(338)。
アプリケーション開発者が、テストセットが許容可能なスコアを取得していることを確信すると、現在のエージェント分類器は、「ゴールデン」エージェント分類器として設定される。
図16Cを参照すると、1組の発信者初期要求分類器を開発するプロセスを示してある。発信者の初期要求は、通話を行う発信者の主要理由(群)(たとえば、発信者の現在の勘定残高を求める要求、アドレス変更要求など)を識別する発声を指す。
図16Cに示すように、通話のトレーニングセットのエージェント発声は、ソフトウェアツールを使って、「ゴールデン」エージェント分類器で注釈をつけられる(354)。ソフトウェアツールは次いで、発信者応答を、発信者の初期要求を求めるエージェント要求に対応するエージェント分類器(たとえば、「How may I help you?」に対応する分類器)にクラスタ化する(356)。
クラスタ化された発信者の初期要求は次いで、(たとえば、サポートベクターマシンを使って)発信者の初期要求に対する1組の分類器を組み立てる(358)のに用いられる。
発信者の初期要求に対応する発信者の発声の数は小さい(通常、通話当たりただ1つの初期要求)ので、アプリケーション開発者は、たとえば、通話のテキストを読み、各通話向けの初期要求(群)をあるクラスタに置くことによって、発信者要求発声を手作業で識別する(360)ことを選んでもよい。
発信者の初期要求分類器の初期セットが組み立てられると、分類器は、通話のトレーニングセットを分類器を介して供給すること、および分類器が、トレーニングセットの発信者の初期要求発声が属すと見なすクラスタを、発信者の初期要求分類器の生成に先立って発信者の初期要求発声が分類されたクラスタと比較することによって検証される(362)。分類器がトレーニングセットを分類せず、それによりトレーニングセットが一定の認証基準(たとえば、分類器は、トレーニングセット中の発信者の初期要求発声の少なくとも95%を、その適正なクラスタに分類しなければならない)を満たさない場合、アプリケーション開発者は、元のクラスタを調整し(366)、発信者初期要求分類器を組み立て直す(358)。
認証基準が満たされると、通話のテストセットは、発信者の初期要求分類器で注釈をつけられ(368)、次いで、アプリケーション開発者によって検討されスコアをつけられる(370)。初期要求分類器が、許容可能なスコアを結果としてもたらさない場合、アプリケーション開発者は、クラスタを調整し、分類器を組み立て直す。(クラスタが、テストセットから拾われた情報に基づいて調整される場合、調整されたクラスタから組み立てられたSVMの評価は、新たなテストデータセットでテストされるべきであることに留意されたい)。初期要求分類器が、許容可能なスコアを結果としてもたらすと、発信者の初期要求分類器の予備セット374が形成される。
図16Dを参照すると、エージェントの情報要求への1組の非初期発信者応答を組み立てるプロセスを示してある。図16Dに示すプロセスは、図16Cに示すプロセスと同様である。図16Cに示すプロセスのように、図16Dに示すプロセスは、「ゴールデン」エージェント分類器を使って、発信者の発声を突き止める。ただし、図16Dに示すプロセスでは、分類される発信者の発声は、非初期要求情報を求めるエージェントの要求に対応する発声(すなわち、発信者が、発信者の通話目的を求めるエージェント要求以外の情報を求める、エージェントの要求に応答した発信者の発声)である。発信者の名前、アドレス、社会保障番号、および誕生データを求めるエージェントの要求への発信者応答は、非初期要求情報を求めるエージェント要求に対応する、発信者の発声の例である。
図16Dに示すように、通話のトレーニングセットのエージェント発声は、ソフトウェアツールを使って「ゴールデン」エージェント分類器で注釈をつけられる(376)。ソフトウェアツールは次いで、発信者応答を、発信者の初期要求以外の情報を求めるエージェント要求に対応するエージェント分類器(たとえば、「What is your social security number?」に対応する分類器)にクラスタ化する(378)。
エージェントの非初期情報要求への、クラスタ化された発信者応答は次いで、(たとえば、サポートベクターマシンを用いて)発信者の非初期応答に対する1組の分類器を組み立てる(380)のに使われる。
発信者の非初期応答分類器の初期セットが組み立てられると、分類器は、通話のトレーニングセットを分類器を介して供給すること、および分類器が、トレーニングセットの発信者の非初期応答発声が属すと見なすクラスタを、発信者の非初期応答分類器の生成に先立って発信者の非初期応答発声が分類されたクラスタと比較することによって検証される(384)。分類器がトレーニングセットを分類せず、それによりトレーニングセットが一定の認証基準(たとえば、分類器は、トレーニングセット中の発信者の発声の少なくとも98%を、その適正なクラスタに分類しなければならない)を満たさない場合、アプリケーション開発者は、元のクラスタを調整し(386)、発信者非初期応答分類器を組み立て直す。
認証基準が満たされると、通話のテストセットは、発信者の非初期応答分類器で注釈をつけられ(388)、次いで、アプリケーション開発者によって検討されスコアをつけられる(390)。非初期応答分類器が、許容可能なスコアを結果としてもたらさない場合、アプリケーション開発者は、クラスタを調整し(386)、分類器を組み立て直す。非初期応答分類器が、許容可能なスコアを結果としてもたらすと、発信者の非初期応答分類器の予備セット394が形成される。
非初期発信者応答分類器および初期発信者要求分類器の予備セットは、予備的な発信者分類器の結合セットを形成するように結合される(396)。
図16Eを参照すると、予備的な発信者分類器を増補するプロセスを示してある。このプロセスにおいて、転記された人間エージェント−発信者間の通話のトレーニングセットおよびテストセットのいくつか(N個)のランダムサンプルが、分類器の性能を向上させるのに使われる。
ランダムサンプル(たとえば、ランダムに選択された1000個のサンプル)の第1のトレーニングセットが、ソフトウェアツールを使って「ゴールデン」エージェント分類器および予備的な発信者分類器で注釈をつけられる(400)。ソフトウェアツールは次いで、エージェントの情報要求(発信者の通話理由を求める要求、または他の情報を求めるエージェント要求)に対応する、発信者の発声のデータ(すなわち、意味特徴)を、対応する分類器の発信者クラスタに追加する。たとえば、「yeah,its 123−45−6789.」という発信者の発声が、発信者の社会保障番号を求めるエージェント要求に応答して与えられ、発信者の発声の意味特徴が、社会保障番号の応答に対応する発信者クラスタに追加される。
サンプルセットの中にある、発信者の発声からのデータがすべて、対応するクラスタに追加されると、発信者分類器(発信者の初期要求および非初期応答分類器の両方)が、たとえばサポートベクターマシンを用いて組み立て直される(404)。
組み立て直されたクラスタは次いで、新たに組み立てられた分類器に、通話のトレーニングセットを供給すること、および分類器が、トレーニングセットの発信者の発声が属すと見なすクラスタを、発信者分類器の生成に先立って発信者の発声が分類されたクラスタと比較することによって検証される(408)。新たに組み立てられた分類器がトレーニングセットを分類せず、それによりトレーニングセットが一定の認証基準(たとえば、新規分類器は、以前の分類器よりも高い率で発信者の発声を正しく分類しなければならない)を満たさない場合、アプリケーション開発者は、クラスタを調整し(410)、発信者分類器を組み立て直す。
認証基準が満たされると、通話のテストセットは、発信者の分類器で注釈をつけ直され(410)、次いで、アプリケーション開発者によって、分類器を改良するために検討されスコアをつけられる(412)。(新たなデータが分類器を改良すると想定されるので、クラスタの調整は起こらない)。図16Eに示すプロセスは、新たな分類器のスコアが、エージェントおよび発信者分類器の最終セットが確立される地点である漸近線に近づくまで続き得る。
エージェントおよび発信者分類器の最終セットは、アプリケーション開発者がシステム用の有限状態ネットワークを開発するのに使ってよい、規範的エージェント会話パターンを識別するのに用いることができる。たとえば、図16Fに示すように、ランダムに選択されたエージェント−発信者間の1つのサンプルセット420が、最終エージェントおよび発信者分類器を使う分類器タグで注釈をつけられる(422)。通話は次いで、通話タイプによって特徴づけられる(424)。このステップは、注釈をつけられたエージェント−発信者間のサンプルを検討するアプリケーション開発者によって手作業で実施してもよく、各発信者の初期要求に関連づけられたネットワークパス(群)を最適化するソフトウェアプロセスによって自動的に実施していてもよい。
ソフトウェアプロセスが次いで、各通話タイプごとのエージェント要求の並びを比較することによって、各通話タイプごとの共通エージェント要求パターンを識別する(426)ことができる。たとえば、ある通話タイプが、勘定残高を求める要求の場合、ソフトウェアプロセスは、1つまたは複数の共通要求パターンを識別するために、勘定残高を求める要求に応答する、各エージェント要求の並びを検査することができる(たとえば、多数のエージェントが要求「A」、その後に要求「B」、その後に要求「C」を行った)。ソフトウェアプロセスは次いで、識別された共通要求パターン(たとえば、各通話タイプごとに最も共通する要求パターン)を使って、予備的な有限状態ネットワークを自動生成する(428)。アプリケーション開発者は一般に、たとえば、システムによって理解されない応答を再度促させたり、または発信者に、システムが情報をルックアップする間待つよう依頼したりするために、予備的な有限状態ネットワークにノードを追加することになろう。
共通エージェント要求パターンを使って予備的な有限状態ネットワークを生成することに加えて、アプリケーション開発者は、共通エージェント要求パターンを使って、通話タイプを識別することもできる。たとえば、異なる通話タイプに対する1組の共通エージェント要求パターンが識別されると、分析されていないセット発信者−エージェント間の会話に、エージェント分類器を適用して、分析されていないセットの中のエージェント要求パターンを識別することができる。分析されていないセットの中にある、発信者−エージェント間の会話におけるエージェント要求パターンが、既知の通話タイプに対する共通要求パターンの1つと一致する場合、アプリケーション開発者(またはアプリケーション開発者によって使われるソフトウェアツール)は、発信者−エージェント間の会話が、共通の発信者−エージェント間の要求パターンに対応する通話タイプであると想定し得る。発信者−エージェント間の会話の通話タイプは、分類器のどの特定の順序にも依存せず、会話中に存在する1組のエージェント分類器に基づいて判定することができる。あるいは、通話タイプは、会話中に存在する一連のエージェント分類器に基づいて判定することもできる。
転記された会話中の、分類されたエージェントおよび発信者発声のペアは、成功したエージェント情報要求を識別するのに使うことができる。同じ(したがって、同じクラスタにあった)情報を引き出すことを意図した、様々な言葉で表現されたエージェント質問への発信者応答のタイプの分布が、情報を求めるある尋ね方が、他のやり方より有効であることを明らかにし得る。たとえば、「May I have your social security number?」で言い表される第1のエージェント要求は、発信者の社会保障番号を得ず、かなりの数の「yes」という発信者応答を得る可能性がある しかし、「What is your social security number?」で言い表されるエージェント要求を分類する別のエージェント分類器は、この質問への非常に高い比率の発信者応答が、要求された情報(すなわち、発信者の社会保障番号)を与えたという分布をもたらし得る。どの発信者応答タイプが応答を示し、どれが応答を示さないかを識別することによって、次いで、関連づけられた発信者の発声を見て、そうしたエージェント発声の言い回しが、発信者の発声の応答性に関与するかどうか判定することが可能である。
再度図12を参照すると、初期CMLアプリケーション記述184は、(たとえば、図16A〜16Fに示す初期開発プロセスを使って)開発されると、会話サーバ(たとえば、図5〜6に示す会話サーバ30)に展開される(186)。会話サーバは好ましくは、CMLアプリケーションの「ホットデプロイメント」をサポートし、これは、CMLアプリケーション記述の新たなバージョンが、会話サーバ上で既に稼動しているときは展開し直すことができることを意味する。ホットデプロイメントは好ましくは、以下のことを保証する。(i)既にアクティブなアプリケーションセッションが、完了まで稼動させられる、(ii)アプリケーションのバージョンによって利用されるすべてのリソース(たとえば、入力要求ファイルなど)が、必要とされなくなるまで、削除されることも置き換えられることもない、(iii)すべての新規アプリケーションセッションが、アプリケーションの最新バージョンを使用する、(iv)アプリケーションのすべての廃止バージョン、およびサポート用リソースが、アクティブなアプリケーションセッションによって必要とされなくなると、会話サーバから削除される。
CMLアプリケーション記述が会話サーバ上で展開され、通話を扱い始めた後、会話サーバは、システム−発信者間の対話をすべて、メディアリポジトリ187に記録し、会話ログ188に対話のログを生じる。
メディアリポジトリ187は、システム−発信者間の会話からの未加工データ(たとえば、記録された発信者−システム間の電話会話のオーディオファイル、発信者−システム間のインスタントメッセージ会話のテキストファイル)を含む。オーディオ記録サブシステム(図示せず)が、すべての顧客通話を、発生時間(システムが通話を扱い始めるとき)から、通話の終了までを記録する。エージェント引継ぎ通話に対して、音声サブシステムは、エージェント/顧客対話を、その終結まで記録し続ける。好ましい実装形態では、オーディオ記録サブシステムは、発信者が会話の中で言ったすべてのことを、あるオーディオファイルに、エージェント(群)(ソフトウェアおよび/または人間エージェント)が言ったすべてのことを別個のファイルに記録する。さらに、オーディオ記録サブシステムは好ましくは、記録された会話の中の沈黙を取り除く。
会話ログ188は、ロギングサブシステム64(図5に示す)によって生成される。ロギングサブシステムは、会話サーバによって処理されるあらゆる通話に対するセッションオブジェクトを作成することによって、会話ログ64を生成する。セッションオブジェクトは、以下のデータを含む。
・稼動されるアプリケーション(会話サーバ上で使用されている多数の会話型アプリケーションがあり得る)
・システムによって対話がどのようにして処理されたかを示すラベル(たとえば、自動化、合成、またはエージェント引継ぎ会話)
・チャネルインジケータ(電話、ウェブ、チャット/IM、eメール)
・音声リポジトリに格納されている、関連づけられたオーディオファイルへのリンク。
・以下を含む、時系列順での会話全体の表現
○(i)スピーチエンジンによって認識された顧客入力(認識された入力);
○(ii)十分に自動化された対話(すなわち、ソフトウェアエージェントによって完全に扱われた対話)に対して、表現は、以下も含む。
●対話の場合、各質問に与えられた回答およびその一致スコア
○(iii)合成された対話(すなわち、人間エージェントが、システムによって提示された回答リストから回答を選択した対話)に対して、表現は、以下も含む。
●提案された最上位の回答(群)および関連した一致スコア、
●エージェントによって選択された回答およびその一致スコアならびに提案された回答リストの中での順位づけ
○(iv)引継ぎ対話に対して、表現は、以下も含む。
●人間エージェントと顧客の間のオーディオダイアログ。
・通話発生時刻、通話が人間エージェントに上申された時刻(適用可能な場合)、および通話完了時刻を示すタイムスタンプ。
・エージェントおよび発信者が交わす会話、ならびに状態遷移を引き起こしたイベントに従った状態の並び、たとえば、人間エージェントが特定の応答を選択し、またはソフトウェアエージェントが応答を選択する。
・通話を支援し、または通話を引き継いだ人間エージェントの識別(適用可能な場合)。
・バックエンドシステム(たとえば、発信者要求に応答した情報を含むシステム)へのすべての要求の記録、およびそうした要求の結果。たとえば、アプリケーションは、顧客の勘定残高を取得する必要がある場合、バックエンドシステムへの通話を必要とする。
メディアリポジトリ187および会話ログ188は、CMLアプリケーションの調整を容易にするために、ランタイム学習プロセス190にとって利用可能である。
ランタイム学習プロセス190は、システム(交渉ログ188およびメディアリポジトリ187に取り込まれる)の実行履歴が用いられる適応型学習ループを、会話を自動化するためのシステムの能力を向上させるようにCMLアプリケーションを発展させるのに用いる。より具体的には、ランタイム学習プロセスは、エージェント−発信者間の会話の履歴から、システムにとって「良好な」学習機会であると判定される特定のエージェント−発信者間の対話を選択する。選択されたエージェント−発信者間の対話は、エージェント−発信者間の会話全体である必要はなく、エージェント−発信者間の会話の一部分でよい。以下は、システムを改良するランタイム学習プロセスによって選択することができる発信者−エージェント間の対話の例である。
1.人間エージェントが、システムによって生成された、発信者の発声への応答のランクづけされたリストから応答を選択した会話において、発信者の発声の意味は、人間エージェントによって選択された応答とは、システムによって区別することができる。したがって、発信者の発声は、システムによって使われる、分類器を改良するための学習機会として選択することができる。したがって、発信者が将来同様の発声を行う場合、システムは、人間エージェントからの支援なしで、より応答しやすくなる。また、発信者の発声の認識された発語(オンラインASR、オフラインのASRまたは手動転記によって認識することができる)は、オンラインASRによって使われる言語モデルを改良するのに用いることができる。したがって、発信者が、将来同様の発語を用いて発声を行う場合、オンラインASRは、その発語をより正確に認識しやすくなる。
2.システムが発信者の発声に自動化応答を与えた会話において、自動化応答に先行する発信者発声は、システムによって、システムの挙動を強化するための学習機会として選択することができる。この場合、発信者の発声の、認識された発語(オンラインASR、オフラインASR、または手動転記によって認識することができる)は、オンラインASRによって使われる言語モデルを改良し、かつ/または発信者の発声の意味を区別するのに使われる分類器を改良するのに用いることができる。
3.人間エージェントが会話を引き継いだ会話において、人間エージェント−発信者間の対話は、学習機会として選択することができる。この場合、システム管理者が、システムによって予期されなかった(したがって、システムの有限状態ネットワークの一部でない)、人間エージェント−発信者間の会話のやり取りを分析することができる。システム管理者は、人間エージェント−発信者間のやり取りを用いて、システムの有限状態ネットワークにノードを追加し、分類器を組み立てることができ、そうすることによって、発信者が将来コールセンターと交信する場合、システムは、その通話を扱う準備ができている。たとえば、印刷エラーが、ある特定の月における、顧客への無記名為替手形のメール送信につながった場合、システムは、無記名為替手形について、いくつかの発信者照会を受ける可能性がある。これはおそらく、システムによって予期されていない会話である。こうした照会のいくつかを受けた後、システム管理者は、システムが将来、同様の通話を扱うことができるように、1組の分類器を組み立て、有限状態ネットワークをアップデートすることができる(たとえば、上で図15において説明したプロセスを用いる)。
ランタイム学習プロセスは、エージェント−発信者間の選択された対話を会話スタジオ32(図4〜5に示す)に供給し、スタジオ32で、対話は、分類器を組み立て直し、ランタイム音声認識によって使われる言語モデルを改良し、かつ/または状態遷移ネットワークを修正するのに使われる。
一実装形態では、ランタイム学習プロセスは、システム−発信者間の会話を、以下の学習機会用に吟味する。
1.支援:ソフトウェアエージェントが不確実なときに、人間エージェントがソフトウェアエージェントに、発信者ステートメントの適正な解釈を知らせた会話において、発信者ステートメントのエージェント解釈が、概念認識エンジンによって、発信者の発話を理解するのに使われる分類器を改良するのに用いられる。他の実装形態は、発信者ステートメントのエージェント解釈を用いて、オンラインASRによって使われる言語モデルを改良する。
2.引継ぎ:人間エージェントがソフトウェアエージェントから会話を引き継いだ会話において、人間エージェント−発信者間のやり取りは、システム管理者によって、新たな会話を識別するために分析される。新たな会話が識別された場合、新たな1組の発信者分類器およびアップデートされた有限状態ネットワークを開発して(たとえば、上の図15で説明したプロセスを用いて)、その新たな会話をアプリケーションに追加することができる。
3.強化:ソフトウェアエージェントが発信者の1つまたは複数の発声を首尾よく認識した会話において、発信者の発声(群)は、オンラインASR(音声認識エンジンのコンポーネントである)によって、発信者の発話を認識するのに使われる言語モデルを改良するのに用いられる。他の実装形態は、こうした会話を用いて、概念認識エンジンによって発信者の発話の意味を理解するのに使われる分類器を改良する。
ランタイム学習プロセス190が、エージェント−発信者間の対話を学習機会として使うとき、学習機会の対話が正しくないというリスクがある。「不良」対話(たとえば、システムが発信者の質問を誤解し、不正な応答を与えた対話)の処理は、システムの正確さおよび自動化の程度を低下させる危険性を提示する。したがって、ランタイム学習プロセスは好ましくは、そこから学習するべき「良好な」対話のみを選択することを保証するのを助ける1つまたは複数の安全機能を含む。
好ましい実施形態では、ランタイム学習プロセスは、会話スタジオ32(図4〜5に示す)の所にあるグラフィカルユーザインターフェイスを介して、システム管理者または他のユーザによって、選択された対話が一定の選択基準を満足することを要求するように構成可能である。一実装形態では、システム管理者は、学習機会を選ぶ以下の選択基準の1つまたは複数を選択することができる。
1.エージェント−発信者間の、後続のn個(たとえば、n=2、3、4など)の対話が成功した(たとえば、結果として、発信者に電話を切らせることも、人間エージェントに助けを、またはエージェントと話すことを求めさせることもなかった対話)場合、エージェント−発信者間の対話を、強化学習機会として選択する。
2.発信者が、ソフトウェアエージェントまたは人間エージェントによって課された満足性質問(たとえば、「Did that answer your question?」、「Are you satisfied with the service you received?」)に肯定的に応答した場合のみ、エージェント−発信者間の対話を、強化および/または支援学習機会として選択する。
3.エージェント−発信者間の対話を、他の例のうちm個(たとえば、m=2、3、4など)によって確認される強化および/または支援学習機会として選択する。これは、システムが、限られた数の例から推定するのを回避する。
4.ある程度の数の異なるエージェントによって確認される場合、エージェント支援対話を、学習機会として選択する。
5.支援が「信用できる」エージェントによって実施される場合、エージェント支援対話を選択する。信用できるエージェントは、エージェントとしての人の在職期間の長さや、エージェントに起因する、以前の支援学習例における累積スコアなど、何らかの「信用」測度に従って判定することができる。
6.システムによって提案された、最上位のn個の選択肢(たとえば、n=1、2、3など)の中にある場合のみ、エージェント支援対話を、学習機会として選択する。
7.あるクラスタへの新たな例の追加が、そのクラスタから、以前の所定の数の例にシフトすることになる場合は、学習機会としての対話の選択を回避する。たとえば、既存のあるクラスタが、すべてが「I want my account balance」を意味する100例の発声を含み、選択された対話にある、発信者の新たな発声が、そのクラスタに追加され、新たな1組の分類器が、101個の発声(元の100個に新たな1つを足したもの)からなる新たなトレーニングセットを使って生成し直されると仮定する。101個の発声は、新たな1組の分類器がそれをどのように分類したかを見るために、新たなセット分類器に適用することができる。理想的には、新たな分類器は、そのように分類器がトレーニングされているので、101個の発声をすべて、「I want my account balance」というクラスタに属すものとして分類するべきである。しかし、元の発声のうち特定の数(たとえば、1、2、3など)が、他の何らかのクラスタに属すものとして現在誤分類されているか、または現在多義的に分類されていることが分かった場合、これは、学習された新たな発声が、分類器の正確さを低下させており、最初の段階でこのクラスタに追加されているべきでないということを指示している。この選択基準は、クラスタに新たな例を追加し、その結果以前の所定の数の例を取り除かせることになる、より強い証拠を必要とするように、上記の選択基準3と結合することができよう。
「不良な」例からの、システムの学習低下のリスクに加えて、処理用および/または人間管理リソースを節約するために、学習機会を制限することも有利であり得る。たとえば、平均的な北米のコールセンターは、1年にほぼ300万回の通話を扱い、1通話当たり、発信者−エージェント間の10回のやり取りと想定すると、これは、平均的なコールセンターが、1日当たり120,000個の潜在的学習イベントを生成することを意味する。多くの組織は、システムに、その挙動を、責任ある何者かの承認なしで変えさせることはない(または、合法的にそうすることができない)。自動的なシステム進化が所望される場合であっても、剪断量の例が、最終的には処理リソースに対する負担になり得る。したがって、適切または有用な例のみが処理され、かつ/または人間による検討のために提示されることを、ランタイム学習プロセスが保証することが有利な場合がある。好ましい実施形態では、ランタイム学習プロセスは、会話スタジオ32(図4〜5に示す)の所にあるグラフィカルユーザインターフェイスを介して、システム管理者または他のユーザによって、システムおよび/またはユーザへの過負荷を回避するのを助けるために、選択された対話が、1つまたは複数の選択基準を満足することを要求するように構成可能である。
1.少なくともn個(たとえば、n=1、2、3など)の他の対話を分類しない対話を選択しない。というのは、それ自体の理解に寄与する対話は一般に、あまり有用でないからである。
2.対話を、それが分類する他の対話の数でランクづける。こうした最も生産的な例のうち、最上位のn=1、2、3...個のみを学習機会として追加する。
3.少なくとも一定の閾値によって確定的セットを変えない対話を追加しない。上で説明したように、分類器は、例のトレーニングセットから作成される。トレーニングセットの中の例は、重要なものもあるが、そうでないものもある。つまり、重要でない例を取り除き、分類器を休養させることになった場合、以前と同じ分類器を入手する。実際に重要である例は、確定的セットと呼ばれる(確定的SVM分類器セットを判定するのに用いられた既知のソフトウェアプロセス)。この選択基準は、対話が学習プロセスを介して分類器用のトレーニングセットに追加され、新たなトレーニングセットを使って新たな分類器が構築されても、確定的分類器セットが一定の閾値分変わらない(たとえば、そのメンバのほとんどが、以前と同じである)場合、分類器は、追加対話からほとんど学習していないので、無視することができる(このケースでは、元の分類器は、そのままの状態で留まることになる)ことを意味する。学習にとって有用な対話は、確定的セットに対して顕著な影響力をもつ対話である。
4.クラスタ中の例に数値または期間に関連した閾値を置くことによって、システムが保有する例の数または多様性を制限する。期間に関連した1つの閾値は、例が、他のある程度の数の例を分類するのに、最後に使われたときである。これは、最初に人間と人間の間でのデータでトレーニングされたシステムが、人間がマシンに話しかけるときに採用し得る異なるスタイルを学習しているときに特に重要であり得る。
上記の選択基準は、システム−発信者間のどの形のコミュニケーション(たとえば、発語、インスタントメッセージなど)にも当てはまるが、オンラインASR(または、手書きを認識するケースでは、オンライン光学式文字認識(OCR)システム)において重大な誤認識機会が起こり得る、対話媒体が発語または手書きあるいは他の様式であるとき、特殊な問題が発生する。
いくつかのケースでは、会話ログに取り込まれる発信者の発語(または手書き)の認識は、有用な例として働くには十分に正確でない場合がある。これは、発信者が言った、または書いたことをシステムが理解できなかったときに、人間エージェントが正しい解釈を供給する支援または引継ぎ学習において特に問題である。不正確に認識された発語または手書きからの学習は、システム性能を低下させ、または少なくとも、システムリソースを浪費する可能性がある。ランタイム学習システムは好ましくは、エージェント選択による回答を、システムによって提示される最上位のn個(たとえば、n=1、2、3...)の仮定のセットにあることを要求することによって、不正確に認識されたデータからの学習から保護する。システムはまた、誤認識された例からの学習を回避するために、閾値を超過するという、(オンラインまたはオフラインのASRによって生じられた)認識されたデータの何らかの内部信頼性測度を必要としてもよい。
会話ログにおける不正確に認識されたデータの脅威は相当なものである。というのは、システムは、動作しているとき、一般に、発信者が応答を数秒を越えて待ちたくないという時間の制約に直面する。これは、オンラインASRがユーザ要求を認識し分類するのに使うことができる処理量を制限する。しかし、ランタイム学習プロセスは、発信者入力を、このような厳しい時間の制約なく、学習目的のために再度認識する場合がある。このオフライン認識は、より多くのリソースを使うことによってより良好な結果を達成するのに、異なるアルゴリズムまたはモデルまたはパラメータを使うことも、同じおよび/または関連したユーザ入力の多数の受け渡しを行うことさえもできる。たとえば、発信者会話全体(すべて10回分)を、各回を再度認識するためのトレーニングとして用いることもできよう。ランタイム学習プロセスは、オフタイム中に、超過ピーク期間容量を用いてこのタスクを実施するように設計することができる。ランタイムプロセスは、発信者入力を再度認識するのに、ネットワーク(たとえば、インターネット)を介して計算機リソースを使うこともできよう。
発信者入力(たとえば、発語)の認識は、計算集約的プロセスであり、したがって、ランタイム学習プロセスは、処理リソースを、あらゆるユーザ発声を再度認識するためのプロセスにとって利用可能にしてはならない。ランタイム学習プロセスが処理リソースを制限し得る一方法は、上記の選択基準概要の1つまたは複数を使って、学習機会として選択されているシステム−発信者間の対話を単に選択することである。上記の技法に加えて、プロセスは、対話の信頼性レベルをフィルタとして用いることができる。信頼性が高い対話は、正しいものであると推定することができ、信頼性が低い対話は、問題があり過ぎて、信用に値しない(たとえば、外部ノイズが多過ぎる)と想定することができる。適切な「高い」および「低い」閾値は、システムによって、トレーニング例から計算することができる。
さらに、認識技法はしばしば、システムの語彙の限度を知っていると想定する。特に問題となるのは、いつ、どのようにして、根本的単位からなる、システムの基本目録を拡張するべきかということである。ランタイム学習プロセスは、概念認識システムの語彙をいつ拡張するかを、異なる(通常、より大きい)語彙を用いて判定することができるオフライン認識を用いることができる。より大きな語彙により、より良好な内部および外部スコアが生じる場合、ランタイム学習プロセスは、その語彙を、概念認識エンジンにとって「より良好な」語彙であると想定し得る。ランタイム学習プロセスは、新たな項目および組合せを含めるように、たとえば、ニュース供給から新たな語彙を動的に構成することができる。低レベルの信頼性測度は、おそらくは新しい項目の領域を識別することができる。グループ化された新しい類似項目が一定の閾値を超過するとき、新しい項目の識別の支援のために、人間に依頼することができる。
最後に、多くの認識システムは、異なるタスクレベルに対して個別モデルを有する。たとえば、音声応答システムは、音レベル単位を分類するためのガウスの音響モデルと、音シーケンスを単語にマップするための辞書と、単語シーケンスをレーティングするための統計的言語モデルと、全発声を等価な意味グループに分類するためのSVMとを有し得る。ランタイム学習プロセスは、選択された学習例を用いて、様々なレベルにあるモデルを、別々に、または様々な組合せでまとめてトレーニングすることができる。
図17を参照すると、学習サーバ450が、ランタイム学習プロセスを実装している。この特定の実装形態において、学習サーバは、ログストリーマ456、学習モジュール458、学習データベース460、オーディオ取出し装置462、オフライン自動音声認識アプリケーション464、およびアプリケーションストア466を含む。
動作の際、システム−発信者間の会話のログは、会話サーバによって生成されると、会話ログ452からログストリーマ456にプッシュされる。会話サーバ(たとえば、図4〜5に示す会話サーバ30)または別の機構(たとえば、別のサーバ)は、ログをログストリーマにプッシュするように構成することができる。
ログストリーマは、会話ログを受け取ると、ログを、分析のために学習モジュール458a、458bの一方に経路指定する。学習モジュールは、学習サーバに学習機能を導入するモジュール式の手法である。たとえば、一実装形態では、ある学習モジュールが、エージェント支援からの学習機会の識別専用であり、第2の学習モジュールが、強化学習機会の識別専用であり、第3の学習モジュールが、引継ぎ学習機会の識別専用である。サーバに追加されるべき新たな学習機能がある場合、新たな学習モジュールが開発され、学習サーバに導入される。したがって、たとえば、語彙学習モジュールは、システムの語彙を拡張するように、発信者の発声において使われる単語を検査するために学習サーバに追加することができよう。
学習モジュールは、会話ログおよびオーディオファイルに学習機会として取り込まれるイベントを選択するようにも機能する。システム学習モジュールは、会話ログ/オーディオファイルに取り込まれるイベントを、システム管理者によって特定された選択基準(上で論じた)に従って選択する。一部の選択基準、たとえば、学習のためのシステム−ユーザ間の対話の選択に対して、後続の一定の数のシステム−発信者間の対話が成功したかどうかは、システム−発信者間の候補対話に対応する会話ログから判定することができる。しかし、他の選択基準は、システム−発信者間の対話が選択されるべきかどうか判定するために、学習モジュールが多数の会話ログを検査することを要求する。たとえば、選択基準が、他の一定の数の例によって確認されない限りエージェント−発信者間の対話が選択されるべきでないと指定する場合、学習モジュールは、エージェント−発信者間の対話において、多数の受渡しを行うことになる。最初の受渡しにおいて、学習モジュールは、エージェント−発信者間の対話を、可能な学習機会として識別しセーブする。一定量の候補対話がセーブされた後、または一定量の時間の後、学習モジュールは、セーブされた候補対話を分析して、学習機会として最終的に選択するべき対話を選ぶ。
学習モジュールが、システム−発信者間の対話を学習機会として選択すると、選択されたシステム−発信者間の対話は、学習データベース460に格納される。
システム−発信者間の対話をフィルタリングする選択基準に加えて、学習モジュールは、概念認識エンジン(会話ログに含まれる)によって報告される一致スコアレベルを検査して、システム−発信者間の選択された対話をオフラインASR 464または手動転記468のどちらに送るべきか判定するようにも構成される。一致スコアの閾値範囲は、ユーザ(たとえば、システム管理者)によって設定可能にしてもよく、予めプログラムすることもできる。一致スコアの閾値範囲は好ましくは、信頼性が非常に低いスコアを(発声に問題があり過ぎて、信用できないことを示す)および信頼性が非常に高いスコア(元の認識が正しいことを示す)を排除する。転記が、オフラインASR 464を対象とする場合、オフラインASRプロセス464は、アプリケーションストア466内のアプリケーション定義にアクセスして、特定の認識状態向けに使われるASR言語モデルを取得する(各認識状態が、1つの個別言語モデルを使う)。学習モジュールは、すべてのエージェント引継ぎ対話を、オフラインASRまたは手動転記に経路指定するように構成される。というのは、概念認識エンジンは、エージェント引継ぎの間、発信者またはエージェント発声を認識しないかっらである。一部の構成では、学習モジュールは、発信者−人間エージェント間の対話の高品質の転記を得るために、エージェント引継ぎを、オフラインASRによる自動化転記とは対照的に、手動転記に経路指定するように構成される。
最後に、アプリケーション開発者は、会話スタジオ32上のグラフィカルユーザインターフェイスを用いて、考慮のために準備されている学習機会を取得する。アプリケーション開発者は、任意選択で、(たとえば、グラフィカルユーザインターフェイスを介して)学習機会を承認し、この承認された学習機会でアプリケーションをアップデートする。アプリケーションがアップデートされると、新たなバージョンがアプリケーションストア466に置かれ、会話サーバに展開される。
支援学習機会は、適切な概念クラスタに追加される発信者の新たな発声をもたらし、これは次いで、概念認識のために使われる分類器を生成し直すのに使われる。アップデートされたアプリケーションは次いで、次回発信者によって発話されるときに、同様の発声を適正に分類することが可能になる。強化学習機会は、オンラインASRの正確さを向上させるために、音声認識用に使われる言語モデルに追加される新たな発声をもたらす。引継ぎ学習機会は、有限状態ネットワークを、既存のトピック周辺の新たなトピックおよび新たな対話を扱うように拡張する。
図13は、グラフィカルユーザインターフェイス208を示し、これは、人間エージェントをワークグループにログインさせ、自分の作業状態を管理させ、通話を受けさせかけさせる汎用的なエージェントデスクトップのコンポーネントであり、通話はすべて、CTIサーバとの対話を通る。ユーザインターフェイス208は、デスクトップアプリケーションを含むCTIサーバを利用するアプリケーションをエージェントが起動するための制御パネルである。
インターフェイス208は、Avaya IP Agentデスクトップ上でモデル化される。このデスクトップの最も一般的な機能は、ツールバーを介して公表される。図13に示すツールバーは、電話200(選択された通話に対する制御を提供する)、ダイヤル202(通話をかける手段を提供する)、エージェント204(ACDを参照して、エージェントの作業状態を設定する手段を提供する)、およびアプリケーション206(インターフェイス208にロードされているアプリケーションを起動する手段を提供する)である。
人間エージェントがログインすると、デスクトップ用の構成がサーバからロードされる。この構成の一部は、デスクトップから起動することができるアプリケーションの定義である。アプリケーション構成は、アプリケーションを実装するクラスと、アプリケーションがロードされるネットの場所を含む。さらに、構成は、通話がアプリケーションを目標としていることを示すアプリケーションデータを含むことになる。
図14は、解決アプリケーションまたはグラフィカルユーザインターフェイス210を示す。このアプリケーションは、通話が解決通話であることを示すアプリケーションデータと共に通話が届く度にトリガされる。アプリケーションユーザインターフェイスは、3つの主セクションに分けられる。提示される情報は、以下の通りである。すなわち、Application 212(稼動されているCMLアプリケーション)、Context 214(アプリケーションにおける現在の状態)、Channel 216(顧客がセンターと交信しているチャネル)、Threshold 218(文脈用の閾値設定)、Over/Under 220(解決がエージェントに提示されている理由。すなわち、閾値を越える回答が多過ぎるのか、それとも閾値を越える回答が足りないのか)、Assist 222(顧客がこのセッション中に支援された回数)、およびTime 224(顧客がこのセッションにいる時間の長さ)。
質問解決パネル226において、人間エージェントは、顧客の質問への適正な回答を選択することができる。このパネルにおいてエージェントが実施し得るアクションは、Search KB 228(クエリを修正し、回答を求めて知識ベースを検索する)、Respond 230(ソフトウェアエージェントに、選択された回答で顧客に応答するよう命令する。クエリに合致するAnswer 232が、パネルの下部にあるテーブルに表示される。各answer 232は、文脈信頼性閾値より上か下か、その一致の順位、およびその質問の要約を示す。)、Take Over 234(ソフトウェアエージェントから通話を引き継ぐ)、Whisper 236(顧客の要求の記録を聞く)、およびSubmit Original Question 238(顧客の元の質問を、クエリとして知識ベースに提出する。これは、アプリケーションによって実施される初期アクションである。)である。
グラフィカルユーザインターフェイス210は、人間エージェントが「代替質問」というタイトルのボックスに、顧客のコミュニケーション用の代替テキストを入れることも可能にする。コンピュータ生成による応答の信頼性レベルが低い場合、人間エージェントは、顧客のコミュニケーションを、システムがよりうまく突き合わせることを人間エージェントが分かるように言い換えることを決定してよい。
ユーザインターフェイスの下部に2つの制御セット、すなわちトランスクリプトおよびデータがある。Transcriptボタン240は、ソフトウェアエージェントの、顧客とのダイアログのトランスクリプトをチャットスタイルのトランスクリプトで示すウェブページを起動する。このウェブページは、ソフトウェアエージェントの稼動中の会話トランスクリプトから、対話チャネルで使われる同じCocoonインフラストラクチャを介して生成される。Dataボタン242は、ソフトウェアエージェントによって今までに収集されたアプリケーションデータを示すウェブページを起動する。このウェブページは、ソフトウェアエージェントのアプリケーションおよびネットワークプロパティから、対話チャネルで使われる同じcocoonインフラストラクチャを介して生成される。対話チャネルの場合と同様、このデータのアプリケーションレベル、ネットワークレベル、および/または文脈レベルでの提示を定義することが可能であり、定義は、より一般的なレベルの定義に優先するより具体的なレベルとされる。たとえば、文脈レベルでの定義が、ネットワークまたはアプリケーションレベルでの定義に優先することになる。
要約コントロールは、人間エージェントに、会話ログの中に置かれた手引きを提供させる。Attach Noteボタン244は、人間エージェントに、会話ログの中のある対話に注記を添付させる。Mark for Reviewチェックボックス246は、ある対話が会話ログにおける検討のために印をつけられるべきであることを示すのに使われる。Doneボタン248は、エージェントがある解決を済ませたことを示す。システムは、品質保証、論争解決および市場調査目的のために、アーカイブに入れられた、声およびテキストベースの会話を積極的に索引づけ、カテゴリ化し、監視する。これは完全に自動化されているので、システムは、顧客の通話パターンにおける偏差に対する通話アーカイブを積極的に監視することができ、通常の報告機構を介して監督者に警告する。
たとえば、会話マイニングのカテゴリでは、システムは、顧客オーディオを、後でデータマイニングするために転記する(たとえば、金融サービスのための品質管理)。これは、転記された会話をバッチ認識プロセス、すなわちログをクラスタ化するのに使われるCREから取ることを伴い、特定のトピック(すなわち販促、問題エリアなど)を求めてクラスタ内を検索する能力を提供する。システムは、特定のトピック(下位クラスタ)によって通話をクラスタ化し、下位クラスタ中の通話パターンにおける偏差を突き止め、印をつけ、管理者が、偏差が起こる、オーディオストリーム中の特定の点にアクセスするのを可能にすることもできる。この機能性は、エージェントが言うところの監査証跡を与える。たとえば、製品の返品についてのクラスタは、相異なるエージェントが顧客に、製品を相異なる場所に返すよう指示することを示し得る。こうするためには、クラスタが、マルチパスASRの前に、ログに関連づけられたデータを保有する。別の例として、クラスタは、一部のエージェントが、知識ベース中の既存の回答を、顧客質問(合成されたワークフロー)に関連づけ、他のエージェントは、通話を選び(引継ぎワークフロー)、独自の応答を与えることを示し得る。
コンタクトセンター管理への具体的な応用を含む、本発明の特定の実装形態を記載したが、他の非常に様々な実装形態も、添付の特許請求の範囲内である。
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
Figure 2008512789
状態遷移線図を示す図である。 状態遷移グラフを示す図である。 顧客、システム、および人間エージェントの間の対話を示す図である。 フローチャートを示す図である。 ソフトウェアアーキテクチャシステムの概要を示す図である。 図4のソフトウェアアーキテクチャを示すより詳細な図である。 ワークフローコンポーネントシステムを示すブロック図である。 対話チャネルコンポーネントを示すブロック図である。 音声認識装置を示すブロック図である。 概念認識エンジンを示すブロック図である。 マークアップ言語ドキュメントの編成を示す図である。 一例のグラフに対する状態遷移グラフのサブセットを示す図である。 反復アプリケーション開発プロセスを示す図である。 スクリーンショットを示す図である。 別のスクリーンショットを示す図である。 初期アプリケーション開発プロセスを示す図である。 初期アプリケーション開発プロセスを示す図である。 初期アプリケーション開発プロセスを示す図である。 初期アプリケーション開発プロセスを示す図である。 初期アプリケーション開発プロセスを示す図である。 初期アプリケーション開発プロセスを示す図である。 初期アプリケーション開発プロセスを示す図である。 学習サーバを示すブロック図である。

Claims (83)

  1. 第1の当事者タイプのメンバと第2の当事者タイプのメンバとの間の1つの会話セットを受け取ることであって、前記会話はそれぞれ、前記第1の当事者タイプのメンバのコミュニケーション、および前記第1の当事者タイプの前記メンバの前記コミュニケーションに応答する、前記第2の当事者タイプのメンバのコミュニケーションを含むこと、
    前記第1の当事者タイプのメンバの前記コミュニケーションを第1のクラスタセットにグループ化すること、
    前記第1の当事者タイプのメンバの前記コミュニケーションの前記グループ化に基づいて、前記第2の当事者タイプのメンバの前記応答側コミュニケーションを第2のクラスタセットにグループ化すること、ならびに
    マシンによって、前記第2のクラスタセット中の1つまたは複数のクラスタ用の1組の第2の当事者タイプ分類器を生成することを含むことを特徴とする方法。
  2. 前記コミュニケーションは、発声を含むことを特徴とする請求項1に記載の方法。
  3. 前記コミュニケーションは、テキストメッセージを含むことを特徴とする請求項1に記載の方法。
  4. 前記第1の当事者タイプのメンバの前記コミュニケーションは、コールセンターにいる人間カスタマーサービスエージェントのコミュニケーションを含むことを特徴とする請求項1に記載の方法。
  5. 前記第1の当事者タイプのメンバの前記コミュニケーションは、コールセンターと交信する人間とコミュニケーションをとるように構成されたソフトウェアエージェントのコミュニケーションを含むことを特徴とする請求項1に記載の方法。
  6. 前記第2の当事者のメンバの前記コミュニケーションは、コールセンターと交信した人間のコミュニケーションを含むことを特徴とする請求項1に記載の方法。
  7. 前記分類器は、サポートベクターマシンを含むことを特徴とする請求項1に記載の方法。
  8. 前記分類器は、決定木を含むことを特徴とする請求項1に記載の方法。
  9. 第1の当事者タイプのメンバのコミュニケーションは、コンピュータを使って、第1のクラスタセットにグループ化されることを特徴とする請求項1に記載の方法。
  10. 第1の当事者タイプのメンバのコミュニケーションを第1のクラスタセットにグループ化することは、前記コミュニケーションの意味特徴を判定することを含むことを特徴とする請求項9に記載の方法。
  11. 前記第1の当事者タイプのメンバのコミュニケーションを第1のクラスタセットにグループ化することは、前記第1の当事者タイプのメンバの前記コミュニケーションの意味に基づくことを特徴とする請求項1に記載の方法。
  12. マシンによって、前記第1のクラスタセット中の1つまたは複数のクラスタ用の1組の第1の当事者タイプ分類器を生成することをさらに含むことを特徴とする請求項1に記載の方法。
  13. 前記第1の当事者タイプのメンバのコミュニケーションを第1のクラスタセットにグループ化することは、
    前記第1の当事者タイプのメンバからの情報要求に対応するコミュニケーションを第1のクラスタセットにグループ化することを含むことを特徴とする請求項1に記載の方法。
  14. 前記第2の当事者タイプのメンバの応答側コミュニケーションを、前記第1の当事者タイプのメンバの前記コミュニケーションの前記グループ化に基づいて、第2のクラスタセットにグループ化することは、
    前記第2の当事者タイプのメンバのコミュニケーションを、前記第1の当事者タイプのメンバからの前記情報要求への応答に対応するグループにグループ化することを含むことを特徴とする請求項13に記載の方法。
  15. 前記第2の当事者タイプのメンバの応答側コミュニケーションを、前記第1の当事者タイプのメンバの前記コミュニケーションの前記グループ化に基づいて、第2のクラスタセットにグループ化することは、
    前記第1の当事者タイプ分類器を使って、前記第1の当事者タイプのメンバのコミュニケーションを、前記第1の当事者タイプのクラスタに分類すること、
    前記第1の当事者タイプの前記メンバの前記分類されたコミュニケーションに続く前記第2の当事者タイプのメンバのコミュニケーションを、前記第1の当事者タイプの前記クラスタに関する前記第2の当事者タイプのクラスタにグループ化することを含むことを特徴とする請求項13に記載の方法。
  16. 前記第1の当事者タイプの前記クラスタは、前記第1の当事者タイプのメンバによって行われた情報要求に関し、前記第2の当事者タイプの前記クラスタは、前記第2の当事者タイプのメンバによって与えられた前記情報要求への応答に関することを特徴とする請求項15に記載の方法。
  17. 前記第1の当事者タイプのメンバと前記第2の当事者タイプのメンバとの間の第2の会話セットを受け取ることであって、前記会話はそれぞれ、前記第1の当事者タイプのメンバのコミュニケーション、および前記第1の当事者タイプの前記メンバの前記コミュニケーションに応答する、前記第2の当事者タイプのメンバのコミュニケーションを含むこと、
    分類器を適用して、前記第2の当事者タイプのメンバの前記コミュニケーションをグループ化すること、
    マシンによって、前記第2のクラスタセット中のクラスタ用の第2の当事者タイプ分類器を、前記クラスタ中のグループ化された前記コミュニケーションに関するデータを使って生成し直すことをさらに含むことを特徴とする請求項1に記載の方法。
  18. マシンによって、1組の分類器を適用して、応答側コミュニケーションも含む会話の一部である開始側コミュニケーションをカテゴリ化すること、および
    マシンによって、前記カテゴリ化された開始側コミュニケーションを用いて、共通コミュニケーションパターンを識別することを含むことを特徴とする方法。
  19. 会話を1つの会話セットにグループ化することをさらに含むことを特徴とする請求項18に記載の方法。
  20. 識別された共通コミュニケーションパターンを、会話グループに関連づけることをさらに含むことを特徴とする請求項19に記載の方法。
  21. 前記会話は、前記会話の主題によってグループ化されることを特徴とする請求項20に記載の方法。
  22. 前記コミュニケーションは、発声を含むことを特徴とする請求項18に記載の方法。
  23. 前記会話は、カスタマーサービスコールセンターに関連したエージェントからのコミュニケーションと、前記コールセンターと交信した顧客からのコミュニケーションとを含むことを特徴とする請求項22に記載の方法。
  24. 前記エージェントは、人間エージェントであることを特徴とする請求項23に記載の方法。
  25. 前記顧客の、前記コールセンターとの交信理由に従って、会話を前記会話セットにグループ化することをさらに含むことを特徴とする請求項23に記載の方法。
  26. マシンによって、分類器を適用して、第2の当事者タイプのメンバによって行われた応答側コミュニケーションも含む会話における、第1の当事者タイプのメンバによって行われた分類された1つのコミュニケーションセットを識別すること、および
    マシンによって、前記会話それぞれの主題を、会話における前記第1の当事者タイプの前記メンバの分類された前記1つのコミュニケーションセットに基づいて判定することを含むことを特徴とする方法。
  27. 前記分類器は、前記コミュニケーションを、前記コミュニケーションにおける具体化された概念の表現に従って分類することを特徴とする請求項26に記載の方法。
  28. 前記第1の当事者タイプの前記メンバのカテゴリ化されたコミュニケーションの前記組合せに基づいて、前記会話の主題を判定することは、
    前記1組のカテゴリ化されたコミュニケーションを、既知の主題を有する会話に関連づけられたカテゴリ化された1つのコミュニケーションセットと突き合わせることを含むことを特徴とする請求項27に記載の方法。
  29. 前記分類された1つのコミュニケーションセットに基づいて、前記会話の前記主題を判定することは、前記セット中の前記分類されたコミュニケーションの特定のどの順序にもよらずに行われることを特徴とする請求項26に記載の方法。
  30. 前記コミュニケーションは、発声を含むことを特徴とする請求項26に記載の方法。
  31. 前記第1の当事者タイプのメンバの前記コミュニケーションは、コールセンターにいるカスタマーサービスエージェントのコミュニケーションを含むことを特徴とする請求項26に記載の方法。
  32. 前記カテゴリ化された一連のコミュニケーションは、前記カスタマーサービスエージェントにより行われる一連の要求を含むことを特徴とする請求項26に記載の方法。
  33. 前記カスタマーサービスエージェントは、人間を含むことを特徴とする請求項31に記載の方法。
  34. 前記カスタマーサービスエージェントは、人間発信者とコミュニケーションをとるように構成されたソフトウェアを含むことを特徴とする請求項31に記載の方法。
  35. 前記1組の分類器は、サポートベクターマシンを備えることを特徴とする請求項26に記載の方法。
  36. 人とコンタクトセンターに関連したエージェントとの間の一連のコミュニケーションを、少なくともそのいくつかが含む会話のデジタル表現を受け取ること、ならびに
    1つまたは複数の選択基準が満たされる場合、コミュニケーションを学習機会として選択することを含むことを特徴とするコンピュータ実施方法。
  37. 前記コミュニケーションは、発声を含むことを特徴とする請求項36に記載の方法。
  38. 前記コミュニケーションは、テキストメッセージを含むことを特徴とする請求項36に記載の方法。
  39. 前記コンタクトセンターに関連した前記エージェントは、前記人とコミュニケーションをとるように構成されたソフトウェアエージェントを含むことを特徴とする請求項36に記載の方法。
  40. 前記コンタクトセンターに関連した前記エージェントは、前記人とコミュニケーションをとる人間エージェントを含むことを特徴とする請求項36に記載の方法。
  41. 前記選択基準は、
    コミュニケーションの後に、前記人と1つまたは複数のエージェントとの間のコミュニケーションのやり取りが続くという要件を含むことを特徴とする請求項36に記載の方法。
  42. 前記選択基準は、
    コミュニケーションの後に、前記人と1つまたは複数のエージェントとの間の、事前に定義された数の、後続の成功したコミュニケーションのやり取りが続くという要件を含むことを特徴とする請求項36に記載の方法。
  43. 前記選択基準は、
    前記システムによって課された満足性質問に前記人が肯定的に応答した会話にコミュニケーションが含まれるという要件を含むことを特徴とする請求項36に記載の方法。
  44. 前記選択基準は、
    第1の会話におけるコミュニケーションが、他のいくつかの会話において起こる同様のコミュニケーションによって確認されるという要件を含むことを特徴とする請求項36に記載の方法。
  45. 前記選択基準は、
    前記同様のコミュニケーションが起きた前記会話の少なくとも1つが、前記システムによって課された満足性質問に人が肯定的に応答したという指示を含むという要件を含むことを特徴とする請求項44に記載の方法。
  46. 前記人とエージェントの間の前記コミュニケーションの少なくともいくつかは、人間エージェントが人のコミュニケーションへの応答を、前記自動化応答システムによって生成された応答案のランクづけされたリストから選択した支援対話を含むことを特徴とする請求項36に記載の方法。
  47. 前記選択基準は、
    支援対話における選択された応答が、閾値を上回るようにランクづけされるという要件を含むことを特徴とする請求項46に記載の方法。
  48. 前記選択基準は、
    支援対話における選択された応答が、信用できる人間エージェントから選択されるという要件を含むことを特徴とする請求項46に記載の方法。
  49. 信用できる人間エージェントは、そのコンタクトセンターを、所定の長さの時間を超えて利用したことがあるエージェントであることを特徴とする請求項48に記載の方法。
  50. 前記選択基準は、
    コミュニケーションが、前記コミュニケーションを用いて組み立てられた1組の分類器に、以前の1組の分類器が正しく分類したコミュニケーションの分類を誤らせないという要件を含むことを特徴とする請求項36に記載の方法。
  51. 前記選択基準の1つまたは複数を、ユーザから受け取ることをさらに含むことを特徴とする請求項36に記載の方法。
  52. 前記選択基準を入れることができるようにするためのグラフィカルユーザインターフェイスを提供することをさらに含むことを特徴とする請求項51に記載の方法。
  53. 選択されたコミュニケーションを用いて、分類器を生成することをさらに含むことを特徴とする請求項36に記載の方法。
  54. 前記分類器は、サポートベクターマシンを備えることを特徴とする請求項53に記載の方法。
  55. 選択されたコミュニケーションを用いて、自動音声認識エンジン用の言語モデルを生成することをさらに含むことを特徴とする請求項36に記載の方法。
  56. 選択されたコミュニケーションを用いて、有限状態ネットワークを生じることをさらに含むことを特徴とする請求項36に記載の方法。
  57. 学習機会として選択された発声に対して、音声認識を実施することをさらに含むことを特徴とする請求項37に記載の方法。
  58. 前記音声認識の実施に先立って、前記コミュニケーションの前記デジタル表現に関連づけられた前記発声の意味の信頼性レベルに基づいて、前記選択された発声に対して音声認識を実施するべきかどうか判定することをさらに含むことを特徴とする請求項57に記載の方法。
  59. 発信者とコンタクトセンターに関連したエージェントとの間の一連の発声を含む会話のデジタル表現を受け取ること、ならびに
    デジタル表現を受け取った後、1つまたは複数の選択基準に基づいて、転記のための前記発声を選択することを含むことを特徴とするコンピュータ実施方法。
  60. 前記選択基準は、
    前記自動化音声応答システムによる応答の信頼性レベルが、一定の範囲の値に収まるという要件を含むことを特徴とする請求項59に記載の方法。
  61. ユーザから、グラフィカルユーザインターフェイスを介して前記範囲の値を受け取ることをさらに含むことを特徴とする請求項60に記載の方法。
  62. 前記選択基準は、
    前記会話中に前記発声に対して実施される音声認識プロセスの信頼性レベルが、一定の値の範囲に収まるという要件を含むことを特徴とする請求項59に記載の方法。
  63. ユーザから、グラフィカルユーザインターフェイスを介して前記値の範囲を受け取ることをさらに含むことを特徴とする請求項62に記載の方法。
  64. 前記選択された発声に対して、コンピュータ実装音声認識プロセスを実施することをさらに含むことを特徴とする請求項59に記載の方法。
  65. 前記選択された発声の中の認識された単語を、前記システムによって、会話中の発声を認識するのに使われる音声認識プロセスによって使われる単語の語彙に追加することをさらに含むことを特徴とする請求項59に記載の方法。
  66. 人間エージェントが人のコミュニケーションへの応答を、自動化応答システムによって提案された応答の中から選択した、人と前記自動化応答システムに関連した前記エージェントとの間の対話に基づくこと、及び
    前記コミュニケーションを、前記自動化応答システムをトレーニングするための例として選択することを含むことを特徴とする方法。
  67. 前記コミュニケーションを選択することは、
    前記選択された応答の信頼性レベルに基づいて、前記コミュニケーションを選択することを含むことを特徴とする請求項66に記載の方法。
  68. 前記選択されたコミュニケーションを用いて、分類器をトレーニングすることをさらに含むことを特徴とする請求項66に記載の方法。
  69. 前記選択されたコミュニケーションを、統計的言語モデル自動音声認識プロセスの言語モデルに追加することをさらに含むことを特徴とする請求項66に記載の方法。
  70. 前記コミュニケーションを選択することは、
    前記応答を選択した人間エージェントの信用レベルに基づいて、前記コミュニケーションを選択することを含むことを特徴とする請求項66に記載の方法。
  71. 前記コミュニケーションは、発声を含むことを特徴とする請求項66に記載の方法。
  72. マシンによって、応答システムと交信する人と、人間エージェントとの間のコミュニケーションを識別すること、ならびに
    前記自動化応答システムを、前記システムと交信する人からの将来の同様のコミュニケーションに応答するように修正することを含むことを特徴とする方法。
  73. 前記自動化応答システムを、前記システムと交信する人からの将来の同様のコミュニケーションに応答するように修正することは、
    前記システムに関連づけられた有限状態遷移ネットワークを修正することを含むことを特徴とする請求項72に記載のシステム。
  74. 概念認識エンジン内の分類器用の1組のトレーニング例にコミュニケーションを追加すること、
    前記追加されたコミュニケーションを含む前記1組のトレーニング例を使って、新たな分類器を生成すること、および
    新たな分類器の性能要件に基づいて、前記新たな分類器を無視することを含むことを特徴とするコンピュータ実施方法。
  75. 前記性能要件は、
    新たな分類器が、他の少なくとも所定の数の例を正しく分類するという要件を含むことを特徴とする請求項74に記載の方法。
  76. 前記性能要件は、
    新たな分類器が、以前の前記分類器の確定的な前記1組の例とは所定の量だけ異なる、確定的な新たな1組の例をもつという要件を含むことを特徴とする請求項74に記載の方法。
  77. 応答側コミュニケーションの少なくとも1つのクラスタ用の1組の分類器を生成することであって、前記クラスタは、前記応答側コミュニケーションが会話中に関連づけられる開始側コミュニケーションの1つまたは複数のクラスタに基づくことを含むことを特徴とする方法。
  78. 前記開始側の会話は、第1の当事者タイプのメンバからのものであることを特徴とする請求項77に記載の方法。
  79. 前記応答側コミュニケーションは、第2の当事者タイプのメンバからのものであることを特徴とする請求項77に記載の方法。
  80. 前記第1の当事者タイプは、顧客コンタクトセンターに関連したエージェントを含むことを特徴とする請求項78に記載の方法。
  81. 前記第2の当事者タイプは、顧客コンタクトセンターと交信した顧客を含むことを特徴とする請求項79に記載の方法。
  82. 開始側コミュニケーションおよび関連づけられた応答側コミュニケーションを、少なくともそのいくつかが含む1つの会話セットを受け取ることをさらに含むことを特徴とする請求項77に記載の方法。
  83. 応答側コミュニケーションの前記クラスタは、開始側コミュニケーションに関連づけられた応答側コミュニケーションを含むことを特徴とする請求項77に記載の方法。
JP2007531341A 2004-09-10 2005-09-07 機械学習 Expired - Fee Related JP4901738B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/939,288 2004-09-10
US10/939,288 US7606714B2 (en) 2003-02-11 2004-09-10 Natural language classification within an automated response system
PCT/US2005/032039 WO2006031609A2 (en) 2004-09-10 2005-09-07 Machine learning

Publications (2)

Publication Number Publication Date
JP2008512789A true JP2008512789A (ja) 2008-04-24
JP4901738B2 JP4901738B2 (ja) 2012-03-21

Family

ID=36060554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007531341A Expired - Fee Related JP4901738B2 (ja) 2004-09-10 2005-09-07 機械学習

Country Status (11)

Country Link
US (2) US7606714B2 (ja)
EP (1) EP1787458A4 (ja)
JP (1) JP4901738B2 (ja)
KR (1) KR101169113B1 (ja)
CN (1) CN101010934B (ja)
AU (1) AU2005285108B2 (ja)
BR (1) BRPI0515169A (ja)
CA (2) CA2826116C (ja)
MX (1) MX2007002880A (ja)
RU (1) RU2391791C2 (ja)
WO (1) WO2006031609A2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010073191A (ja) * 2008-08-20 2010-04-02 Universal Entertainment Corp 顧客対応システム、並びに会話サーバ
JP2014102513A (ja) * 2014-01-06 2014-06-05 Fujitsu Ltd 対話選別プログラム、対話選別装置、および対話選別方法
JP2015154343A (ja) * 2014-02-17 2015-08-24 富士通株式会社 会話補助プログラム、会話補助方法、及び会話システム
JP6218057B1 (ja) * 2017-07-14 2017-10-25 Jeインターナショナル株式会社 自動応答サーバー装置、端末装置、応答システム、応答方法、およびプログラム
JP6219009B1 (ja) * 2017-02-14 2017-10-25 三菱電機株式会社 やり取り型攻撃シミュレーション装置、やり取り型攻撃シミュレーション方法およびやり取り型攻撃シミュレーションプログラム
JP2018041124A (ja) * 2016-09-05 2018-03-15 株式会社Nextremer 対話制御装置、対話エンジン、管理端末、対話装置、対話制御方法、対話方法、およびプログラム
JP2018045208A (ja) * 2016-09-16 2018-03-22 株式会社東芝 会議支援システム、会議支援方法及びプログラム
JP2019020683A (ja) * 2017-07-21 2019-02-07 トヨタ自動車株式会社 音声認識システム及び音声認識方法
JP2019029899A (ja) * 2017-08-01 2019-02-21 株式会社大和総研 電話自動応答補助システムおよびプログラム
JP2019053126A (ja) * 2017-09-13 2019-04-04 株式会社日立製作所 成長型対話装置
JP2019191939A (ja) * 2018-04-25 2019-10-31 メドケア株式会社 指導支援システム、指導支援方法及び指導支援サーバ
JP2019535073A (ja) * 2016-09-23 2019-12-05 グーグル エルエルシー オンデバイスモデルを使用するスマートリプライ
CN111742362A (zh) * 2018-01-23 2020-10-02 谷歌有限责任公司 在调用短语检测中选择性地适配和利用噪声降低技术
JP2021018797A (ja) * 2019-07-23 2021-02-15 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 対話の交互方法、装置、コンピュータ可読記憶媒体、及びプログラム
US10984794B1 (en) 2016-09-28 2021-04-20 Kabushiki Kaisha Toshiba Information processing system, information processing apparatus, information processing method, and recording medium
JP2021124782A (ja) * 2020-01-31 2021-08-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 サービス解約方法、コンピュータプログラム及びサービス解約システム
JP2022019715A (ja) * 2017-05-16 2022-01-27 グーグル エルエルシー 計算機アシスタントによる遅延応答
JP2022525362A (ja) * 2019-03-29 2022-05-12 グリーンエデン ユーエス ホールディングス セカンド エルエルシー 人工知能を介してエージェントを支援するためのシステム及び方法
US11669752B2 (en) 2014-04-22 2023-06-06 Google Llc Automatic actions based on contextual replies
JP7505086B2 (ja) 2019-06-12 2024-06-24 ライブパーソン, インコーポレイテッド 外部システム統合のためのシステムおよび方法

Families Citing this family (610)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7623648B1 (en) * 2004-12-01 2009-11-24 Tellme Networks, Inc. Method and system of generating reference variations for directory assistance data
US7606714B2 (en) * 2003-02-11 2009-10-20 Microsoft Corporation Natural language classification within an automated response system
US9710819B2 (en) * 2003-05-05 2017-07-18 Interactions Llc Real-time transcription system utilizing divided audio chunks
CA2524591A1 (en) * 2003-05-05 2004-11-18 Interactions, Llc Apparatus and method for processing service interactions
US8223944B2 (en) * 2003-05-05 2012-07-17 Interactions Corporation Conference call management system
US7503070B1 (en) * 2003-09-19 2009-03-10 Marshall Van Alstyne Methods and systems for enabling analysis of communication content while preserving confidentiality
US8010357B2 (en) * 2004-03-02 2011-08-30 At&T Intellectual Property Ii, L.P. Combining active and semi-supervised learning for spoken language understanding
US20050278189A1 (en) * 2004-05-27 2005-12-15 Isense Technology, Inc. Process & methods for content adaptive learning
US8949134B2 (en) * 2004-09-13 2015-02-03 Avaya Inc. Method and apparatus for recording/replaying application execution with recorded voice recognition utterances
US7457751B2 (en) * 2004-11-30 2008-11-25 Vocera Communications, Inc. System and method for improving recognition accuracy in speech recognition applications
US8498865B1 (en) * 2004-11-30 2013-07-30 Vocera Communications, Inc. Speech recognition system and method using group call statistics
US8185399B2 (en) 2005-01-05 2012-05-22 At&T Intellectual Property Ii, L.P. System and method of providing an automated data-collection in spoken dialog systems
US8478589B2 (en) 2005-01-05 2013-07-02 At&T Intellectual Property Ii, L.P. Library of existing spoken dialog data for use in generating new natural language spoken dialog systems
US20060149553A1 (en) * 2005-01-05 2006-07-06 At&T Corp. System and method for using a library to interactively design natural language spoken dialog systems
TW200638254A (en) * 2005-02-15 2006-11-01 Uber Corp Conversational user interface
US20060218110A1 (en) * 2005-03-28 2006-09-28 Simske Steven J Method for deploying additional classifiers
US7756878B2 (en) * 2005-03-31 2010-07-13 At&T Intellectual Property I, L.P. E-mail response system
US7720684B2 (en) * 2005-04-29 2010-05-18 Nuance Communications, Inc. Method, apparatus, and computer program product for one-step correction of voice interaction
US7995717B2 (en) * 2005-05-18 2011-08-09 Mattersight Corporation Method and system for analyzing separated voice data of a telephonic communication between a customer and a contact center by applying a psychological behavioral model thereto
US20100324908A1 (en) * 2005-05-23 2010-12-23 Roy Rosser Learning Playbot
US20070016399A1 (en) * 2005-07-12 2007-01-18 International Business Machines Corporation Method and apparatus for detecting data anomalies in statistical natural language applications
US8265260B2 (en) * 2005-07-28 2012-09-11 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing human-assisted natural language call routing
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070115920A1 (en) * 2005-10-18 2007-05-24 Microsoft Corporation Dialog authoring and execution framework
US11093898B2 (en) 2005-12-08 2021-08-17 International Business Machines Corporation Solution for adding context to a text exchange modality during interactions with a composite services application
US10332071B2 (en) 2005-12-08 2019-06-25 International Business Machines Corporation Solution for adding context to a text exchange modality during interactions with a composite services application
US8315874B2 (en) * 2005-12-30 2012-11-20 Microsoft Corporation Voice user interface authoring tool
US8065286B2 (en) * 2006-01-23 2011-11-22 Chacha Search, Inc. Scalable search system using human searchers
US20070174258A1 (en) * 2006-01-23 2007-07-26 Jones Scott A Targeted mobile device advertisements
US7962466B2 (en) * 2006-01-23 2011-06-14 Chacha Search, Inc Automated tool for human assisted mining and capturing of precise results
US8117196B2 (en) * 2006-01-23 2012-02-14 Chacha Search, Inc. Search tool providing optional use of human search guides
US8266130B2 (en) * 2006-01-23 2012-09-11 Chacha Search, Inc. Search tool providing optional use of human search guides
US8229733B2 (en) * 2006-02-09 2012-07-24 John Harney Method and apparatus for linguistic independent parsing in a natural language systems
JP2007219880A (ja) * 2006-02-17 2007-08-30 Fujitsu Ltd 評判情報処理プログラム、方法及び装置
JP4197344B2 (ja) * 2006-02-20 2008-12-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声対話システム
US7599861B2 (en) 2006-03-02 2009-10-06 Convergys Customer Management Group, Inc. System and method for closed loop decisionmaking in an automated care system
US8379830B1 (en) * 2006-05-22 2013-02-19 Convergys Customer Management Delaware Llc System and method for automated customer service with contingent live interaction
US7809663B1 (en) 2006-05-22 2010-10-05 Convergys Cmg Utah, Inc. System and method for supporting the utilization of machine language
WO2007149216A2 (en) * 2006-06-21 2007-12-27 Information Extraction Systems An apparatus, system and method for developing tools to process natural language text
US8495147B1 (en) 2006-07-13 2013-07-23 Avaya Inc. Threading of mixed media
US7792967B2 (en) * 2006-07-14 2010-09-07 Chacha Search, Inc. Method and system for sharing and accessing resources
WO2008011454A2 (en) 2006-07-18 2008-01-24 Chacha Search, Inc. Anonymous search system using human searchers
WO2008011526A2 (en) * 2006-07-19 2008-01-24 Chacha Search, Inc. Method, apparatus, and computer readable storage for training human searchers
WO2008011537A2 (en) * 2006-07-19 2008-01-24 Chacha Search, Inc. Method, system, and computer readable medium useful in managing a computer-based system for servicing user initiated tasks
US20080021885A1 (en) * 2006-07-24 2008-01-24 Chacha Search, Inc. System for substantially immediate payment for search related tasks
WO2008014182A2 (en) 2006-07-24 2008-01-31 Chacha Search, Inc. Method, system, and computer readable storage for podcasting and video training in an information search system
US8024308B2 (en) * 2006-08-07 2011-09-20 Chacha Search, Inc Electronic previous search results log
BRPI0714273A2 (pt) * 2006-08-07 2014-10-29 Chacha Search Inc "método para prover uma busca de grupo de interesse, mídia de armazenamento que pode ser lida por computador, sistema de busca de informações para prover a busca de informações para prover a busca do grupo de interesse executado por buscadores humanos, mídia de armazenamento que pode ser lida por computador para controlar para controlar um computador que inclui um registro do grupo de interesse, mídia de armazenamento que pode ser lida por computador para controlar um computador que inclui um registro do buscador do grupo de interesse, mídia de armazenamento que pode ser lida por computador para controlar um computador que inclui um registro da autorização do grupo de interesse e interface"
WO2008019369A2 (en) * 2006-08-07 2008-02-14 Chacha Search, Inc. Method, system, and computer program product for multi-level marketing
EP1895745B1 (de) * 2006-08-31 2015-04-22 Swisscom AG Verfahren und Kommunikationssystem zum kontinuierlichen Aufnehmen von Umgebungsdaten
US7937687B2 (en) * 2006-09-01 2011-05-03 Verizon Patent And Licensing Inc. Generating voice extensible markup language (VXML) documents
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8363807B2 (en) 2006-09-28 2013-01-29 Nuance Communications, Inc. System and method for performing an action on a phone in response to a user initiating an outbound call to one or more select phone numbers
US8280360B2 (en) 2006-12-08 2012-10-02 Nuance Communications, Inc. Software program and method for offering promotions on a phone
US7752043B2 (en) 2006-09-29 2010-07-06 Verint Americas Inc. Multi-pass speech analytics
US8027839B2 (en) * 2006-12-19 2011-09-27 Nuance Communications, Inc. Using an automated speech application environment to automatically provide text exchange services
US20080154579A1 (en) * 2006-12-21 2008-06-26 Krishna Kummamuru Method of analyzing conversational transcripts
US8594305B2 (en) * 2006-12-22 2013-11-26 International Business Machines Corporation Enhancing contact centers with dialog contracts
US8078608B2 (en) * 2007-01-08 2011-12-13 Chacha Search, Inc. Method and system for promotion of a search service
WO2008087934A1 (ja) * 2007-01-16 2008-07-24 Nec Corporation 拡張認識辞書学習装置と音声認識システム
WO2008093315A2 (en) * 2007-02-01 2008-08-07 Nice Systems Ltd. Method and apparatus for call categorization
US9247056B2 (en) 2007-02-28 2016-01-26 International Business Machines Corporation Identifying contact center agents based upon biometric characteristics of an agent's speech
US9055150B2 (en) 2007-02-28 2015-06-09 International Business Machines Corporation Skills based routing in a standards based contact center using a presence server and expertise specific watchers
US20080205625A1 (en) * 2007-02-28 2008-08-28 International Business Machines Corporation Extending a standardized presence document to include contact center specific elements
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8200663B2 (en) * 2007-04-25 2012-06-12 Chacha Search, Inc. Method and system for improvement of relevance of search results
US8811596B2 (en) * 2007-06-25 2014-08-19 The Boeing Company Apparatus including associative memory for evaluating audio communications
US8260619B1 (en) 2008-08-22 2012-09-04 Convergys Cmg Utah, Inc. Method and system for creating natural language understanding grammars
US20090100032A1 (en) * 2007-10-12 2009-04-16 Chacha Search, Inc. Method and system for creation of user/guide profile in a human-aided search system
US7904399B2 (en) * 2007-11-15 2011-03-08 International Business Machines Corporation Method and apparatus for determining decision points for streaming conversational data
US9386154B2 (en) * 2007-12-21 2016-07-05 Nuance Communications, Inc. System, method and software program for enabling communications between customer service agents and users of communication devices
US9092733B2 (en) 2007-12-28 2015-07-28 Genesys Telecommunications Laboratories, Inc. Recursive adaptive interaction management system
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US10176827B2 (en) * 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US8577894B2 (en) 2008-01-25 2013-11-05 Chacha Search, Inc Method and system for access to restricted resources
US9037560B2 (en) * 2008-03-05 2015-05-19 Chacha Search, Inc. Method and system for triggering a search request
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
CA2665009C (en) * 2008-05-23 2018-11-27 Accenture Global Services Gmbh System for handling a plurality of streaming voice signals for determination of responsive action thereto
CA2665014C (en) 2008-05-23 2020-05-26 Accenture Global Services Gmbh Recognition processing of a plurality of streaming voice signals for determination of responsive action thereto
CA2665055C (en) * 2008-05-23 2018-03-06 Accenture Global Services Gmbh Treatment processing of a plurality of streaming voice signals for determination of responsive action thereto
US8494854B2 (en) 2008-06-23 2013-07-23 John Nicholas and Kristin Gross CAPTCHA using challenges optimized for distinguishing between humans and machines
US8752141B2 (en) * 2008-06-27 2014-06-10 John Nicholas Methods for presenting and determining the efficacy of progressive pictorial and motion-based CAPTCHAs
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8788476B2 (en) * 2008-08-15 2014-07-22 Chacha Search, Inc. Method and system of triggering a search request
US8374859B2 (en) * 2008-08-20 2013-02-12 Universal Entertainment Corporation Automatic answering device, automatic answering system, conversation scenario editing device, conversation server, and automatic answering method
US8874443B2 (en) * 2008-08-27 2014-10-28 Robert Bosch Gmbh System and method for generating natural language phrases from user utterances in dialog systems
US8285550B2 (en) * 2008-09-09 2012-10-09 Industrial Technology Research Institute Method and system for generating dialogue managers with diversified dialogue acts
US8949124B1 (en) 2008-09-11 2015-02-03 Next It Corporation Automated learning for speech-based applications
US20100087169A1 (en) * 2008-10-02 2010-04-08 Microsoft Corporation Threading together messages with multiple common participants
US8762161B2 (en) * 2008-10-06 2014-06-24 Nice Systems Ltd. Method and apparatus for visualization of interaction categorization
US8086275B2 (en) 2008-10-23 2011-12-27 Microsoft Corporation Alternative inputs of a mobile communications device
US8385952B2 (en) 2008-10-23 2013-02-26 Microsoft Corporation Mobile communications device user interface
US8411046B2 (en) 2008-10-23 2013-04-02 Microsoft Corporation Column organization of content
US20100125450A1 (en) * 2008-10-27 2010-05-20 Spheris Inc. Synchronized transcription rules handling
US8943394B2 (en) 2008-11-19 2015-01-27 Robert Bosch Gmbh System and method for interacting with live agents in an automated call center
CN101414307A (zh) * 2008-11-26 2009-04-22 阿里巴巴集团控股有限公司 提供图片搜索的方法和服务器
JP5412096B2 (ja) * 2008-12-03 2014-02-12 株式会社やまびこ 携帯式チェンソーの動力ユニット構造
US10489434B2 (en) 2008-12-12 2019-11-26 Verint Americas Inc. Leveraging concepts with information retrieval techniques and knowledge bases
US9191476B1 (en) 2009-01-08 2015-11-17 Amdocs Software Systems Limited System, method, and computer program for speech recognition assisted call center and self service interface
US8515762B2 (en) * 2009-01-22 2013-08-20 Microsoft Corporation Markup language-based selection and utilization of recognizers for utterance processing
DE112009004313B4 (de) * 2009-01-28 2016-09-22 Mitsubishi Electric Corp. Stimmerkennungseinrichtung
FR2943159B1 (fr) * 2009-03-16 2016-10-21 Alcatel Lucent Procede d'assistance a un operateur d'un centre d'appels
US20100241755A1 (en) * 2009-03-18 2010-09-23 Microsoft Corporation Permission model for feed content
US9342508B2 (en) * 2009-03-19 2016-05-17 Microsoft Technology Licensing, Llc Data localization templates and parsing
US20100241579A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Feed Content Presentation
US8175653B2 (en) 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US8355698B2 (en) 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
US8238876B2 (en) 2009-03-30 2012-08-07 Microsoft Corporation Notifications
US8719016B1 (en) 2009-04-07 2014-05-06 Verint Americas Inc. Speech analytics system and system and method for determining structured speech
US8331919B1 (en) 2009-04-24 2012-12-11 Nuance Communications, Inc. System, method, and software program product for tracking call failures on a wireless phone
US8836648B2 (en) 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20100324961A1 (en) * 2009-06-23 2010-12-23 Verizon Patent And Licensing Inc. Method and system of providing service assistance using a hierarchical order of communication channels
US20100332224A1 (en) * 2009-06-30 2010-12-30 Nokia Corporation Method and apparatus for converting text to audio and tactile output
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9172803B2 (en) * 2009-08-23 2015-10-27 Aspect Software, Inc. System and method for integrating runtime usage statistics with developing environment
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
US9400790B2 (en) * 2009-12-09 2016-07-26 At&T Intellectual Property I, L.P. Methods and systems for customized content services with unified messaging systems
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8645914B2 (en) * 2010-01-22 2014-02-04 AgentSheets, Inc. Conversational programming
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8694304B2 (en) * 2010-03-26 2014-04-08 Virtuoz Sa Semantic clustering and user interfaces
WO2011119171A2 (en) * 2010-03-26 2011-09-29 Virtuoz, Inc. Semantic clustering
US9378202B2 (en) * 2010-03-26 2016-06-28 Virtuoz Sa Semantic clustering
US8676565B2 (en) 2010-03-26 2014-03-18 Virtuoz Sa Semantic clustering and conversational agents
US8762939B1 (en) 2010-07-02 2014-06-24 Nuance Communications, Inc. System and method for displaying key performance indicators in an application design tool
US8645136B2 (en) * 2010-07-20 2014-02-04 Intellisist, Inc. System and method for efficiently reducing transcription error using hybrid voice transcription
TWI431563B (zh) 2010-08-03 2014-03-21 Ind Tech Res Inst 語言學習系統、語言學習方法及其程式產品
US9792640B2 (en) 2010-08-18 2017-10-17 Jinni Media Ltd. Generating and providing content recommendations to a group of users
CN102376182B (zh) * 2010-08-26 2014-08-27 财团法人工业技术研究院 语言学习系统、语言学习方法及其程序产品
US20120076283A1 (en) * 2010-09-23 2012-03-29 Ajmera Dinesh Predictive Customer Service Environment
US20120084112A1 (en) * 2010-09-24 2012-04-05 International Business Machines Corporation Providing community for customer questions
CN103221952B (zh) 2010-09-24 2016-01-20 国际商业机器公司 词法答案类型置信度估计和应用的方法和系统
US9083561B2 (en) 2010-10-06 2015-07-14 At&T Intellectual Property I, L.P. Automated assistance for customer care chats
US9524291B2 (en) * 2010-10-06 2016-12-20 Virtuoz Sa Visual display of semantic information
US9122744B2 (en) 2010-10-11 2015-09-01 Next It Corporation System and method for providing distributed intelligent assistance
US20120159383A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Customization of an immersive environment
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8666726B2 (en) * 2010-12-21 2014-03-04 Nuance Communications, Inc. Sample clustering to reduce manual transcriptions in speech recognition system
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US9245525B2 (en) 2011-01-05 2016-01-26 Interactions Llc Automated speech recognition proxy system for natural language understanding
US8560321B1 (en) 2011-01-05 2013-10-15 Interactions Corportion Automated speech recognition system for natural language understanding
US8484031B1 (en) 2011-01-05 2013-07-09 Interactions Corporation Automated speech recognition proxy system for natural language understanding
US9472185B1 (en) 2011-01-05 2016-10-18 Interactions Llc Automated recognition system for natural language understanding
US9536269B2 (en) * 2011-01-19 2017-01-03 24/7 Customer, Inc. Method and apparatus for analyzing and applying data related to customer interactions with social media
US8688453B1 (en) * 2011-02-28 2014-04-01 Nuance Communications, Inc. Intent mining via analysis of utterances
CN103430520B (zh) * 2011-03-17 2017-03-29 富士通株式会社 通话管理装置、通话管理方法
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120246081A1 (en) * 2011-03-25 2012-09-27 Next It Corporation Systems and Methods for Automated Itinerary Modification
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US9015030B2 (en) * 2011-04-15 2015-04-21 International Business Machines Corporation Translating prompt and user input
US20120290509A1 (en) * 2011-05-13 2012-11-15 Microsoft Corporation Training Statistical Dialog Managers in Spoken Dialog Systems With Web Data
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8862537B1 (en) * 2011-06-30 2014-10-14 Sumo Logic Selective structure preserving obfuscation
US9060062B1 (en) * 2011-07-06 2015-06-16 Google Inc. Clustering and classification of recent customer support inquiries
CN102868717A (zh) * 2011-07-08 2013-01-09 华为软件技术有限公司 语音扩展标记语言脚本编辑与调试的方法、装置及系统
US8687023B2 (en) 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
US9401884B2 (en) * 2011-08-26 2016-07-26 Sap Se Conversation explorer with split navigation user interface
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8601030B2 (en) * 2011-09-09 2013-12-03 International Business Machines Corporation Method for a natural language question-answering system to complement decision-support in a real-time command center
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9992334B2 (en) * 2011-10-13 2018-06-05 Nuance Communications, Inc. Multi-modal customer care system
WO2013059199A1 (en) 2011-10-17 2013-04-25 Disintermediation Services, Inc. Two-way real time communication allowing asymmetric participation across multiple electronic platforms
US9117194B2 (en) 2011-12-06 2015-08-25 Nuance Communications, Inc. Method and apparatus for operating a frequently asked questions (FAQ)-based system
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
US9836177B2 (en) 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
US9503349B2 (en) * 2012-01-26 2016-11-22 Zoom International S.R.O. Complex interaction recording
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9111248B2 (en) * 2012-03-28 2015-08-18 Global Eprocure Procurement system
US9223537B2 (en) 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
US11080721B2 (en) 2012-04-20 2021-08-03 7.ai, Inc. Method and apparatus for an intuitive customer experience
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
CN102737350A (zh) * 2012-06-08 2012-10-17 南方电网科学研究院有限责任公司 一种基于机器学习算法的输变电设备缺陷数据机器自主聚类工具
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US8983840B2 (en) * 2012-06-19 2015-03-17 International Business Machines Corporation Intent discovery in audio or text-based conversation
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9471872B2 (en) * 2012-06-29 2016-10-18 International Business Machines Corporation Extension to the expert conversation builder
US8990091B2 (en) * 2012-07-27 2015-03-24 Nuance Communications, Inc. Parsimonious protection of sensitive data in enterprise dialog systems
US9786281B1 (en) * 2012-08-02 2017-10-10 Amazon Technologies, Inc. Household agent learning
US8762133B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for alert validation
US9336193B2 (en) 2012-08-30 2016-05-10 Arria Data2Text Limited Method and apparatus for updating a previously generated text
US9405448B2 (en) 2012-08-30 2016-08-02 Arria Data2Text Limited Method and apparatus for annotating a graphical output
US8762134B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US9135244B2 (en) 2012-08-30 2015-09-15 Arria Data2Text Limited Method and apparatus for configurable microplanning
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US8700396B1 (en) * 2012-09-11 2014-04-15 Google Inc. Generating speech data collection prompts
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9105268B2 (en) * 2012-09-19 2015-08-11 24/7 Customer, Inc. Method and apparatus for predicting intent in IVR using natural language queries
US9600471B2 (en) 2012-11-02 2017-03-21 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
WO2014076524A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for spatial descriptions in an output text
WO2014076525A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for expressing time in an output text
US9015097B2 (en) 2012-12-19 2015-04-21 Nuance Communications, Inc. System and method for learning answers to frequently asked questions from a semi-structured data source
US10115202B2 (en) 2012-12-27 2018-10-30 Arria Data2Text Limited Method and apparatus for motion detection
US9990360B2 (en) 2012-12-27 2018-06-05 Arria Data2Text Limited Method and apparatus for motion description
US8494853B1 (en) * 2013-01-04 2013-07-23 Google Inc. Methods and systems for providing speech recognition systems based on speech recordings logs
US10467854B2 (en) 2013-01-10 2019-11-05 [24]7.ai, Inc. Method and apparatus for engaging users on enterprise interaction channels
US10776561B2 (en) 2013-01-15 2020-09-15 Arria Data2Text Limited Method and apparatus for generating a linguistic representation of raw input data
US9075619B2 (en) * 2013-01-15 2015-07-07 Nuance Corporation, Inc. Method and apparatus for supporting multi-modal dialog applications
CN103971244B (zh) 2013-01-30 2018-08-17 阿里巴巴集团控股有限公司 一种商品信息的发布与浏览方法、装置及系统
US9092818B2 (en) * 2013-01-31 2015-07-28 Wal-Mart Stores, Inc. Method and system for answering a query from a consumer in a retail store
US9123335B2 (en) 2013-02-20 2015-09-01 Jinni Media Limited System apparatus circuit method and associated computer executable code for natural language understanding and semantic content discovery
US10157228B2 (en) * 2013-02-22 2018-12-18 Mitel Networks Corporation Communication system including a confidence level for a contact type and method of using same
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9064001B2 (en) * 2013-03-15 2015-06-23 Nuance Communications, Inc. Method and apparatus for a frequently-asked questions portal workflow
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9247061B2 (en) 2013-03-15 2016-01-26 Avaya Inc. Answer based agent routing and display method
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
US9450952B2 (en) 2013-05-29 2016-09-20 Microsoft Technology Licensing, Llc Live tiles without application-code execution
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9058805B2 (en) * 2013-05-13 2015-06-16 Google Inc. Multiple recognizer speech recognition
US9548957B2 (en) 2013-05-24 2017-01-17 Instaply, Inc. System and method for facilitating transactions as conversations between participants
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
AU2014278595B2 (en) 2013-06-13 2017-04-06 Apple Inc. System and method for emergency calls initiated by voice command
JP6206840B2 (ja) * 2013-06-19 2017-10-04 国立研究開発法人情報通信研究機構 テキストマッチング装置、テキスト分類装置及びそれらのためのコンピュータプログラム
US10599765B2 (en) * 2013-06-27 2020-03-24 Avaya Inc. Semantic translation model training
US9348815B1 (en) 2013-06-28 2016-05-24 Digital Reasoning Systems, Inc. Systems and methods for construction, maintenance, and improvement of knowledge representations
WO2015028844A1 (en) 2013-08-29 2015-03-05 Arria Data2Text Limited Text generation from correlated alerts
US9396181B1 (en) 2013-09-16 2016-07-19 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US9244894B1 (en) 2013-09-16 2016-01-26 Arria Data2Text Limited Method and apparatus for interactive reports
US10262268B2 (en) 2013-10-04 2019-04-16 Mattersight Corporation Predictive analytic systems and methods
US9384731B2 (en) * 2013-11-06 2016-07-05 Microsoft Technology Licensing, Llc Detecting speech input phrase confusion risk
US9558176B2 (en) 2013-12-06 2017-01-31 Microsoft Technology Licensing, Llc Discriminating between natural language and keyword language items
US20150181039A1 (en) * 2013-12-19 2015-06-25 Avaya, Inc. Escalation detection and monitoring
US10928976B2 (en) 2013-12-31 2021-02-23 Verint Americas Inc. Virtual assistant acquisitions and training
KR20150081981A (ko) * 2014-01-07 2015-07-15 삼성전자주식회사 회의 내용 구조화 장치 및 방법
US9524289B2 (en) * 2014-02-24 2016-12-20 Nuance Communications, Inc. Automated text annotation for construction of natural language understanding grammars
US9454787B1 (en) * 2014-03-04 2016-09-27 Stephen M. Dorr Secure membership data sharing system and associated methods
JP2015176099A (ja) * 2014-03-18 2015-10-05 株式会社東芝 対話システム構築支援装置、方法、及びプログラム
US9401143B2 (en) * 2014-03-24 2016-07-26 Google Inc. Cluster specific speech model
EP3126969A4 (en) 2014-04-04 2017-04-12 Microsoft Technology Licensing, LLC Expandable application representation
WO2015154276A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Slider cover for computing device
WO2015154273A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Collapsible shell cover for computing device
WO2015159133A1 (en) 2014-04-18 2015-10-22 Arria Data2Text Limited Method and apparatus for document planning
US20150331853A1 (en) * 2014-05-15 2015-11-19 Marco Palmonari Automated multi-grammar language processing system to optimize request handling in contact centers
CN105095292B (zh) * 2014-05-15 2019-08-09 中兴通讯股份有限公司 语音邮箱系统的信息获取方法及装置
US9508360B2 (en) * 2014-05-28 2016-11-29 International Business Machines Corporation Semantic-free text analysis for identifying traits
US9569751B2 (en) * 2014-05-29 2017-02-14 Avaya Inc. Mechanism for creation and utilization of an attribute tree in a contact center
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US10318882B2 (en) 2014-09-11 2019-06-11 Amazon Technologies, Inc. Optimized training of linear machine learning models
US10102480B2 (en) 2014-06-30 2018-10-16 Amazon Technologies, Inc. Machine learning service
US10540606B2 (en) 2014-06-30 2020-01-21 Amazon Technologies, Inc. Consistent filtering of machine learning data
US11100420B2 (en) 2014-06-30 2021-08-24 Amazon Technologies, Inc. Input processing for machine learning
US10339465B2 (en) 2014-06-30 2019-07-02 Amazon Technologies, Inc. Optimized decision tree based models
US10963810B2 (en) 2014-06-30 2021-03-30 Amazon Technologies, Inc. Efficient duplicate detection for machine learning data sets
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10452992B2 (en) 2014-06-30 2019-10-22 Amazon Technologies, Inc. Interactive interfaces for machine learning model evaluations
US9672474B2 (en) 2014-06-30 2017-06-06 Amazon Technologies, Inc. Concurrent binning of machine learning data
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886670B2 (en) 2014-06-30 2018-02-06 Amazon Technologies, Inc. Feature processing recipes for machine learning
US10169715B2 (en) 2014-06-30 2019-01-01 Amazon Technologies, Inc. Feature processing tradeoff management
US9547471B2 (en) * 2014-07-03 2017-01-17 Microsoft Technology Licensing, Llc Generating computer responses to social conversational inputs
US9436507B2 (en) 2014-07-12 2016-09-06 Microsoft Technology Licensing, Llc Composing and executing workflows made up of functional pluggable building blocks
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US11182691B1 (en) 2014-08-14 2021-11-23 Amazon Technologies, Inc. Category-based sampling of machine learning data
US10019680B2 (en) * 2014-08-15 2018-07-10 Nice Ltd. System and method for distributed rule-based sequencing engine
US10515151B2 (en) * 2014-08-18 2019-12-24 Nuance Communications, Inc. Concept identification and capture
US10019672B2 (en) * 2014-08-27 2018-07-10 International Business Machines Corporation Generating responses to electronic communications with a question answering system
US11651242B2 (en) 2014-08-27 2023-05-16 International Business Machines Corporation Generating answers to text input in an electronic communication tool with a question answering system
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
US20160071517A1 (en) 2014-09-09 2016-03-10 Next It Corporation Evaluating Conversation Data based on Risk Factors
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9667786B1 (en) * 2014-10-07 2017-05-30 Ipsoft, Inc. Distributed coordinated system and process which transforms data into useful information to help a user with resolving issues
US9674335B2 (en) 2014-10-30 2017-06-06 Microsoft Technology Licensing, Llc Multi-configuration input device
US11621932B2 (en) * 2014-10-31 2023-04-04 Avaya Inc. System and method for managing resources of an enterprise
US10775996B2 (en) * 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9710613B2 (en) * 2014-12-16 2017-07-18 The Affinity Project, Inc. Guided personal companion
US9704103B2 (en) 2014-12-16 2017-07-11 The Affinity Project, Inc. Digital companions for human users
US11094320B1 (en) * 2014-12-22 2021-08-17 Amazon Technologies, Inc. Dialog visualization
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
US10417345B1 (en) * 2014-12-22 2019-09-17 Amazon Technologies, Inc. Providing customer service agents with customer-personalized result of spoken language intent
US10460720B2 (en) 2015-01-03 2019-10-29 Microsoft Technology Licensing, Llc. Generation of language understanding systems and methods
US10572810B2 (en) 2015-01-07 2020-02-25 Microsoft Technology Licensing, Llc Managing user interaction for input understanding determinations
US11301632B2 (en) 2015-01-23 2022-04-12 Conversica, Inc. Systems and methods for natural language processing and classification
US11106871B2 (en) 2015-01-23 2021-08-31 Conversica, Inc. Systems and methods for configurable messaging response-action engine
US11663409B2 (en) 2015-01-23 2023-05-30 Conversica, Inc. Systems and methods for training machine learning models using active learning
US11100285B2 (en) 2015-01-23 2021-08-24 Conversica, Inc. Systems and methods for configurable messaging with feature extraction
US11042910B2 (en) * 2015-01-23 2021-06-22 Conversica, Inc. Systems and methods for processing message exchanges using artificial intelligence
US11551188B2 (en) 2015-01-23 2023-01-10 Conversica, Inc. Systems and methods for improved automated conversations with attendant actions
US9420106B1 (en) 2015-03-05 2016-08-16 Xerox Corporation Methods and systems for assigning priority to incoming message from customer
US9911412B2 (en) * 2015-03-06 2018-03-06 Nuance Communications, Inc. Evidence-based natural language input recognition
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9431003B1 (en) 2015-03-27 2016-08-30 International Business Machines Corporation Imbuing artificial intelligence systems with idiomatic traits
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
US10218651B2 (en) * 2015-04-20 2019-02-26 Oracle International Corporation Virtual assistance for chat agents
US10540608B1 (en) 2015-05-22 2020-01-21 Amazon Technologies, Inc. Dynamically scaled training fleets for machine learning
US9838540B2 (en) 2015-05-27 2017-12-05 Ingenio, Llc Systems and methods to enroll users for real time communications connections
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9509846B1 (en) * 2015-05-27 2016-11-29 Ingenio, Llc Systems and methods of natural language processing to rank users of real time communications connections
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10249297B2 (en) 2015-07-13 2019-04-02 Microsoft Technology Licensing, Llc Propagating conversational alternatives using delayed hypothesis binding
US20170032027A1 (en) * 2015-07-31 2017-02-02 Nuance Communications, Inc. Contact Center Virtual Assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10621602B2 (en) * 2015-09-22 2020-04-14 Adobe Inc. Reinforcement machine learning for personalized intelligent alerting
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
RU2632133C2 (ru) 2015-09-29 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ (варианты) и система (варианты) создания модели прогнозирования и определения точности модели прогнозирования
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10409913B2 (en) * 2015-10-01 2019-09-10 Conduent Business Services, Llc Methods and systems to train classification models to classify conversations
US9697198B2 (en) 2015-10-05 2017-07-04 International Business Machines Corporation Guiding a conversation based on cognitive analytics
US9723151B2 (en) * 2015-10-19 2017-08-01 Genesys Telecommunications Laboratories, Inc. Optimized routing of interactions to contact center agents based on forecast agent availability and customer patience
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10366053B1 (en) 2015-11-24 2019-07-30 Amazon Technologies, Inc. Consistent randomized record-level splitting of machine learning data
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN105657201B (zh) * 2016-01-26 2019-06-04 北京京东尚科信息技术有限公司 一种基于决策树模型的呼叫处理方法和系统
US9923931B1 (en) 2016-02-05 2018-03-20 Digital Reasoning Systems, Inc. Systems and methods for identifying violation conditions from electronic communications
US20170243134A1 (en) * 2016-02-10 2017-08-24 RapportBoost.ai Optimization System and Method for Chat-Based Conversations
US10140988B2 (en) 2016-03-01 2018-11-27 Microsoft Technology Licensing, Llc Speech recognition
US10192550B2 (en) 2016-03-01 2019-01-29 Microsoft Technology Licensing, Llc Conversational software agent
US10140986B2 (en) 2016-03-01 2018-11-27 Microsoft Technology Licensing, Llc Speech recognition
US10713589B1 (en) 2016-03-03 2020-07-14 Amazon Technologies, Inc. Consistent sort-based record-level shuffling of machine learning data
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10224026B2 (en) * 2016-03-15 2019-03-05 Sony Corporation Electronic device, system, method and computer program
US9978367B2 (en) * 2016-03-16 2018-05-22 Google Llc Determining dialog states for language models
US10198433B2 (en) * 2016-03-22 2019-02-05 Facebook, Inc. Techniques to predictively respond to user requests using natural language processing
US10515121B1 (en) 2016-04-12 2019-12-24 Tableau Software, Inc. Systems and methods of using natural language processing for visual analysis of a data set
US10795902B1 (en) * 2016-04-12 2020-10-06 Tableau Software, Inc. Applying natural language pragmatics in a data visualization user interface
US11030207B1 (en) * 2016-04-12 2021-06-08 Tableau Software, Inc. Updating displayed data visualizations according to identified conversation centers in natural language commands
US10817527B1 (en) * 2016-04-12 2020-10-27 Tableau Software, Inc. Systems and methods of using natural language processing for visual analysis of a data set
US10778707B1 (en) 2016-05-12 2020-09-15 Amazon Technologies, Inc. Outlier detection for streaming data using locality sensitive hashing
US10949748B2 (en) * 2016-05-13 2021-03-16 Microsoft Technology Licensing, Llc Deep learning of bots through examples and experience
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9802125B1 (en) 2016-05-27 2017-10-31 The Affinity Project, Inc. On demand guided virtual companion
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10417065B2 (en) * 2016-06-13 2019-09-17 Dynatrace Llc Method and system for automated agent injection in container environments
US11449744B2 (en) 2016-06-23 2022-09-20 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
US9871922B1 (en) 2016-07-01 2018-01-16 At&T Intellectual Property I, L.P. Customer care database creation system and method
US20180007102A1 (en) * 2016-07-01 2018-01-04 At&T Intellectual Property I, Lp System and method for transition between customer care resource modes
US9876909B1 (en) 2016-07-01 2018-01-23 At&T Intellectual Property I, L.P. System and method for analytics with automated whisper mode
US10200536B2 (en) 2016-07-01 2019-02-05 At&T Intellectual Property I, L.P. Omni channel customer care system and method
US10083451B2 (en) 2016-07-08 2018-09-25 Asapp, Inc. Using semantic processing for customer support
US9807037B1 (en) 2016-07-08 2017-10-31 Asapp, Inc. Automatically suggesting completions of text
WO2018010635A1 (zh) * 2016-07-14 2018-01-18 腾讯科技(深圳)有限公司 随机性交互数据的处理方法、网络服务器及智能对话系统
US10726356B1 (en) 2016-08-01 2020-07-28 Amazon Technologies, Inc. Target variable distribution-based acceptance of machine learning test data sets
US10445432B1 (en) 2016-08-31 2019-10-15 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10446137B2 (en) 2016-09-07 2019-10-15 Microsoft Technology Licensing, Llc Ambiguity resolving conversational understanding system
US10366163B2 (en) * 2016-09-07 2019-07-30 Microsoft Technology Licensing, Llc Knowledge-guided structural attention processing
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11093711B2 (en) * 2016-09-28 2021-08-17 Microsoft Technology Licensing, Llc Entity-specific conversational artificial intelligence
CN107885756B (zh) * 2016-09-30 2020-05-08 华为技术有限公司 基于深度学习的对话方法、装置及设备
US10268734B2 (en) 2016-09-30 2019-04-23 International Business Machines Corporation Providing search results based on natural language classification confidence information
US20180097940A1 (en) * 2016-09-30 2018-04-05 Genesys Telecommunications Laboratories, Inc. System and method for dynamic generation and optimization of process flows for a customer contact center
US10984034B1 (en) * 2016-10-05 2021-04-20 Cyrano.ai, Inc. Dialogue management system with hierarchical classification and progression
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
WO2018085760A1 (en) 2016-11-04 2018-05-11 Semantic Machines, Inc. Data collection for a new conversational dialogue system
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US10275539B2 (en) * 2016-11-21 2019-04-30 Accenture Global Solutions Limited Closed-loop natural language query pre-processor and response synthesizer architecture
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US10650311B2 (en) 2016-12-19 2020-05-12 Asaap, Inc. Suggesting resources using context hashing
US10109275B2 (en) 2016-12-19 2018-10-23 Asapp, Inc. Word hash language model
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10713288B2 (en) 2017-02-08 2020-07-14 Semantic Machines, Inc. Natural language content generator
EP3552114A4 (en) * 2017-02-08 2020-05-20 Semantic Machines, Inc. NATURAL LANGUAGE CONTENT GENERATOR
US10643601B2 (en) * 2017-02-09 2020-05-05 Semantic Machines, Inc. Detection mechanism for automated dialog systems
US10762892B2 (en) 2017-02-23 2020-09-01 Semantic Machines, Inc. Rapid deployment of dialogue system
US10586530B2 (en) 2017-02-23 2020-03-10 Semantic Machines, Inc. Expandable dialogue system
US11069340B2 (en) 2017-02-23 2021-07-20 Microsoft Technology Licensing, Llc Flexible and expandable dialogue system
CN110291539A (zh) 2017-02-24 2019-09-27 欧姆龙株式会社 用于生成学习数据的处理方法、系统、程序和存储介质、以及生成学习数据的方法和系统
WO2018161014A1 (en) 2017-03-03 2018-09-07 Orion Labs Phone-less member of group communication constellations
US10922734B2 (en) * 2017-03-13 2021-02-16 Fmr Llc Automatic identification of issues in text-based transcripts
RU2676949C2 (ru) * 2017-04-05 2019-01-11 Общество С Ограниченной Ответственностью "Яндекс" Система и способ определения дохода пользователя мобильного устройства
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
US10224032B2 (en) * 2017-04-19 2019-03-05 International Business Machines Corporation Determining an impact of a proposed dialog act using model-based textual analysis
US10360908B2 (en) * 2017-04-19 2019-07-23 International Business Machines Corporation Recommending a dialog act using model-based textual analysis
WO2018199913A1 (en) * 2017-04-25 2018-11-01 Hewlett-Packard Development Company, L.P. Machine-learning command interaction
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
IL252037B (en) 2017-04-30 2021-12-01 Verint Systems Ltd System and method for identifying relationships between computer application users
JP6794921B2 (ja) * 2017-05-01 2020-12-02 トヨタ自動車株式会社 興味判定装置、興味判定方法、及びプログラム
CA3062326A1 (en) * 2017-05-05 2018-11-08 Liveperson, Inc. Dynamic response prediction for improved bot task processing
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10909441B2 (en) 2017-06-02 2021-02-02 Microsoft Technology Licensing, Llc Modeling an action completion conversation using a knowledge graph
US10628754B2 (en) * 2017-06-06 2020-04-21 At&T Intellectual Property I, L.P. Personal assistant for facilitating interaction routines
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10810273B2 (en) * 2017-06-13 2020-10-20 Bank Of America Corporation Auto identification and mapping of functional attributes from visual representation
US20180367480A1 (en) * 2017-06-18 2018-12-20 Rapportboost.Ai, Inc. Optimizing chat-based communications
US10176808B1 (en) * 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
US10694038B2 (en) * 2017-06-23 2020-06-23 Replicant Solutions, Inc. System and method for managing calls of an automated call management system
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10762423B2 (en) 2017-06-27 2020-09-01 Asapp, Inc. Using a neural network to optimize processing of user requests
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10311872B2 (en) 2017-07-25 2019-06-04 Google Llc Utterance classifier
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
KR102570278B1 (ko) 2017-07-31 2023-08-24 삼성전자주식회사 교사 모델로부터 학생 모델을 트레이닝하는데 사용되는 학습 데이터를 생성하는 장치 및 방법
US11514903B2 (en) * 2017-08-04 2022-11-29 Sony Corporation Information processing device and information processing method
US11132499B2 (en) 2017-08-28 2021-09-28 Microsoft Technology Licensing, Llc Robust expandable dialogue system
US10762424B2 (en) 2017-09-11 2020-09-01 Sas Institute Inc. Methods and systems for reinforcement learning
US11475488B2 (en) 2017-09-11 2022-10-18 Accenture Global Solutions Limited Dynamic scripts for tele-agents
US11783243B2 (en) * 2017-09-20 2023-10-10 International Business Machines Corporation Targeted prioritization within a network based on user-defined factors and success rates
WO2019084321A1 (en) * 2017-10-26 2019-05-02 Conversica, Inc. SYSTEMS AND METHODS FOR CONFIGURABLE MESSAGE RESPONSE-ACTION ENGINE
US10574824B2 (en) * 2017-11-02 2020-02-25 [24]7.ai, Inc. Method and apparatus for facilitating agent conversations with customers of an enterprise
US10832658B2 (en) * 2017-11-15 2020-11-10 International Business Machines Corporation Quantized dialog language model for dialog systems
WO2019099894A1 (en) * 2017-11-16 2019-05-23 [24]7.ai, Inc. Method and system for facilitating collaboration among enterprise agents
US10503834B2 (en) 2017-11-17 2019-12-10 Digital Genius Limited Template generation for a conversational agent
RU2692048C2 (ru) 2017-11-24 2019-06-19 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер для преобразования значения категориального фактора в его числовое представление и для создания разделяющего значения категориального фактора
RU2693324C2 (ru) 2017-11-24 2019-07-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер преобразования значения категориального фактора в его числовое представление
WO2019113122A1 (en) * 2017-12-04 2019-06-13 Conversica, Inc. Systems and methods for improved machine learning for conversations
US11507756B2 (en) * 2017-12-05 2022-11-22 discourse.ai, Inc. System and method for estimation of interlocutor intents and goals in turn-based electronic conversational flow
US10497004B2 (en) 2017-12-08 2019-12-03 Asapp, Inc. Automating communications using an intent classifier
US20190180206A1 (en) * 2017-12-13 2019-06-13 International Business Machines Corporation Conversation-driven workflow
US11853930B2 (en) 2017-12-15 2023-12-26 Accenture Global Solutions Limited Dynamic lead generation
WO2019133919A1 (en) * 2017-12-29 2019-07-04 Conversica, Inc. Systems and methods for human to ai cooperation in association with machine learning conversations
IL256690B (en) * 2018-01-01 2022-02-01 Cognyte Tech Israel Ltd System and method for identifying pairs of related application users
US11170762B2 (en) 2018-01-04 2021-11-09 Google Llc Learning offline voice commands based on usage of online voice commands
US10489792B2 (en) 2018-01-05 2019-11-26 Asapp, Inc. Maintaining quality of customer support messages
US10812417B2 (en) * 2018-01-09 2020-10-20 International Business Machines Corporation Auto-incorrect in chatbot human-machine interfaces
US11133010B1 (en) 2018-01-23 2021-09-28 United Services Automobile Association (Usaa) Intelligent agent for interactive service environments
US10656775B2 (en) 2018-01-23 2020-05-19 Bank Of America Corporation Real-time processing of data and dynamic delivery via an interactive interface
US11327826B1 (en) 2018-02-01 2022-05-10 Amdocs Development Limited System, method, and computer program for automated resolution of free-text incidents, based on machine learning
US11886823B2 (en) * 2018-02-01 2024-01-30 International Business Machines Corporation Dynamically constructing and configuring a conversational agent learning model
US10152970B1 (en) 2018-02-08 2018-12-11 Capital One Services, Llc Adversarial learning and generation of dialogue responses
US10515155B2 (en) 2018-02-09 2019-12-24 Digital Genius Limited Conversational agent
EP3525107A1 (en) * 2018-02-09 2019-08-14 Digital Genius Limited Conversational agent
US10210244B1 (en) 2018-02-12 2019-02-19 Asapp, Inc. Updating natural language interfaces by processing usage data
US11080489B2 (en) * 2018-03-19 2021-08-03 Verint Americas Inc. Model-agnostic visualizations using linear programming approximation
US20190297120A1 (en) * 2018-03-22 2019-09-26 Carrier Corporation Anonymous chat method and system incorporating machine-learning capabilities
US11289070B2 (en) 2018-03-23 2022-03-29 Rankin Labs, Llc System and method for identifying a speaker's community of origin from a sound sample
US11055493B2 (en) * 2018-04-25 2021-07-06 James Lewis Conversation system
US10169315B1 (en) 2018-04-27 2019-01-01 Asapp, Inc. Removing personal information from text using a neural network
EP3576084B1 (de) * 2018-05-29 2020-09-30 Christoph Neumann Effiziente dialoggestaltung
US11100140B2 (en) 2018-06-04 2021-08-24 International Business Machines Corporation Generation of domain specific type system
US11005786B2 (en) * 2018-06-28 2021-05-11 Microsoft Technology Licensing, Llc Knowledge-driven dialog support conversation system
US11341985B2 (en) 2018-07-10 2022-05-24 Rankin Labs, Llc System and method for indexing sound fragments containing speech
US11347966B2 (en) * 2018-07-20 2022-05-31 Samsung Electronics Co., Ltd. Electronic apparatus and learning method of electronic apparatus
US11216510B2 (en) 2018-08-03 2022-01-04 Asapp, Inc. Processing an incomplete message with a neural network to generate suggested messages
US11170770B2 (en) * 2018-08-03 2021-11-09 International Business Machines Corporation Dynamic adjustment of response thresholds in a dialogue system
US11568175B2 (en) 2018-09-07 2023-01-31 Verint Americas Inc. Dynamic intent classification based on environment variables
US11048871B2 (en) * 2018-09-18 2021-06-29 Tableau Software, Inc. Analyzing natural language expressions in a data visualization user interface
US11468882B2 (en) * 2018-10-09 2022-10-11 Accenture Global Solutions Limited Semantic call notes
US10923114B2 (en) 2018-10-10 2021-02-16 N3, Llc Semantic jargon
US11232264B2 (en) 2018-10-19 2022-01-25 Verint Americas Inc. Natural language processing with non-ontological hierarchy models
DE102018218097A1 (de) * 2018-10-23 2020-04-23 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung, Zentraleinrichtung und System zum Erkennen einer Verteilungsverschiebung in einer Daten- und/oder Merkmalsverteilung von Eingangsdaten
US11196863B2 (en) 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
US12001972B2 (en) 2018-10-31 2024-06-04 Accenture Global Solutions Limited Semantic inferencing in customer relationship management
US11132695B2 (en) 2018-11-07 2021-09-28 N3, Llc Semantic CRM mobile communications sessions
US10742813B2 (en) 2018-11-08 2020-08-11 N3, Llc Semantic artificial intelligence agent
US10972608B2 (en) 2018-11-08 2021-04-06 N3, Llc Asynchronous multi-dimensional platform for customer and tele-agent communications
US10972609B2 (en) * 2018-11-10 2021-04-06 Nuance Communications, Inc. Caller deflection and response system and method
US20200153965A1 (en) 2018-11-10 2020-05-14 Nuance Communications, Inc. Caller deflection and response system and method
US11551004B2 (en) 2018-11-13 2023-01-10 Asapp, Inc. Intent discovery with a prototype classifier
US10747957B2 (en) 2018-11-13 2020-08-18 Asapp, Inc. Processing communications using a prototype classifier
WO2020118422A1 (en) * 2018-12-11 2020-06-18 Sinitic Inc. System and method for structuring chat history using machine-learning-based natural language processing
US10740371B1 (en) * 2018-12-14 2020-08-11 Clinc, Inc. Systems and methods for intelligently configuring and deploying a machine learning-based dialogue system
US10805465B1 (en) 2018-12-20 2020-10-13 United Services Automobile Association (Usaa) Predictive customer service support system and method
US11151578B2 (en) * 2018-12-31 2021-10-19 Beijing Didi Infinity Technology And Development Co., Ltd. Methods and systems for processing customer inquiries
CN109660680A (zh) * 2019-02-06 2019-04-19 刘兴丹 一种选择性接入语音通话的方法、装置
US11449197B2 (en) * 2019-03-08 2022-09-20 [24]7.ai, Inc. Agent console for facilitating chat interactions with customers
US10944869B2 (en) 2019-03-08 2021-03-09 International Business Machines Corporation Automating actions of a mobile device during calls with an automated phone system
US10897508B2 (en) 2019-03-08 2021-01-19 International Business Machines Corporation Personal call center assistant
US11748422B2 (en) * 2019-03-15 2023-09-05 ContactEngine Limited Digital content security and communications system using artificial intelligence (AI) based machine learning and predictive analysis
US11790176B2 (en) * 2019-03-19 2023-10-17 Servicenow, Inc. Systems and methods for a virtual agent in a cloud computing environment
US10861022B2 (en) 2019-03-25 2020-12-08 Fmr Llc Computer systems and methods to discover questions and answers from conversations
US11948582B2 (en) 2019-03-25 2024-04-02 Omilia Natural Language Solutions Ltd. Systems and methods for speaker verification
US10445745B1 (en) 2019-03-26 2019-10-15 Fmr Llc Computer systems and methods for efficient query resolution by customer representatives
US11170167B2 (en) * 2019-03-26 2021-11-09 Tencent America LLC Automatic lexical sememe prediction system using lexical dictionaries
US11588760B2 (en) * 2019-04-12 2023-02-21 Asapp, Inc. Initialization of automated workflows
US11521114B2 (en) 2019-04-18 2022-12-06 Microsoft Technology Licensing, Llc Visualization of training dialogs for a conversational bot
US11558339B2 (en) * 2019-05-21 2023-01-17 International Business Machines Corporation Stepwise relationship cadence management
US10671941B1 (en) * 2019-05-23 2020-06-02 Capital One Services, Llc Managing multifaceted, implicit goals through dialogue
JP7332690B2 (ja) * 2019-05-31 2023-08-23 株式会社東芝 コミュニケーション管理装置
US11966697B2 (en) 2019-06-11 2024-04-23 Bank Of America Corporation Systems and methods for automated degradation-resistant tuning of machine-learning language processing models
US11211049B2 (en) 2019-07-03 2021-12-28 International Business Machines Corporation Program dialog by example
US20210004832A1 (en) 2019-07-05 2021-01-07 Talkdesk, Inc. System and method for escalation using agent assist within a cloud-based contact center
US11138212B2 (en) 2019-07-23 2021-10-05 International Business Machines Corporation Natural language response recommendation clustering for rapid retrieval
KR20190098928A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 음성 인식 방법 및 장치
US11715112B2 (en) * 2019-08-21 2023-08-01 Avaya Inc. Automatic message generation and presentation to a communication node engaged in a communication
US11711465B2 (en) * 2019-08-22 2023-07-25 [24]7.ai, Inc. Method and apparatus for providing assistance to calling customers
US11328205B2 (en) 2019-08-23 2022-05-10 Talkdesk, Inc. Generating featureless service provider matches
US11184298B2 (en) * 2019-08-28 2021-11-23 International Business Machines Corporation Methods and systems for improving chatbot intent training by correlating user feedback provided subsequent to a failed response to an initial user intent
US11455339B1 (en) 2019-09-06 2022-09-27 Tableau Software, LLC Incremental updates to natural language expressions in a data visualization user interface
US11699435B2 (en) * 2019-09-18 2023-07-11 Wizergos Software Solutions Private Limited System and method to interpret natural language requests and handle natural language responses in conversation
US11373045B2 (en) * 2019-09-24 2022-06-28 ContactEngine Limited Determining context and intent in omnichannel communications using machine learning based artificial intelligence (AI) techniques
US20210097330A1 (en) * 2019-09-27 2021-04-01 International Business Machines Corporation Notification content message via artificial intelligence voice response system
US11126793B2 (en) * 2019-10-04 2021-09-21 Omilia Natural Language Solutions Ltd. Unsupervised induction of user intents from conversational customer service corpora
US11501033B2 (en) * 2019-10-07 2022-11-15 The Boeing Company Model-based systems engineering model conversion with text requirements
US20210117882A1 (en) 2019-10-16 2021-04-22 Talkdesk, Inc Systems and methods for workforce management system deployment
US11425064B2 (en) 2019-10-25 2022-08-23 Asapp, Inc. Customized message suggestion with user embedding vectors
US20210136220A1 (en) 2019-10-31 2021-05-06 Talkdesk, Inc. Monitoring and listening tools across omni-channel inputs in a graphically interactive voice response system
US11399016B2 (en) 2019-11-03 2022-07-26 Cognyte Technologies Israel Ltd. System and method for identifying exchanges of encrypted communication traffic
GB201916435D0 (en) * 2019-11-12 2019-12-25 Realeyes Oue System and method for collecting behavioural data to assist interpersonal interaction
US11316980B2 (en) * 2019-11-26 2022-04-26 International Business Machines Corporation Agent to bot transfer
CN111159379B (zh) * 2019-12-30 2022-12-20 苏宁云计算有限公司 一种自动出题方法、装置及系统
US11303753B2 (en) * 2019-12-31 2022-04-12 InContact Inc. Enhancing agent's efficiency in a contact center by using a multi-agent to multi-contact routing orchestration
US11736615B2 (en) 2020-01-16 2023-08-22 Talkdesk, Inc. Method, apparatus, and computer-readable medium for managing concurrent communications in a networked call center
US11443264B2 (en) 2020-01-29 2022-09-13 Accenture Global Solutions Limited Agnostic augmentation of a customer relationship management application
WO2021183421A2 (en) 2020-03-09 2021-09-16 John Rankin Systems and methods for morpheme reflective engagement response
US11892939B2 (en) 2020-03-21 2024-02-06 Dynatrace Llc Automatic injection of agents into processes executing statically linked binaries
US11039013B1 (en) * 2020-04-10 2021-06-15 Medallia, Inc. Real-time contact center speech analytics, with critical call alerts, deployed across multiple security zones
USD996462S1 (en) * 2020-04-15 2023-08-22 Sublink, Llc Display screen or portion thereof with animated graphical user interface
US11481785B2 (en) 2020-04-24 2022-10-25 Accenture Global Solutions Limited Agnostic customer relationship management with browser overlay and campaign management portal
US11392960B2 (en) 2020-04-24 2022-07-19 Accenture Global Solutions Limited Agnostic customer relationship management with agent hub and browser overlay
US11146512B1 (en) 2020-05-12 2021-10-12 ZenDesk, Inc. Handing off customer-support conversations between a human agent and a bot without requiring code changes
US11393462B1 (en) * 2020-05-13 2022-07-19 Amazon Technologies, Inc. System to characterize vocal presentation
RU2755781C1 (ru) * 2020-06-04 2021-09-21 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Интеллектуальное рабочее место оператора и способ его взаимодействия для осуществления интерактивной поддержки сессии обслуживания клиента
US11330105B2 (en) 2020-06-12 2022-05-10 Optum, Inc. Performance metric recommendations for handling multi-party electronic communications
US11500608B2 (en) 2020-06-17 2022-11-15 Avaya Management L.P. Smart audio playback
JP7322830B2 (ja) * 2020-07-28 2023-08-08 トヨタ自動車株式会社 情報出力システムおよび情報出力方法
US11190643B1 (en) 2020-07-30 2021-11-30 Bank Of America Corporation Automated redistribution of queries to underutilized channels
DE102021109265A1 (de) 2020-08-31 2022-03-03 Cognigy Gmbh Verfahren zur Optimierung
US11526550B2 (en) 2020-09-15 2022-12-13 Bank Of America Corporation System for building data communications using data extracted via frequency-based data extraction technique
US11698933B1 (en) 2020-09-18 2023-07-11 Tableau Software, LLC Using dynamic entity search during entry of natural language commands for visual data analysis
US11568135B1 (en) 2020-09-23 2023-01-31 Amazon Technologies, Inc. Identifying chat correction pairs for training models to automatically correct chat inputs
US11514897B2 (en) * 2020-09-25 2022-11-29 Genesys Telecommunications Laboratories, Inc. Systems and methods relating to bot authoring by mining intents from natural language conversations
US11580959B2 (en) 2020-09-28 2023-02-14 International Business Machines Corporation Improving speech recognition transcriptions
US11507903B2 (en) 2020-10-01 2022-11-22 Accenture Global Solutions Limited Dynamic formation of inside sales team or expert support team
US11301631B1 (en) 2020-10-05 2022-04-12 Tableau Software, LLC Visually correlating individual terms in natural language input to respective structured phrases representing the natural language input
US11636269B2 (en) 2020-10-15 2023-04-25 Fmr Llc Content creation and prioritization
US11769018B2 (en) * 2020-11-24 2023-09-26 Openstream Inc. System and method for temporal attention behavioral analysis of multi-modal conversations in a question and answer system
US20220215324A1 (en) * 2021-01-07 2022-07-07 Gladly, Inc. Data tracking and generation for workforce management
US11797586B2 (en) 2021-01-19 2023-10-24 Accenture Global Solutions Limited Product presentation for customer relationship management
US11605375B2 (en) * 2021-03-05 2023-03-14 Capital One Services, Llc Systems and methods for dynamically updating machine learning models that provide conversational responses
US20220294903A1 (en) * 2021-03-12 2022-09-15 Avaya Management L.P. Virtual private agent for machine-based interactions with a contact center
US11798551B2 (en) * 2021-03-25 2023-10-24 Bank Of America Corporation System and method for voice controlled automatic information access and retrieval
US11782974B2 (en) * 2021-03-25 2023-10-10 Bank Of America Corporation System and method for dynamically identifying and retrieving information responsive to voice requests
US11683283B2 (en) * 2021-03-30 2023-06-20 International Business Machines Corporation Method for electronic messaging
US11816677B2 (en) 2021-05-03 2023-11-14 Accenture Global Solutions Limited Call preparation engine for customer relationship management
US11755295B2 (en) 2021-06-04 2023-09-12 Bank Of America Corporation Software development system
US12041020B2 (en) * 2021-06-14 2024-07-16 LiveChat Software S.A. System and method for asynchronous messaging combined with a real-time communication
US11677875B2 (en) 2021-07-02 2023-06-13 Talkdesk Inc. Method and apparatus for automated quality management of communication records
US11954436B2 (en) * 2021-07-26 2024-04-09 Freshworks Inc. Automatic extraction of situations
US11409593B1 (en) 2021-08-05 2022-08-09 International Business Machines Corporation Discovering insights and/or resolutions from collaborative conversations
US11915205B2 (en) * 2021-10-15 2024-02-27 EMC IP Holding Company LLC Method and system to manage technical support sessions using ranked historical technical support sessions
US11941641B2 (en) 2021-10-15 2024-03-26 EMC IP Holding Company LLC Method and system to manage technical support sessions using historical technical support sessions
US12008025B2 (en) 2021-10-15 2024-06-11 EMC IP Holding Company LLC Method and system for augmenting a question path graph for technical support
US12026525B2 (en) 2021-11-05 2024-07-02 Accenture Global Solutions Limited Dynamic dashboard administration
US20230196035A1 (en) * 2021-12-17 2023-06-22 Capital One Services, Llc Identifying zones of interest in text transcripts using deep learning
US11856140B2 (en) 2022-03-07 2023-12-26 Talkdesk, Inc. Predictive communications system
US11736616B1 (en) 2022-05-27 2023-08-22 Talkdesk, Inc. Method and apparatus for automatically taking action based on the content of call center communications
US11971908B2 (en) 2022-06-17 2024-04-30 Talkdesk, Inc. Method and apparatus for detecting anomalies in communication data
US11989502B2 (en) * 2022-06-18 2024-05-21 Klaviyo, Inc Implicitly annotating textual data in conversational messaging
US11943391B1 (en) 2022-12-13 2024-03-26 Talkdesk, Inc. Method and apparatus for routing communications within a contact center

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358304A (ja) * 2001-05-31 2002-12-13 P To Pa:Kk 会話制御システム
WO2004072926A2 (en) * 2003-02-11 2004-08-26 Unveil Technologies, Inc Management of conversations

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US637944A (en) * 1896-12-15 1899-11-28 John H Quigley Churn.
JPH05324713A (ja) * 1992-05-20 1993-12-07 Hitachi Ltd 自然語処理方法および自然語処理システム
US5748974A (en) * 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US5963940A (en) * 1995-08-16 1999-10-05 Syracuse University Natural language information retrieval system and method
US6182029B1 (en) * 1996-10-28 2001-01-30 The Trustees Of Columbia University In The City Of New York System and method for language extraction and encoding utilizing the parsing of text data in accordance with domain parameters
US5895466A (en) * 1997-08-19 1999-04-20 At&T Corp Automated natural language understanding customer service system
US5960384A (en) * 1997-09-03 1999-09-28 Brash; Douglas E. Method and device for parsing natural language sentences and other sequential symbolic expressions
US6173279B1 (en) 1998-04-09 2001-01-09 At&T Corp. Method of using a natural language interface to retrieve information from one or more data resources
US6377944B1 (en) * 1998-12-11 2002-04-23 Avaya Technology Corp. Web response unit including computer network based communication
US6851115B1 (en) * 1999-01-05 2005-02-01 Sri International Software-based architecture for communication and cooperation among distributed electronic agents
US6243684B1 (en) * 1999-02-19 2001-06-05 Usada, Inc. Directory assistance system and method utilizing a speech recognition system and a live operator
US20050091057A1 (en) * 1999-04-12 2005-04-28 General Magic, Inc. Voice application development methodology
US6401061B1 (en) * 1999-05-13 2002-06-04 Yuri L. Zieman Combinatorial computational technique for transformation phrase text-phrase meaning
US6718367B1 (en) * 1999-06-01 2004-04-06 General Interactive, Inc. Filter for modeling system and method for handling and routing of text-based asynchronous communications
GB9930731D0 (en) * 1999-12-22 2000-02-16 Ibm Voice processing apparatus
US6829603B1 (en) * 2000-02-02 2004-12-07 International Business Machines Corp. System, method and program product for interactive natural dialog
US6604094B1 (en) * 2000-05-25 2003-08-05 Symbionautics Corporation Simulating human intelligence in computers using natural language dialog
US6778951B1 (en) * 2000-08-09 2004-08-17 Concerto Software, Inc. Information retrieval method with natural language interface
US7136814B1 (en) 2000-11-03 2006-11-14 The Procter & Gamble Company Syntax-driven, operator assisted voice recognition system and methods
US7158935B1 (en) * 2000-11-15 2007-01-02 At&T Corp. Method and system for predicting problematic situations in a automated dialog
US6766316B2 (en) * 2001-01-18 2004-07-20 Science Applications International Corporation Method and system of ranking and clustering for document indexing and retrieval
US6587558B2 (en) * 2001-01-29 2003-07-01 Immequire, Llc System and method for virtual interactive response unit
US6901398B1 (en) * 2001-02-12 2005-05-31 Microsoft Corporation System and method for constructing and personalizing a universal information classifier
US7305345B2 (en) * 2001-02-15 2007-12-04 Livewire Acquisition, Inc. Methods, systems, and computer program products for providing automated customer service via an intelligent virtual agent that is trained using customer-agent conversations
US6915246B2 (en) * 2001-12-17 2005-07-05 International Business Machines Corporation Employing speech recognition and capturing customer speech to improve customer service
US6771746B2 (en) * 2002-05-16 2004-08-03 Rockwell Electronic Commerce Technologies, Llc Method and apparatus for agent optimization using speech synthesis and recognition
US7606714B2 (en) * 2003-02-11 2009-10-20 Microsoft Corporation Natural language classification within an automated response system
US7219054B1 (en) * 2003-04-04 2007-05-15 At&T Corp. Systems and methods for generating an annotation guide
CN100359976C (zh) * 2003-04-15 2008-01-02 华为技术有限公司 一种根据移动电话号码进行分组业务监听的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358304A (ja) * 2001-05-31 2002-12-13 P To Pa:Kk 会話制御システム
WO2004072926A2 (en) * 2003-02-11 2004-08-26 Unveil Technologies, Inc Management of conversations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
日笠 亘, 外2名: ""入力質問と知識表現の柔軟なマッチングによる対話的ヘルプシステムの構築"", 情報処理学会研究報告, vol. 第99巻, 第95号, JPN6011047299, 16 November 1999 (1999-11-16), pages 101 - 108, ISSN: 0002102386 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010073191A (ja) * 2008-08-20 2010-04-02 Universal Entertainment Corp 顧客対応システム、並びに会話サーバ
JP2014102513A (ja) * 2014-01-06 2014-06-05 Fujitsu Ltd 対話選別プログラム、対話選別装置、および対話選別方法
JP2015154343A (ja) * 2014-02-17 2015-08-24 富士通株式会社 会話補助プログラム、会話補助方法、及び会話システム
US11669752B2 (en) 2014-04-22 2023-06-06 Google Llc Automatic actions based on contextual replies
JP2018041124A (ja) * 2016-09-05 2018-03-15 株式会社Nextremer 対話制御装置、対話エンジン、管理端末、対話装置、対話制御方法、対話方法、およびプログラム
JP2018045208A (ja) * 2016-09-16 2018-03-22 株式会社東芝 会議支援システム、会議支援方法及びプログラム
US10846618B2 (en) 2016-09-23 2020-11-24 Google Llc Smart replies using an on-device model
JP2019535073A (ja) * 2016-09-23 2019-12-05 グーグル エルエルシー オンデバイスモデルを使用するスマートリプライ
US10984794B1 (en) 2016-09-28 2021-04-20 Kabushiki Kaisha Toshiba Information processing system, information processing apparatus, information processing method, and recording medium
JP6219009B1 (ja) * 2017-02-14 2017-10-25 三菱電機株式会社 やり取り型攻撃シミュレーション装置、やり取り型攻撃シミュレーション方法およびやり取り型攻撃シミュレーションプログラム
WO2018150472A1 (ja) * 2017-02-14 2018-08-23 三菱電機株式会社 やり取り型攻撃シミュレーション装置、やり取り型攻撃シミュレーション方法およびやり取り型攻撃シミュレーションプログラム
JP7382993B2 (ja) 2017-05-16 2023-11-17 グーグル エルエルシー 計算機アシスタントによる遅延応答
US11790207B2 (en) 2017-05-16 2023-10-17 Google Llc Delayed responses by computational assistant
JP2022019715A (ja) * 2017-05-16 2022-01-27 グーグル エルエルシー 計算機アシスタントによる遅延応答
JP2019020995A (ja) * 2017-07-14 2019-02-07 Jeインターナショナル株式会社 自動応答サーバー装置、端末装置、応答システム、応答方法、およびプログラム
JP6218057B1 (ja) * 2017-07-14 2017-10-25 Jeインターナショナル株式会社 自動応答サーバー装置、端末装置、応答システム、応答方法、およびプログラム
US10997371B2 (en) 2017-07-14 2021-05-04 Je International Corporation Automatic response server device, terminal device, response system, response method, and program
JP2019020683A (ja) * 2017-07-21 2019-02-07 トヨタ自動車株式会社 音声認識システム及び音声認識方法
JP2019029899A (ja) * 2017-08-01 2019-02-21 株式会社大和総研 電話自動応答補助システムおよびプログラム
JP2019053126A (ja) * 2017-09-13 2019-04-04 株式会社日立製作所 成長型対話装置
CN111742362A (zh) * 2018-01-23 2020-10-02 谷歌有限责任公司 在调用短语检测中选择性地适配和利用噪声降低技术
JP2021089438A (ja) * 2018-01-23 2021-06-10 グーグル エルエルシーGoogle LLC 呼び出しフレーズの検出における雑音低減技術の選択的適応および利用
JP2021507315A (ja) * 2018-01-23 2021-02-22 グーグル エルエルシーGoogle LLC 呼び出しフレーズの検出における雑音低減技術の選択的適応および利用
US11984117B2 (en) 2018-01-23 2024-05-14 Google Llc Selective adaptation and utilization of noise reduction technique in invocation phrase detection
CN111742362B (zh) * 2018-01-23 2024-04-09 谷歌有限责任公司 在调用短语检测中选择性地适配和利用噪声降低技术
US11417324B2 (en) 2018-01-23 2022-08-16 Google Llc Selective adaptation and utilization of noise reduction technique in invocation phrase detection
JP7196214B2 (ja) 2018-01-23 2022-12-26 グーグル エルエルシー 呼び出しフレーズの検出における雑音低減技術の選択的適応および利用
JP2019191939A (ja) * 2018-04-25 2019-10-31 メドケア株式会社 指導支援システム、指導支援方法及び指導支援サーバ
JP7285949B2 (ja) 2019-03-29 2023-06-02 ジェネシス クラウド サービシーズ ホールディングス セカンド エルエルシー 人工知能を介してエージェントを支援するためのシステム及び方法
JP2022525362A (ja) * 2019-03-29 2022-05-12 グリーンエデン ユーエス ホールディングス セカンド エルエルシー 人工知能を介してエージェントを支援するためのシステム及び方法
JP7505086B2 (ja) 2019-06-12 2024-06-24 ライブパーソン, インコーポレイテッド 外部システム統合のためのシステムおよび方法
JP7150770B2 (ja) 2019-07-23 2022-10-11 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 対話方法、装置、コンピュータ可読記憶媒体、及びプログラム
JP2021018797A (ja) * 2019-07-23 2021-02-15 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 対話の交互方法、装置、コンピュータ可読記憶媒体、及びプログラム
US11322153B2 (en) 2019-07-23 2022-05-03 Baidu Online Network Technology (Beijing) Co., Ltd. Conversation interaction method, apparatus and computer readable storage medium
JP2021124782A (ja) * 2020-01-31 2021-08-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 サービス解約方法、コンピュータプログラム及びサービス解約システム
JP7473346B2 (ja) 2020-01-31 2024-04-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 サービス解約方法、コンピュータプログラム及びサービス解約システム

Also Published As

Publication number Publication date
KR101169113B1 (ko) 2012-07-27
BRPI0515169A (pt) 2008-07-08
US7606714B2 (en) 2009-10-20
US8000973B2 (en) 2011-08-16
CN101010934B (zh) 2010-09-29
EP1787458A4 (en) 2014-05-21
AU2005285108B2 (en) 2010-07-22
US20050105712A1 (en) 2005-05-19
JP4901738B2 (ja) 2012-03-21
CA2576605A1 (en) 2006-03-23
RU2007108794A (ru) 2008-09-20
CA2826116A1 (en) 2006-03-23
CA2826116C (en) 2014-07-08
CN101010934A (zh) 2007-08-01
RU2391791C2 (ru) 2010-06-10
KR20070055530A (ko) 2007-05-30
WO2006031609A3 (en) 2006-06-08
AU2005285108A1 (en) 2006-03-23
EP1787458A2 (en) 2007-05-23
WO2006031609A2 (en) 2006-03-23
MX2007002880A (es) 2007-04-23
CA2576605C (en) 2014-01-14
US20090228264A1 (en) 2009-09-10

Similar Documents

Publication Publication Date Title
JP4901738B2 (ja) 機械学習
US7487095B2 (en) Method and apparatus for managing user conversations
US11082554B2 (en) Method for conversion and classification of data based on context
US20220147707A1 (en) Unsupervised induction of user intents from conversational customer service corpora
US10965812B1 (en) Analysis and classification of unstructured computer text for generation of a recommended conversation topic flow
WO2018071594A1 (en) Systems, apparatus, and methods for platform-agnostic message processing
CN116235177A (zh) 与通过使用相关联的样本话语的已知意图从对话数据挖掘意图来进行机器人创作相关的系统和方法
US11531821B2 (en) Intent resolution for chatbot conversations with negation and coreferences
KR20200125526A (ko) 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램
CN112131358A (zh) 场景流程结构及所应用的智能客服系统
US20230297778A1 (en) Identifying high effort statements for call center summaries
WO2002089113A1 (en) System for generating the grammar of a spoken dialogue system
CN113094471A (zh) 交互数据处理方法和装置
Suendermann et al. Crowdsourcing for industrial spoken dialog systems
US12061636B1 (en) Dialogue configuration system and method
Di Fabbrizio et al. Bootstrapping spoken dialogue systems by exploiting reusable libraries
Gergely et al. Semantics driven intelligent front-end
CN118410162A (zh) 摘要提取方法、装置、设备、介质及程序产品
van Rink Conversation based chat-routing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111227

R150 Certificate of patent or registration of utility model

Ref document number: 4901738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees