JP2017527926A5 - - Google Patents

Download PDF

Info

Publication number
JP2017527926A5
JP2017527926A5 JP2017521040A JP2017521040A JP2017527926A5 JP 2017527926 A5 JP2017527926 A5 JP 2017527926A5 JP 2017521040 A JP2017521040 A JP 2017521040A JP 2017521040 A JP2017521040 A JP 2017521040A JP 2017527926 A5 JP2017527926 A5 JP 2017527926A5
Authority
JP
Japan
Prior art keywords
conversation
classifier
input
inputs
data representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017521040A
Other languages
English (en)
Other versions
JP2017527926A (ja
Filing date
Publication date
Priority claimed from US14/323,050 external-priority patent/US9547471B2/en
Application filed filed Critical
Publication of JP2017527926A publication Critical patent/JP2017527926A/ja
Publication of JP2017527926A5 publication Critical patent/JP2017527926A5/ja
Pending legal-status Critical Current

Links

Claims (20)

  1. 会話入力を会話タイプへと分類するためにコンピュータによって実施される分類器をトレーニングするためのプロセスであって、
    前記分類器は、会話入力を表すデータを受け取る入力、および、前記会話入力が前記分類器によって表される前記会話タイプとどれだけ一致するかを示す一致出力を提供する出力を有し、
    前記分類器をトレーニングするための前記プロセスは、プロセッサおよびコンピュータストレージを含む処理システムによって実行されるものであり、
    前記プロセスは、
    会話入力の第1セットを表し、かつ、前記会話入力のポジティブ例として前記第1セットを示す第1ラベルデータを含むデータ、および、会話入力の第2セットを表し、かつ、前記会話入力のネガティブ例として前記第2セットを示す第2ラベルデータを含むデータを、前記コンピュータストレージの中へ、受け取るステップと、
    会話入力の前記第1セットおよび前記第2セット、および、前記第1ラベルデータおよび前記第2ラベルデータを表す前記データを使用して前記分類器を構築するステップと、
    会話入力の第3セットを表すデータに、前記コンピュータストレージから、アクセスするステップと、
    会話入力の前記第3セットにおける各会話入力について、
    前記分類器の前記出力から一致出力を獲得するために、前記会話入力を表す前記データを前記分類器の前記入力に対して適用し、
    前記一致出力が、ネガティブ例またはポジティブ例のうち一つとしての前記会話入力の分類を示していないとの判断に応じて、
    前記会話入力を一つ以上のユーザコンピュータを通じて一人以上の個人に対してラベル付けするために示し、
    示された前記会話入力について前記一つ以上のユーザコンピュータを通じて前記一人以上の個人から第3ラベルを受け取り、
    受け取った前記第3ラベルを前記会話入力と関連して前記コンピュータストレージの中に保管し、かつ、
    第3ラベルデータを有する会話入力の前記第3セットを表す前記データを使用して前記分類器を再教育する、
    ステップと、
    を含む、プロセス。
  2. 前記プロセスは、さらに、
    前記一人以上の個人がラベル付けを実行した前記分類器に関連付けされた前記会話タイプについて会話レスポンスを表すデータを、前記一人以上の個人のうち前記一人以上から、受け取り、かつ、前記コンピュータストレージの中へ保管するステップ、
    を含む、請求項1に記載のプロセス。
  3. 前記プロセスは、さらに、
    会話入力の前記第3セットを表すコーパスデータから追加の会話タイプを特定するステップ、
    を含む、請求項1に記載のプロセス。
  4. 前記特定するステップは、
    会話入力の前記第3セットを表す前記データにおける会話入力をクラスタリングし、各クラスタに対して異なる会話タイプを割り当てるステップ、を含む、
    請求項3に記載のプロセス。
  5. 前記特定するステップは、
    前記会話入力を複数の分類器に対して適用するステップと、
    前記複数の分類器のいずれも一致を示さない前記会話入力を特定するステップと、
    前記特定された会話入力に対して一つ以上の新たな会話タイプを割り当てるステップ、
    を含む、請求項3に記載のプロセス。
  6. 分類器の前記会話タイプは、会話タイプのヒエラルキーの中に含まれている、
    請求項1に記載のプロセス。
  7. 前記プロセスは、さらに、
    会話入力の前記第3セットを表すデータを自動的にクラスタリングするステップであり、前記会話入力についてクラス情報を提供する、ステップ、
    を含む、請求項1に記載のプロセス。
  8. 前記分類器を構築するステップは、
    前記処理システムを用いて、前記分類器の前記入力に対して適用されたデータに対して、前記分類器によって適用されたメトリックのパラメータのセットを定めるステップ、
    を含む、請求項1に記載のプロセス。
  9. 前記分類器によって適用された前記メトリックは、パラメータの前記セットに従って前記分類器に対する前記入力に対して適用された前記データを使用して、類似性または距離または確率メトリックを計算するために、プロセッサによって処理されるコンピュータプログラムを含む、
    請求項8に記載のプロセス。
  10. 会話入力の前記第1セット、前記第2セット、および、前記第3セットにおいて会話入力を表す前記データは、前記会話入力から抽出される複数の特徴を含む、
    請求項1に記載のプロセス。
  11. コンピュータシステムであって、
    プロセッサおよびコンピュータストレージを含む処理システムと、
    会話入力を会話タイプへと分類するための分類器であり、前記分類器は、会話入力を表すデータを受け取る入力、および、前記会話入力が前記分類器によって表される前記会話タイプとどれだけ一致するかを示す一致出力を提供する出力を有する、分類器と、を含み、
    前記コンピュータストレージは、入力の第1セットを表し、かつ、前記会話入力のポジティブ例として前記第1セットを示す第1ラベルデータを含むデータ、および、会話入力の第2セットを表し、かつ、前記会話入力のネガティブ例として前記第2セットを示す第2ラベルデータを含むデータを、保管しており、
    会話入力の前記第1セットおよび前記第2セット、および、前記第1ラベルデータおよび前記第2ラベルデータを表す前記データを使用して前記分類器を構築するためのトレーニングモジュールと、を含み、
    前記トレーニングモジュールは、
    前記コンピュータストレージから、会話入力の第3セットを表すデータにアクセスし、
    会話入力の前記第3セットにおける各会話入力について、
    前記分類器の前記出力から一致出力を獲得するために、前記会話入力を表す前記データを前記分類器の前記入力に対して適用し、
    前記一致出力が、ネガティブ例またはポジティブ例のうち一つとしての前記会話入力の分類を示していないとの判断に応じて、
    前記会話入力を一つ以上のユーザコンピュータを通じて一人以上の個人に対してラベル付けするために示し、
    示された前記会話入力について前記一つ以上のユーザコンピュータを通じて前記一人以上の個人から第3ラベルを受け取り、
    受け取った前記第3ラベルを前記会話入力と関連して前記コンピュータストレージの中に保管し、かつ、
    第3ラベルデータを有する会話入力の前記第3セットを表す前記データを使用して前記分類器を再教育する、
    ように構成されている、
    を含む、コンピュータシステム。
  12. 前記トレーニングモジュールは、さらに、
    前記分類器を構築するために、記分類器の前記入力に対して適用されたデータに対して、前記分類器によって適用されたメトリックのパラメータのセットを定める、ように構成されている、
    請求項11に記載のコンピュータシステム。
  13. 前記分類器によって適用された前記メトリックは、パラメータの前記セットに従って前記分類器に対する前記入力に対して適用された前記データを使用して、類似性または距離または確率メトリックを計算するために、プロセッサによって処理されるコンピュータプログラムを含む、
    請求項12に記載のコンピュータシステム。
  14. 会話入力の前記第1セット、前記第2セット、および、前記第3セットにおいて会話入力を表す前記データは、前記会話入力から抽出される複数の特徴を含む、
    請求項11に記載のコンピュータシステム。
  15. 前記トレーニングモジュールは、さらに、
    前記一人以上の個人がラベル付けを実行した前記分類器に関連付けされた前記会話タイプについて会話レスポンスを表すデータを、前記一人以上の個人のうち前記一人以上から、受け取り、かつ、前記コンピュータストレージの中へ保管する、ように構成されている、
    請求項11に記載のコンピュータシステム。
  16. 前記トレーニングモジュールは、さらに、
    会話入力の前記第3セットを表す前記データに基づいて追加の会話タイプを特定する、ように構成されている、
    請求項12に記載のコンピュータシステム。
  17. 前記トレーニングモジュールは、追加の会話タイプを特定するために、さらに、
    会話入力の前記第3セットを表す前記データに基づいて、会話入力の前記第3セットにおける会話入力をクラスタへとクラスタリングし、かつ、
    各クラスタに対して異なる会話タイプを割り当てる、
    ように構成されている、請求項16に記載のコンピュータシステム。
  18. 前記トレーニングモジュールは、追加の会話タイプを特定するために、さらに、
    会話入力の前記第3セットを表す前記データを複数の分類器に対して適用し、
    前記複数の分類器のいずれも一致を示さない会話入力を特定し、かつ、
    前記特定された会話入力に対して一つ以上の新たな会話タイプを割り当てる、
    ように構成されている、請求項16に記載のコンピュータシステム。
  19. 分類器の前記会話タイプは、会話タイプのヒエラルキーの中に含まれている、
    請求項11に記載のコンピュータシステム。
  20. 前記トレーニングモジュールは、さらに、
    前記会話入力についてクラス情報を提供するために、会話入力の前記第3セットを自動的にクラスタリングする、ように構成されている、
    請求項11に記載のコンピュータシステム。
JP2017521040A 2014-07-03 2015-07-02 社交的会話入力に対するコンピュータレスポンスの生成 Pending JP2017527926A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/323,050 US9547471B2 (en) 2014-07-03 2014-07-03 Generating computer responses to social conversational inputs
US14/323,050 2014-07-03
PCT/US2015/038923 WO2016004266A2 (en) 2014-07-03 2015-07-02 Generating computer responses to social conversational inputs

Publications (2)

Publication Number Publication Date
JP2017527926A JP2017527926A (ja) 2017-09-21
JP2017527926A5 true JP2017527926A5 (ja) 2018-08-09

Family

ID=53718156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017521040A Pending JP2017527926A (ja) 2014-07-03 2015-07-02 社交的会話入力に対するコンピュータレスポンスの生成

Country Status (6)

Country Link
US (1) US9547471B2 (ja)
EP (1) EP3164864A2 (ja)
JP (1) JP2017527926A (ja)
KR (1) KR102333505B1 (ja)
CN (1) CN106663426A (ja)
WO (1) WO2016004266A2 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336193B2 (en) 2012-08-30 2016-05-10 Arria Data2Text Limited Method and apparatus for updating a previously generated text
US8762133B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for alert validation
US9405448B2 (en) 2012-08-30 2016-08-02 Arria Data2Text Limited Method and apparatus for annotating a graphical output
US8762134B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US9135244B2 (en) 2012-08-30 2015-09-15 Arria Data2Text Limited Method and apparatus for configurable microplanning
US9600471B2 (en) 2012-11-02 2017-03-21 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
WO2014076525A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for expressing time in an output text
WO2014076524A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for spatial descriptions in an output text
US10115202B2 (en) 2012-12-27 2018-10-30 Arria Data2Text Limited Method and apparatus for motion detection
WO2014102569A1 (en) 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion description
GB2524934A (en) 2013-01-15 2015-10-07 Arria Data2Text Ltd Method and apparatus for document planning
WO2015028844A1 (en) 2013-08-29 2015-03-05 Arria Data2Text Limited Text generation from correlated alerts
US9396181B1 (en) 2013-09-16 2016-07-19 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US9244894B1 (en) 2013-09-16 2016-01-26 Arria Data2Text Limited Method and apparatus for interactive reports
US10664558B2 (en) 2014-04-18 2020-05-26 Arria Data2Text Limited Method and apparatus for document planning
US10460720B2 (en) 2015-01-03 2019-10-29 Microsoft Technology Licensing, Llc. Generation of language understanding systems and methods
US10157178B2 (en) * 2015-02-06 2018-12-18 International Business Machines Corporation Identifying categories within textual data
WO2017175442A1 (ja) * 2016-04-08 2017-10-12 ソニー株式会社 情報処理装置、および情報処理方法
US9864743B2 (en) * 2016-04-29 2018-01-09 Fujitsu Limited Textual emotion detection
US10445432B1 (en) 2016-08-31 2019-10-15 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10503767B2 (en) * 2016-09-13 2019-12-10 Microsoft Technology Licensing, Llc Computerized natural language query intent dispatching
US10540513B2 (en) 2016-09-13 2020-01-21 Microsoft Technology Licensing, Llc Natural language processor extension transmission data protection
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
CN108021985B (zh) * 2016-11-03 2022-05-10 北京如布科技有限公司 一种模型参数训练方法及装置
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
WO2018170876A1 (en) * 2017-03-24 2018-09-27 Microsoft Technology Licensing, Llc A voice-based knowledge sharing application for chatbots
US11462212B2 (en) * 2017-05-17 2022-10-04 Nippon Telegraph And Telephone Corporation Document identification device, document identification method, and program
JP6767322B2 (ja) * 2017-08-18 2020-10-14 ヤフー株式会社 出力制御装置、出力制御方法及び出力制御プログラム
US20190066669A1 (en) * 2017-08-29 2019-02-28 Google Inc. Graphical data selection and presentation of digital content
US10607612B2 (en) 2017-10-19 2020-03-31 International Business Machines Corporation Hierarchical intimacy for cognitive assistants
US11886823B2 (en) * 2018-02-01 2024-01-30 International Business Machines Corporation Dynamically constructing and configuring a conversational agent learning model
JP7063230B2 (ja) * 2018-10-25 2022-05-09 トヨタ自動車株式会社 コミュニケーション装置およびコミュニケーション装置の制御プログラム
US11120225B2 (en) * 2019-02-05 2021-09-14 International Business Machines Corporation Updating an online multi-domain sentence representation generation module of a text classification system
EP3731201B1 (en) * 2019-04-24 2022-11-09 ABB Schweiz AG A support system for an operator
US11270077B2 (en) * 2019-05-13 2022-03-08 International Business Machines Corporation Routing text classifications within a cross-domain conversational service
KR20190096853A (ko) * 2019-07-30 2019-08-20 엘지전자 주식회사 음성 처리 방법 및 음성 처리 장치
CN110827798B (zh) * 2019-11-12 2020-09-11 广州欢聊网络科技有限公司 一种音频信号处理的方法及装置
KR20210095431A (ko) * 2020-01-23 2021-08-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US11972220B2 (en) 2020-11-30 2024-04-30 Oracle International Corporation Enhanced logits for natural language processing
JP2023551861A (ja) * 2020-11-30 2023-12-13 オラクル・インターナショナル・コーポレイション 自然言語処理のための距離ベースのロジット値
KR20240138724A (ko) 2023-03-13 2024-09-20 주식회사 케이티 고객의 상담 메뉴를 자동으로 도출하는 장치, 방법 및 컴퓨터 프로그램

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7152029B2 (en) 2001-07-18 2006-12-19 At&T Corp. Spoken language understanding that incorporates prior knowledge into boosting
US7548847B2 (en) * 2002-05-10 2009-06-16 Microsoft Corporation System for automatically annotating training data for a natural language understanding system
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7606714B2 (en) * 2003-02-11 2009-10-20 Microsoft Corporation Natural language classification within an automated response system
KR100486735B1 (ko) * 2003-02-28 2005-05-03 삼성전자주식회사 최적구획 분류신경망 구성방법과 최적구획 분류신경망을이용한 자동 레이블링방법 및 장치
US7412383B1 (en) 2003-04-04 2008-08-12 At&T Corp Reducing time for annotating speech data to develop a dialog application
US7280965B1 (en) 2003-04-04 2007-10-09 At&T Corp. Systems and methods for monitoring speech data labelers
US7716056B2 (en) * 2004-09-27 2010-05-11 Robert Bosch Corporation Method and system for interactive conversational dialogue for cognitively overloaded device users
US20060224579A1 (en) * 2005-03-31 2006-10-05 Microsoft Corporation Data mining techniques for improving search engine relevance
US7596498B2 (en) 2005-09-02 2009-09-29 Microsoft Corporation Monitoring, mining, and classifying electronically recordable conversations
JP4755478B2 (ja) * 2005-10-07 2011-08-24 日本電信電話株式会社 応答文生成装置、応答文生成方法、そのプログラムおよび記憶媒体
US8321220B1 (en) * 2005-11-30 2012-11-27 At&T Intellectual Property Ii, L.P. System and method of semi-supervised learning for spoken language understanding using semantic role labeling
GB2433150B (en) * 2005-12-08 2009-10-07 Toshiba Res Europ Ltd Method and apparatus for labelling speech
US7844457B2 (en) * 2007-02-20 2010-11-30 Microsoft Corporation Unsupervised labeling of sentence level accent
US20080249764A1 (en) * 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
US8010471B2 (en) * 2007-07-13 2011-08-30 Microsoft Corporation Multiple-instance pruning for learning efficient cascade detectors
US7987188B2 (en) * 2007-08-23 2011-07-26 Google Inc. Domain-specific sentiment classification
US8050929B2 (en) * 2007-08-24 2011-11-01 Robert Bosch Gmbh Method and system of optimal selection strategy for statistical classifications in dialog systems
US7996214B2 (en) 2007-11-01 2011-08-09 At&T Intellectual Property I, L.P. System and method of exploiting prosodic features for dialog act tagging in a discriminative modeling framework
US8086549B2 (en) 2007-11-09 2011-12-27 Microsoft Corporation Multi-label active learning
US7958068B2 (en) * 2007-12-12 2011-06-07 International Business Machines Corporation Method and apparatus for model-shared subspace boosting for multi-label classification
CN101178705A (zh) * 2007-12-13 2008-05-14 中国电信股份有限公司 一种自然语言理解方法和人机交互智能系统
US8239189B2 (en) * 2008-02-26 2012-08-07 Siemens Enterprise Communications Gmbh & Co. Kg Method and system for estimating a sentiment for an entity
US9129008B1 (en) * 2008-11-10 2015-09-08 Google Inc. Sentiment-based classification of media content
CN101488342A (zh) * 2008-12-31 2009-07-22 广东协联科贸发展有限公司 人机语言交互演绎系统及人机语言交互需求应答的智能化实现方法
CN101566998B (zh) * 2009-05-26 2011-12-28 华中师范大学 一种基于神经网络的中文问答系统
US20110106807A1 (en) * 2009-10-30 2011-05-05 Janya, Inc Systems and methods for information integration through context-based entity disambiguation
US8412530B2 (en) * 2010-02-21 2013-04-02 Nice Systems Ltd. Method and apparatus for detection of sentiment in automated transcriptions
US8589317B2 (en) 2010-12-16 2013-11-19 Microsoft Corporation Human-assisted training of automated classifiers
CN102637433B (zh) * 2011-02-09 2015-11-25 富士通株式会社 识别语音信号中所承载的情感状态的方法和系统
US8554701B1 (en) * 2011-03-18 2013-10-08 Amazon Technologies, Inc. Determining sentiment of sentences from customer reviews
US20120253792A1 (en) * 2011-03-30 2012-10-04 Nec Laboratories America, Inc. Sentiment Classification Based on Supervised Latent N-Gram Analysis
WO2013052555A1 (en) * 2011-10-03 2013-04-11 Kyaw Thu Systems and methods for performing contextual classification using supervised and unsupervised training
CN102411611B (zh) * 2011-10-15 2013-01-02 西安交通大学 一种面向即时交互文本的事件识别与跟踪方法
US9158761B2 (en) * 2012-03-28 2015-10-13 Lockheed Martin Corporation Identifying cultural background from text
WO2013155619A1 (en) 2012-04-20 2013-10-24 Sam Pasupalak Conversational agent
CN102968409B (zh) * 2012-11-23 2015-09-09 海信集团有限公司 智能人机交互语义分析方法及交互系统
US9430460B2 (en) 2013-07-12 2016-08-30 Microsoft Technology Licensing, Llc Active featuring in computer-human interactive learning
CN103474065A (zh) * 2013-09-24 2013-12-25 贵阳世纪恒通科技有限公司 基于自动分类技术的语音意图判定识别方法
US9886669B2 (en) 2014-02-26 2018-02-06 Microsoft Technology Licensing, Llc Interactive visualization of machine-learning performance

Similar Documents

Publication Publication Date Title
JP2017527926A5 (ja)
US10719763B2 (en) Image searching
CN108804512B (zh) 文本分类模型的生成装置、方法及计算机可读存储介质
US10013637B2 (en) Optimizing multi-class image classification using patch features
CN109416705B (zh) 利用语料库中可用的信息用于数据解析和预测
JP7266674B2 (ja) 画像分類モデルの訓練方法、画像処理方法及び装置
US20160283583A1 (en) Method, apparatus, and storage medium for text information processing
US10565401B2 (en) Sorting and displaying documents according to sentiment level in an online community
WO2020114100A1 (zh) 一种信息处理方法、装置和计算机存储介质
US11580119B2 (en) System and method for automatic persona generation using small text components
CN107209861A (zh) 使用否定数据优化多类别多媒体数据分类
WO2016015621A1 (zh) 人脸图片人名识别方法和系统
WO2015197029A1 (zh) 一种人脸相似度识别方法和系统
EP3129922A1 (en) Deep learning using alternating direction method of multipliers
Ringeval et al. Emotion recognition in the wild: Incorporating voice and lip activity in multimodal decision-level fusion
CN108985133B (zh) 一种人脸图像的年龄预测方法及装置
EP3115907A1 (en) Common data repository for improving transactional efficiencies of user interactions with a computing device
TW202022716A (zh) 叢集結果的解釋方法和裝置
WO2014073206A1 (ja) 情報処理装置、及び、情報処理方法
WO2020168754A1 (zh) 基于预测模型的绩效预测方法、装置及存储介质
CN106156794B (zh) 基于文字风格识别的文字识别方法及装置
WO2020114109A1 (zh) 嵌入结果的解释方法和装置
US9020212B2 (en) Automatically determining a name of a person appearing in an image
US20210232759A1 (en) Systems and methods for providing a data structure representing patent claims
JP2017083990A5 (ja)