CN112334923A - 说明辅助装置以及说明辅助方法 - Google Patents

说明辅助装置以及说明辅助方法 Download PDF

Info

Publication number
CN112334923A
CN112334923A CN201980039801.XA CN201980039801A CN112334923A CN 112334923 A CN112334923 A CN 112334923A CN 201980039801 A CN201980039801 A CN 201980039801A CN 112334923 A CN112334923 A CN 112334923A
Authority
CN
China
Prior art keywords
speech
explanation
display
sentence
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980039801.XA
Other languages
English (en)
Inventor
佐伯夏树
荒木昭一
星见昌克
釜井孝浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112334923A publication Critical patent/CN112334923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales

Abstract

说明辅助装置(2)对用户(4)的讲话中的检查对象的说明事项(C1～C10)所涉及的信息进行显示。说明辅助装置具备获取部(26)、控制部(20)、显示部(23)。获取部获取表示基于讲话的讲话语句的输入信息。控制部生成表示与讲话语句有关的说明事项的检查结果的信息。显示部显示通过控制部而生成的信息。显示部对表示通过获取部而依次获取的输入信息所示的讲话语句中，说明事项是否被说明的检查列表(50)进行显示。显示部根据规定检查列表中的说明事项的检查结果的各讲话语句的似然度而对包含该讲话语句的显示信息(55、70)进行显示。

Description

说明辅助装置以及说明辅助方法
技术领域
本公开涉及说明辅助装置以及说明辅助方法。
背景技术
专利文献1公开了一种用于辅助利用计算机终端而进行的说明的说明辅助系统。在专利文献1的说明辅助系统中，计算机终端的控制单元在集音的声音的声音识别结果中，检测到检查列表中包含的关键词的情况下，将包含检测到的关键词的消息显示于显示器。并且，控制单元提取关键词的集音时期的声音识别结果，向后台终端发送说明状况。
在先技术文献
专利文献
专利文献1：JP特开2013-25609号公报
发明内容
-发明要解决的课题-
本公开的目的在于，提供一种能够容易进行通过信息处理来检查用户对说明事项进行说明的辅助的说明辅助装置以及说明辅助方法。
-解决课题的手段-
本公开的一方式所涉及的说明辅助装置是对用户的讲话中的检查对象的说明事项所涉及的信息进行显示的装置。说明辅助装置具备获取部、控制部、显示部。获取部获取表示基于讲话的讲话语句的输入信息。控制部生成表示与讲话语句有关的说明事项的检查结果的信息。显示部显示通过控制部而生成的信息。显示部对表示由获取部依次获取的输入信息所示的讲话语句中说明事项是否被说明的检查列表进行显示。显示部根据对检查列表中的说明事项的检查结果进行规定的各讲话语句的似然度，来显示包含该讲话语句的显示信息。
本公开的一方式所涉及的说明辅助方法是对用户的讲话中的检查对象的说明事项所涉及的信息进行显示的方法。本方法包含：获取部获取表示基于讲话的讲话语句的输入信息的步骤；控制部生成表示与讲话语句有关的说明事项的检查结果的信息的步骤；和显示部显示通过控制部而生成的信息的步骤。显示部对表示通过获取部而依次获取的输入信息所示的讲话语句中说明事项是否被说明的检查列表进行显示。显示部根据对检查列表中的说明事项的检查结果进行规定的各讲话语句的似然度，来显示包含该讲话语句的显示信息。
-发明效果-
通过本公开所涉及的说明辅助装置以及说明辅助方法，能够容易进行通过信息处理来检查用户对说明事项进行说明的辅助。
附图说明
图1是表示本公开的实施方式1所涉及的说明辅助系统的概要的图。
图2是对说明辅助系统中的说明辅助装置的结构进行示例的框图。
图3是对说明辅助系统中的语言处理服务器的结构进行示例的框图。
图4是表示实施方式1的说明辅助装置中的显示例的图。
图5是表示图4之后的说明辅助装置中的显示例的图。
图6是用于对实施方式1所涉及的说明辅助系统的检测动作进行说明的流程图。
图7是用于对基于说明辅助装置的检查显示处理进行说明的流程图。
图8是用于对说明辅助装置中的履历数据进行说明的图。
图9是表示说明辅助装置中的营业会话列表的显示例的图。
图10是表示说明辅助装置中的讲话履历画面的显示例的图。
图11是表示说明辅助装置中的检查履历画面的显示例的图。
图12是用于对基于说明辅助装置的检测履历的处理进行说明的流程图。
图13是用于对实施方式2所涉及的说明辅助系统的检测动作进行说明的流程图。
图14是表示实施方式2的说明辅助装置中的显示例的图。
具体实施方式
以下，适当地参照附图，详细说明实施方式。其中，可能省略非必要详细的说明。例如，可能省略针对已知的事项的详细说明、实质相同的结构的重复说明。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员容易理解。
另外，申请人为了本领域技术人员充分理解本公开而提供附图以及以下的说明，并不意图通过这些来限定权利要求书所述的主题。
(实施方式1)
以下，使用附图，说明本公开的实施方式1。
1.结构
1-1.系统概要
使用图1来说明实施方式1所涉及的说明辅助系统。图1是表示本实施方式所涉及的说明辅助系统1的概要的图。
如图1所示，本系统1具备说明辅助装置2、语言处理服务器3、声音识别服务器11。本系统1例如自动检测进行接待顾客营业的用户4是否在针对顾客40的营业的会话中、在商品的说明或者订立合同时的说明上适当地说出重要的事项(即说明事项)，并将营业会话的检查结果可视化。
如图1所示，本实施方式所涉及的说明辅助装置2经由公用电话网以及互联网等的通信网络10，与用户4的顾客40所持的各种顾客终端41进行通信，或者与各种服务器3、11进行通信。本系统1例如在呼叫中心或者远程接待顾客系统等中，能够应用于操作人员等用户4对顾客40进行各种说明时的信息辅助。
以下，对本系统1中的说明辅助装置2以及各种服务器3、11的结构进行说明。
1-2.说明辅助装置的结构
参照图2来对本系统1中的说明辅助装置2的结构进行说明。图2是对说明辅助装置2的结构进行示例的框图。
说明辅助装置2例如包含个人计算机、平板终端或者智能电话等信息终端。图2中示例的说明辅助装置2具备控制部20、存储部21、操作部22、显示部23、机器接口24、网络接口25。以下，将接口简记为“I/F”。此外，例如说明辅助装置2具备话筒26和扬声器27。
控制部20例如包含与软件配合来实现规定的功能的CPU或者MPU，对说明辅助装置2的整体动作进行控制。控制部20读取存储部21中保存的数据以及程序并进行各种运算处理，实现各种功能。例如，控制部20执行包含用于实现本系统1中的说明辅助装置2的各种处理的命令群的程序。上述程序例如是应用程序，可以从通信网络10等提供，也可以保存于具有便携性的记录介质。
另外，控制部20也可以是被设计为实现规定的功能的专用的电子电路或者可重构的电子电路等硬件电路。控制部20也可以包含CPU、MPU、GPU、GPGPU、TPU、微型计算机、DSP、FPGA以及ASIC等的各种半导体集成电路。
存储部21是对为了实现说明辅助装置2的功能所需的程序以及数据进行存储的存储介质。如图2所示，存储部21包含保存部21a以及暂时存储部21b。
保存部21a对用于实现规定的功能的参数、数据以及控制程序等进行保存。保存部21a例如包含HDD或者SSD。例如，保存部21a对上述程序以及表示作为本系统1的检查对象的说明事项的数据等进行保存。
暂时存储部21b例如包含DRAM或者SRAM等的RAM，暂时存储(即保持)数据。例如，暂时存储部21b可以作为控制部20的工作区域而发挥功能，也可以由控制部20的内部存储器中的存储区域构成。
操作部22是用户进行操作的用户接口装置。操作部22例如包含键盘、鼠标、触摸板、触摸面板、按钮、开关以及这些的组合。操作部22是对由用户的操作输入的各信息进行获取的获取部的一个例子。
显示部23例如包含液晶显示器或者有机EL显示器。显示部23例如显示表示基于本系统1的检查结果的信息。此外，显示部23也可以显示用于对操作部22进行操作的各种图标以及从操作部22输入的信息等各种信息。
机器I/F24是用于将说明辅助装置2与外部机器连接的电路。机器I/F24是按照规定的通信标准进行通信的通信部的一个例子。规定的标准中，包含USB、HDMI(注册商标)、IEEE1395、WiFi、Bluetooth(注册商标)等。机器I/F24也可以构成在说明辅助装置2中针对外部机器接收各信息的获取部。
网络I/F25是用于经由无线或者有线的通信线路来将说明辅助装置2与通信网络10连接的电路。网络I/F25是进行依据规定的通信标准的通信的通信部的一个例子。规定的通信标准中，包含IEEE802.3、IEEE802.11a/11b/11g/11ac、便携通信的3G或者4G等的通信标准。网络I/F25也可以构成在说明辅助装置2中经由通信网络10来接收各信息的获取部。
话筒26是对声音进行收音并获取收音结果的声音数据的输入设备。话筒26是本实施方式中的获取部的一个例子。话筒26以及扬声器27例如图1示例那样，构成用户4所使用的耳机。
扬声器27是对声音数据进行声音输出的输出设备，是本实施方式中的输出部的一个例子。话筒26以及扬声器27可以与构成说明辅助装置2的信息终端外接设置，也可以内置于该信息终端。
以上的说明辅助装置2的结构是一个例子，说明辅助装置2的结构并不局限于此。此外，说明辅助装置2也可以包含并不局限于信息终端的各种计算机。此外，说明辅助装置2中的获取部也可以通过与控制部20等中的各种软件的配合来实现。说明辅助装置2中的获取部也可以通过将各种存储介质(例如保存部21a)中保存的各信息读取到控制部20的工作区域(例如暂时存储部21b)，来进行各信息的获取。
1-3.服务器结构
作为本系统1中的各种服务器3、11的硬件结构的一个例子，参照图3来说明语言处理服务器3的结构。图3是对本系统1中的语言处理服务器3的结构进行示例的框图。
图3中示例的语言处理服务器3具备运算处理部30、存储部31、通信部32。语言处理服务器3包含一个或者多个计算机。
运算处理部30例如包含与软件配合来实现规定的功能的CPU以及GPU等，对语言处理服务器3的动作进行控制。运算处理部30读取存储部31中保存的数据以及程序并进行各种运算处理，实现各种功能。
例如，运算处理部30作为执行用于检测后述的说明事项的自然语言处理的程序，执行学习模型35的程序。学习模型35例如包含前向传播型神经语言模型等的各种神经网络，具备输入层、一个或者多个中间层以及输出层。例如，学习模型35的输出层包含多个说明事项所对应的多个节点，输出每个说明事项的似然度。
进一步地，运算处理部30例如也可以通过word2vec等，执行用于生成输入到学习模型35的输入向量的单词嵌入。此外，学习模型35也可以包含单词嵌入。此外，运算处理部30也可以执行学习模型35等的用于进行机器学习的程序。上述各种程序可以从通信网络10等提供，也可以保存于具有便携性的记录介质。
另外，运算处理部30也可以是被设计为实现规定的功能的专用的电子电路或者可重构的电子电路等的硬件电路。运算处理部30也可以包含CPU、GPU、TPU、MPU、微型计算机、DSP、FPGA以及ASIC等各种半导体集成电路。
存储部31是对为了实现语言处理服务器3的功能所需的程序以及数据进行存储的存储介质，例如包含HDD或者SSD。此外，存储部31例如包含DRAM或者SRAM等，也可以作为运算处理部30的工作区域而发挥功能。存储部31例如对基于学习模型35的自然语言处理中的用语以及措辞等所涉及的各种词典、以及规定学习模型35的各种参数群以及程序进行存储。参数群例如包含神经网络的各种加权参数。存储部31也可以存储用于进行学习模型35的机器学习的训练数据以及程序。
通信部32是用于根据规定的通信标准来进行通信的I/F电路，将通信网络10或者外部机器等与语言处理服务器3通信连接。规定的通信标准中，包含IEEE802.3、IEEE802.11a/11b/11g/11ac、USB、HDMI、IEEE1395、WiFi、Bluetooth等。
声音识别服务器11在与以上的语言处理服务器3相同的结构中，例如取代学习模型35而具备实现声音识别的功能的声音识别模型。声音识别模型能够通过各种方式构成，例如也可以包含进行了机器学习的各种神经网络。
本系统1中的各种服务器3、11并不限定于上述结构，也可以具有各种结构。本系统1也可以在云计算中实现。此外，也可以共享实现各种服务器3、11的功能的硬件资源。此外，也可以各种服务器3、11的一方或者双方的功能被安装于说明辅助装置2。
2.动作
下面，对以上那样构成的说明辅助系统1以及说明辅助装置2的动作进行说明。
2-1.动作的概要
使用图1～图5来对本实施方式所涉及的说明辅助系统1以及说明辅助装置2的动作的概要进行说明。
本系统1例如图1所示，说明辅助装置2在进行用于用户4与顾客40的会话的声音通信时，进行对基于用户4的讲话的内容进行检查的检测动作。说明辅助装置2针对本系统1的检测结果进行对于用户4可视化的信息的显示。图4中示例说明辅助装置2的显示例。
图4的显示例表示针对用户4的会话的检测动作时的实时的显示的一个例子。在本显示例中，说明辅助装置2的显示部23显示各种操作按钮5、检查列表50、讲话列表55。操作按钮5例如包含通过基于操作部22的点击等来接受操作的声音识别按钮、复位按钮、设定按钮以及退出应用按钮。
检查列表50包含多个说明事项C1～C10、与各个说明事项C1～C10建立对应的检查框51。说明事项C1～C10是在用户4的讲话中作为检查对象的事项，被预先设定。说明事项C1～C10的个数并不被特别限定，能够适当地设定。以下，可能将说明事项C1～C10统称为“说明事项C”。检查框51具有：具有检查符号52的选中(ON)状态、和不具有检查符号52的清除(OFF)状态。检查列表50根据检查框51的选中/清除，表示各检查框51所对应的说明事项C是否被说明。
讲话列表55例如依次显示从最新的声音识别结果到过去的规定分钟数的讲话语句所涉及的信息。讲话列表55包含编号栏56、讲话语句栏57、备注栏58。编号栏56表示本系统1中被声音识别的讲话的顺序。讲话语句栏57表示声音识别结果的讲话语句。备注栏58表示与讲话语句建立对应的注意事项等。讲话列表55是本实施方式中的显示信息的一个例子。
在图4中，表示用户4说出“您可以入会到ABC卡”的情况下的显示例。此时，本系统1对例如上述内容的讲话语句53进行声音识别，对讲话语句53说明“卡入会指南”的说明事项C1进行检测。说明辅助装置2将该说明事项C1的检查框51从清除状态变更为选中状态，如图4所示显示于显示部23。
本系统1例如按照每次用户4的讲话反复上述的检测动作，实时更新显示部23的显示。图5中表示用户4反复讲话之后的显示部23的显示例。根据本系统1，用户4能够确认例如与顾客40的会话中通过自身的讲话而说明的说明事项C1～C7、C9、C10和未说明的说明事项C8，能够辅助用户4的营业活动等。
在执行以上的检测动作时，本系统1例如将基于学习模型35的自然语言处理应用于讲话语句，按照每个说明事项C来计算似然度。似然度表示对应的讲话语句被检测为对说明事项C进行说明的程度，例如具有0～1的范围内的值。认为使与这样的检测的过程有关的信息对用户4可视化在为了更加适当地实现用户4的辅助而运用本系统1上是有用的。
因此，在本实施方式中，说明辅助装置2例如在讲话列表55中，将与似然度相应的信息与对应的讲话语句一起显示。例如，图4的备注栏58中的“卡入会指南[99％]”表示针对对应的讲话语句53，“卡入会指南”这一说明事项C1的似然度为“0.99”。由此，用户4在本系统1中可得到检查列表50的检查结果的过程中，能够确认各个讲话在何种程度上被检测为对说明事项C1～C10进行说明。
此外，本实施方式的说明辅助装置2进行从实时的检测动作时事后也能够进行基于以上的用户4的本系统1的检测结果的确认的履历的显示。基于用户4的确认结果例如为了改善本系统1的检测精度而有用。以下，对本系统1以及说明辅助装置2的动作的详细进行说明。
2-2.说明辅助系统的检测动作
使用图6来说明本实施方式所涉及的说明辅助系统1的检测动作。图6是用于对本系统1的检测动作进行说明的流程图。
图6的流程图所示的各处理通过本系统1中的说明辅助装置2的控制部20而执行。本流程图例如在经由操作部22而在显示于显示部23的操作按钮5进行了执行声音识别的操作时开始(参照图4)。此外，在本流程图的开始时，例如检查列表50中的全部检查框51被设定为清除状态。
首先，说明辅助装置2的控制部20在话筒26中获取表示基于用户4的讲话的声音的声音数据(S1)。话筒26例如在用户4的会话中对声音进行收音，生成声音数据。收音结果的声音数据是本实施方式中的输入信息的一个例子。
接下来，控制部20通过与声音识别服务器11的通信，获取表示讲话的声音识别结果的讲话语句(S2)。此时，控制部20将输入的声音数据经由网络I/F25来发送给声音识别服务器11。
声音识别服务器11根据来自说明辅助装置2的声音数据，执行基于声音识别模型的处理，生成讲话语句的文本数据并发送给说明辅助装置2。基于声音识别模型的处理包含针对声音数据的讲话分割以及各种声音识别处理。说明辅助装置2的控制部20若从声音识别服务器11经由网络I/F25来接收讲话语句(S2)，则将接收的讲话语句和对应的声音数据记录于存储部21。
接下来，控制部20通过与语言处理服务器3的通信，获取包含每个说明事项C相对于所获取的讲话语句的似然度的似然度信息(S3)。此时，控制部20将获取的讲话语句经由网络I/F25来发送给语言处理服务器3。
语言处理服务器3若从说明辅助装置2接收讲话语句，则执行基于学习模型35的自然语言处理，生成似然度信息并发送给说明辅助装置2。例如，在该自然语言处理中，接收的讲话语句通过单词嵌入而被转换为输入向量，输入到学习模型35。学习模型35进行机器学习，以使得基于输入向量而输出的每个说明事项C的似然度表示检测出通过对应的讲话语句而各说明事项C得以说明被预测的程度。
接下来，说明辅助装置2的控制部20基于获取的讲话语句以及似然度信息，执行检查显示处理(S4)。检查显示处理是基于似然度信息，按照讲话的声音识别结果的每个讲话语句，检查各个说明项目C1～C10是否被说明，例如图4所示那样显示检查结果的处理。后面叙述检查显示处理的详细。
控制部20例如基于操作按钮5的操作，判断本系统1的检测动作是否结束(S5)。控制部20在判断为检测动作未结束的情况下(S5中为否)，返回到步骤S1，针对新的讲话执行步骤S1以后的处理。用户4例如在结束了与顾客40的会话时进行使检测动作结束的操作。
控制部20在判断为检测动作结束的情况下(S5中为是)，生成表示检测动作的履历的履历数据，保存于存储部21(S6)。后面叙述履历数据(参照图8)。
控制部20若将履历数据保存于存储部21(S6)，则结束基于本流程图的处理。
根据以上的处理，按照每次用户4讲话(S1)，计算声音识别结果的讲话语句的似然度(S2，S3)，实时显示针对各种说明事项C1～C10的检查结果(S4)。
在以上的步骤S2中获取的讲话语句的长度比规定值短的情况下，控制部20也可以省略步骤S3的处理。规定值能够设定为可认为讲话语句中中不包含各种说明事项C1～C10的说明的文字数或者语句数等。由此，能够减少针对例如会话中的应声词等与说明事项C1～C10的说明无关的讲话的处理负荷。
2-2-1.检查显示处理
使用图7来说明检查显示处理(图6的S4)的详细。
图7表示用于对基于说明辅助装置2的检查显示处理进行说明的流程图。图7的流程图在图6的步骤S2中获取一个讲话语句、并且在步骤S3中获取针对该讲话语句的似然度信息的状态下开始。
首先，说明辅助装置2的控制部20从预先设定的多个说明事项C1～C10将一个说明事项C选择为检查对象(S11)。图6的流程图为了针对一个讲话语句进行与全部说明事项C1～C10有关的检查，在步骤S11中一个一个地依次选择说明事项C。
接下来，控制部20针对选择中的说明事项C，判断获取的似然度信息中的似然度是否超过检测阈值V1(S12)。检测阈值V1是表示检测对应的说明事项C被说明的基准的阈值，例如考虑对说明事项C进行了说明的讲话语句所具有的似然度而设定。
控制部20若判断为选择中的说明事项C的似然度超过检测阈值V1(S12中为是)，则判断检查列表50中与该说明事项C建立对应的检查框51是否为选中状态(S13)。例如，在用户4在会话中未针对该选择事项说明、对应的检查框51为清除状态的情况下，控制部20在步骤S13中进入到否。
控制部20若判断为选择中的说明事项C的检查框51不是选中状态(S13中为否)，则将该检查框51从清除状态变更为选中状态，更新显示部23中的检查列表50的显示(S14)。另外，步骤S14中的显示的更新也可以与步骤S18同时进行。
进一步地，控制部20将选择中的说明事项C的似然度保持为在讲话列表55的备注栏58显示的候补(S15)。具体地，控制部20将选择中的说明事项C与似然度建立关联，作为显示候补而保持于存储部21。
另一方面，在选择中的说明事项C的检查框51为选中状态的(S13中为是)，控制部20不进行步骤S14的处理而进入到步骤S15。
此外，控制部20若判断为选择中的说明事项C的似然度未超过检测阈值V1(S12中为否)，例如，判断该似然度是否超过显示阈值V2(S16)。显示阈值V2被设定为比检测阈值V1小例如表示检测阈值V1的附近的规定宽度的值。显示阈值V2是表示虽然讲话语句的似然度未达到检测阈值V1但可能与说明事项C相关、认为应显示的基准的阈值。
控制部20若判断为选择中的说明事项C的似然度超过显示阈值V2(S16中为是)，则将该似然度保持为显示候补(S15)。另一方面，控制部20若判断为似然度未超过显示阈值V2(S16中为否)，则不进行步骤S15的处理而进入到步骤S17。
控制部20判断作为检查对象是否选择了全部说明事项C1～C10(S17)。在未选择全部说明事项C1～C10的情况下(S17中为否)，控制部20针对未选择的说明事项C进行步骤S11以后的处理。
控制部20在选择全部说明事项C1～C10并进行了检查之后(S17中为是)，控制显示部23以使得更新并显示讲话列表55(S18)。具体地，控制部20在讲话列表55的讲话语句栏57追加显示讲话语句(参照图4)。此外，在备注栏58的显示候补被保持的情况下(S15)，控制部20在备注栏58追加显示被保持的信息。
控制部20若控制显示部23以使得更新讲话列表55等(S18)，则结束图6的步骤S4的处理，进入到步骤S5。
通过以上的处理，能够针对用户4的一次讲话所对应的声音识别结果的讲话语句，基于似然度信息来进行与各说明事项C有关的检查。此时，说明辅助装置2根据似然度来使讲话列表55的显示的方式变化。用户4能够通过检查列表50以及讲话列表55，实时地确认自身的讲话的检查结果。
例如，针对似然度超过检测阈值V1的讲话语句，与检查列表50中的选中状态的检查框51一起，在讲话列表55的备注栏58显示似然度。由此，用户4能够确认检测出以何种程度的讲话对说明事项C进行了说明、或者在检查后的会话中的讲话中是否也为充分的说明等。
此外，即使似然度未达到检测阈值V1，针对超过显示阈值V2的讲话语句，也可在备注栏58显示似然度。用户4在检查框51为清除状态时的备注栏58，能够掌握自身的讲话对于说明事项C的说明是不充分的。
此外，针对似然度小于显示阈值V2的讲话语句，在讲话列表55的备注栏58不显示似然度。由此，例如对于闲聊等与任何说明事项C1～C10都无关的讲话，能够省略备注栏58的显示。
此外，通过以上的处理，在针对一个讲话语句的多个说明事项C的似然度超过检测阈值V1的情况下(S12中为是)，能够根据该讲话语句来将多个检查框51更新为选中状态(S14)。在针对一个讲话语句的多个说明事项C的似然度超过显示阈值V2的情况下(S16中为是)，在备注栏58一并标注例如多个似然度(S16、S18)。
2-3.关于履历数据
本实施方式所涉及的说明辅助装置2每当以上的检测动作被实施则将履历数据蓄积于存储部21(图6的S6)。使用图8来说明履历数据。
图8是用于对说明辅助装置2中的履历数据D1进行说明的图。履历数据D1例如按照每个“营业会话ID”而被管理。“营业会话ID”是对本系统1的检测动作被实施的会话进行识别的ID。履历数据D1例如图8所示，将“讲话编号”、“声音数据”、“讲话语句”、“似然度信息”、“用户评价信息”建立关联并进行记录。
此外，履历数据D1与检测动作时使用的检测阈值V1也可以在存储部21中被建立关联并管理。检测阈值V1也可以针对各说明事项C1～C10而被分别管理。
在履历数据D1中，“讲话编号”表示通过营业会话ID而识别的会话中成为声音识别的对象的讲话的顺序。“声音数据”是成为声音识别的对象的讲话的声音数据，按照每个讲话而被分割为各个文件。“讲话语句”表示与各讲话编号的文件的声音数据对应的讲话的声音识别结果的文本数据。“似然度信息”包含针对讲话语句的每个说明事项C的似然度。“用户评价信息”如后面所述，表示针对本系统1的检测结果的用户4的评价。
在图6的流程图中，说明辅助装置2的控制部20将每次反复步骤S1～S5则获取的讲话语句、声音数据和似然度信息相互建立关联，依次分配讲话编号并记录于履历数据D1(S6)。另外，在步骤S6的时刻，用户评价信息不被特别记录，为空值“-”。
2-4.关于履历的确认显示
本实施方式的说明辅助装置2能够基于以上的履历数据D1，进行用于使用户4确认检测结果的各种显示。使用图9～图12来对说明辅助装置2中的履历的确认显示进行说明。
图9表示说明辅助装置2的显示部23中的营业会话列表6的显示例。营业会话列表6例如根据操作按钮5中确认设定的操作而被显示。
营业会话列表6例如按照每个履历数据D1的营业会话ID，对执行了基于本系统1的检测动作的履历的信息进行管理。在图9的例子中，营业会话列表6包含担当者栏61、时间栏62、客人栏63、检查履历图标64、讲话履历图标65。
在营业会话列表6中，担当者栏61表示基于本系统1的检测动作时的营业会话中的用户4。时间栏62表示进行了营业会话的时间。客人栏63表示检测动作时的营业会话中的顾客40。检查履历图标64接受用于显示检查履历画面的操作。检查履历画面对基于本系统1的检测动作时的最终的检查列表50进行显示。讲话履历图标65接受用于显示讲话履历画面的操作。
图10表示显示部23中的讲话履历画面的显示例。讲话履历画面将与被操作的讲话履历图标65建立对应的营业会话的履历数据D1中的作为讲话履历的各讲话语句、和用于再现声音数据的再现栏66建立对应并进行显示。此外，在图10的显示例中，在讲话履历画面显示检索栏67。说明辅助装置2根据检索栏67的操作，例如针对讲话语句进行关键词检索。检索栏67的检索范围也可以按照讲话语句的行单位而被指定。
图11表示显示部23中的检查履历画面的显示例。本实施方式的说明辅助装置2例如在检查履历画面的检查列表50，通过进行双击说明事项C1～C10的任何文本部分等操作，通过弹出来显示针对操作的说明事项C的检测履历列表70。在图11中，示例显示针对“确认联络”这一说明事项C2的检测履历列表70的状态。
检测履历列表70是包含被检测为在营业会话时说明了特定的说明事项C、或者可能进行了说明的讲话语句的列表。根据检测履历列表70，不仅能够确认本系统1的检测动作时将检查框51设为选中状态的讲话的讲话语句，电能够确认在之后的讲话中被检测为说明了该说明事项C的讲话语句。检测履历列表70是本实施方式中的显示信息的一个例子。
在图11的显示例中，检测履历列表70将再现栏71、讲话语句、系统检测框72、用户评价框73建立对应并进行显示。系统检测框72具有表示在本系统1的检测动作时、是否检测出对应的讲话语句说明了说明事项的选中/清除状态。
用户评价框73具有例如针对系统检测框72所示的检测结果表示正/误的评价的选中/清除状态。用户评价框73的选中/清除状态能够通过点击等用户4的操作来变更。
本实施方式的说明辅助装置2将基于用户评价框73的信息保存于履历数据D1的用户评价信息。履历数据D1中的用户评价信息能够用于本系统1的检测精度的提高。例如，能够调整本系统1中的检测阈值V1，或者在学习模型35的主动学习等的机器学习中用作为教示数据。
使用图12来说明以上的检测履历列表70的说明辅助装置2的处理。图12是用于对基于说明辅助装置2的检测履历的处理进行说明的流程图。
图12的流程图所示的各处理通过说明辅助装置2的控制部20而被执行。图12的流程图在上述检查履历画面中，在经由操作部22而对检查列表50中的说明事项C进行指定的操作被输入时开始。
首先，控制部20针对通过用户4的操作而指定的说明事项C，检索履历数据D1中超过检索阈值V3的似然度所建立关联的讲话语句(S21)。检索阈值V3是作为用于进行与特定的说明事项有关的检索的基准的阈值，例如被设定为V3＝V1。检索阈值V3并不局限于此，例如也可以在V2以上且V1以下的范围内被适当地设定。
接下来，控制部20基于履历数据D1的检索结果，生成检测履历列表70以使得包含被检索的讲话语句，例如通过弹出来使显示部23显示检测履历列表70(S22)。此时，检测履历列表70中的系统检测框72根据似然度是否超过检测阈值V1而被设定为选中或者清除。用户评价框73例如在初始状态下全部被设定为清除或者选中。
接下来，控制部20接受检测履历列表70中的操作，执行与各种操作相应的控制(S23)。例如，在用户评价框73被操作的情况下，控制部20控制显示部23，以使得切换显示被操作的用户评价框73的选中状态或者清除状态。此外，在再现栏71被操作的情况下，控制部20控制扬声器27以使得再现基于被操作的再现栏71的声音。
控制部20例如根据附于检测履历列表70的弹出的关闭按钮75的操作，判断检测履历列表70的操作是否结束(S24)。控制部20执行步骤S23，直到检测履历列表70的操作结束(S24中为否)。
若检测履历列表70的操作结束(S24中为是)，则控制部20例如根据操作结束时的用户评价框73的状态，更新履历数据D1(S25)。控制部20在保存于存储部21的履历数据D1中，根据检测履历列表70的操作结束时的各讲话语句的用户评价框73的选中状态或者清除状态，在用户评价信息记录“Y”或者“N”(参照图8)。此时，用户评价信息中不是评价对象的栏被维持为“-”。
此外，控制部20将检测履历列表70的弹出显示消除(S26)，结束基于本流程图的处理。另外，步骤S25、S26的处理顺序并不被特别限定。
通过以上的处理，控制部20根据与用户4所指定的说明事项C有关的似然度，使显示部23显示包含履历数据D1中的讲话语句的检测履历列表70(S22)。在检测履历列表70中，用户4能够评价与指定的说明事项C有关的讲话语句的检测结果是否适当。
3.总结
如以上那样，在本实施方式中，说明辅助装置2对与用户4的讲话中的检查对象的说明事项C1～C10有关的信息进行显示。说明辅助装置2具备作为获取部的一个例子的话筒26、控制部20、显示部23。话筒26作为表示基于讲话的讲话语句的输入信息，获取声音数据(S1)。控制部20生成表示与讲话语句有关的说明事项的检查结果的信息(S4)。显示部23对通过控制部20而生成的信息进行显示(S14、S18、S22)。显示部23对表示通过话筒26而依次获取的输入信息所示的讲话语句中说明事项C1～C10是否被说明的检查列表50进行显示。显示部23作为根据对检查列表50中的说明事项C的检查结果进行规定的各讲话语句的似然度而包含该讲话语句的显示信息，显示讲话列表55或者检测履历列表70(S18、S22)。
通过以上的说明辅助装置2，显示与检查对象的说明事项C有关的检查列表50、以及根据似然度而包含讲话语句的显示信息。由此，能够容易进行通过信息处理来检测用户4对说明事项C进行说明的辅助。
在本实施方式中，检查列表50基于各讲话语句的似然度来表示说明事项C是否被说明。用户4能够基于显示信息中的似然度来确认可得到检查列表50的检查结果，容易进行用户4的信息辅助。
在本实施方式中，显示部23每次从话筒26获取输入信息(S1)，更新讲话列表55(S18)。由此，用户4能够在讲话中等实时地确认本系统1的检测结果。
在本实施方式中，作为显示信息的讲话列表55包含表示讲话语句的讲话语句栏57、表示该讲话语句的似然度的大小的备注栏58。用户4能够进行确认以使得在讲话列表55中对讲话语句与似然度的大小进行比较。
在本实施方式中，说明辅助装置2还具备对将讲话语句与似然度建立关联的履历数据D1进行记录的存储部21。控制部20基于存储部21中记录的履历数据D1，生成作为显示信息的检测履历列表70(S22)。由此，用户4能够事后确认本系统1的检测结果。检测履历列表70也可以包含用于再现针对被选择的说明事项C的声音数据的再现栏71、和针对被选择的说明事项C的讲话语句的显示。
在本实施方式中，检测履历列表70包含履历数据D1中的每个讲话语句，表示被建立关联的似然度是否超过规定的检测阈值V1的系统检测框72。通过系统检测框72，在检测履历列表70中用户4能够容易确认本系统1的检测结果。
在本实施方式中，还具备操作部22，该操作部22按检测履历列表70中的每个讲话语句，输入用户评价框73中对说明事项C的检查结果进行评价的用户的操作。由此，能够得到表示用户4针对本系统1的检测结果的评价的信息，能够容易运用本系统1。
在本实施方式中，说明辅助装置2的获取部包含作为输入信息而获取声音数据的话筒26。讲话语句表示声音数据的声音识别结果。根据用户4说出的声音，能够实施本系统1的检测动作。
本实施方式中的说明辅助方法是显示与用户4的讲话中的检查对象的说明事项C1～C10有关的信息的方法。本方法包含：获取部获取表示基于讲话的讲话语句的输入信息的步骤S1；控制部20生成表示与讲话语句有关的说明事项的检查结果的信息的步骤S4；显示部23显示通过控制部20而生成的信息的步骤S14、S18、S22。显示部23在通过获取部而依次获取的输入信息所示的讲话语句，显示表示说明事项C1～C10是否被说明的检查列表50。显示部23根据对检查列表50中的说明事项C的检查结果进行规定的各讲话语句的似然度，显示包含该讲话语句的显示信息。
在本实施方式中，提供用于使计算机的控制部20执行上述的说明辅助方法的程序。通过本实施方式的说明辅助方法，能够容易进行用户4通过信息处理来检查对说明事项C进行说明的辅助。
(实施方式2)
以下，使用附图，对实施方式2进行说明。在实施方式1中，对检测用户4的讲话中是否说明了说明事项的说明辅助系统1进行了说明。在实施方式2中，进一步对检测用户4的讲话中有无NG短语的说明辅助系统1进行说明。
以下，适当省略与实施方式1所涉及的说明辅助系统1相同的结构、动作的说明，对本实施方式所涉及的说明辅助系统1以及说明辅助装置2进行说明。
图13是用于对实施方式2所涉及的说明辅助系统1的检测动作进行说明的流程图。本实施方式所涉及的说明辅助系统1除了与图6相同的处理，还如图13所示，执行用于NG短语的检测的处理(S31～S33)。
本实施方式中的说明辅助装置2的控制部20基于步骤S2、S3中获取的讲话语句或者似然度信息，检测讲话语句是否为预先设定的NG短语(即禁止短语)(S31)。步骤S31的判断也可以通过在讲话语句中对规定的NG短语进行关键词检测而进行。此外，也可以通过学习模型35进行机器学习，以使得与各种说明事项C1～C10的似然度一起，输出表示对讲话语句为NG短语进行预测的程度的似然度而实现。
控制部20若检测讲话语句不是NG短语(S31中为否)，则从说明辅助装置2向顾客终端41发送讲话语句所对应的声音数据(S32)。例如，控制部20将步骤S1中获取的声音数据进行缓存直到步骤S31的判断时。
另一方面，若检测讲话语句是NG短语(S31中为是)，则例如控制网络I/F25，以使得将从说明辅助装置2向顾客终端41的该声音数据的发送切断(S33)。由此，若检测到用户4说出NG短语，则能够使得说出NG短语的声音不被顾客40识别。
图14表示本实施方式的说明辅助装置2中的显示例。在检测到以上的NG短语时(S31中为是)，说明辅助装置2也可以在检查显示处理(S4)中，进行用于对用户4警告NG短语的显示。在图14中，表示“能够约定较大利益”这一讲话语句54被检测为NG短语时的显示例。在本显示例中，显示部23在上述的讲话语句54所对应的备注栏58显示为“警告文”。由此，在NG短语被检测时能够促使用户4引起注意。
如以上那样，在本实施方式中，说明辅助装置2还具备向外部发送表示讲话语句的信息的网络I/F25或者机器I/F24这一通信部。控制部20若在讲话语句中检测规定的禁止短语即NG短语，则控制通信部，以使得将表示检测到NG短语的讲话语句的信息的发送切断。由此，表示NG短语的信息不被选择性地发送给外部，能够对用户4进行信息辅助。
(其他实施方式)
如以上那样，作为本申请中公开的技术的示例，说明了实施方式1～2。但是，本公开中的技术并不局限于此，也能够应用于适当地进行了变更、置换、附加、省略等的实施方式。此外，也能够将上述各实施方式中说明的各结构要素组合，设为新的实施方式。因此，以下，示例其他实施方式。
在上述各实施方式中，说明辅助系统1的说明辅助装置2与顾客终端41进行了声音通信。本实施方式的说明辅助装置2并不特别局限于声音通信，也可以进行各种数据通信。
此外，在上述各实施方式中，说明辅助系统1的说明辅助装置2与顾客终端41进行了通信，但本实施方式的说明辅助装置2也可以不特别与顾客终端41进行通信。本系统1也可以应用于例如金融机构的窗口等各种面对面接待顾客。此时，说明辅助装置2能够构成为适当地识别用户4的讲话和顾客40的讲话。
此外，在上述各实施方式中，作为说明辅助装置2的输入信息，示例了讲话的声音数据。在本实施方式中，说明辅助装置2的输入信息也可以不是声音数据，也可以是文本数据。本系统1例如也能够应用于各种电子会议等。
如以上那样，作为本公开中的技术的示例，说明了实施方式。为此，提供了附图以及详细的说明。
因此，附图以及详细的说明所述的结构要素之中，不仅包含为了课题解决所需的结构要素，为了示例上述技术，可能包含并非为了课题解决所需的结构要素。因此，即使这些非必须的结构要素被记载于附图、详细的说明，也不应直接将这些非必须的结构要素认定为必须。
此外，上述的实施方式用于示例本公开中的技术，因此在权利要求书或者其等同的范围内，能够进行各种变更、置换、附加、省略等。
产业上的可利用性
本公开能够应用于用户进行各种说明时的信息辅助，例如能够应用于呼叫中心、远程接待顾客系统或者各种面对面接待顾客。

Claims (12)

1.一种说明辅助装置，对用户的讲话中的检查对象的说明事项所涉及的信息进行显示，所述说明辅助装置具备：
获取部，获取表示基于所述讲话的讲话语句的输入信息；
控制部，生成表示与所述讲话语句有关的所述说明事项的检查结果的信息；和
显示部，显示由所述控制部生成的信息，
所述显示部对表示由所述获取部依次获取的输入信息所示的讲话语句中所述说明事项是否被说明的检查列表进行显示，
所述显示部根据对所述检查列表中的所述说明事项的检查结果进行规定的各讲话语句的似然度，来显示包含该讲话语句的显示信息。
2.根据权利要求1所述的说明辅助装置，其中，
所述检查列表基于所述各讲话语句的似然度来表示所述说明事项是否被说明。
3.根据权利要求1或者2所述的说明辅助装置，其中，
所述显示部每当从所述获取部获取所述输入信息，则更新所述显示信息。
4.根据权利要求1～3的任一项所述的说明辅助装置，其中，
所述显示信息包含对所述讲话语句和该讲话语句的似然度的大小进行表示的信息。
5.根据权利要求1～4的任一项所述的说明辅助装置，其中，
所述说明辅助装置还具备：存储部，对将所述讲话语句与所述似然度建立关联的履历数据进行记录，
所述控制部基于所述存储部中记录的履历数据，生成所述显示信息。
6.根据权利要求5所述的说明辅助装置，其中，
所述显示信息包含：按所述履历数据中的每个讲话语句来表示被建立关联的似然度是否超过规定的阈值的信息。
7.根据权利要求5所述的说明辅助装置，其中，
所述显示信息包含：用于再现与被选择的说明事项相关的声音数据的再现栏、以及与被选择的所述说明事项相关的讲话语句的显示。
8.根据权利要求1～7的任一项所述的说明辅助装置，其中，
所述说明辅助装置还具备：操作部，输入按所述显示信息中的每个讲话语句来对所述说明事项的检查结果进行评价的用户的操作。
9.根据权利要求1～8的任一项所述的说明辅助装置，其中，
所述说明辅助装置还具备：通信部，向外部发送表示所述讲话语句的信息，
所述控制部控制所述通信部，以使得：若在所述讲话语句中检测规定的禁止短语，则切断表示所述禁止短语被检测出的讲话语句的信息的发送。
10.根据权利要求1～9的任一项所述的说明辅助装置，其中，
所述获取部包含作为所述输入信息而获取声音数据的话筒，
所述讲话语句表示所述声音数据的声音识别结果。
11.一种说明辅助方法，对用户的讲话中的检查对象的说明事项所涉及的信息进行显示，所述说明辅助方法包含：
获取部获取表示基于所述讲话的讲话语句的输入信息的步骤；
控制部生成表示与所述讲话语句有关的所述说明事项的检查结果的信息的步骤；和
显示部显示由所述控制部生成的信息的步骤，
所述显示部对表示由所述获取部依次获取的输入信息所示的讲话语句中所述说明事项是否被说明的检查列表进行显示，
所述显示部根据对所述检查列表中的所述说明事项的检查结果进行规定的各讲话语句的似然度，来显示包含该讲话语句的显示信息。
12.一种程序，用于使计算机执行权利要求11所述的方法。
CN201980039801.XA 2018-09-27 2019-09-18 说明辅助装置以及说明辅助方法 Pending CN112334923A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-182534 2018-09-27
JP2018182534A JP7142315B2 (ja) 2018-09-27 2018-09-27 説明支援装置および説明支援方法
PCT/JP2019/036504 WO2020066778A1 (ja) 2018-09-27 2019-09-18 説明支援装置および説明支援方法

Publications (1)

Publication Number Publication Date
CN112334923A true CN112334923A (zh) 2021-02-05

Family

ID=69953451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039801.XA Pending CN112334923A (zh) 2018-09-27 2019-09-18 说明辅助装置以及说明辅助方法

Country Status (4)

Country Link
US (1) US11942086B2 (zh)
JP (1) JP7142315B2 (zh)
CN (1) CN112334923A (zh)
WO (1) WO2020066778A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2620533A (en) * 2021-03-31 2024-01-10 Ntt Technocross Corp Information processing device, information processing method, and program

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766069B1 (en) * 1999-12-21 2004-07-20 Xerox Corporation Text selection from images of documents using auto-completion
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
US10423862B2 (en) * 2004-04-01 2019-09-24 Google Llc Capturing text from rendered documents using supplemental information
US7461004B2 (en) * 2004-05-27 2008-12-02 Intel Corporation Content filtering for a digital audio signal
US8825379B2 (en) * 2005-01-05 2014-09-02 Sirius Xm Connected Vehicle Services Inc. Systems and methods for off-board voice-automated vehicle navigation
JP2008033879A (ja) * 2006-06-28 2008-02-14 Aioi Kiso Kenkyusho:Kk 契約支援システム
JP4690999B2 (ja) 2006-11-15 2011-06-01 三菱電機インフォメーションシステムズ株式会社 オペレータ業務支援システム
US7982609B2 (en) * 2008-06-18 2011-07-19 Microsoft Corporation RFID-based enterprise intelligence
US20100331041A1 (en) * 2009-06-26 2010-12-30 Fuji Xerox Co., Ltd. System and method for language-independent manipulations of digital copies of documents through a camera phone
US8521526B1 (en) * 2010-07-28 2013-08-27 Google Inc. Disambiguation of a spoken query term
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
WO2012047541A1 (en) * 2010-09-28 2012-04-12 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
US20120232983A1 (en) * 2011-03-11 2012-09-13 McKesson Speciality Arizona Inc. Method and apparatus for providing dynamically optimized incentives
US20230153347A1 (en) * 2011-07-05 2023-05-18 Michael Stewart Shunock System and method for annotating images
US8587635B2 (en) * 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
JP5329610B2 (ja) * 2011-07-22 2013-10-30 みずほ情報総研株式会社 説明支援システム、説明支援方法及び説明支援プログラム
CN104919507B (zh) * 2012-06-14 2018-06-26 百利游戏技术有限公司 用于增强现实游戏的系统和方法
US20150169525A1 (en) * 2012-09-14 2015-06-18 Leon Gomes Palm Augmented reality image annotation
US9685095B2 (en) * 2013-06-24 2017-06-20 SparxTeq Inc. Systems and methods for assessment administration and evaluation
JP6543460B2 (ja) * 2013-12-18 2019-07-10 ハーマン インターナショナル インダストリーズ インコーポレイテッド 音声認識問い合わせ応答システム
US10162337B2 (en) * 2014-09-15 2018-12-25 Desprez, Llc Natural language user interface for computer-aided design systems
US11599086B2 (en) * 2014-09-15 2023-03-07 Desprez, Llc Natural language user interface for computer-aided design systems
WO2016058847A1 (en) * 2014-10-13 2016-04-21 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
EP3215956A1 (en) * 2014-11-07 2017-09-13 PCMS Holdings, Inc. System and method for augmented reality annotations
US9472115B2 (en) * 2014-11-19 2016-10-18 International Business Machines Corporation Grading ontological links based on certainty of evidential statements
US10007719B2 (en) * 2015-01-30 2018-06-26 Microsoft Technology Licensing, Llc Compensating for individualized bias of search users
EP3254453B1 (en) * 2015-02-03 2019-05-08 Dolby Laboratories Licensing Corporation Conference segmentation based on conversational dynamics
US20180190266A1 (en) * 2015-02-03 2018-07-05 Dolby Laboratories Licensing Corporation Conference word cloud
US11076052B2 (en) * 2015-02-03 2021-07-27 Dolby Laboratories Licensing Corporation Selective conference digest
US20170091572A1 (en) * 2015-06-07 2017-03-30 Apple Inc. System And Method For Text Detection In An Image
US10382379B1 (en) * 2015-06-15 2019-08-13 Guangsheng Zhang Intelligent messaging assistant based on content understanding and relevance
US10897490B2 (en) * 2015-08-17 2021-01-19 E-Plan, Inc. Systems and methods for augmenting electronic content
CN106470363B (zh) * 2015-08-18 2019-09-13 阿里巴巴集团控股有限公司 对比赛进行文字直播的方法及装置
US10140314B2 (en) * 2015-08-21 2018-11-27 Adobe Systems Incorporated Previews for contextual searches
JP6589514B2 (ja) * 2015-09-28 2019-10-16 株式会社デンソー 対話装置及び対話制御方法
US10079021B1 (en) * 2015-12-18 2018-09-18 Amazon Technologies, Inc. Low latency audio interface
US10186255B2 (en) * 2016-01-16 2019-01-22 Genesys Telecommunications Laboratories, Inc. Language model customization in speech recognition for speech analytics
US10572524B2 (en) * 2016-02-29 2020-02-25 Microsoft Technology Licensing, Llc Content categorization
US9936066B1 (en) * 2016-03-16 2018-04-03 Noble Systems Corporation Reviewing portions of telephone call recordings in a contact center using topic meta-data records
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment
GB2549117B (en) * 2016-04-05 2021-01-06 Intelligent Voice Ltd A searchable media player
US10609093B2 (en) * 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
EP3809283A1 (en) * 2016-05-13 2021-04-21 Equals 3 LLC Searching structured and unstructured data sets
JP6719739B2 (ja) * 2016-05-20 2020-07-08 日本電信電話株式会社 対話方法、対話システム、対話装置、及びプログラム
EP3252769B8 (en) * 2016-06-03 2020-04-01 Sony Corporation Adding background sound to speech-containing audio data
US10621581B2 (en) * 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
CN106205622A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 信息处理方法及电子设备
US20180025726A1 (en) * 2016-07-22 2018-01-25 International Business Machines Corporation Creating coordinated multi-chatbots using natural dialogues by means of knowledge base
US20210142706A1 (en) * 2016-09-30 2021-05-13 Hewlett-Packard Development Company, L.P. Mobile device with transparent display and scanner
US10896395B2 (en) * 2016-09-30 2021-01-19 Genesys Telecommunications Laboratories, Inc. System and method for automatic quality management and coaching
KR101934280B1 (ko) * 2016-10-05 2019-01-03 현대자동차주식회사 발화내용 분석 장치 및 방법
JP6731326B2 (ja) * 2016-10-31 2020-07-29 ファーハット ロボティクス エービー 音声対話装置及び音声対話方法
US10158634B2 (en) * 2016-11-16 2018-12-18 Bank Of America Corporation Remote document execution and network transfer using augmented reality display devices
US20180144738A1 (en) * 2016-11-23 2018-05-24 IPsoft Incorporated Selecting output from candidate utterances in conversational interfaces for a virtual agent based upon a priority factor
US10217375B2 (en) * 2016-12-13 2019-02-26 Bank Of America Corporation Virtual behavior training using augmented reality user devices
WO2018112445A1 (en) * 2016-12-16 2018-06-21 Second Mind Labs, Inc. Systems to augment conversations with relevant information or automation using proactive bots
US20210192302A1 (en) * 2017-01-04 2021-06-24 Advanced Functional Fabrics Of America Uniquely Identifiable Articles of Fabric Configured for Data Communication
US20180293221A1 (en) * 2017-02-14 2018-10-11 Microsoft Technology Licensing, Llc Speech parsing with intelligent assistant
US10558467B2 (en) * 2017-03-30 2020-02-11 International Business Machines Corporation Dynamically generating a service pipeline comprising filtered application programming interfaces
WO2018177561A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Management of human-machine dialogue involving multiple parties
WO2019018982A1 (en) * 2017-07-24 2019-01-31 Beijing Didi Infinity Technology And Development Co., Ltd. SYSTEM AND METHOD FOR PROVIDING INFORMATION FOR SERVICE ON DEMAND
US10923121B2 (en) * 2017-08-11 2021-02-16 SlackTechnologies, Inc. Method, apparatus, and computer program product for searchable real-time transcribed audio and visual content within a group-based communication system
US20190065615A1 (en) * 2017-08-28 2019-02-28 Bridgit, S.P.C. System for creating and retrieving contextual links between user interface objects
US10812422B2 (en) * 2017-08-31 2020-10-20 Rpx Corporation Directional augmented reality system
US11249714B2 (en) * 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
US11430347B2 (en) * 2017-09-18 2022-08-30 Microsoft Technology Licensing, Llc Providing diet assistance in a session
WO2019136387A1 (en) * 2018-01-08 2019-07-11 Ebay Inc. Artificial assistant system notifications
JP7062966B2 (ja) * 2018-01-19 2022-05-09 富士フイルムビジネスイノベーション株式会社 音声解析装置、音声解析システム、及びプログラム
US10679620B2 (en) * 2018-03-06 2020-06-09 GM Global Technology Operations LLC Speech recognition arbitration logic
US11113472B2 (en) * 2018-03-14 2021-09-07 At&T Intellectual Property I, L.P. Content curation for course generation
US10782986B2 (en) * 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11322264B2 (en) * 2018-04-23 2022-05-03 DNAFeed Inc. Systems and methods for human-augmented communications
US20210235997A1 (en) * 2018-04-30 2021-08-05 Koninklijke Philips N.V. Flagging a portion of a recording for review
WO2019217096A1 (en) * 2018-05-08 2019-11-14 MZ IP Holdings, LLC. System and method for automatically responding to user requests
JP7059813B2 (ja) * 2018-05-31 2022-04-26 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム
JP7151181B2 (ja) * 2018-05-31 2022-10-12 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム
EP3811245A4 (en) * 2018-06-19 2022-03-09 Ellipsis Health, Inc. MENTAL HEALTH ASSESSMENT SYSTEMS AND METHODS
EP3785142A1 (en) * 2018-07-09 2021-03-03 Google LLC Visual menu
US20200043479A1 (en) * 2018-08-02 2020-02-06 Soundhound, Inc. Visually presenting information relevant to a natural language conversation
DE112018007847B4 (de) * 2018-08-31 2022-06-30 Mitsubishi Electric Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DK201870623A1 (en) * 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
EP3775733A4 (en) * 2018-09-18 2021-09-22 Samsung Electronics Co., Ltd. REFRIGERATOR AND METHOD OF CONTROLLING IT
US11295124B2 (en) * 2018-10-08 2022-04-05 Xerox Corporation Methods and systems for automatically detecting the source of the content of a scanned document
US11151307B2 (en) * 2018-11-13 2021-10-19 Adobe Inc. Mapping annotations to ranges of text across documents
US11340758B1 (en) * 2018-12-27 2022-05-24 Meta Platforms, Inc. Systems and methods for distributing content
US11017237B1 (en) * 2018-12-27 2021-05-25 Facebook, Inc. Systems and methods for automated video classification
WO2020148658A2 (en) * 2019-01-18 2020-07-23 Rathod Yogesh Methods and systems for displaying on map current or nearest and nearby or searched and selected location(s), geo-fence(s), place(s) and user(s) and identifying associated payments and account information for enabling to make and receive payments
US11631039B2 (en) * 2019-02-11 2023-04-18 SupportLogic, Inc. Generating priorities for support tickets
US11204743B2 (en) * 2019-04-03 2021-12-21 Hia Technologies, Inc. Computer system and method for content authoring of a digital conversational character
US11257272B2 (en) * 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
US10884575B2 (en) * 2019-05-20 2021-01-05 Microsoft Technology Licensing, Llc Extensible and adaptable toolsets for collaboration applications
US11280913B2 (en) * 2019-05-31 2022-03-22 At&T Intellectual Property I, L.P. Global positioning system spoofing countermeasures
US20200387276A1 (en) * 2019-06-04 2020-12-10 Tangible Play, Inc. Virtualization of physical activity surface
CA3137927A1 (en) * 2019-06-06 2020-12-10 Artie, Inc. Multi-modal model for dynamically responsive virtual characters
US11526484B2 (en) * 2019-07-10 2022-12-13 Madcap Software, Inc. Methods and systems for creating and managing micro content from an electronic document
CN113287103A (zh) * 2019-08-05 2021-08-20 谷歌有限责任公司 媒体项中的事件进度检测
CN112416984A (zh) * 2019-08-21 2021-02-26 华为技术有限公司 一种数据处理方法及其装置
US20210056251A1 (en) * 2019-08-22 2021-02-25 Educational Vision Technologies, Inc. Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource
US11379529B2 (en) * 2019-09-09 2022-07-05 Microsoft Technology Licensing, Llc Composing rich content messages
US11849196B2 (en) * 2019-09-11 2023-12-19 Educational Vision Technologies, Inc. Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter
EP4035316A1 (en) * 2019-09-23 2022-08-03 Direqt, Inc. Enhancing messages with dynamic content
US11636438B1 (en) * 2019-10-18 2023-04-25 Meta Platforms Technologies, Llc Generating smart reminders by assistant systems
AU2020376970A1 (en) * 2019-10-28 2022-04-14 Nui Markets Australia Pty Limited Primary production trading platform system and interface
US11556610B2 (en) * 2019-11-08 2023-01-17 Accenture Global Solutions Limited Content alignment
US11496797B2 (en) * 2019-12-13 2022-11-08 At&T Intellectual Property I, L.P. Methods, systems, and devices for providing augmented reality content based on user engagement
KR20210102698A (ko) * 2020-02-12 2021-08-20 라인플러스 주식회사 영상 통화 봇을 이용한 커뮤니케이션을 제공하는 방법, 시스템, 및 컴퓨터 프로그램
US11093691B1 (en) * 2020-02-14 2021-08-17 Capital One Services, Llc System and method for establishing an interactive communication session

Also Published As

Publication number Publication date
US11942086B2 (en) 2024-03-26
WO2020066778A1 (ja) 2020-04-02
JP2020052809A (ja) 2020-04-02
JP7142315B2 (ja) 2022-09-27
US20210104240A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
KR102151681B1 (ko) 언어 모델용 대화 상태들 결정
US9742912B2 (en) Method and apparatus for predicting intent in IVR using natural language queries
US9847084B2 (en) Personality-based chatbot and methods
US11769492B2 (en) Voice conversation analysis method and apparatus using artificial intelligence
US10083686B2 (en) Analysis object determination device, analysis object determination method and computer-readable medium
US11238872B2 (en) Method and apparatus for managing agent interactions with enterprise customers
WO2019018061A1 (en) AUTOMATIC INTEGRATION OF CAPTURE AND IMAGE RECOGNITION IN VOICE INTERROGATION TO UNDERSTAND INTENT
US7567904B2 (en) Mobile listing system
JP2012226299A (ja) 音声命令語処理装置及びその方法
EP3593346B1 (en) Graphical data selection and presentation of digital content
KR101934280B1 (ko) 발화내용 분석 장치 및 방법
JP2023029982A (ja) 操作入力方法、操作入力システムおよび操作端末
CN112334923A (zh) 说明辅助装置以及说明辅助方法
JP2007304776A (ja) 文書検索装置
CN110308886A (zh) 提供与个性化任务相关联的声音命令服务的系统和方法
JP2011065304A (ja) 接客業務用サーバ、並びに、当該サーバを用いる接客システム及び接客業務の予測終了時間算出方法
KR20220109238A (ko) 사용자의 발화 입력에 관련된 추천 문장을 제공하는 디바이스 및 방법
US11895269B2 (en) Determination and visual display of spoken menus for calls
CN114067842B (zh) 客户满意度鉴别方法及装置、存储介质及电子设备
KR20200082232A (ko) 감성 분석 장치, 이를 포함하는 대화형 에이전트 시스템, 감성 분석을 수행하기 위한 단말 장치 및 감성 분석 방법
TWI582756B (zh) A method of switching input mode, a mobile communication device, and a computer readable medium
JP6929960B2 (ja) 情報処理装置及び情報処理方法
JP2018045208A (ja) 会議支援システム、会議支援方法及びプログラム
WO2023019517A1 (zh) 推荐指令的方法及其装置
US20230267279A1 (en) Modifying dynamic conversational responses based on detecting references to socially close people

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination