CN114500419A - 信息交互方法、设备以及系统 - Google Patents
信息交互方法、设备以及系统 Download PDFInfo
- Publication number
- CN114500419A CN114500419A CN202210129192.0A CN202210129192A CN114500419A CN 114500419 A CN114500419 A CN 114500419A CN 202210129192 A CN202210129192 A CN 202210129192A CN 114500419 A CN114500419 A CN 114500419A
- Authority
- CN
- China
- Prior art keywords
- question
- voice call
- user
- voice
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003993 interaction Effects 0.000 title claims abstract description 55
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000015654 memory Effects 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 235000015203 fruit juice Nutrition 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
Abstract
本申请提供一种信息交互方法、设备以及系统。该信息交互方法包括:接收用户在问题咨询页面中的第一语音通话请求,所述第一语音通话请求用于请求服务端基于人工智能AI与所述用户进行语音通话;接收所述用户在所述语音通话过程中输入的第一语音数据;在所述问题咨询页面,显示目标问题的回复信息,所述目标问题为基于所述第一语音数据确定的。实现了多模态的信息交互,在保证沟通效率的同时提高信息交互的便利性。
Description
技术领域
本申请涉及智能交互技术领域,尤其涉及一种信息交互方法、设备以及系统。
背景技术
将智能交互技术应用于客户服务场景中,可以实现对用户咨询问题的快速、高效的响应,因而在各种领域的客户服务系统中智能交互技术得到广泛的应用。
目前,客户服务主要有一下两种模式:模式一、在线服务,用户可以对所需咨询的问题以文本和/或图像的方式进行描述,人工智能(Artificial Intelligence,AI)对用户输入的文本和/或图像进行识别后,将回复信息以文本和/或图像的形式推送给用户;模式二、热线服务,用户可以通过拨打电话对所需咨询的问题进行描述。
然而,上述模式一中信息交互过程较为繁琐,尤其需要处理复杂问题时,AI与用户之间需要多次信息交互,导致沟通效率较低;上述模式二中无法传输图像,并且传输问题对象(例如订单号)的便利性较差。同样,在其他信息交互场景(例如咨询服务、社交聊天)中也存在上述沟通效率低或信息交互便利性差的问题。因此,如何在保证沟通效率的同时提高信息交互的便利性,是当前信息交互场景中亟待解决的问题。
发明内容
本申请实施例提供的一种信息交互方法、设备以及系统,以期保证沟通效率的同时,提高信息交互的便利性。
第一方面,本申请实施例提供一种信息交互方法,应用于第一终端,包括:接收用户在问题咨询页面中的第一语音通话请求,该第一语音通话请求用于请求服务端基于人工智能AI与该用户进行语音通话;接收该用户在该语音通话过程中输入的第一语音数据;在该问题咨询页面,显示目标问题的回复信息,该目标问题为基于该第一语音数据确定的。
第二方面,本申请实施例提供一种终端设备,包括:收发单元,用于接收用户在问题咨询页面中的第一语音通话请求,该第一语音通话请求用于请求服务端基于人工智能AI与该用户进行语音通话;该收发单元还用于接收该用户在该语音通话过程中输入的第一语音数据;显示单元,用于在该问题咨询页面,显示目标问题的回复信息,该目标问题为基于该第一语音数据确定的。
第三方面,本申请实施例提供一种终端设备,包括:至少一个处理器和存储器;该存储器存储计算机执行指令;该至少一个处理器执行该存储器存储的计算机执行指令,使得该至少一个处理器执行如第一方面提供的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机执行指令,当处理器执行该计算机执行指令时,实现如第一方面提供的方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现第一方面提供的方法。
第六方面,本申请实施例提供一种信息交互系统,包括:服务器和第二方面提供的终端设备;该终端设备接收用户在问题咨询页面中的第一语音通话请求,该第一语音通话请求用于请求该服务器基于人工智能AI与该用户进行语音通话;该终端设备接收该用户在该语音通话过程中输入的第一语音数据;该终端设备在该问题咨询页面,显示目标问题的回复信息,该目标问题为基于该第一语音数据确定的。
在本申请实施例中,第一终端响应于用户在问题咨询页面输入的第一语音通话请求接收用户在语音通话过程中输入的第一语音数据,以获知用户所需咨询的问题,并在问题咨询页面显示基于第一语音数据确定的目标问题的回复信息,实现了多模态的信息交互,在保证沟通效率的同时提高信息交互的便利性。
附图说明
图1为本申请提供的一种在线服务的示意图;
图2为本申请实施例提供的一种图像生成系统的结构示意图;
图3为本申请实施例提供的一种信息交互方法的流程示意图;
图4为本申请实施例提供的一种信息交互的界面示意图;
图5为本申请实施例提供的另一种信息交互的界面示意图;
图6为本申请实施例提供的一种电子设备的结构示意图;
图7为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
本申请提供的信息交互方法可以适用于各种涉及智能交互技术的场景,例如聊天、咨询服务、客户服务等等。其中,智能交互技术可以包括基于人工智能(ArtificialIntelligence,AI)的人机交互(Human Computer Interaction,HCI;或Human MachineInteraction,HMI)技术,例如通过AI,以语音、文字、图片等形式与用户进行交互,实现聊天、咨询、服务等功能;或者,智能交互技术可以包括基于对等通信(peer-to-peercommunication,P2P)模式的即时通信(Instant Message,IM),IM是指互联网上用以进行实时通信的系统服务,IM允许多人使用即时通信软件实时的传递文字信息、文档、语音以及视频等信息流,除了基本通讯功能以外,IM还集成了电子邮件、博客、音乐、电视、游戏和搜索等多种功能,而这些功能也促使IM不止是单纯的聊天工具,而是具有交流、娱乐、商务办公、客户服务等特性的综合化信息平台。
以客户服务为例,业界的服务模式主要有两种:
一是在线服务,例如上述基于AI的人机交互中,用户通过文本、图像等与AI(如客服机器人)进行信息交互,又例如上述P2P模式下的IM中,用户通过用户终端基于文本、图像等与服务终端侧的人工客服进行信息交互,结合图1所示,用户可以在问题咨询页面10中发送文本11或图像12,用户终端基于AI对用户发送的文本或图像进行识别,并将回复信息以文本21或图像22的形式显示于该问题咨询页面。
二是热线服务,例如用户通过拨打电话与AI(如客服机器人)或人工客服进行语音通话。
其中,在线服务便于发送商品图片、订单号、用户信息(如地址、电话)等,但是信息输入较为繁琐,尤其需要处理复杂问题时,客服机器人/人工客服与用户之间需要多次信息交互,导致沟通效率较低;热线服务沟通效率较高,但是无法传输图像(例如商品图片),并且传输订单号、用户信息时的便利性较差。其他涉及智能交互技术的领域,也同样存在上述沟通效率低或者信息交互便利性差的问题。
针对上述技术问题,本申请实施例提供一种多模态的客户服务方案,用户通过第一终端与服务端的AI进行语音通话,通过语音通话进行问题咨询,并在该第一终端(或者第一终端中部署的应用程序)的问题咨询页面显示目标问题的回复信息。以期保证沟通效率的同时,提高信息交互的便利性。
例如,该问题咨询页面可以属于第一应用程序,该第一应用程序可以是任意用于实现智能交互功能的应用程序,或者集成有智能交互功能的应用程序,例如在客户服务场景下,第一应用程序可以实现为具有客户服务功能的电子商务类应用程序,又例如,在咨询服务场景下,第一应用程序可以实现为具有咨询服务功能的商务办公类应用程序等。
下面将结合附图,对本申请中的技术方案进行描述。
图2为本申请实施例提供的一种信息交互系统的结构示意图。如图2所示,该系统200包括:第一终端210和服务端220。该第一终端210和该服务端220通过网络连接。
该第一终端210可以是上述用户终端,第一终端210中部署有上述第一应用程序211,第一终端210可以通过该第一应用程序211与用户进行智能交互。在客户服务场景中,该第一终端210可以是客户使用的终端设备,在聊天场景中,第一终端210可以是用户A使用的终端设备。
服务端220可以实现为一种服务器,包括常规服务器或服务器集群。当服务端220部署在云环境时,服务端220可以实现为一种云服务器。服务端220可以借助于云上资源的优势运行各种网络模型以实现为AI,例如在客户服务领域中,服务端220可以实现为一种客服机器人,以实现对用户语音、文字、图像等信息的识别以及响应。
在一些实施例中,信息交互系统200还包括第二终端230。该第二终端230可以与第一终端210连接,或者第二终端230可以通过服务端220与第一终端210连接。例如在客户服务场景中,第二终端230为客服人员使用的终端设备,在聊天场景中,第二终端230为用户B使用的终端设备。
第二终端230中部署有第二应用程序231,该第二应用程序231与第一应用程序211之间可以进行信息交互,换言之,部署有第二应用程序231的第二终端230可以与部署有第一应用程序211的第一终端210进行信息交互。第一应用程序211和第二应用程序231可以是相同或者不同的应用程序,第一应用程序211和第二应用程序231是不同的应用程序的情况下,第一应用程序211与第二应用程序231具有不同的功能模块,例如在购物平台的客户服务场景下,第一应用程序211具备选购、支付等功能模块,第二应用程序231具备后台订单查询、处理功能模块,以获取多个客户的用户信息及订单信息。
当信息交互系统200包括第二终端230时,第一终端210和第二终端230进行交互可以实现P2P模式下的IM。例如,在客户服务场景下,用户(如客户)可以通过第一应用程序211请求与第二终端230进行语音通话,以使客服人员基于语音通话获知并解决用户咨询的问题。
需要说明的是,第二终端230可以集成于服务端220,换言之,服务端220可以具备上述第二终端230的功能。在一些实施例中第二终端230和服务端220均可以实现为一种云服务。
上述终端设备可以是任意具有显示屏的终端设备,例如手机(Mobile Phone)、平板电脑(Pad)、台式电脑、工业控制(industrial control)中的终端设备等,或者第一终端210还可以是可穿戴设备,可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。
本申请实施例中的信息交互方法在第一终端侧可以通过一个应用程序(如上述第一应用程序)实现,或者可以将该信息交互方法集成于一个应用程序中,作为一个应用程序中的部分功能模块。当然,该信息交互方法还可以通过多个应用程序联合实现,本申请对此不做限定,换言之,本申请实施例对第一应用程序的数量不做限定。
图3为本申请实施例提供的一种信息交互方法300的流程示意图。本实施例的执行主体可以是上述图2中的第一终端210,本实施例涉及的服务端例如可以是上述图2中的服务端220,如图3所示,该方法包括如下S310至S330的部分或者全部步骤,下面对各步骤进行说明。
S310,接收用户在问题咨询页面中的第一语音通话请求,该第一语音通话请求用于请求服务端基于AI与该用户进行语音通话;
S320,接收该用户在该语音通话过程中输入的第一语音数据;
S330,在该问题咨询页面,显示目标问题的回复信息,该目标问题为基于该第一语音数据确定的。
如前所述,目前的在线服务不具备语音通话功能,如图2所示,用户在问题咨询页面中,只能基于文本或图像进行信息交互。而本申请实施例中问题咨询页面所述的第一应用程序具有语音通话功能,其可以实现服务端与用户之间的语音通话,应理解,服务端与用户之间进行语音通话是指服务端基于AI与用户进行语音通话。
示例性的,结合图4中a所示,问题咨询页面40包括语音拨打控件41。第一语音通话请求可以是第一终端接收用户在问题咨询页面40对语音拨打控件41的选中操作,换言之,第一终端接收用户在问题咨询页面40对语音拨打控件的选中操作即为第一终端接收用户的第一语音通话请求。可选的,用户在问题咨询页面40中对语音拨打控件41的选中操作例如可以是单击操作、双击操作、滑动操作等,本申请对此不做限定。
在一些实施例中,第一终端接收到第一语音通话请求后,可以请求服务端与该用户基于互联网协定(Internet Protocol,IP)的语音通话模式(下文中称作第一语音模式),进行语音通话。该基于IP的语音通话模式实现的语音通话也可以称作网络电话。例如,结合图4所示,第一终端响应于用户在图4-a所示的问题咨询页面40中对语音拨打控件41的选中操作,显示如图4-b所示的语音通话页面42,该语音通话页面42例如可以包括呼叫文本43“正在呼叫…”、呼叫控制控件44(如包括静音控件、挂断控件、免提控件等)、页面最小化控件45中的至少一项。
在另一些实施例中,第一终端接收到第一语音通话请求后,可以调用第一终端的电话呼叫模块,使用户通过电话呼叫模块与服务端基于非IP的语音通话模式(下文中称作第二语音模式),进行通话。该基于非IP的语音通话模式实现的语音通话也可以称作热线电话,可选的,热线电话可以是基于专用语音通话信道实现的语音通话。
基于IP的语音通话模式进行语音通话的好处在于,第一应用程序无需调用其他应用即可实现服务端与用户之间的语音通话,且基于第一应用程序的控制,在语音通话的过程中可以与问题咨询页面进行联动,实现多模态的信息交互。
基于此,第一终端在第一应用程序可以选择语音模式的情况下,第一语音通话请求可以指示第一终端基于第一语音模式实现服务端与用户之间的语音通话。示例性的,参见图5-a,问题咨询页面500包括语音拨打控件501,第一终端获取用户在问题咨询页面500对语音拨打控件501的选中操作;响应于该选中操作,参见图5-b,第一终端在问题咨询页面500显示语音模式选择器502,该语音模式选择器502包括第一语音模式503和第二语音模式504,第一终端获取用户对第一语音模式503的选中操作,也即第一终端接收用户输入的第一语音通话请求;参见图5-c,第一终端响应于该第一语音通话请求,显示语音通话页面510,该语音通话页面510与上述图4-b所示的语音通话页面42相同或者相似,此处不再赘述。
可选的,第一语音通话请求还可以是第一终端接收用户输入的语音数据,例如第一终端接收用户输入的语音“拨打客服电话”,即接收到该第一语音通话请求。
其中,语音模式选择器502可以为独立于问题咨询页面500的显示窗,显示于问题咨询页面的上方,例如可以实现为悬浮窗或卡片。卡片是一种用户界面(User Interface,UI)设计模式,卡片可视为一个大小可伸缩的容器,集中承载一种或以一种元素为核心的一组元素,不同的卡片组合到一起,可以构成功能性的页面或者卡片组合。
上述语音通话页面(如页面42或510)可以在语音通话建立完成后的预设时间内进行最小化,或者语音通话页面可以响应于第一事件的触发进行最小化。下文中将对第一事件进行示例性的说明。
在第一终端响应于第一语音通话请求,建立与服务端之间的语音通话连接,使服务端能够基于AI与用户进行语音通话后,第一终端可以接收用户在语音通话过程中输入的第一语音数据,该第一语音数据用于描述用户所需咨询的问题。可选的,第一终端可以将第一语音数据发送至服务端,服务端基于AI对第一语音数据进行识别,以确定目标问题,进而针对目标问题给出回复信息,再将回复信息发送至第一终端,使第一终端可以在问题咨询页面显示该回复信息。
可以理解的是,目标问题可以是用户所咨询的问题,或者目标问题接近于所需咨询的问题,也即目标问题与所需咨询的问题之间可能存在偏差。为了缩小服务端识别的目标问题与用户所需咨询的问题之间的偏差,第一终端可以在问题咨询页面显示对象样本选择器,使用户在对象样本选择器中选择与所需咨询的问题相关的对象样本。例如,在电商平台的客户服务场景中,对象样本可以是用户的订单信息。可选的,每个对象样本通过一个对象卡片进行承载。结合图5-d所示,第一终端设备在问题咨询页面500显示对象样本选择器520,对象样本选择器520可以与问题咨询页面渲染于不同的显示层,并显示于问题咨询页面500的上方,该对象样本选择器520包括对象卡片521和对象卡片522,对象卡片521承载的对象样本例如可以果汁的订单信息(包括商品名称、售价等),对象卡片522承载的对象样本例如可以是果汁和湿纸巾的订单。
除此之外,对象卡片中还承载有操作控件,例如详情控件和发送控件,用户对详情控件进行选中操作后,第一终端可以打开订单详情页面,用户对发送控件进行选中操作后,第一终端可以将订单发送至服务端。可选的,用户对发送控件进行选中操作后,第一终端可以在问题咨询页面中显示该订单的发送信息,参见图5-c。应理解,用户对一个对象卡片的发送控件进行选中操作,以实现对该一个对象卡片的选中操作仅为一种示例,而非限制性的说明,例如用户可以通过对该一个对象卡片中任意位置进行单击、双击等操作以实现对该一个对象卡片的选中操作,该被选择的一个对象卡片可以称作第一对象卡片。
在一些实施例中,该对象样本选择器可以是服务端基于第一语音数据和用户的信息确定的,用户的信息例如可以包括用户账号、用户行为等。例如服务端接收到用户通过第一终端发送的第一语音数据后,识别与用户所需咨询的问题相关的订单类型(如状态为交易失败的订单),并基于用户的信息确定用户账号下产生的订单或者确定用户预设时间段内咨询过的订单,并在用户账号下产生的订单中或者在预设时间段内咨询过的订单中筛选与所咨询的订单类型对应的订单(例如筛选状态为交易失败的订单),进而基于筛选得到的订单生成对象样本选择器。
当然,服务端可以根据用户的信息确定对象样本,例如确定用户账号下产生的订单或者确定用户预设时间段内咨询过的订单,而不需要进一步地筛选,直接生成对象样本选择器;或者,服务端可以根据第一语音数据确定对象样本,例如第一语音数据反映的用户所描述的问题为信用等级,则信用等级说明、信用等级查看等均可以作为对象样本。
在上述实施例中,服务端可以根据第一对象卡片和第一语音数据确定目标问题,例如第一语音数据为“查询订单为何显示交易失败”,第一对象卡片指示了所需查询的订单A,则服务端根据第一语音数据和第一对象卡片确定目标问题为订单A交易失败的原因是什么。然而在一些场景中,用户在选择第一对象卡片后,可以继续输入第二语音数据,此种情况下,服务端可以结合第二语音数据和第一对象卡片确定目标问题,例如第一语音数据反映的所需咨询的问题不够明确,如“咨询订单问题”,此种情况下,当用户选择第一对象卡片后,可以输入第二语音数据进行补充,如“查询订单为何显示交易失败”;或者,在另一些场景中,用户对服务端提供的回复信息不满意,可以继续输入第二语音数据,服务端可以根据第一语音数据、第二语音数据和第一对象卡片中的至少一种继续确定下一个目标问题。
可选的,第一终端显示对象样本选择器520可以在上述S320之前或者之后,本申请对此不做限定。当第一终端显示对象样本选择器520在上述S320之后时,第一终端显示对象样本选择器即为上述第一事件的一种示例,第一终端响应于该第一事件,可以先将图5-c中的语音通话页面510最小化,语音通话页面510最小化后可以通过语音通话控件511表示该语音通话页面,该语音通话控件511对问题咨询页面500的遮挡范围较小。语音通话控件511可以悬浮显示于问题咨询页面500的上方,用户可以通过滑动操作移动该语音通话控件511的位置。该语音通话控件511中可以显示有通话时长。
在一些实施例中,在用户与服务端进行语音通话的过程中,第一终端可以接收用户在问题咨询页面输入的问题描述信息,该问题描述信息用于描述用户所需咨询的问题,以便于服务端准确确定多个对象卡片分别承载的对象样本。可选的,该问题描述信息包括问题文本和/或问题图像。例如,问题描述信息为订单中商品的图片,则服务器将该用户账户存在的订单中筛选包括该商品的订单,并将筛选得到的订单作为对象样本;又例如,问题描述信息为订单号,则服务器将该订单号对应的订单作为对象样本,一般来说,订单号可以唯一确定一个订单,此种情况下,第一终端可以不显示对象样本选择器,直接将该订单号对应的订单作为目标问题的对象。
可选的,服务端可以将目标问题在预先配置的多个答案模板中进行匹配,确定多个答案模板中是否存在与目标问题匹配的答案模板。一个答案模板可以对应于同一类问题,例如订单交易失败、退款未到账、物流信息不更新等。
示例一、多个答案模板中存在与目标问题匹配的答案模板,则服务端基于该答案模板生成目标问题的回复信息。进而,结合图5-c所示,第一终端在问题咨询页面530中显示该回复信息5311(如“该笔订单可能由于超时未付款等原因导致交易失败……”)。
在上述示例一的一些实施例中,第一终端可以将回复信息5311渲染至答案卡片531,并在问题咨询页面530中显示该答案卡片531。可选的,该答案卡片可以包括回复信息5311、详情控件5312和评价控件5313(包括好评和差评)中的至少之一。
可选的,回复信息5311可以包括回复文本和/或回复图像。
示例二、多个答案模板中不存在与目标问题匹配的答案目标,则服务器无法生成目标问题的回复信息,此种情况下,第一终端生成第二语音通话请求,并将该第二语音通话请求发送至第二终端,使第二终端响应于该第二语音通话请求与第一终端建立语音通话连接,在客户服务场景中实现用户与客服人员的语音通话,以解决用户所需咨询的问题。
在上述示例二的语音通话场景中,第一终端可以接收用户输入的语音数据、用户在问题咨询页面输入的文本、图像等,并将接收到的语音数据、文本、图像等发送至第二终端,以实现多模态的信息交互。
因此,本申请实施例中,第一终端响应于用户在问题咨询页面输入的第一语音通话请求接收用户在语音通话过程中输入的第一语音数据,以获知用户所需咨询的问题,并在问题咨询页面显示基于第一语音数据确定的目标问题的回复信息,实现了多模态的信息交互,在保证沟通效率的同时提高信息交互的便利性。
图6为本申请实施例提供的一种电子设备600的结构示意图。为了便于说明,仅示出了与本公开实施例相关的部分,该电子设备600可以为上述实施例中的第一终端或第一终端中的芯片。参照图6,电子设备600包括:检测单元610、收发单元620、显示单元630以及处理单元640。其中,检测单元610,用于接收用户在问题咨询页面中的第一语音通话请求,该第一语音通话请求用于请求服务端基于人工智能AI与该用户进行语音通话;收发单元620,用于接收该用户在该语音通话过程中输入的第一语音数据;显示单元630,用于在该问题咨询页面,显示目标问题的回复信息,该目标问题为基于该第一语音数据确定的。
在一些实施例中,显示单元630还用于在该问题咨询页面,显示对象样本选择器,该对象样本选择器包括多个对象卡片,该对象卡片承载的对象样本为基于该第一语音数据确定的;检测单元610还用于接收用户在该对象样本选择器中对第一对象卡片的选中操作,该第一对象卡片承载的对象样本用于确定该目标问题。
在一些实施例中,收发单元620还用于接收该用户在该语音通话过程中输入的第二语音数据,该第二语音数据用于结合该第一对象卡片承载的对象样本确定该目标问题,该第二语音数据的接收时间晚于该第一对象卡片的选中时间。
在一些实施例中,收发单元620还用于接收该用户在该问题咨询页面输入的问题描述信息,该问题描述信息包括问题文本和/或问题图像,该问题描述信息用于结合该第一语音数据确定该多个对象卡片分别承载的对象样本。
在一些实施例中,检测单元610具体用于:接收该用户在该问题咨询页面对语音拨打控件的选中操作;在该问题咨询页面,显示语音模式选择器,该语音模式选择器包括第一语音模式和第二语音模式,该第一语音模式为基于互联网协定IP的语音通话模式,该第二语音模式非基于IP的语音通话模式;接收该第一语音通话请求,该第一语音通话请求为用户在该语音模式选择器中通过对该第一语音模式的选中操作输入的。
在一些实施例中,显示单元630具体用于:若预先配置的多个答案模板中,存在与该目标问题匹配的答案模板,则在该问题咨询页面,显示该目标问题的回复信息,该回复信息为基于该目标问题匹配的答案模板确定的。
在一些实施例中,处理单元640用于:若预先配置的多个答案模板中,不存在与该目标问题匹配的答案模板,则生成第二语音通话请求,该第二语音通话请求用于请求第二终端与该用户进行语音通话;
将该第二语音通话请求发送至该第二终端。
在一些实施例中,显示单元630具体用于:将该回复信息渲染至答案卡片;在该问题咨询页面,显示该答案卡片;其中,该答案卡片包括:回复文本、回复图像、详情控件、评价控件中的至少之一。
在一些实施例中,显示单元630还用于:在该问题咨询页面上显示语音通话控件,该语音通话控件为语音通话页面的最小化表示,该语音通话页面为响应于该第一语音通话请求生成的。
本申请实施例提供的电子设备600,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
本申请实施例还提供一种电子设备,参见图7,本申请实施例仅以图7为例进行说明,并不表示本申请仅限于此。
图7为本申请实施例提供的另一种电子设备700的结构示意图。如图7所示的电子设备700可以实现为上述第一终端、服务端或第二终端,电子设备700包括处理器710,处理器710可以从存储器中调用并运行计算机程序,以实现本申请实施例中的方法。
可选地,如图7所示,电子设备700还可以包括存储器730。其中,处理器710可以从存储器730中调用并运行计算机程序,以实现本申请实施例中的方法。
其中,存储器730可以是独立于处理器710的一个单独的器件,也可以集成在处理器710中。
可选地,如图7所示,电子设备700还可以包括收发器720,处理器710可以控制该收发器720与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。
其中,收发器720可以包括发射机和接收机。收发器720还可以进一步包括天线,天线的数量可以为一个或多个。
可选地,该电子设备700可以实现本申请实施例的各个方法中第一终端、服务端或第二终端对应的相应流程,为了简洁,在此不再赘述。
应理解,本申请实施例的处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,上述存储器为示例性但不是限制性说明,例如,本申请实施例中的存储器还可以是静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)等等。也就是说,本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供了一种计算机可读存储介质,用于存储计算机程序。
可选的,该计算机可读存储介质可应用于本申请实施例中的电子设备,并且该计算机程序使得计算机执行本申请实施例的各个方法中由第一终端、服务端或第二终端执行的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序产品,包括计算机程序指令。
可选的,该计算机程序产品可应用于本申请实施例中的电子设备,并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由第一终端、服务端或第二终端执行的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的,该计算机程序可应用于本申请实施例中的电子设备,当该计算机程序在计算机上运行时,使得计算机执行本申请实施例的各个方法中由第一终端、服务端或第二终端执行的相应流程,为了简洁,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。针对这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种信息交互方法,其特征在于,应用于第一终端,包括:
接收用户在问题咨询页面中的第一语音通话请求,所述第一语音通话请求用于请求服务端基于人工智能AI与所述用户进行语音通话;
接收所述用户在所述语音通话过程中输入的第一语音数据;
在所述问题咨询页面,显示目标问题的回复信息,所述目标问题为基于所述第一语音数据确定的。
2.根据权利要求1所述的方法,其特征在于,所述在所述问题咨询页面,显示目标问题的回复信息之前,还包括:
在所述问题咨询页面,显示对象样本选择器,所述对象样本选择器包括多个对象卡片,所述对象卡片承载的对象样本为基于所述第一语音数据确定的;
接收用户在所述对象样本选择器中对第一对象卡片的选中操作,所述第一对象卡片承载的对象样本用于确定所述目标问题。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收所述用户在所述语音通话过程中输入的第二语音数据,所述第二语音数据用于结合所述第一对象卡片承载的对象样本确定所述目标问题,所述第二语音数据的接收时间晚于所述第一对象卡片的选中时间。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
接收所述用户在所述问题咨询页面输入的问题描述信息,所述问题描述信息包括问题文本和/或问题图像,所述问题描述信息用于结合所述第一语音数据确定所述多个对象卡片分别承载的对象样本。
5.根据权利要求1至3任一项所述的方法,其特征在于,所述接收用户在问题咨询页面中的第一语音通话请求,包括:
接收所述用户在所述问题咨询页面对语音拨打控件的选中操作;
在所述问题咨询页面,显示语音模式选择器,所述语音模式选择器包括第一语音模式和第二语音模式,所述第一语音模式为基于互联网协定IP的语音通话模式,所述第二语音模式非基于IP的语音通话模式;
接收所述第一语音通话请求,所述第一语音通话请求为用户在所述语音模式选择器中通过对所述第一语音模式的选中操作输入的。
6.根据权利要求1至3任一项所述的方法,其特征在于,所述在所述问题咨询页面,显示目标问题的回复信息,包括:
若预先配置的多个答案模板中,存在与所述目标问题匹配的答案模板,则在所述问题咨询页面,显示所述目标问题的回复信息,所述回复信息为基于所述目标问题匹配的答案模板确定的。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若预先配置的多个答案模板中,不存在与所述目标问题匹配的答案模板,则生成第二语音通话请求,所述第二语音通话请求用于请求第二终端与所述用户进行语音通话;
将所述第二语音通话请求发送至所述第二终端。
8.根据权利要求1至3任一项所述的方法,其特征在于,所述在所述问题咨询页面,显示目标问题的回复信息,包括:
将所述回复信息渲染至答案卡片;
在所述问题咨询页面,显示所述答案卡片;
其中,所述答案卡片包括:回复文本、回复图像、详情控件、评价控件中的至少之一。
9.根据权利要求1至3任一项所述的方法,其特征在于,所述在所述问题咨询页面,显示目标问题的回复信息之前,所述方法还包括:
在所述问题咨询页面上显示语音通话控件,所述语音通话控件为语音通话页面的最小化表示,所述语音通话页面为响应于所述第一语音通话请求生成的。
10.一种终端设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210129192.0A CN114500419A (zh) | 2022-02-11 | 2022-02-11 | 信息交互方法、设备以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210129192.0A CN114500419A (zh) | 2022-02-11 | 2022-02-11 | 信息交互方法、设备以及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114500419A true CN114500419A (zh) | 2022-05-13 |
Family
ID=81479514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210129192.0A Pending CN114500419A (zh) | 2022-02-11 | 2022-02-11 | 信息交互方法、设备以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114500419A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115225599A (zh) * | 2022-07-12 | 2022-10-21 | 阿里巴巴(中国)有限公司 | 信息交互方法、装置以及设备 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130195258A1 (en) * | 2011-09-09 | 2013-08-01 | Farsheed Atef | Systems and methods for coordinated voice and data communications |
US20140211669A1 (en) * | 2013-01-28 | 2014-07-31 | Pantech Co., Ltd. | Terminal to communicate data using voice command, and method and system thereof |
WO2016045479A1 (zh) * | 2014-09-25 | 2016-03-31 | 北京橙鑫数据科技有限公司 | 客服电话处理方法及装置 |
US20170118349A1 (en) * | 2010-04-21 | 2017-04-27 | Genesys Telecommunications Laboratories, Inc. | Multimodal interactive voice response system |
CN106911866A (zh) * | 2015-12-23 | 2017-06-30 | 中兴通讯股份有限公司 | 一种语音客服同步获取智能终端信息的方法及装置 |
CN109660680A (zh) * | 2019-02-06 | 2019-04-19 | 刘兴丹 | 一种选择性接入语音通话的方法、装置 |
US20190164549A1 (en) * | 2017-11-30 | 2019-05-30 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for controlling page |
CN110138982A (zh) * | 2018-02-09 | 2019-08-16 | 埃森哲环球解决方案有限公司 | 基于人工智能的服务实现 |
CN110895940A (zh) * | 2019-12-17 | 2020-03-20 | 集奥聚合(北京)人工智能科技有限公司 | 智能语音交互方法及装置 |
CN110992956A (zh) * | 2019-11-11 | 2020-04-10 | 上海市研发公共服务平台管理中心 | 语音转换的信息处理方法、装置、设备和存储介质 |
CN111192060A (zh) * | 2019-12-23 | 2020-05-22 | 广州供电局有限公司 | 一种基于电力it服务全渠道自助应答实现方法 |
CN111586244A (zh) * | 2020-05-20 | 2020-08-25 | 深圳康佳电子科技有限公司 | 一种语音客服方法及系统 |
CN112600982A (zh) * | 2020-12-08 | 2021-04-02 | 深圳供电局有限公司 | 供电服务热线交互式语音应答方法与系统、设备、介质 |
CN112600981A (zh) * | 2020-12-08 | 2021-04-02 | 深圳供电局有限公司 | 电力服务热线需求处理方法与系统、计算机设备、介质 |
WO2021190225A1 (zh) * | 2020-03-27 | 2021-09-30 | 华为技术有限公司 | 一种语音交互方法及电子设备 |
WO2021205240A1 (en) * | 2020-04-09 | 2021-10-14 | Rathod Yogesh | Different types of text call services, centralized live chat applications and different types of communication mediums for caller and callee or communication participants |
-
2022
- 2022-02-11 CN CN202210129192.0A patent/CN114500419A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170118349A1 (en) * | 2010-04-21 | 2017-04-27 | Genesys Telecommunications Laboratories, Inc. | Multimodal interactive voice response system |
US20130195258A1 (en) * | 2011-09-09 | 2013-08-01 | Farsheed Atef | Systems and methods for coordinated voice and data communications |
US20140211669A1 (en) * | 2013-01-28 | 2014-07-31 | Pantech Co., Ltd. | Terminal to communicate data using voice command, and method and system thereof |
WO2016045479A1 (zh) * | 2014-09-25 | 2016-03-31 | 北京橙鑫数据科技有限公司 | 客服电话处理方法及装置 |
CN106911866A (zh) * | 2015-12-23 | 2017-06-30 | 中兴通讯股份有限公司 | 一种语音客服同步获取智能终端信息的方法及装置 |
US20190164549A1 (en) * | 2017-11-30 | 2019-05-30 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for controlling page |
CN110138982A (zh) * | 2018-02-09 | 2019-08-16 | 埃森哲环球解决方案有限公司 | 基于人工智能的服务实现 |
CN109660680A (zh) * | 2019-02-06 | 2019-04-19 | 刘兴丹 | 一种选择性接入语音通话的方法、装置 |
CN110992956A (zh) * | 2019-11-11 | 2020-04-10 | 上海市研发公共服务平台管理中心 | 语音转换的信息处理方法、装置、设备和存储介质 |
CN110895940A (zh) * | 2019-12-17 | 2020-03-20 | 集奥聚合(北京)人工智能科技有限公司 | 智能语音交互方法及装置 |
CN111192060A (zh) * | 2019-12-23 | 2020-05-22 | 广州供电局有限公司 | 一种基于电力it服务全渠道自助应答实现方法 |
WO2021190225A1 (zh) * | 2020-03-27 | 2021-09-30 | 华为技术有限公司 | 一种语音交互方法及电子设备 |
WO2021205240A1 (en) * | 2020-04-09 | 2021-10-14 | Rathod Yogesh | Different types of text call services, centralized live chat applications and different types of communication mediums for caller and callee or communication participants |
CN111586244A (zh) * | 2020-05-20 | 2020-08-25 | 深圳康佳电子科技有限公司 | 一种语音客服方法及系统 |
CN112600982A (zh) * | 2020-12-08 | 2021-04-02 | 深圳供电局有限公司 | 供电服务热线交互式语音应答方法与系统、设备、介质 |
CN112600981A (zh) * | 2020-12-08 | 2021-04-02 | 深圳供电局有限公司 | 电力服务热线需求处理方法与系统、计算机设备、介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115225599A (zh) * | 2022-07-12 | 2022-10-21 | 阿里巴巴(中国)有限公司 | 信息交互方法、装置以及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170289071A1 (en) | System, apparatus and method for autonomous messaging integration | |
US20170372282A1 (en) | Digital image tagging for split transaction processing | |
CN105594179A (zh) | 具有升级获知通知的无缝呼叫转换 | |
WO2018137476A1 (zh) | 一种信息处理方法、第一终端、第二终端及服务器 | |
US10080118B2 (en) | Methods, systems, and computer readable media for managing associations between users in multiple over-the-top service platforms | |
EP3568820A1 (en) | Interactive user interface for profile management | |
US20160283934A1 (en) | Watch with near field communication chip and the method of transaction | |
US20130042326A1 (en) | Mobile-Device User Authentication | |
US20150379471A1 (en) | Management system for transmission of electronic business card based on telephone number linkage and method therefor | |
KR20230022917A (ko) | 데이터 공유 전자 장치 및 제어 방법 | |
CN104717131A (zh) | 信息交互方法及服务器 | |
CN114500419A (zh) | 信息交互方法、设备以及系统 | |
CN111147348B (zh) | 一种即时消息发送方法、装置和可读介质 | |
US9749828B2 (en) | Communication system and method for making telephone calls over the internet | |
US11922206B2 (en) | System and method for the segmentation of a processor architecture platform solution | |
KR20130095965A (ko) | 전자 기기에서 메신저 서비스를 제공하기 위한 장치 및 방법 | |
US11010733B2 (en) | Communication device interface for monetary transfers through a displayable contact list | |
CN104980467B (zh) | 联系信息管理方法及装置、系统 | |
JP7219027B2 (ja) | プログラム、情報処理端末、情報処理方法、及び情報処理装置 | |
KR101992770B1 (ko) | 소셜 네트워크를 지원하는 단말기에서 질의 처리를 위한 장치 및 방법 | |
KR102051828B1 (ko) | 영상 통화 방법 및 영상 통화 중개 장치 | |
KR102394348B1 (ko) | 유무선 통신 시스템에서 서버가 가치 평가를 기반으로 사용자 간 연결 관계를 형성하는 소셜 네트워크 서비스를 제공하는 방법 | |
US20210105246A1 (en) | System and method for unified multi-channel messaging with block-based datastore | |
US20190089753A1 (en) | Conference system and method for handling conference connection thereof | |
KR101606275B1 (ko) | 사용자 지향적 정보매칭 서비스 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |