CN112669416A - 客服服务系统、方法、装置、电子设备及存储介质 - Google Patents
客服服务系统、方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112669416A CN112669416A CN202110278320.3A CN202110278320A CN112669416A CN 112669416 A CN112669416 A CN 112669416A CN 202110278320 A CN202110278320 A CN 202110278320A CN 112669416 A CN112669416 A CN 112669416A
- Authority
- CN
- China
- Prior art keywords
- feedback
- information
- intelligent terminal
- user
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Accounting & Taxation (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种客服服务系统、方法、装置、电子设备及存储介质,该客服服务系统包括中控模块、信息处理模块、业务模式控制模块和图像生成模块。其中,中控模块用于与智能终端建立通话连接。信息处理模块用于获取中控模块与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。业务模式控制模块用于从通话数据中获取用户信息,并根据用户信息确定反馈业务模式。图像生成模块用于若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果发送至中控模块。通过本申请实施例的实施,可以在处于咨询高峰期时,通过数字人为用户提供客服服务,以快速响应用户的咨询需求。
Description
技术领域
本申请涉及人机交互技术领域,更具体地,涉及一种客服服务系统、方法、装置、电子设备及存储介质。
背景技术
近些年来,随着网络信息技术的不断发展和应用,传统的PSTN(公共交换电话网络,Public Switched Telephone Network)通话方式逐渐不能满足用户的需求,进而导致PSTN通话逐渐被高清通话所取代,基于此,市场上出现了允许客服人员通过视频交互为用户服务的服务模式,该视频交互的方式能够让用户感觉更加亲切,但是,在咨询高峰期时,很容易出现客服人员数量不足的状况,用户需较长时间等待,导致用户的需求得不到及时响应。
发明内容
鉴于上述问题,本申请实施例提出了一种客服服务系统、方法、装置、电子设备及存储介质,以通过数字人为用户提供客服服务,以快速响应用户的咨询需求。
第一方面,本申请实施例提供了一种客服服务系统,该客服服务系统包括中控模块、信息处理模块、业务模式控制模块和图像生成模块。其中,中控模块用于与智能终端建立通话连接。信息处理模块用于获取中控模块与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。业务模式控制模块用于从通话数据中获取用户信息,并根据用户信息确定反馈业务模式。图像生成模块用于若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果发送至中控模块;其中,数字人图像中数字人的形态与反馈信息对应,中控模块还用于将交互反馈结果发送至智能终端。
可选地,反馈业务模式还包括数字人离线模式,数字人离线模式用于表征在智能终端呈现不包含数字人的画面的模式;图像生成模块还用于若反馈业务模式为数字人离线模式,则按照预设的信息排布规则将反馈信息生成推介图像,并将推介图像发送至中控模块;其中,中控模块还用于将推介图像作为交互反馈结果发送至智能终端。
可选地,图像生成模块包括卡片单元,卡片单元用于根据反馈信息获取提示信息,生成包括提示信息的电子卡片,并将电子卡片发送至中控模块,以使中控模块将电子卡片作为交互反馈结果发送至智能终端。
可选地,反馈信息包括反馈文本;信息处理模块包括语音识别单元和文本反馈单元。其中,语音识别单元用于从通话数据中获取用户语音,并识别用户语音得到文本输入信息。文本反馈单元用于根据文本输入信息确定用户意图,并基于用户意图获取文本输出信息。
可选地,反馈信息包括反馈语音;信息处理模块包括语音识别单元、文本反馈单元和语音合成单元。其中,语音识别单元用于从通话数据中获取用户语音,并识别用户语音得到文本输入信息。文本反馈单元用于根据文本输入信息确定用户意图,并基于用户意图获取文本输出信息。语音合成单元用于对文本输出信息进行语音合成处理,得到反馈语音。
第二方面,本申请实施例提供了一种客服服务方法,该客服服务方法包括:与智能终端建立通话连接;获取与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息;从通话数据中获取用户信息,并根据用户信息确定反馈业务模式;若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果;其中,数字人图像中数字人的形态与反馈信息对应;以及将交互反馈结果发送至智能终端。
可选地,与智能终端建立通话连接包括:获取智能终端的终端标识;通过终端标识向智能终端发出呼叫请求;以及若确定智能终端允许呼叫请求,则与智能终端建立通话连接。
可选地,与智能终端建立通话连接包括:接收由智能终端发送的呼叫请求;以及若确定允许呼叫请求,则与智能终端建立通话连接。
可选地,基于反馈信息获取包括数字人的数字人图像包括:根据反馈信息获取数字人选择指令和数字人驱动信息;按照预设的数字人选择规则获取与数字人选择指令对应的目标数字人;以及基于数字人驱动信息驱动目标数字人,获取包括目标数字人的目标数字人图像。
可选地,客服服务方法还包括:若反馈业务模式为数字人离线模式,则按照预设的信息排布规则将反馈信息生成推介图像,并将推介图像作为交互反馈结果。
可选地,按照预设的信息排布规则将反馈信息生成推介图像包括:根据反馈信息从预设的多个模板中获取目标模板;以及将反馈信息排布至目标模板,得到推介图像。
可选地,根据通话数据确定向智能终端反馈的反馈信息包括:从通话数据中获取键入指令,键入指令用于表征用户在智能终端界面操作所生成的指令;获取与键入指令对应的字符;从通话数据中获取历史反馈信息,历史反馈信息包括相互关联的业务反馈信息和预设字符;以及若字符与预设字符匹配,则将与预设字符关联的业务反馈信息作为反馈信息。
可选地,根据用户信息确定反馈业务模式包括:从用户信息中获取包含用户的用户图像;对用户图像进行图像识别,得到用户特征;以及若用户特征与预设的用户特征相符,则确定反馈业务模式为数字人在线模式。
可选地,将交互反馈结果发送至智能终端包括:获取交互反馈结果中的隐私信息;按照预设的信息保护方式更新交互反馈结果,使更新后的交互反馈结果中的隐私信息被隐藏;以及将更新后的交互反馈结果发送至智能终端。
可选地,客服服务方法还包括:根据反馈信息获取用于在智能终端显示的提示内容;以及生成包括提示内容的电子卡片,并将电子卡片作为交互反馈结果。
第三方面,本申请实施例提供了一种客服服务装置,该客服服务装置包括连接模块、反馈信息确定模块、业务模式确定模块、数字人驱动模块和交互反馈结果发送模块。其中,连接模块用于与智能终端建立通话连接。反馈信息确定模块用于获取与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。业务模式确定模块用于从通话数据中获取用户信息,并根据用户信息确定反馈业务模式。数字人驱动模块用于若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果;其中,数字人图像中数字人的形态与反馈信息对应。交互反馈结果发送模块用于将交互反馈结果发送至智能终端。
可选地,连接模块包括终端标识获取单元、呼叫单元和第一连接单元。其中,终端标识获取单元用于获取智能终端的终端标识。呼叫单元用于通过终端标识向智能终端发出呼叫请求。第一连接单元用于若确定智能终端允许呼叫请求,则与智能终端建立通话连接。
可选地,连接模块包括呼叫接收单元和第二连接单元。其中,呼叫接收单元用于接收由智能终端发送的呼叫请求。第二连接单元用于若确定允许呼叫请求,则与智能终端建立通话连接。
可选地,数字人驱动模块包括指令获取单元、目标数字人获取单元和目标数字人图像获取单元。其中,指令获取单元用于根据反馈信息获取数字人选择指令和数字人驱动信息。目标数字人获取单元用于按照预设的数字人选择规则获取与数字人选择指令对应的目标数字人。目标数字人图像获取单元用于基于数字人驱动信息驱动目标数字人,获取包括目标数字人的目标数字人图像。
可选地,客服服务装置还包括数字人离线处理模块。其中,数字人离线处理模块用于若反馈业务模式为数字人离线模式,则按照预设的信息排布规则将反馈信息生成推介图像,并将推介图像作为交互反馈结果。
可选地,数字人离线处理模块包括目标模板获取单元和推介图像获取单元。其中,目标模板获取单元用于根据反馈信息从预设的多个模板中获取目标模板。推介图像获取单元用于将反馈信息排布至目标模板,得到推介图像。
可选地,反馈信息确定模块包括键入指令获取单元、字符获取单元、历史反馈信息获取单元和字符关联单元。其中,键入指令获取单元用于从通话数据中获取键入指令,键入指令用于表征用户在智能终端界面操作所生成的指令。字符获取单元用于获取与键入指令对应的字符。历史反馈信息获取单元用于从通话数据中获取历史反馈信息,历史反馈信息包括相互关联的业务反馈信息和预设字符。字符关联单元用于若字符与预设字符匹配,则将与预设字符关联的业务反馈信息作为反馈信息。
可选地,业务模式确定模块包括用户图像获取单元、用户特征获取单元和在线模式确定单元。其中,用户图像获取单元用于从用户信息中获取包含用户的用户图像。用户特征获取单元用于对用户图像进行图像识别,得到用户特征。在线模式确定单元用于若用户特征与预设的用户特征相符,则确定反馈业务模式为数字人在线模式。
可选地,交互反馈结果发送模块包括隐私信息获取单元、交互反馈结果更新单元和交互反馈结果发送单元。其中,隐私信息获取单元用于获取交互反馈结果中的隐私信息。交互反馈结果更新单元用于按照预设的信息保护方式更新交互反馈结果,使更新后的交互反馈结果中的隐私信息被隐藏。交互反馈结果发送单元用于将更新后的交互反馈结果发送至智能终端。
可选地,客服服务装置还包括提示内容获取模块和交互反馈结果生成模块。其中,提示内容获取模块用于根据反馈信息获取用于在智能终端显示的提示内容。交互反馈结果生成模块用于生成包括提示内容的电子卡片,并将电子卡片作为交互反馈结果。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储器;一个或多个程序, 其中一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行第一方面提供的客服服务方法的步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行第二方面提供的客服服务方法的步骤。
相对于现有技术,本申请实施例提供的客服服务系统、方法、装置、电子设备及存储介质可以通过中控模块与智能终端形成视频通话,从通话数据中获取用户信息,基于用户信息确定反馈业务模式,并若反馈业务模式为在线数字人模式,则通过基于通话数据获得的反馈信息得到数字人图像,从而在智能终端显示数字人,当将本客服服务系统应用于客服服务时,能够有效提高用户的亲切度,同时可以代替人工服务,当处于咨询高峰期时,可以快速响应用户的咨询需求,同时,可以考虑到用户需求,选择对应的反馈业务模式向智能终端反馈信息,提升客服服务的形式多样性,从而满足不同用户的需求。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的客服服务系统的一种应用环境示意图。
图2示出了本申请实施例提供的客服服务系统的一模块示意图。
图3示出了本申请实施例提供的客服服务系统的另一模块示意图。
图4示出了本申请实施例提供的客服服务方法的一流程示意图。
图5示出了图4所示的方法中建立通话连接的一流程示意图。
图6示出了图4所示的方法中建立通话连接的另一流程示意图。
图7示出了图4所示的方法中获取反馈信息的一流程示意图。
图8示出了图4所示的方法中确定数字人在线模式的一流程示意图。
图9示出了图4所示的方法中获取数字人图像的一流程示意图。
图10示出了图4所示的方法中发送交互反馈结果的一流程示意图。
图11示出了本申请实施例提出的一种客服服务装置的功能模块框图。
图12示出了本申请实施例提出的一种电子设备的功能模块框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
近些年来,随着通信技术的不断发展,传统的PSTN通话方式逐渐被高清通话方式所取代,比如VOLTE(长期演进语音承载,Voice over Long-Term Evolution)通话方式,相对于PSTN通话方式,高清通话方式的语音视频通话更清晰、掉线率更低,在通话过程中能够同时使用流量数据业务,同时无需借助安装于智能终端的程序和软件即可实现视频通话,从而使通话双方的通话体验更好。基于此,现有技术中出现了客服人员通过视频交互的方式为用户提供视频客服服务,在这个过程中,客服人员所持有的智能终端能够将客服人员的音视频信息发送至用户所持有的智能终端,从而达到将客服人员直播呈现给用户的效果,该种方式能够让用户感觉更加亲切,提高用户向客服人员咨询的体验。该种方式虽然能够有效提高用户的体验,但是,在咨询高峰期,很容易出现客服人员数量不足的状况,导致用户需要等待较长的时间,使用户的体验较差。
为了提高用户的体验,本申请发明人投入研发,发明人发现可以提前录制视频,当处于咨询高峰期时,若获取到用户的需求,则基于该需求将提前录制的视频发送至用户持有的智能终端,能够实现在咨询高峰期时,用户持有的智能终端呈现的画面始终为客服人员的视频,但是,该种方式会导致各个录制的视频之间衔接不流畅,显示的内容也比较单一,导致用户所看到的客服人员的画面较为生硬。
基于此,本申请发明人继续投入研发,为了进一步提高用户的体验,使用户能够看到流畅的关于客服人员的视频画面,本申请发明人提出了本申请实施例的客服服务系统、方法、装置、电子设备及存储介质,该客服服务系统包括中控模块、信息处理模块、业务模式控制模块和图像生成模块。其中,中控模块用于与智能终端建立通话连接。信息处理模块用于获取中控模块与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。业务模式控制模块用于从通话数据中获取用户信息,并根据用户信息确定反馈业务模式,反馈业务模式用于表征向智能终端发送反馈信息的业务模式,反馈业务模式包括数字人在线模式,数字人在线模式用于表征在智能终端呈现包含数字人的画面的模式。图像生成模块用于若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果发送至中控模块;其中,数字人图像中数字人的形态与反馈信息对应,中控模块还用于将交互反馈结果发送至智能终端。通过本申请实施例的实施,可以通过中控模块与智能终端形成视频通话,从通话数据中获取用户信息,基于用户信息确定反馈业务模式,并若反馈业务模式为在线数字人模式,则通过基于通话数据获得的反馈信息得到数字人图像,从而在智能终端显示数字人,当将本客服服务系统应用于客服服务时,能够有效提高用户的亲切度,同时可以代替人工服务,当处于咨询高峰期时,可以快速响应用户的咨询需求,同时,可以考虑到用户需求,选择对应的反馈业务模式向智能终端反馈信息,提升客服服务的形式多样性,从而满足不同用户的需求。
为了更好理解本申请实施例提供的一种客服服务系统、方法、装置、电子设备及存储介质,下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1,图1示出了一种适用于本申请实施例所提供的客服服务系统的应用环境示意图。本申请实施例提供的客服服务系统、方法、装置、电子设备及存储介质可以应用于如图1所示的交互系统300。该交互系统300包括智能终端301以及服务端302,服务端302与智能终端301通信连接。其中,服务端302可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可以是云端服务器,还可以是传统机房服务器,在此不作具体限定。
在一些实施例中,智能终端301可以是具有显示屏且支持数据输入的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体地,数据输入可以是基于智能终端301所配置的语音模块输入语音、字符输入模块输入字符、图像输入模块输入图像、视频输入模块输入视频等,还可以是基于智能终端301所配置的手势识别模块,使得用户可以实现手势输入等交互方式。
其中,智能终端301上可以安装有客户端应用程序,用户可以基于客户端应用程序(例如微信等APP、微信小程序等)与服务端302进行通信,具体地,服务端302上安装有对应的服务端应用程序,用户可以基于客户端应用程序在服务端302注册一个用户帐号,并基于该用户帐号与服务端302进行通信,例如用户在客户端应用程序登录用户帐号,并基于该用户帐号通过客户端应用程序进行输入,可以输入文字信息、语音信息、图像信息或视频信息等,客户端应用程序接收到用户输入的信息后,可以将该信息发送至服务端302,使得服务端302可以接收该信息并进行处理及存储,服务端302还可以接收该信息并根据该信息将对应的输出信息返回至智能终端301。另外,智能终端301可以接收服务端302的拨号呼叫请求,也可以向服务端302发送拨号呼叫请求。
在一些实施例中,服务端302可以用于接收用户输入的信息,并根据该信息生成仿真数字人的画面,并将该画面发送至智能终端301,从而向智能终端301提供客服服务,与用户进行客服沟通。具体地,智能终端301可以接收用户输入的信息,并呈现服务端302向智能终端301发送的仿真数字人的画面。其中,仿真数字人是基于可视化图形的软件程序,该软件程序被执行后可以向用户呈现出模拟生物行为或思想的机器人形态。仿真数字人可以是模拟真人式的仿真数字人,例如根据用户自身或其他自然人的形态建立的形似真人的仿真数字人,也可以是动漫效果式的仿真数字人,例如动物形态或卡通人物形态的仿真数字人。另外,服务端302可以接收智能终端301的拨号呼叫请求,也可以向智能终端发送拨号呼叫请求。
在一些实施例中,如图1所示,智能终端301在获取与用户输入的信息对应的回复信息后,可以在智能终端301的显示屏或与其连接的其他图像输出设备上显示对应与该回复信息的仿真数字人图像。作为一种方式,在播放数字人图像的同时,可以通过智能终端301的扬声器或与其连接的其他音频输出设备播放与数字人图像对应的音频,还可以在智能终端301的显示屏上显示与该回复信息对应的文字或图形,实现在图像、语音、文字等多个方面上与用户的多态交互。
上述应用环境仅为方便理解所作的示例,可以理解的是,本申请实施例不仅局限于上述应用环境。
下面将通过具体实施例对本申请实施例提供的客服服务系统、方法、装置、电子设备及存储介质进行详细说明。
请参阅图2,本申请实施例提供一种客服服务系统400,该客服服务系统400可以部署于如图1所示的交互系统300的服务端302,该客服服务系统400包括中控模块410、信息处理模块420、业务模式控制模块430和图像生成模块440。其中,中控模块410用于与智能终端建立通话连接。信息处理模块420用于获取中控模块410与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。业务模式控制模块430用于从通话数据中获取用户信息,并根据用户信息确定反馈业务模式。图像生成模块440用于若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果发送至中控模块410;其中,数字人图像中数字人的形态与反馈信息对应,中控模块410还用于将交互反馈结果发送至智能终端。
在本实施例中,反馈业务模式可以用于表征客服服务系统400发送反馈信息的业务模式,反馈业务模式包括数字人在线模式,数字人在线模式用于表征在智能终端呈现包含数字人的画面的模式
其中,数字人在线模式可以包括向智能终端反馈包含数字人图像的交互反馈结果的模式。例如,当反馈业务模式为数字人在线模式时,智能终端与本实施例提供的客服服务系统400建立通话连接,客服服务系统400可以向智能终端反馈交互反馈结果,该交互反馈结果可以包括连续性的多张数字人图像,由此,智能终端可以呈现该多张数字人图像,达到数字人为用户提供客服服务的效果,而无需专门安排客服工作人员为客户提供客服服务,避免客服人员人力紧张,实现快速响应用户的咨询需求。
在本实施例中,中控模块410可以与智能终端之间建立通话连接。其中,中控模块410与智能终端之间的通话方式可以为高清通话,也就是说,部署有客服服务系统400的服务端302可以与智能终端进行高清通话,该高清通话过程无需依赖在智能终端上安装的应用程序(例如,该应用程序可以包括具有视频通话功能的软件)。例如,高清通话包括VOLTE(Voice over Long-Term Evolution,长期演进语音承载)、畅连通话等。另外,中控模块410可以直接与智能终端建立通话连接,也可以间接地与智能终端建立通话连接,此处对中控模块410与智能终端建立通话连接的方式不做具体限制。
在一些示例中,当中控模块410直接与智能终端建立通话连接时,中控模块410可以具备呼叫功能和/或接听功能。具体地,中控模块410可以通过SIM卡号码向智能终端发出呼叫请求,当智能终端一侧接受该呼叫请求后,中控模块410与智能终端建立高清通话连接,中控模块410可以从智能终端获取用户信息,并将数字人图像发送至智能终端;智能终端可以向中控模块410发送呼叫请求,当中控模块410一侧接受该呼叫请求后,中控模块410与智能终端建立高清通话连接。
在一些示例中,当中控模块410间接与智能终端建立通话连接时,可以在中控模块410与智能终端形成的通信链路之间,设置呼叫平台和SIP(会话初始协议,SessionInitiation Protocol)服务器。具体地,呼叫平台可以通过SIM卡号码向智能终端发出呼叫请求,当智能终端一侧接受该呼叫请求后,呼叫平台与智能终端建立高清通话连接,同时,呼叫平台可以通过RTP(实时传输,Real-time Transport Protocol)协议与SIP服务器建立通话连接,SIP服务器与中控模块410建立数据连接,呼叫平台和SIP服务器可以作为智能终端与中控模块410之间的传输媒介,同时RTP协议作为数据传输的规则。呼叫平台可以通过SIM卡号码接收由智能终端发出呼叫请求,当允许智能终端发出的呼叫请求后,呼叫平台可以与智能终端建立高清通话连接,同时,呼叫平台可以通过RTP协议与SIP服务器建立通话连接,SIP服务器与中控模块410建立数据连接,呼叫平台和SIP服务器可以作为智能终端与中控模块410之间的传输媒介,同时RTP协议作为数据传输的规则。
在本实施例中,通话数据可以包括中控模块410接收的智能终端发送的信息以及向智能终端发送的信息。例如,该信息可以为智能终端与中控模块410之间以往的通话记录,还可以为智能终端实时向中控模块410发送的信息。另外,当通话数据包括通话记录时,服务端可以预存有智能终端与中控模块410之间以往的通话记录,当需要获取通话数据时,可以从服务端提取得到该通话记录。
在本实施例中,反馈信息可以包括基于用户的意图确定向用户反馈的信息。具体而言,可以基于包括通话记录和实时接收到智能终端发送的信息的通话数据确定用户的意图,进而确定向用户反馈的信息。
示例性地,可以将通话记录和智能终端实时发送的数据进行结合,并基于结合后的信息确定用户的意图。例如,基于通话记录确定用户想要办理的套餐有套餐A和套餐B,不想办理的套餐有套餐C和套餐D,当智能终端杆实时发送的数据包含套餐办理时,可以确定用户想要办理套餐A或套餐B,并将此作为用户的意图。
在本实施例中,业务模式控制模块430可以从通话数据中获取用户信息。用户信息可以包括与用户相关的信息。例如,用户信息可以为用户在智能终端301键入的信息、用户的语音,用户的图像等,此处对用户信息的类型不做具体限制。
示例性地,当用户信息为用户在智能终端301键入的信息时,可以将该信息与预先存储的信息进行匹配,当匹配成功时,可以将与预先存储的信息对应的业务模式作为反馈业务模式。例如,用户在智能终端301键入的信息可以为符号、数字等。当用户信息为用户的语音时,可以提取该语音的声纹特征,将该声纹特征与预先存储的该用户的声纹特征进行匹配,当匹配成功时,可以将与预先存储的用户的声纹特征对应的业务模式作为反馈业务模式。当用户信息为用户的图像时,可以提取该图像的特征,将该特征与预先存储的用户的特征进行匹配,当匹配成功时,可以将与预先存储的用户的特征对应的业务模式作为反馈业务模式。
在一些示例中,可以预先存储用户所需要的业务模式,并将业务模式与用户进行关联,当获取到用户信息时,可以将与用户关联的业务模式作为反馈业务模式。具体而言,反馈业务模式可以包括数字人在线模式,当反馈业务模式为数字人在线模式时,可以向智能终端发送数字人图像,智能终端可以播放连续的多张数字人图像,从而达到数字人为用户提供客服服务的效果。
另外,在本实施例中,反馈信息可以包括驱动信息,该驱动信息可以用于驱动数字人。具体而言,可以基于反馈信息获取用于驱动数字人的驱动信息,通过该驱动信息驱动数字人,并获取数字人图像。其中驱动信息的形式可以包括文字、语音、语义等,此处对驱动信息的类型不做具体限制。另外,数字人的形态可以包括数字人的动作状态。例如,数字人的形态可以为数字人的眼球、嘴型、表情、双臂等形态。需要注意的是,驱动信息可以是具有时间属性的连续性参数,按照时序控制数字人的动作,驱动信息可以与数字人的动作状态对应关联。例如,驱动信息可以包括在时刻t1控制3D数字人头部上扬15度,在时刻t2控制3D数字人头部左右摆动,在时刻t3控制3D数字人微笑等。
需要注意的是,数字人图像可以被理解为在某一角度拍摄数字人所得到的图像,该数字人图像中数字人的驱动信息与动作状态对应。
进一步地,本实施例中的数字人可以是通过3D建模得到,也可以是通过深度学习模型生成每一帧画质近乎于相机拍摄的逼真图像,数字人如同相机拍摄的真人的效果。可选地,可以由连贯的逼真图像生成视频数字人。
具体地,通过3D建模方式获得数字人的方法可以包括:获取多张包括目标模特的样本图像;根据多张样本图像获取目标模特的形态;获取原始数字人以及建模信息,建模信息包括原始数字人的原始关键点;根据形态获取目标模特的目标关键点,将原始关键点与目标关键点对应,生成数字人。
在本实施例中,目标模特可以包括与数字人相关的模特。例如,当数字人为某播音主持人C时,目标模特可以是该播音主持人C,还可以是与该播音主持人C面容、骨架、身材相仿的人物,还可以是与该播音主持人C面容、骨架、身材相仿的假人(例如人物蜡像)。
在本实施例中,样本图像可以包括多张目标模特的不同角度的图像。具体地,样本图像可以是在各个角度下,目标模特各种动作、发音、表情等情况下的图像。
在一些示例中,可以将用于采集目标模特的图像的摄像装置环球形布置于目标模特周边,其中,相对于目标模特的同一方位,可以设置不同焦距大小的摄像装置。当目标模特发出声音、变化动作、变化面部表情等时,可以采用各个摄像装置同时采集包括目标模特的图像,从而得到样本图像。
在本实施例中,目标模特的形态可以包括目标模特的躯体变化情况相关的信息。例如,形态可以是嘴角下垂、眼球右偏、头部上扬、右手抬起等。
在一些示例中,可以通过目标检测算法从样本图像中获取到目标模特的各个部位,再基于多张连续性的样本图像中的相同部位的变化状态确定该部位的形态,从而得到目标模特各个部位的形态。例如,目标检测算法可以是滑动窗口目标检测、two stage目标检测算法、one stage目标检测算法等算法。
在本实施例中,原始数字人可以包括已经构建好的数字人的模型。例如,该原始数字人可以是某一地域的平均人脸模型,也可以是工业动漫中的3D动画模型,此处对原始数字人的类型不做具体限制。另外,建模信息可以包括用于构建原始数字人的参数信息,通过该建模信息可以还原该原始数字人,使该原始数字人能够被呈现。
在本实施例中,可以将目标模特的形态与建模信息相结合,使得目标模特的形态特征添加至原始数字人,从而得到与目标模特的形态大致相同的数字人。
在本实施例中,原始数字人的原始关键点可以包括用于辨识、定位和控制原始数字人各个部位的位置。例如,原始关键点可以是原始数字人的左眼角位置、右眼角位置、嘴角位置、面部轮廓位置、眉毛位置、鼻翼位置、大拇指位置、肩部位置等。需要注意的是,建模信息中原始关键点在原始数字人的各部位越密集,最终构建的数字人越准确。
在本实施例中,目标关键点可以包括用于辨识和定位目标模特各个部位的位置。例如,目标关键点可以是目标模特的左眼角位置、右眼角位置、嘴角位置、面部轮廓位置、眉毛位置、鼻翼位置、大拇指位置、肩部位置等。需要注意的是,目标关键点在目标模特的各个部位越密集,最终构建的数字人越准确。
在本实施例中,可以将原始数字人的各个部位的原始关键点与目标模特相同部位的目标关键点一一对应。例如,原始关键点包括原始数字人脸部轮廓的各个位置,目标关键点包括目标模特脸部轮廓的各个位置,将处于原始数字人脸部上庭的各个位置分别与处于目标模特脸部上庭的各个位置一一对应,将处于原始数字人脸部中庭的各个位置分别与处于目标模特脸部中庭的各个位置一一对应,将处于原始数字人脸部下庭的各个位置分别与处于目标模特脸部下庭的各个位置一一对应,原始数字人脸部的其他原始关键点与目标模特脸部的其他目标关键点一一对应的方式同理,此处不再赘述。
在一些示例中,可以将处于动态的目标关键点与原始关键点对应。具体地,可以获取目标模特的目标关键点,对连续性样本图像中目标模特的面部进行标记,并按照连续性样本图像的时序将目标模特面部的同一目标关键点进行关联,从而获得目标模特面部的各个目标关键点的动态变化轨迹;将各个目标关键点的动态变化轨迹与原始数字人面部的原始关键点对应,从而获得原始数字人面部的原始关键点的动态变化轨迹,计算同一时刻下,原始关键点的动态变化轨迹的幅度与目标关键点的动态变化轨迹之间的幅度差值,在该幅度差值大于预设幅度阈值,则确定需要对原始数字人的原始关键点进行修正。
示例地,可以获取目标模特的目标关键点,对连续性样本图像中目标模特的面部进行标记,并按照连续性样本图像的时序将目标模特面部的同一目标关键点进行关联,从而获得目标模特面部的各个目标关键点的动态变化轨迹,并将各个目标关键点的动态变化轨迹与原始数字人面部的原始关键点对应,从而获得原始数字人面部的原始关键点的动态变化轨迹,基于该原始关键点的动态变化轨迹获取到原始数字人在各时刻的面部变化幅度,基于该目标关键点的动态变化轨迹获取到目标模特在各个时刻的面部变化幅度,比较原始数字人在各时刻的面部变化幅度和目标模特在各个时刻的面部变化幅度,若在同一时刻下原始数字人的面部变化幅度与目标模特的面部变化幅度之差大于预设幅度阈值,则确定需要对原始数字人的原始关键点进行修正;若在同一时刻下原始数字人的面部变化幅度与目标模特的面部变化幅度之差小于或等于预设幅度阈值,则确定当前数字人的面部构建符合预期。
具体地,也可以通过预先构建仿真数字人模型,通过仿真数字人生成每一帧画质近乎于相机拍摄的逼真图像,构建仿真数字人生成模型可以包括:获取多张包括目标模特的样本图像以及与每张样本图像对应的相机参数;获取与相机参数对应的样本图像配置参数;根据样本图像获取目标模特的角度信息,并将角度信息与样本图像配置参数关联;根据样本图像配置参数和角度信息构建仿真数字人模型,得到预设的仿真数字人模型。
在本实施例中,相机参数可以包括用于拍摄样本图像的拍摄装置拍摄目标模特时所采用的参数。例如,相机参数可以是焦距、光圈大小等。样本图像配置参数可以包括用于拍摄样本图像的拍摄装置拍摄目标模特所生成的样本图像的参数。例如,样本图像配置参数可以是像素大小、图像曝光度、目标模特在图像中的占比、目标模特与地面接触的位置等。角度信息可以包括样本图像中目标模特呈现的角度。例如,当样本图像中目标模特的面部朝向与预设轴线方向之间的夹角为15度时,可以将15度作为该角度信息。
在一些示例中,可以对样本图像进行识别,从而获得目标模特的角度。具体地,可以通过目标检测算法从样本图像中获取到目标模特的各个部位,再基于多张连续性的样本图像中的相同部位的变化状态确定该部位的角度,从而得到目标模特各个部位的角度,并将该各个部位的角度作为角度信息。
在本实施例中,可以将样本图像视为由多个区域、多个点组成,基于样本图像配置参数和角度信息获取到目标模特在各个角度下多个区域、多个点位的状态,将各个角度下的区域、点位进行结合,构建得到仿真数字人模型,以使仿真数字人模型能够输出不同角度下的包括目标模特的图像。
需要注意的是,相对于通过3D建模获取数字人,通过构建仿真数字人生成模型的过程无需3D建模,得到的仿真数字人也更接近真人模特,效果更加逼真,适用于实际应用中对可能需要对不同真人模特进行建模以获取仿真数字人的情况。
在本实施例中,中控模块410可以通过其与智能终端之间的通信链路,将交互反馈结果发送至智能终端,智能终端可以显示交互反馈结果中的数字人图像。具体地,当数字人图像包括连续的图像帧时,可以在智能终端呈现出数字人视频的效果。
在本实施例中,通过采用包括中控模块410、信息处理模块420、业务模式控制模块430和图像生成模块440的客服服务系统400,能够通过中控模块410与智能终端形成视频通话,从通话数据中获取用户信息,基于用户信息确定反馈业务模式,并若反馈业务模式为在线数字人模式,则通过基于通话数据获得的反馈信息得到数字人图像,从而在智能终端显示数字人,当将本客服服务系统400应用于客服服务时,能够有效提高用户的亲切度,同时可以代替人工服务,当处于咨询高峰期时,可以快速响应用户的咨询需求,同时,可以考虑到用户需求,选择对应的反馈业务模式向智能终端反馈信息,提升客服服务的形式多样性,从而满足不同用户的需求。
进一步地,作为本实施例的一种实施方式,反馈信息可以包括反馈文本;如图3所示,信息处理模块420可以包括语音识别单元421和文本反馈单元422。其中,语音识别单元421用于从通话数据中获取用户语音,并识别用户语音得到文本输入信息。文本反馈单元422用于根据文本输入信息确定用户意图,并基于用户意图获取文本输出信息。
在本实施例中,语音识别单元421、语义单元422可以分别与中控模块410形成通信连接,语音识别单元421可以通过ASR(自动语音识别技术,Automatic SpeechRecognition)技术将语音转换为文本输入信息,并将该文本输入信息发送至中控模块410,中控模块410可以接收该文本输入信息,并将该文本输入信息发送至语义单元422,语义单元422根据该文本输入信息确定用户意图,并获取向用户反馈的文本输出信息。
进一步地,语音识别单元421可以通过基于语言学和声学方式、随机模型方式、人工神经网络方式、概率语法分析等方式对用户语音信息进行识别,此处对用户语音信息的方式不做具体限制。
进一步地,可以在语义单元422中设置意图识别模型和反馈平台,通过意图识别模型对文本输入信息进行意图识别,得到用户意图,将该意图输送至反馈平台,获取向用户反馈的文本输出信息。
示例性地,可以采用意图识别模型对用户信息进行意图识别,意图识别模型可以采用RNN模型、CNN模型、VAE模型、BERT、支持向量机等机器学习模型,在此不做限定。例如,意图识别模型还可以是采用上述机器学习模型的变体或组合等。另外,意图识别模型可以部署于智能终端,也可以部署于服务端,此处对意图识别模型的部署载体不做具体限制,具体以本实施例中获取用户意图的实际场景确定。另外,该反馈平台可以包括基于客服业务类型需求构建的问答库、客服话术库等,此处对反馈平台的构建不做具体限制。
需要注意的是,数字人的形态可以与文本一一对应,当获取到文本输出信息时,可以通过文本输出信息中的文本驱动数字人,使输出的数字人图像中数字人的形态与文本输出信息对应。
在本实施例中,通过在信息处理模块420中设置语义单元422和语音识别单元421,能够对用户的语音进行识别,得到文本输入信息,并基于文本输入信息得到用于向用户反馈的文本输出信息,并通过该文本输出信息驱动数字人,将向用户反馈的内容用数字人的形式进行呈现,从而模拟出用户与客服人员面对面交流的场景,提高用户的体验。
进一步地,作为本实施例的一种实施方式,反馈信息包括反馈语音;如图3所示,信息处理模块420可以包括语音识别单元421、文本反馈单元422和语音合成单元423。其中,语音识别单元421用于从通话数据中获取用户语音,并识别用户语音得到文本输入信息。文本反馈单元422用于根据文本输入信息确定用户意图,并基于用户意图获取文本输出信息。语音合成单元423用于对文本输出信息进行语音合成处理,得到反馈语音。
在本实施例中,语音合成单元423可以与中控模块410形成通信连接,语音识别单元421可以通过ASR技术将语音转换为文本输入信息,并将该文本输入信息发送至中控模块410,中控模块410可以接收该文本输入信息,并将该文本输入信息发送至语义单元422,语义单元422根据该文本输入信息确定用户意图,获取向用户反馈的文本输出信息,并将文本输出信息发送至中控模块410,中控模块410将该文本输出信息发送至语音合成单元423,语音合成单元423通过TTS(从文本到语音,Text To Speech)技术将该文本输出信息生成反馈语音信息。
进一步地,语音合成单元423可以通过参数合成法、波形合成法、规则合成法等方法对文本输出信息进行合成,得到反馈语音信息。
需要注意的是,数字人的形态可以与语音一一对应,当获取到反馈语音信息时,可以通过语音反馈信息中的语音驱动数字人,使输出的数字人图像中数字人的形态与语音反馈信息对应。
另外,在通过语音驱动数字人的过程中,可以通过语音控制数字人的嘴型参数。例如,可以获取数字人在发出与反馈语音信息对应的声音时数字人的嘴部关键点的变化情况,从而得到用于表征嘴部关键点的变化情况的嘴型参数。其中,嘴部关键点可以包括用于辨识、定位和控制数字人嘴部各个部分的位置。例如,嘴部关键点可以包括左嘴角、右嘴角、颏唇沟、鼻底等。同时,由于反馈语音信息中的语音可以为连续性语音,反馈语音信息可以具备时间属性,可以在反馈语音信息中语音对应的各个时间节点控制数字人的嘴型变化,从而能够在智能终端准确地呈现数字人的嘴型的变化过程。
在本实施例中,通过在信息处理模块420中设置语音识别单元421、文本反馈单元422和语音合成单元423,能够对用户的语音进行识别,得到文本输入信息,并基于文本输入信息得到用于向用户反馈的文本输出信息,并通过该文本输出信息,将该文本输出信息转换为反馈语音信息,通过反馈语音信息驱动数字人,从而模拟出用户与客服人员面对面交流的场景,提高用户的体验。
进一步地,进一步地,为了能够更好地提示用户,可以在生成数字人图像的同时,生成电子卡片,如图3所示,图像生成模块440可以包括卡片单元441,卡片单元441用于根据反馈信息获取提示信息,生成包括提示信息的电子卡片,并将电子卡片发送至中控模块410,以使中控模块410将电子卡片作为交互反馈结果发送至智能终端。
在本实施例中,电子卡片可以用于展示提示内容(比如业务套餐、套餐费用等)。例如,电子卡片中可以当驱动信息为用户可办理的套餐包括套餐A、套餐B、套餐C时,提示内容可以为按照预设格式排布的套餐A、套餐B、套餐C,并将该提示内容呈现于电子卡片。
在本实施例中,电子卡片的卡片类型可以包括静态类型和动态类型。当电子卡片为静态类型时,卡片单元441可以生成一张电子卡片,使智能终端呈现该一张电子卡片,从而得到电子卡片处于静态的呈现效果;当电子卡片为动态类型时,卡片单元441可以生成多张电子卡片,该多张电子卡片可以为连续性的电子卡片,当智能终端按照电子卡片的时序呈现多张电子卡片时,可以呈现出变化播放电子卡片视频的效果。
在本实施例中,电子卡片可以与数字人图像结合后作为交互反馈结果发送至智能终端,也可以独立作为反馈结果发送至智能终端。
示例性地,当电子卡片作为反馈结果发送至智能终端时,可以将电子卡片与数字人图像分别通过数据包的形式传输至智能终端,当智能终端接收到电子卡片和数字人图像时,可以将电子卡片作为第一图层,将数字人图像作为第二图层,在智能终端需要同时显示第一图层与第二图层时,可以将第一图层置于顶层,将第二图层置于底层。
在本实施例中,通过在图像生成模块440中设置卡片单元441,可以通过卡片单元441生成电子卡片,客服服务系统400可以向智能终端发送数字人图像的同时发生电子卡片,使用户在与数字人客服进行高清通话过程中,可以同时查看电子卡片的提示内容,帮助用户更好地了解和办理业务。
进一步地,作为本实施例的一种实施方式,如图3所示,反馈业务模式还可以包括数字人离线模式,数字人离线模式用于表征在智能终端呈现不包含数字人的画面的模式;图像生成模块440还用于若反馈业务模式为数字人离线模式,则按照预设的信息排布规则将反馈信息生成推介图像,并将推介图像发送至中控模块410;其中,中控模块410还用于将推介图像作为交互反馈结果发送至智能终端。
其中,数字人离线模式可以包括向智能终端反馈包含推介图像的交互反馈结果的模式。例如,当反馈业务模式为数字人离线模式时,智能终端与本实施例提供的客服服务系统400建立通话连接,客服服务系统400可以向智能终端反馈交互反馈结果,该交互反馈结果可以包括连续性的多张推介图像,由此,智能终端可以呈现该多张推介图像,智能终终端所呈现的画面中不包含数字人,通过推介图像中的信息为用户提供客服服务,使得智能终端可以直接呈现包含反馈信息的画面,用户可以较为直观地获取到客服服务系统400反馈的信息,方便存在听觉障碍的用户获知信息,以实现多样性地为用户提供客服服务。
在本实施例中,可以先获取反馈信息所涉及的反馈业务类型,根据反馈业务类型获取排布模板,将反馈信息排布于排布模板,从而得到包含反馈信息的推介图像。其中,反馈业务类型可以用于表征反馈信息中的反馈内容的种类。例如,反馈业务类型可以包括消费流水、可办理套餐、套餐剩余使用量、优惠活动等。排布模板可以包括用于排布各种反馈业务类型的反馈信息的模板。
示例性地,获取反馈信息中的反馈内容,获取反馈内容所涉及到的反馈业务类型包括消费流水和优惠活动,获取能够排布反馈业务类型包括消费流水和优惠活动的排布模板,将与消费流水对应的反馈信息排布于排布模板中的第一区域,该第一区域用于排布反馈业务类型为消费流水的反馈信息,将与优惠活动对应的反馈信息排布于排布模板中的第二区域,该第二区域用于排布反馈业务类型为优惠活动的反馈信息。也就是说,排布模板中可以排布多种反馈业务类型的反馈信息。
在本实施例中,图像生成模块440可以在反馈业务模式处于数字人离线模式时,将反馈信息排布于推介图像,并将推介图像反馈至智能终端,从而能够在智能终端呈现出推介图像,便于用户直接查看推介图像中的反馈信息。
请参阅图4,本申请实施例提供一种客服服务方法,该客服服务方法可以应用于如图1所示的交互系统300。具体地,该客服服务方法可以包括以下步骤S11至步骤S15。
步骤S11:与智能终端建立通话连接。
在本实施例中,步骤S11的具体实施操作可以与上述实施例提供的相应操作类似,因此,步骤11可以参考上述中控模块410与智能终端建立通话连接的具体步骤,此处不再赘述。
步骤S12:获取与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。
在本实施例中,步骤S12的具体实施操作可以与上述实施例提供的相应操作类似,因此,步骤S12可以参考上述信息处理模块420获取中控模块410与智能终端之间的通话数据、根据通话数据确定向智能终端反馈的反馈信息的具体步骤,此处不再赘述。
步骤S13:从通话数据中获取用户信息,并根据用户信息确定反馈业务模式。
在本实施例中,反馈业务模式用于表征向智能终端发送反馈信息的业务模式,反馈业务模式可以包括数字人在线模式,数字人在线模式用于表征在智能终端呈现包含数字人的画面的模式。
在本实施例中,步骤S13的具体实施操作可以与上述实施例提供的相应操作类似,因此,步骤13可以参考上述业务模式控制模块430从通话数据中获取用户信息、根据用户信息确定反馈业务模式的具体步骤,此处不再赘述。
步骤S14:若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果;其中,数字人图像中数字人的形态与反馈信息对应。
在本实施例中,步骤S14的具体实施操作可以与上述实施例提供的相应操作类似,因此,步骤13可以参考上述图像生成模块440基于反馈信息获取包括数字人的数字人图像、将数字人图像作为交互反馈结果的具体步骤,此处不再赘述。
步骤S15:将交互反馈结果发送至智能终端。
在本实施例中,步骤S15的具体实施操作可以与上述实施例提供的相应操作类似,因此,步骤13可以参考上述中控模块410将交互反馈结果发送至智能终端的具体步骤,此处不再赘述。
在本实施例中,通过上述步骤S11至步骤S15的实施,能够与智能终端形成视频通话,从通话数据中获取用户信息,基于用户信息确定反馈业务模式,并若反馈业务模式为在线数字人模式,则通过基于通话数据获得的反馈信息得到数字人图像,从而在智能终端显示数字人,当将本客服服务方法应用于客服服务时,能够有效提高用户的亲切度,同时可以代替人工服务,当处于咨询高峰期时,可以快速响应用户的咨询需求,同时,可以考虑到用户需求,选择对应的反馈业务模式向智能终端反馈信息,提升客服服务的形式多样性,从而满足不同用户的需求。
本申请实施例还提供一种客服服务方法,该客服服务方法可以应用于如图1所示的交互系统300,该客服服务方法可以包括以下步骤S21至步骤S25。在本实施例中提供的客服服务方法中,可以包括与上述实施例相同或相似的步骤,对于相同或相似步骤的执行,可参考前文介绍,本说明书不再一一赘述。
步骤S21:与智能终端建立通话连接。
进一步地,服务端可以向智能终端发出呼叫请求,当智能终端允许该呼叫请求后,服务端可以与智能终端建立通话连接;如图5所示,上述步骤S21可以包括以下步骤S211至步骤S213。
步骤S211:获取智能终端的终端标识。
在本实施例中,终端标识可以为用于建立高清通话连接的标识。例如,该终端标识可以为标准SIM卡号、迷你SIM卡号、Micro SIM卡号等。
步骤S212:通过终端标识向智能终端发出呼叫请求。
在本实施例中,可以基于终端标识进行拨号,从而实现向智能终端发出呼叫请求。
步骤S213:若确定智能终端允许呼叫请求,则与智能终端建立通话连接。
在本实施例中,当用户在智能终端进行操作,允许呼叫请求时,可以在智能终端生成指令,用于使智能终端与服务端建立通话连接。
进一步地,智能终端也可以向服务端发送发出呼叫请求,当服务端允许该呼叫请求后,智能终端可以与服务端建立通话连接;如图6所示,上述步骤S21还可以包括以下步骤S214至步骤S215。
步骤S214:接收由智能终端发送的呼叫请求。
在本实施例中,可以通过智能终端呼叫客服标识,进而向服务端发出呼叫请求。其中,客服标识可以根据业务需求设定。
步骤S215:若确定允许呼叫请求,则与智能终端建立通话连接。
在本实施例中,服务端既可以向智能终端发送呼叫请求与智能终端建立通话连接,也可以接收由智能终端发送的呼叫请求以与智能终端建立通话连接。
步骤S22:获取与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。
进一步地,为了便于获知用户需求,可以将用户可输入的字符与业务反馈信息对应;如图7所示,上述步骤S22可以包括以下步骤S221至步骤S224。
步骤S221:从通话数据中获取键入指令,键入指令用于表征用户在智能终端界面操作所生成的指令。
在本实施例中,当用户在智能终端界面操作输入字符(例如数字、符号等)时,生成与输入的字符对应的指令,可以将该指令作为键入指令。
步骤S222:获取与键入指令对应的字符。
步骤S223:从通话数据中获取历史反馈信息,历史反馈信息包括相互关联的业务反馈信息和预设字符。
在本实施例中,历史反馈信息中可以包含业务反馈信息以及与业务反馈信息关联的预设字符。例如,历史反馈信息可以包括业务反馈信息为可用余额,预设字符为1,业务反馈信息为套餐剩余量,预设字符为2,将余额与预设字符“1”关联,将业务反馈信息与预设字符“2”关联。
步骤S224:若字符与预设字符匹配,则将与预设字符关联的业务反馈信息作为反馈信息。
在本实施例中,可以从通话数据中获取历史反馈信息,进而获得业务反馈信息与预设字符之间的关联关系,当获取到用户在智能终端输入的字符时,可以将获取到与该字符关联的业务反馈信息,从而实现快速响应用户的需求。
步骤S23:从通话数据中获取用户信息,并根据用户信息确定反馈业务模式,反馈业务模式用于表征向智能终端发送反馈信息的业务模式,反馈业务模式包括数字人在线模式,数字人在线模式用于表征在智能终端呈现包含数字人的画面的模式。
进一步地,作为本实施例的一种实施方式,为了确定反馈业务模式,可以通过用户图像确定反馈业务模式;如图8所示,上述步骤S23可以包括以下步骤S231至步骤S233。
步骤S231:从用户信息中获取包含用户的用户图像。
在本实施例中,可以在智能终端上设置用于采集图像的图像采集装置,通过该图像采集装置获取包含用户的用户图像;也可以在智能终端上设置用于接收其他设备发送的信息以获得用户图像。
步骤S232:对用户图像进行图像识别,得到用户特征。
在本实施例中,可以通过图像识别算法对用户图像进行识别,得到用户特征。其中,图像识别算法可以包括最大流量算法、匈牙利算法、广度优先搜索算法、深度优先搜索算法等,此处不做具体限制。
步骤S233:若用户特征与预设的用户特征相符,则确定反馈业务模式为数字人在线模式。
在本实施例中,若用户特征与预设的用户特征相符,则确定该用户为目标用户,即可确定反馈业务模式为数字人在线模式。此时,预设的用户特征的作用为用户身份验证,从而防止非法用户使用智能终端使用客服服务。另外,也可以预先将用户特征与反馈业务模式进行关联,当用户特征与预设的用户特征关联(相符)时,即可将与用户特征关联的业务模式确定为数字人在线模式或者数字人离线模式。此时,预设的用户特征的作用为模式匹配。
在本实施例中,通过上述步骤S231至步骤S233的实施,可以通过用户图像确定反馈业务模式。
步骤S24:若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果;其中,数字人图像中数字人的形态与反馈信息对应。
进一步地,作为本实施例的一种实施方式,可以在用户选择指定的数字人,并在将包含该数字人的形态的图像发送至智能终端;如图9所示,上述步骤S24可以包括以下步骤S241至步骤S243。
步骤S241:根据反馈信息获取数字人选择指令和数字人驱动信息。
在本实施例中,数字人选择指令可以包括用于从多个数字人中选择出目标数字人的指令。数字人驱动信息可以包括用于驱动目标数字人的指令。
在本实施例中,可以将反馈信息与数字人进行关联,当与智能终端建立通话连接后,可以确定与该反馈信息关联的数字人,从而生成用于选择该数字人的数字人选择指令;也可以从反馈信息中获取用户所指定的数字人,并生成用于选择该数字人的数字人选择指令,数字人选择指令的表现形式与获取数字人选择指令对应。
在一些示例中,与智能终端建立通话连接的过程中,可以基于所接收到的反馈信息实时确定用户当前所指定的数字人,并对指定的数字人进行驱动,因此,在智能终端呈现的数字人可以是实时变化的不同的数字人。
步骤S242:按照预设的数字人选择规则获取与数字人选择指令对应的目标数字人。
在本实施例中,针对不同数字人选择指令的表现形式,可以设置对应的预设的数字人选择规则。
示例性地,当从反馈信息中获取目标数字人时,数字人选择指令可以是反馈信息所描述的数字人特征,按照该数字人选择指令从多个数字人中进行筛选,进而得到目标数字人。例如,数字人包括形似真人的仿真数字人和动漫效果式的仿真数字人,对每个仿真数字人进行预先编号,当反馈信息确定用户选择形似真人的仿真数字人时,获取形似真人的仿真数字人,按照编号的先后顺序从多个形似真人的仿真数字人中确定目标数字人。
示例性地,当从反馈信息中获取目标数字人时,数字人选择指令可以是反馈信息中用于表征用户所指定的数字人的信息。需要注意的是,反馈信息与数字人之间的关联关系可以在服务端预先设定。例如,可以将SIM卡号码与数字人关联,当智能终端通过该SIM卡号码与服务端建立通话连接后,将与该SIM卡号码关联的数字人作为目标数字人。
步骤S243:基于数字人驱动信息驱动目标数字人,获取包括目标数字人的目标数字人图像。
在本实施例中,基于数字人驱动信息获取目标数字人图像的方式与步骤S14中基于反馈信息获取数字人图像的方式大致相同,此处不再赘述。
在本实施例中,通过上述步骤S241至步骤S243的实施,可以基于用户需求选择相应的目标数字人,并驱动该目标数字人,从而在智能终端呈现包含该目标数字人的数字人图像,从而能够给用户带来更加丰富的体验。
步骤S25:将交互反馈结果发送至智能终端。
进一步地,作为本实施例的一种实施方式,为了防止反馈交互结果中某些信息泄露,如图10所示,上述步骤S25可以包括以下步骤S251至步骤253。
步骤S251:获取交互反馈结果中的隐私信息。
在本实施中,隐私信息可以包括涉及用户隐私的信息。例如,该隐私信息可以是身份证号码、用户余额、拨号记录等。
在一些示例中,可以基于客服反馈结果中的内容类型,采取不同的方式获取客服反馈结果中的隐私信息。
示例性地,可以获取该电子卡片中所包含的文本输出信息,并将该文本输出信息中涉及用户隐私的信息作为隐私信息。当客服反馈结果包括语音反馈信息时,可以获取与该语音反馈信息对应的文本输出信息,并将该文本输出信息中涉及用户隐私的信息作为隐私信息。
步骤S252:按照预设的信息保护方式更新交互反馈结果,使更新后的交互反馈结果中的隐私信息被隐藏。
在本实施例中,预设的信息保护方式可以基于实际场景设定。
示例性地,当隐私信息为电子卡片中的文本时,可以隐藏该文本中一个或多个字符。例如,当该电子卡片中的文本为身份证号码,该身份证号码为110101200108150612,可以更新该身份证号码,更新后的电子卡片中的文本为1101012001XXXXXXXX。
当隐私信息为反馈语音信息时,可以获取与该反馈语音信息对应的文本输出信息,若该文本输出信息为用户余额,可以将用户余额中的数字与字母对应,并将对应后字母作为更新后的客服反馈结果。例如,可以将数字“1”与字母“A”对应,将数字“2”与字母“B”对应,将数字“3”与字母“C”对应,将数字“4”与字母“D”对应,将数字“5”与字母“E”对应,将数字“6”与字母“F”对应,当用户余额为12345时,可以将该用户余额更新为“ABCDE”,并将与“ABCDE”对应的语音作为更新后的客服反馈结果。其中,数字与字母对应的方式可以为用户预先设定。
步骤S253:将更新后的交互反馈结果发送至智能终端。
在本实施例中,当将更新后的客服反馈结果发送至智能终端后,智能终端能够播放该更新后的客服反馈结果,从而对客服反馈结果中的隐私信息进行保护。
本申请实施例还提供一种客服服务方法,该客服服务方法可以应用于如图1所示的交互系统300,该客服服务方法可以包括以下步骤S31至步骤S35。在本实施例中提供的客服服务方法中,可以包括与上述实施例相同或相似的步骤,对于相同或相似步骤的执行,可参考前文介绍,本说明书不再一一赘述。
步骤S31:与智能终端建立通话连接。
步骤S32:获取与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。
步骤S33:从通话数据中获取用户信息,并根据用户信息确定反馈业务模式,反馈业务模式用于表征向智能终端发送反馈信息的业务模式,反馈业务模式包括数字人在线模式,数字人在线模式用于表征在智能终端呈现包含数字人的画面的模式。
步骤S34:若反馈业务模式为数字人在线模式,则基于反馈信息获取包括数字人的数字人图像,并将数字人图像作为交互反馈结果;其中,数字人图像中数字人的形态与反馈信息对应。
步骤S35:将交互反馈结果发送至智能终端。
进一步地,作为本实施例的一种实施方式,反馈业务模式还可以包括数字人离线模式,数字人离线模式用于表征在智能终端呈现不包含数字人的画面的模式;本实施例提供的客服服务方法还可以包括:若反馈业务模式为数字人离线模式,则按照预设的信息排布规则将反馈信息生成推介图像,并将推介图像作为交互反馈结果。
其中,数字人离线模式可以包括向智能终端反馈包含推介图像的交互反馈结果的模式。例如,当反馈业务模式为数字人离线模式时,智能终端与本实施例提供的客服服务系统400建立通话连接,客服服务系统400可以向智能终端反馈交互反馈结果,该交互反馈结果可以包括连续性的多张推介图像,由此,智能终端可以呈现该多张推介图像,智能终终端所呈现的画面中不包含数字人,通过推介图像中的信息为用户提供客服服务,使得智能终端可以直接呈现包含反馈信息的画面,用户可以较为直观地获取到客服服务系统400反馈的信息,方便存在听觉障碍的用户获知信息,以实现多样性地为用户提供客服服务。
在本实施例中,可以先获取反馈信息所涉及的反馈业务类型,根据反馈业务类型获取排布模板,将反馈信息排布于排布模板,从而得到包含反馈信息的推介图像。其中,反馈业务类型可以用于表征反馈信息中的反馈内容的种类。例如,反馈业务类型可以包括消费流水、可办理套餐、套餐剩余使用量、优惠活动等。排布模板可以包括用于排布各种反馈业务类型的反馈信息的模板。
进一步地,为了有序排布反馈信息,可以将反馈信息排布至目标模板;按照预设的信息排布规则将反馈信息生成推介图像可以包括:根据反馈信息从预设的多个模板中获取目标模板;将反馈信息排布至目标模板,得到推介图像。
在本实施例中,目标模板可以包括多个用于排布反馈信息的区域,其中,可以将该区域与反馈信息所涉及的反馈业务类型一一对应,该区域用于排布反馈信息中与该区域对应的反馈信息。
示例性地,获取反馈信息中的反馈内容,获取反馈内容所涉及到的反馈业务类型包括消费流水和优惠活动,获取能够排布反馈业务类型包括消费流水和优惠活动的排布模板,将与消费流水对应的反馈信息排布于排布模板中的第一区域,该第一区域用于排布反馈业务类型为消费流水的反馈信息,将与优惠活动对应的反馈信息排布于排布模板中的第二区域,该第二区域用于排布反馈业务类型为优惠活动的反馈信息。也就是说,排布模板中可以排布多种反馈业务类型的反馈信息。
进一步地,进一步地,为了能够更好地提示用户,可以在生成数字人图像的同时,生成电子卡片;本实施例提供的客服服务方法还可以包括:根据反馈信息获取用于在智能终端显示的提示内容;生成包括提示内容的电子卡片,并将电子卡片作为交互反馈结果。
在本实施例中,电子卡片可以用于展示提示内容(比如业务套餐、套餐费用等)。例如,电子卡片中可以当驱动信息为用户可办理的套餐包括套餐A、套餐B、套餐C时,提示内容可以为按照预设格式排布的套餐A、套餐B、套餐C,并将该提示内容呈现于电子卡片。
在本实施例中,电子卡片的卡片类型可以包括静态类型和动态类型。当电子卡片为静态类型时,可以生成一张电子卡片,使智能终端呈现该一张电子卡片,从而得到电子卡片处于静态的呈现效果;当电子卡片为动态类型时,可以生成多张电子卡片,该多张电子卡片可以为连续性的电子卡片,当智能终端按照电子卡片的时序呈现多张电子卡片时,可以呈现出变化播放电子卡片视频的效果。
在本实施例中,电子卡片可以与数字人图像结合后作为交互反馈结果发送至智能终端,也可以独立作为反馈结果发送至智能终端。
示例性地,当电子卡片作为反馈结果发送至智能终端时,可以将电子卡片与数字人图像分别通过数据包的形式传输至智能终端,当智能终端接收到电子卡片和数字人图像时,可以将电子卡片作为第一图层,将数字人图像作为第二图层,在智能终端需要同时显示第一图层与第二图层时,可以将第一图层置于顶层,将第二图层置于底层。
在本实施例中,可以向智能终端发送数字人图像的同时发生电子卡片,使用户在与数字人客服进行高清通话过程中,可以同时查看电子卡片的提示内容,帮助用户更好地了解和办理业务。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述交互系统的具体工作过程,也可以参考前述客服服务方法实施例中的对应过程,在此不再赘述。
请参阅图11,其示出了本申请实施例提供的一种客服服务装置的结构框图,该客服服务装置可以包括连接模块61、反馈信息确定模块62、业务模式确定模块63、数字人驱动模块64和交互反馈结果发送模块65。其中,连接模块61用于与智能终端建立通话连接。反馈信息确定模块62用于获取与智能终端之间的通话数据,并根据通话数据确定向智能终端反馈的反馈信息。业务模式确定模块63用于从通话数据中获取用户信息,并根据用户信息确定反馈业务模式。数字人驱动模块64用于若反馈业务模式为数字人在线模式,则基于反馈信息获取可以包括数字人的数字人图像,并将数字人图像作为交互反馈结果;其中,数字人图像中数字人的形态与反馈信息对应。交互反馈结果发送模块65用于将交互反馈结果发送至智能终端。
进一步地,作为本实施例的一种实施方式,连接模块61可以包括终端标识获取单元、呼叫单元和第一连接单元。其中,终端标识获取单元用于获取智能终端的终端标识。呼叫单元用于通过终端标识向智能终端发出呼叫请求。第一连接单元用于若确定智能终端允许呼叫请求,则与智能终端建立通话连接。
进一步地,作为本实施例的一种实施方式,连接模块61可以包括呼叫接收单元和第二连接单元。其中,呼叫接收单元用于接收由智能终端发送的呼叫请求。第二连接单元用于若确定允许呼叫请求,则与智能终端建立通话连接。
进一步地,作为本实施例的一种实施方式,数字人驱动模块64可以包括指令获取单元、目标数字人获取单元和目标数字人图像获取单元。其中,指令获取单元用于根据反馈信息获取数字人选择指令和数字人驱动信息。目标数字人获取单元用于按照预设的数字人选择规则获取与数字人选择指令对应的目标数字人。目标数字人图像获取单元用于基于数字人驱动信息驱动目标数字人,获取可以包括目标数字人的目标数字人图像。
进一步地,作为本实施例的一种实施方式,客服服务装置还可以包括数字人离线处理模块。其中,数字人离线处理模块用于若反馈业务模式为数字人离线模式,则按照预设的信息排布规则将反馈信息生成推介图像,并将推介图像作为交互反馈结果。
进一步地,作为本实施例的一种实施方式,数字人离线处理模块可以包括目标模板获取单元和推介图像获取单元。其中,目标模板获取单元用于根据反馈信息从预设的多个模板中获取目标模板。推介图像获取单元用于将反馈信息排布至目标模板,得到推介图像。
进一步地,作为本实施例的一种实施方式,反馈信息确定模块62可以包括键入指令获取单元、字符获取单元、历史反馈信息获取单元和字符关联单元。其中,键入指令获取单元用于从通话数据中获取键入指令,键入指令用于表征用户在智能终端界面操作所生成的指令。字符获取单元用于获取与键入指令对应的字符。历史反馈信息获取单元用于从通话数据中获取历史反馈信息,历史反馈信息可以包括相互关联的业务反馈信息和预设字符。字符关联单元用于若字符与预设字符匹配,则将与预设字符关联的业务反馈信息作为反馈信息。
进一步地,作为本实施例的一种实施方式,业务模式确定模块63可以包括用户图像获取单元、用户特征获取单元和在线模式确定单元。其中,用户图像获取单元用于从用户信息中获取包含用户的用户图像。用户特征获取单元用于对用户图像进行图像识别,得到用户特征。在线模式确定单元用于若用户特征与预设的用户特征相符,则确定反馈业务模式为数字人在线模式。
进一步地,作为本实施例的一种实施方式,交互反馈结果发送模块65可以包括隐私信息获取单元、交互反馈结果更新单元和交互反馈结果发送单元。其中,隐私信息获取单元用于获取交互反馈结果中的隐私信息。交互反馈结果更新单元用于按照预设的信息保护方式更新交互反馈结果,使更新后的交互反馈结果中的隐私信息被隐藏。交互反馈结果发送单元用于将更新后的交互反馈结果发送至智能终端。
进一步地,作为本实施例的一种实施方式,客服服务装置还可以包括提示内容获取模块和交互反馈结果生成模块。其中,提示内容获取模块用于根据反馈信息获取用于在智能终端显示的提示内容。交互反馈结果生成模块用于生成可以包括提示内容的电子卡片,并将电子卡片作为交互反馈结果。
请参阅图12,其示出了本申请实施例提供的一种电子设备,该电子设备可以包括处理器810、通信模块820、存储器830和总线。总线可以是ISA总线、PCI总线、EISA总线、CAN总线等。总线可以分为地址总线、数据总线、控制总线等。其中:
存储器830,用于存放程序。具体地,存储器830可用于存储软件程序以及各种数据。存储器830可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作至少一个功能所需的程序可以包括程序代码,程序代码包括计算机操作指令。除了存放程序之外,存储器830还可以暂存通信模块820需要发送的消息等。存储器830可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个固态硬盘(SolidState Disk,简称SSD)。
处理器810用于执行存储器830存放的程序。程序被处理器执行时实现上述各实施例的客服服务方法的步骤。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述各实施例的客服服务方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、SSD、带电可擦可编程只读存储器(Electrically Erasable Programmable readonly memory,简称EEPROM)或快闪存储器(Flash Memory,简称Flash)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、SSD、Flash)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (18)
1.一种客服服务系统,其特征在于,包括:
中控模块,用于与智能终端建立通话连接;
信息处理模块,用于获取所述中控模块与所述智能终端之间的通话数据,并根据所述通话数据确定向所述智能终端反馈的反馈信息;
业务模式控制模块,用于从所述通话数据中获取用户信息,并根据所述用户信息确定反馈业务模式;以及
图像生成模块,用于若所述反馈业务模式为数字人在线模式,则基于所述反馈信息获取包括所述数字人的数字人图像,并将所述数字人图像作为交互反馈结果发送至所述中控模块;其中,所述数字人图像中所述数字人的形态与所述反馈信息对应,所述中控模块还用于将所述交互反馈结果发送至所述智能终端。
2.根据权利要求1所述的客服服务系统,其特征在于,所述反馈业务模式还包括数字人离线模式,所述数字人离线模式用于表征在所述智能终端呈现不包含所述数字人的画面的模式;所述图像生成模块还用于若所述反馈业务模式为所述数字人离线模式,则按照预设的信息排布规则将所述反馈信息生成推介图像,并将所述推介图像发送至所述中控模块;其中,所述中控模块还用于将所述推介图像作为所述交互反馈结果发送至所述智能终端。
3.根据权利要求1所述的客服服务系统,其特征在于,所述图像生成模块包括卡片单元,所述卡片单元用于根据所述反馈信息获取提示信息,生成包括所述提示信息的电子卡片,并将所述电子卡片发送至所述中控模块,以使所述中控模块将所述电子卡片作为所述交互反馈结果发送至所述智能终端。
4.根据权利要求1所述的客服服务系统,其特征在于,所述反馈信息包括反馈文本;所述信息处理模块包括:
语音识别单元,用于从所述通话数据中获取用户语音,并识别所述用户语音得到文本输入信息;以及
文本反馈单元,用于根据所述文本输入信息确定用户意图,并基于所述用户意图获取文本输出信息。
5.根据权利要求1至4中任一项所述的客服服务系统,其特征在于,所述反馈信息包括反馈语音;所述信息处理模块包括:
语音识别单元,用于从所述通话数据中获取用户语音,并识别所述用户语音得到文本输入信息;
文本反馈单元,用于根据所述文本输入信息确定用户意图,并基于所述用户意图获取文本输出信息;以及
语音合成单元,用于对所述文本输出信息进行语音合成处理,得到反馈语音。
6.一种客服服务方法,其特征在于,包括:
与所述智能终端建立通话连接;
获取与所述智能终端之间的通话数据,并根据所述通话数据确定向所述智能终端反馈的反馈信息;
从所述通话数据中获取用户信息,并根据所述用户信息确定反馈业务模式;以及
若所述反馈业务模式为数字人在线模式,则基于所述反馈信息获取包括所述数字人的数字人图像,并将所述数字人图像作为交互反馈结果;其中,所述数字人图像中所述数字人的形态与所述反馈信息对应;以及
将所述交互反馈结果发送至所述智能终端。
7.根据权利要求6所述的客服服务方法,其特征在于,所述与所述智能终端建立通话连接包括:
获取所述智能终端的终端标识;
通过所述终端标识向所述智能终端发出呼叫请求;以及
若确定所述智能终端允许所述呼叫请求,则与所述智能终端建立通话连接。
8.根据权利要求6所述的客服服务方法,其特征在于,所述与所述智能终端建立通话连接包括:
接收由所述智能终端发送的呼叫请求;以及
若确定允许所述呼叫请求,则与所述智能终端建立通话连接。
9.根据权利要求6所述的客服服务方法,其特征在于,所述基于所述反馈信息获取包括所述数字人的数字人图像包括:
根据所述反馈信息获取数字人选择指令和数字人驱动信息;
按照预设的数字人选择规则获取与所述数字人选择指令对应的目标数字人;以及
基于所述数字人驱动信息驱动所述目标数字人,获取包括所述目标数字人的目标数字人图像。
10.根据权利要求6所述的客服服务方法,其特征在于,所述客服服务方法还包括:
若所述反馈业务模式为所述数字人离线模式,则按照预设的信息排布规则将所述反馈信息生成推介图像,并将所述推介图像作为所述交互反馈结果。
11.根据权利要求10所述的客服服务方法,其特征在于,所述按照预设的信息排布规则将所述反馈信息生成推介图像包括:
根据所述反馈信息从预设的多个模板中获取目标模板;以及
将所述反馈信息排布至所述目标模板,得到所述推介图像。
12.根据权利要求6所述的客服服务方法,其特征在于,所述根据所述通话数据确定向所述智能终端反馈的反馈信息包括:
从所述通话数据中获取键入指令,所述键入指令用于表征用户在所述智能终端界面操作所生成的指令;
获取与所述键入指令对应的字符;
从所述通话数据中获取历史反馈信息,所述历史反馈信息包括相互关联的业务反馈信息和预设字符;以及
若所述字符与所述预设字符匹配,则将与所述预设字符关联的所述业务反馈信息作为反馈信息。
13.根据权利要求6所述的客服服务方法,其特征在于,所述根据所述用户信息确定反馈业务模式包括:
从所述用户信息中获取包含用户的用户图像;
对所述用户图像进行图像识别,得到用户特征;以及
若所述用户特征与预设的用户特征相符,则确定所述反馈业务模式为所述数字人在线模式。
14.根据权利要求6至13中任一项所述的客服服务方法,其特征在于,所述将所述交互反馈结果发送至所述智能终端包括:
获取所述交互反馈结果中的隐私信息;
按照预设的信息保护方式更新所述交互反馈结果,使更新后的交互反馈结果中的所述隐私信息被隐藏;以及
将更新后的交互反馈结果发送至所述智能终端。
15.根据权利要求6至13中任一项所述的客服服务方法,其特征在于,所述客服服务方法还包括:
根据所述反馈信息获取用于在所述智能终端显示的提示内容;以及
生成包括所述提示内容的电子卡片,并将所述电子卡片作为所述交互反馈结果。
16.一种客服服务装置,其特征在于,包括:
连接模块,用于与所述智能终端建立通话连接;
反馈信息确定模块,用于获取与所述智能终端之间的通话数据,并根据所述通话数据确定向所述智能终端反馈的反馈信息;
业务模式确定模块,用于从所述通话数据中获取用户信息,并根据所述用户信息确定反馈业务模式;
数字人驱动模块,用于在所述反馈业务模式为数字人在线模式时,基于所述反馈信息获取包括所述数字人的数字人图像,并将所述数字人图像作为交互反馈结果;其中,所述数字人图像中所述数字人的形态与所述反馈信息对应;以及
交互反馈结果发送模块,用于将所述交互反馈结果发送至所述智能终端。
17.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个程序, 其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行, 所述一个或多个程序配置用于执行如权利要求6至15中任一项所述的客服服务方法。
18.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求6至15中任一项所述的客服服务方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110278320.3A CN112669416B (zh) | 2021-03-16 | 2021-03-16 | 客服服务系统、方法、装置、电子设备及存储介质 |
PCT/CN2021/123865 WO2022193635A1 (zh) | 2021-03-16 | 2021-10-14 | 客服服务系统、方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110278320.3A CN112669416B (zh) | 2021-03-16 | 2021-03-16 | 客服服务系统、方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112669416A true CN112669416A (zh) | 2021-04-16 |
CN112669416B CN112669416B (zh) | 2021-06-22 |
Family
ID=75399330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110278320.3A Active CN112669416B (zh) | 2021-03-16 | 2021-03-16 | 客服服务系统、方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112669416B (zh) |
WO (1) | WO2022193635A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114040142A (zh) * | 2021-11-05 | 2022-02-11 | 深圳壹账通智能科技有限公司 | 智能外呼机器人的视频通话方法、装置、设备及存储介质 |
WO2022193635A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳追一科技有限公司 | 客服服务系统、方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268555A (zh) * | 2017-01-03 | 2018-07-10 | 中国移动通信有限公司研究院 | 一种信息处理方法及装置 |
CN108848281A (zh) * | 2018-06-13 | 2018-11-20 | 上海携程商务有限公司 | 一种客服方法、系统、设备及存储介质 |
CN110348387A (zh) * | 2019-07-12 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法、装置以及计算机可读存储介质 |
CN110400251A (zh) * | 2019-06-13 | 2019-11-01 | 深圳追一科技有限公司 | 视频处理方法、装置、终端设备及存储介质 |
CN110647636A (zh) * | 2019-09-05 | 2020-01-03 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
CN110826441A (zh) * | 2019-10-25 | 2020-02-21 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669416B (zh) * | 2021-03-16 | 2021-06-22 | 深圳追一科技有限公司 | 客服服务系统、方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-16 CN CN202110278320.3A patent/CN112669416B/zh active Active
- 2021-10-14 WO PCT/CN2021/123865 patent/WO2022193635A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268555A (zh) * | 2017-01-03 | 2018-07-10 | 中国移动通信有限公司研究院 | 一种信息处理方法及装置 |
CN108848281A (zh) * | 2018-06-13 | 2018-11-20 | 上海携程商务有限公司 | 一种客服方法、系统、设备及存储介质 |
CN110400251A (zh) * | 2019-06-13 | 2019-11-01 | 深圳追一科技有限公司 | 视频处理方法、装置、终端设备及存储介质 |
CN110348387A (zh) * | 2019-07-12 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法、装置以及计算机可读存储介质 |
CN110647636A (zh) * | 2019-09-05 | 2020-01-03 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
CN110826441A (zh) * | 2019-10-25 | 2020-02-21 | 深圳追一科技有限公司 | 交互方法、装置、终端设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022193635A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳追一科技有限公司 | 客服服务系统、方法、装置、电子设备及存储介质 |
CN114040142A (zh) * | 2021-11-05 | 2022-02-11 | 深圳壹账通智能科技有限公司 | 智能外呼机器人的视频通话方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022193635A1 (zh) | 2022-09-22 |
CN112669416B (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4395687B2 (ja) | 情報処理装置 | |
WO2020204000A1 (ja) | コミュニケーション支援システム、コミュニケーション支援方法、コミュニケーション支援プログラム、および画像制御プログラム | |
EP2127341B1 (en) | A communication network and devices for text to speech and text to facial animation conversion | |
CN110400251A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
CN110555507B (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
CN112669416B (zh) | 客服服务系统、方法、装置、电子设备及存储介质 | |
CN108833941A (zh) | 人机交互处理方法、装置、用户终端、处理服务器及系统 | |
CN112669846A (zh) | 交互系统、方法、装置、电子设备及存储介质 | |
CN111290568A (zh) | 交互方法、装置及计算机设备 | |
CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
CN110992222A (zh) | 教学交互方法、装置、终端设备及存储介质 | |
CN110794964A (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
CN113067953A (zh) | 客户服务方法、系统、装置、服务器及存储介质 | |
JP6796762B1 (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
CN107623830B (zh) | 一种视频通话方法及电子设备 | |
CN110536095A (zh) | 通话方法、装置、终端及存储介质 | |
CN113703585A (zh) | 交互方法、装置、电子设备及存储介质 | |
CN107623622A (zh) | 一种发送语音动画的方法及电子设备 | |
CN110674398A (zh) | 虚拟人物形象交互方法、装置、终端设备及存储介质 | |
CN112911192A (zh) | 视频处理方法、装置和电子设备 | |
CN112669422A (zh) | 仿真3d数字人生成方法、装置、电子设备及存储介质 | |
KR102412823B1 (ko) | 번역 기능을 제공하는 실시간 양방향 온라인 회의 시스템 | |
CN113850898A (zh) | 场景渲染方法及装置、存储介质及电子设备 | |
CN113050791A (zh) | 交互方法、装置、电子设备及存储介质 | |
KR20190002386A (ko) | 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |