CN117857830A - 数字人直播交互方法、装置、电子设备及存储介质 - Google Patents
数字人直播交互方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117857830A CN117857830A CN202410145386.9A CN202410145386A CN117857830A CN 117857830 A CN117857830 A CN 117857830A CN 202410145386 A CN202410145386 A CN 202410145386A CN 117857830 A CN117857830 A CN 117857830A
- Authority
- CN
- China
- Prior art keywords
- target
- information
- user
- video
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000003993 interaction Effects 0.000 title claims abstract description 58
- 230000002452 interceptive effect Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 238000003058 natural language processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000001680 brushing effect Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供一种数字人直播交互方法、装置、电子设备及存储介质,该方法包括:在基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接的情况下,向用户终端推送直播信息,数字人视频为以数字人形象对目标平台支持的业务进行讲解的视频,P的取值大于或者等于1,用户终端基于直播信息显示与数字人视频关联的直播界面,直播信息包括数字人视频对应的视频流、留资卡片以及用户评论;在接收到携带询问信息的目标用户评论的情况下,将目标用户评论推送至用户终端,获取针对目标用户评论进行回复的口播视频或者文本形式的回复内容并发送至用户终端。本申请可提升数字人直播间的灵活性和互动性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数字人直播交互方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展,越来越多的人选择通过观看直播的方式获取信息。在众多直播模式中,真人直播模式一直属于主流直播模式。但就真人直播模式而言,主播容易受到外界环境的影响,进而对直播间的直播造成不良后果。
为了避免主播受到外界环境影响,以及为了节约直播成本,采用数字人进行直播成为一种新的直播方式。但目前生成的数字人视频内容相对单一,数字人不够灵活,不能与观众互动,因此在采用数字人进行直播时,存在直播灵活性低、互动性弱的弊端。
发明内容
本申请实施例提供一种克服上述问题或者至少部分地解决上述问题的数字人直播交互方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种数字人直播交互方法,应用于目标平台,包括:
在基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接的情况下,向所述用户终端推送直播信息,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,P的取值大于或者等于1,所述用户终端基于所述直播信息显示与所述数字人视频关联的直播界面,所述直播信息包括所述数字人视频对应的视频流、留资卡片以及用户评论;
在接收到携带询问信息的目标用户评论的情况下,将所述目标用户评论推送至所述用户终端,获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端。
第二方面,本申请实施例提供了一种数字人直播交互方法,应用于用户终端,包括:
在建立与目标平台的直播交互连接的情况下,接收所述目标平台基于数字人视频推送的直播信息,显示与所述数字人视频关联的直播界面,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,所述直播界面包括所述数字人视频对应的讲解画面、评论信息以及留资卡片;
响应于第一输入,向所述目标平台发送携带询问信息的目标用户评论;
接收所述目标平台基于所述目标用户评论发送的口播视频或者文本形式的回复内容并展示;
其中,所述目标用户评论在所述直播界面展示,所述口播视频或者所述文本形式的回复内容为针对所述目标用户评论进行回复的回复内容。
第三方面,本申请实施例提供了一种数字人直播交互装置,应用于目标平台,包括:
推送模块,用于在基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接的情况下,向所述用户终端推送直播信息,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,P的取值大于或者等于1,所述用户终端基于所述直播信息显示与所述数字人视频关联的直播界面,所述直播信息包括所述数字人视频对应的视频流、留资卡片以及用户评论;
处理模块,用于在接收到携带询问信息的目标用户评论的情况下,将所述目标用户评论推送至所述用户终端,获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端。
第四方面,本申请实施例提供了一种数字人直播交互装置,应用于用户终端,包括:
接收显示模块,用于在建立与目标平台的直播交互连接的情况下,接收所述目标平台基于数字人视频推送的直播信息,显示与所述数字人视频关联的直播界面,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,所述直播界面包括所述数字人视频对应的讲解画面、评论信息以及留资卡片;
第三发送模块,用于响应于第一输入,向所述目标平台发送携带询问信息的目标用户评论;
接收展示模块,用于接收所述目标平台基于所述目标用户评论发送的口播视频或者文本形式的回复内容并展示;
其中,所述目标用户评论在所述直播界面展示,所述口播视频或者所述文本形式的回复内容为针对所述目标用户评论进行回复的回复内容。
第五方面,本申请实施例提供了一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面或者第二方面所述的数字人直播交互方法的步骤。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述第一方面或者第二方面所述的数字人直播交互方法的步骤。
本申请实施例技术方案,通过生成以数字人形象对目标平台支持的业务进行讲解的数字人视频,基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接,可以向至少一个用户定向展示数字人视频、通过数字人推广目标平台支持的业务,在节约人力成本的同时提升业务的推广效率;在接收到携带询问信息的目标用户评论之后,获取针对目标用户评论进行回复的口播视频或者文本形式的回复内容,通过将口播视频发送至用户终端,可以使得用户通过音频方式获取回复,增强数字人主播与用户的互动,且用户可以基于相对简单的形式获取回复,无需时刻关注显示界面查找回复,通过以文本形式将针对询问信息的回复内容推送至用户终端,可以使得用户通过显示界面所呈现的文本内容获取询问信息的回复;通过针对询问信息进行回复,增强了数字人主播与用户之间的互动,进而可以提升数字人直播间的灵活性以及互动性。
附图说明
图1表示本申请实施例提供的目标平台侧的数字人直播交互方法示意图;
图2表示本申请实施例提供的目标平台针对携带询问信息的目标用户评论确定回复内容的整体实施流程图;
图3表示本申请实施例提供的用户终端侧的数字人直播交互方法示意图;
图4表示本申请实施例提供的目标平台侧的数字人直播交互装置示意图;
图5表示本申请实施例提供的用户终端侧的数字人直播交互装置示意图;
图6表示本申请实施例提供的电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。本申请实施例中的多个可以包括两个以及两个以上。
在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例提供一种数字人直播交互方法,应用于目标平台,如图1所示,包括:
步骤101、在基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接的情况下,向所述用户终端推送直播信息,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,P的取值大于或者等于1,所述用户终端基于所述直播信息显示与所述数字人视频关联的直播界面,所述直播信息包括所述数字人视频对应的视频流、留资卡片以及用户评论。
本申请实施例提供的目标平台为目标应用程序(用户应用程序)的后台,用户终端通过目标应用程序与目标平台通信,访问目标平台所支持的各类业务。目标平台注册有多个商家,商家在目标平台注册后,为用户提供商家支持的业务,如提供搬家业务、保洁业务、家政业务等,用户在线上下单订阅对应业务之后,由商家提供对应的服务。在目标平台注册的各类商家所提供的业务均为目标平台所支持的业务。
目标平台为了向用户介绍目标平台所支持的业务、使得更多的用户了解目标平台,可以采用数字人直播的方式为用户进行业务介绍,在节约人力成本的同时提升业务的推广效率。
在采用数字人直播的方式为用户介绍目标平台所支持的业务时,目标平台生成以数字人形象对目标平台支持的业务进行讲解的数字人视频,基于数字人视频创建数字人直播间,建立与一个或者多个用户终端的直播交互连接,向建立直播交互连接的用户终端推送关联数字人视频的直播信息。针对直播间内的用户终端而言,基于接收到的直播信息展示与数字人视频关联的直播界面,进而使得用户基于数字人直播了解目标平台支持的业务。
直播信息包括数字人视频对应的视频流、留资卡片以及用户评论,目标平台在向用户终端推送直播信息时,向用户终端实时推送数字人视频对应的视频流,响应于推送触发条件,向用户终端推送留资卡片。在接收到用户评论的情况下向用户终端推送用户评论。
其中,留资卡片通常需要推送一次,且可以在预设时机推送,例如,在开始推送视频流时推送留资卡片,在直播时长达到一设定时长时推送留资卡片,在讲解内容涉及到特定内容时推送留资卡片。一个数字人视频通常可以介绍目标平台支持的某一种业务,如介绍搬家业务,此时将留资卡片推送至用户终端,可以接收用户终端针对搬家业务所提供的留资信息。一个数字人视频也可以介绍目标平台支持的多种业务,如介绍搬家业务,保洁业务,家政业务;此种情况下,可以针对不同的业务分别推送留资卡片,即,留资卡片需要推送多次,如推送关联搬家业务的留资卡片、推送关联保洁业务的留资卡片、推送关联家政业务的留资卡片,使得用户终端基于留资卡片提供针对关联业务的留资信息;也可以是推送一次留资卡片,用户终端在基于留资卡片提供留资信息时还需要提供用户感兴趣的业务。
数字人视频对应的视频流需要实时推送,以保证在用户终端可以展示完整的数字人视频;用户评论的推送条件为收到新的用户评论,即,目标平台在收到一新的用户评论之后,在确定用户评论符合发布条件的情况下,向各用户终端推送该评论,以使得各用户终端可以获取该评论,在直播界面展示文本形式的评论或者播放语音形式的评论。
步骤102、在接收到携带询问信息的目标用户评论的情况下,将所述目标用户评论推送至所述用户终端,获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端。
目标平台在接收到一用户终端发送的携带询问信息的目标用户评论、且确定该评论符合发布条件时,将目标用户评论推送至各用户终端,使得各用户终端获取目标用户评论。目标平台在接收到携带询问信息的目标用户评论、将该评论推送至各用户终端之后,还需要针对该询问信息确定回复内容,将回复内容推送至各用户终端。
目标平台针对询问信息所确定的回复内容可以为口播形式的回复内容(口播视频)或者文本形式的回复内容。在确定口播形式的回复内容之后,将口播视频发送至用户终端,可以使得用户通过音频方式获取回复,增强数字人主播与用户的互动,且用户可以基于相对简单的形式获取回复,无需时刻关注显示界面查找回复。在确定文本形式的回复内容之后,以文本形式将针对询问信息的回复内容推送至各用户终端,使得用户通过显示界面所呈现的文本内容获取询问信息的回复。
本申请上述实施方案,通过生成以数字人形象对目标平台支持的业务进行讲解的数字人视频,基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接,可以向至少一个用户定向展示数字人视频、通过数字人推广目标平台支持的业务,在节约人力成本的同时提升业务的推广效率;在接收到携带询问信息的目标用户评论之后,获取针对目标用户评论进行回复的口播视频或者文本形式的回复内容,通过将口播视频发送至用户终端,可以使得用户通过音频方式获取回复,增强数字人主播与用户的互动,且用户可以基于相对简单的形式获取回复,无需时刻关注显示界面查找回复,通过以文本形式将针对询问信息的回复内容推送至用户终端,可以使得用户通过显示界面所呈现的文本内容获取询问信息的回复;通过针对询问信息进行回复,增强了数字人主播与用户之间的互动,进而可以提升数字人直播间的灵活性以及互动性。
下面对获取针对目标用户评论进行回复的回复内容、将回复内容发送至用户终端的过程进行详细介绍。可选地,所述获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端,包括:
检测所述目标平台对应的第一知识库中是否存在与所述询问信息的相似度大于第一阈值的问题;
若存在,确定与所述询问信息的相似度最高的目标问题,根据所述第一知识库中与所述目标问题匹配的回复内容生成口播视频,将所述口播视频在预设推送时刻推送至所述用户终端;
若不存在,获取所述询问信息关联的目标内容,基于所述目标内容获取针对所述询问信息的回复内容,在所述回复内容满足限制条件时,向所述用户终端推送文本形式的回复内容。
目标平台检测目标平台对应的第一知识库(口播知识库)中是否存在与询问信息的相似度大于第一阈值的问题。目标平台对应的第一知识库中包括多个问题以及匹配的回复,且第一知识库为文本类知识库,若接收到的目标用户评论为语音形式,可以将其转化为文本,然后基于文本形式的目标用户评论检测第一知识库。第一知识库中的问题可以分类,如,基于业务类型进行分类,目标平台在第一知识库中查找问题时,可以首先基于询问信息确定匹配的业务类型,然后在对应的类别中查找与询问信息的相似度大于第一阈值的问题。
在第一知识库中查找到与询问信息的相似度大于第一阈值的问题之后,在所查找到的问题中确定与询问信息的相似度最高的目标问题,在第一知识库中查找到目标问题匹配的回复内容,根据查找到的回复内容生成口播视频,将口播视频在预设推送时刻推送至各用户终端。由于在查找到与询问信息的相似度大于第一阈值的目标问题之后,需要直接利用该问题对应的回复内容,因此第一阈值的取值较大,如第一阈值为95%。
若第一知识库中不存在与询问信息的相似度大于第一阈值的问题,则需要针对询问信息获取与之关联的目标内容,然后基于目标内容获取针对询问信息的回复内容,检测回复内容是否满足限制条件,若满足限制条件,则向各个用户终端推送文本形式的回复内容,使得用户通过显示界面所呈现的文本内容获取询问信息的回复。
上述过程,在第一知识库中查找到询问信息匹配的回复内容时,采用口播的形式将回复内容推送至用户终端,若第一知识库中不存在询问信息匹配的回复内容,则基于询问信息关联的目标内容确定满足限制条件的文字回复,以文本形式将回复内容推送至用户终端,实现优先采用口播形式回复,在不支持口播回复形式时采用文本形式回复。
可选地,所述获取所述询问信息关联的目标内容,基于所述目标内容获取针对所述询问信息的回复内容,在所述回复内容满足限制条件时,向所述用户终端推送文本形式的回复内容,包括:
在所述目标平台对应的第二知识库中查找与所述询问信息相似度最高的关联知识;
在所述关联知识与所述询问信息的相似度大于第二阈值时,将所述关联知识确定为所述目标内容,基于所述关联知识确定针对所述询问信息的回复内容,在所述回复内容对应的长度小于或者等于配置长度时,向所述用户终端推送文本形式的回复内容;
在所述关联知识与所述询问信息的相似度不大于第二阈值时,基于所述关联知识和所述询问信息关联的讲解内容确定所述目标内容,基于自然语言处理模型和所述目标内容获取针对所述询问信息生成的参考回复,在所述参考回复支持回复所述询问信息且对应的长度小于或者等于配置长度时,将所述参考回复作为针对所述询问信息的回复内容,并以文本形式推送至所述用户终端。
在第一知识库中不存在与询问信息的相似度大于第一阈值的问题时,需要在目标平台对应的第二知识库中查找与询问信息相似度最高的关联知识。第二知识库为文本类型的业务知识库,包括与目标平台支持的业务相关的各类知识,可以基于业务类型进行内容分类。在第二知识库中查找与询问信息相似度最高的关联知识时,可以首先基于询问信息确定匹配的业务类型,然后在对应的类别中查找与询问信息相似度最高的关联知识。在查找到关联知识之后,检测关联知识与询问信息的相似度是否大于第二阈值,若大于第二阈值,可以直接将关联知识确定为目标内容,然后基于关联知识确定针对询问信息的回复内容,检测回复内容对应的长度(如基于文字数量确定的长度、字符长度)是否小于或者等于配置长度,若小于或者等于配置长度,确定满足限制条件,可以向各用户终端推送文本形式的回复内容。需要说明的是,由于需要直接利用与询问信息的相似度大于第二阈值的关联知识确定回复内容,因此第二阈值的取值较大,如第二阈值为95%。
若所查找到的关联知识(第二知识库中与询问信息的相似度最高的知识)与询问信息的相似度不大于第二阈值时,则需要基于关联知识和询问信息关联的讲解内容确定目标内容,询问信息关联的讲解内容为数字人视频中关联询问信息的内容,可以为目标平台在接收到询问信息时、数字人视频已经播放或者正在播放的讲解内容,特殊情况下为未播放的讲解内容,实现基于数字人视频所播放的讲解内容和知识库中的关联内容确定目标内容。在确定目标内容之后,基于自然语言处理模型和目标内容获取针对询问信息所生成的参考回复。作为举例,自然语言处理模型可以为GPT(Generative Pre-TrainedTransformer,生成式预训练Transformer模型),也可以为其他的用于文本生成的深度学习模型。在生成参考回复之后,确定参考回复是否支持回复询问信息,若基于自然语言处理模型和目标内容生成的参考回复是默认回复,如(我回答不了这个问题),则确定参考回复不支持回复询问信息,此时目标平台针对询问信息不返回回复内容。若确定参考回复支持回复询问信息,需要进一步检测参考回复对应的长度是否小于或者等于配置长度,若参考回复对应的长度大于配置长度,此时目标平台针对询问信息不返回回复内容,若参考回复对应的长度小于或者等于配置长度,则将参考回复作为针对询问信息的回复内容,并以文本形式推送至用户终端。
如图2所示,为目标平台在接收到携带询问信息的目标用户评论后确定回复内容进行回复的整体实施过程。
步骤201、检测第一知识库中是否存在与询问信息的相似度大于第一阈值的问题,若存在执行步骤202,否则执行步骤203。
步骤202、在所查找到的问题中确定与询问信息的相似度最高的目标问题,确定与目标问题匹配的回复内容,根据回复内容生成口播视频进行回复,然后结束流程。
步骤203、在第二知识库中查找与询问信息相似度最高的关联知识。
步骤204、检测关联知识与询问信息的相似度是否大于第二阈值,若是则执行步骤205,否则执行步骤206。
步骤205、将关联知识确定为目标内容,然后基于关联知识确定针对询问信息的回复内容,步骤205之后执行步骤208。
步骤206、基于关联知识和询问信息关联的讲解内容确定目标内容,基于自然语言处理模型和目标内容获取针对询问信息所生成的参考回复。
步骤207、检测参考回复是否支持回复询问信息,若是执行步骤208,否则执行步骤209。
步骤208、检测长度是否小于或者等于配置长度,这里的长度为确定的待回复内容的长度,如步骤207的参考内容的长度、步骤205的回复内容的长度。若是则执行步骤210,否则执行步骤209。
步骤209、不进行回复,然后结束流程。
步骤210、以文本形式进行回复,然后结束流程。
上述实施流程中,在可以采用口播形式回复时采用口播视频对询问信息进行回复,在不支持口播回复时,确定文本形式的回复内容,在文本形式的回复内容满足限制条件时回复文本内容,否则针对询问信息不响应,实现优先采用口播形式回复,在不支持口播时采用文本形式回复,在没有适配的回复内容时直接不回复。
本申请上述实施过程,目标平台在接收到携带询问信息的目标用户评论之后,基于第一知识库查找匹配回复,在查找到匹配回复之后通过口播的形式将回复推送至各用户终端,可以使得用户通过音频方式获取回复,增强数字人主播与用户的互动,且用户可以基于相对简单的形式获取回复,无需时刻关注显示界面查找回复;在无法通过口播形式进行回复时,基于第二知识库获取回复,或者基于第二知识库以及对应的讲解内容获取回复,在所获取的回复满足限制条件时,以文本形式将针对询问信息的回复推送至各用户终端,使得用户通过显示界面所呈现的文本内容获取询问信息的回复。
下面对以口播形式回复时生成口播视频、推送口播视频的过程进行介绍。可选地,所述根据所述第一知识库中与所述目标问题匹配的回复内容生成口播视频,包括:
获取所述数字人视频对应的视频素材,所述视频素材至少包括数字人形象、背景信息和前景信息;
根据所述数字人视频对应的视频素材和与所述目标问题匹配的回复内容,生成所述口播视频。
在第一知识库中获取与目标问题匹配的回复内容、并获取数字人视频对应的视频素材之后,可以基于视频素材和与目标问题匹配的回复内容生成口播视频。视频素材至少包括数字人形象、背景信息和前景信息。其中,数字人视频对应的数字人形象可以由目标平台随机选择,也可以在受大部分用户喜爱的数字人形象中选择,数字人形象包括角色和声音。数字人视频对应的背景信息可以基于待介绍的业务确定,如背景信息包含目标平台支持的业务的相关简介。前景信息可以由目标平台在素材库中随机选取,也可以基于业务类型选择匹配的素材。
基于与目标问题匹配的回复内容可以生成讲解文本,基于讲解文本和数字人视频对应的数字人形象、背景信息、前景信息,生成与数字人视频相适配的口播视频,以保证用户终端所展示的口播画面与数字人讲解业务的讲解画面相适配,保证用户的观感。
在将所述口播视频在预设推送时刻推送至所述用户终端时,包括:
在到达预设推送时刻的情况下,暂停推送所述数字人视频对应的视频流,向所述用户终端推送所述口播视频对应的视频流,在所述口播视频对应的视频流推送结束后,继续推送所述数字人视频对应的视频流。
在生成针对询问信息的口播视频之后,可以在到达预设推送时刻时,暂停向各用户终端推送数字人视频对应的视频流,向各用户终端推送口播视频对应的视频流,以使得各用户通过音频的方式获取针对目标用户评论的回复。在口播视频对应的视频流推送结束后,在暂停位置继续推送数字人视频对应的视频流。
其中,预设推送时刻为预先设置好的时刻,如,数字人视频播放的第3分钟为推送时刻,数字人讲解停顿的时刻为推送时刻。且推送时刻可以有多个,在生成口播视频之后,在最近的推送时刻推送口播视频对应的视频流。通过采用口播的方式回复询问信息,可以增强数字人主播与用户的互动,且用户可以基于相对简单的形式获取回复,无需时刻关注显示界面查找回复。
下面对目标平台获取留资信息、为发送留资信息的用户分配商家的方案进行介绍。作为一可选实施例,所述方法还包括:
接收第一用户终端发送的留资信息,所述留资信息包括所述第一用户终端的真实联系方式和用户意向信息,所述用户意向信息指示用户感兴趣的业务;
对所述留资信息进行处理,获取包括目标联系方式和所述用户意向信息、关联所述第一用户终端的商机信息,所述目标联系方式为基于所述真实联系方式生成且关联所述第一用户终端的加密联系方式;
根据所述用户意向信息,将关联所述第一用户终端的商机信息分配给目标商家。
用户终端在进入数字人直播间后,基于接收到的直播信息显示直播界面,直播界面包括留资卡片。P个用户终端中的第一用户终端在接收到用户针对留资卡片的输入时,向目标平台发送留资信息,留资信息包括第一用户终端的真实联系方式和用户意向信息,用户意向信息指示用户感兴趣的业务。第一用户终端对应的用户对数字人讲解的业务感兴趣,因此会执行留资行为。若数字人视频用于介绍一种业务,则基于用户对留资卡片的输入,第一用户终端可以自动获取用户意向信息;若数字人视频用于介绍多种业务,多种业务对应一个留资卡片,则需要基于用户的输入行为获取用户意向信息。
留资信息到达目标平台后,目标平台对留资信息进行处理生成关联第一用户终端的商机信息,所生成的商机信息包括目标联系方式和用户意向信息。目标平台在对留资信息进行处理时,基于真实联系方式生成关联第一用户终端的加密联系方式,所生成的加密联系方式即为目标联系方式,目标联系方式可以为虚拟联系方式(如虚拟号码)或者处于加密状态的真实联系方式(如139xxxx1235)。
在生成关联第一用户终端的商机信息之后,可以根据用户意向信息,将关联第一用户终端的商机信息分配给目标商家,使得目标商家基于所获取的商机信息与第一用户终端对应的用户取得联系。
其中,所述根据所述用户意向信息,将关联所述第一用户终端的商机信息分配给目标商家,包括:根据所述用户意向信息确定目标业务;在支持所述目标业务的商家中,筛选出所述目标商家,将关联所述第一用户终端的商机信息分配至所述目标商家,其中,所述目标商家基于所述目标联系方式向所述第一用户终端发起会话请求。
在将关联第一用户终端的商机信息进行分配时,根据商机信息所包含的用户意向信息确定目标业务,目标业务为第一用户终端对应的用户感兴趣的业务。然后在支持目标业务的商家中,基于预设筛选策略筛选出目标商家,如筛选出评分最高的商家作为目标商家、筛选出成单量最高的商家作为目标商家、筛选出与用户距离最近的商家作为目标商家等。在筛选出目标商家之后,目标平台将关联第一用户终端的商机信息分配至目标商家,使得目标商家可以基于商机信息所包含的目标联系方式与第一用户终端对应的用户取得联系。
在目标商家通过对应的商家终端获取商机信息之后,商家终端可以生成商机信息对应的关联第一用户终端的商机卡片。商家终端在接收到针对商机卡片的输入(指示会话)后,响应于该输入,基于目标联系方式向目标平台发起会话请求,目标平台基于目标联系方式确定对应的真实联系方式,基于真实联系方式向第一用户终端发起会话请求,使得商家终端基于目标联系方式与第一用户终端建立会话连接。
本申请上述实施方案,在获取第一用户终端提供的留资信息之后,基于留资信息生成商机信息,将商机信息分配给匹配商家,可以建立商家与用户会话的会话渠道,使得商家进一步为用户感兴趣的业务进行介绍,提升交易量;且通过基于真实联系方式确定目标联系方式、将目标联系方式提供给商家,可以在构建会话渠道的同时保护用户的隐私。
作为一可选实施例,所述方法还包括:检测所述用户终端所发布的用户评论中是否包括负面评论;在确定第二用户终端发布同一负面评论的次数大于第一预设次数或者发布负面评论的总次数大于第二预设次数的情况下,向所述第二用户终端发送禁言指令,所述禁言指令指示所述第二用户终端在预设时长内停止发布用户评论。
目标平台需要检测用户终端所发布的用户评论中是否包括负面评论,若检测到第二用户终端发布负面评论且同一负面评论出现的次数大于第一预设次数,例如大于3次,则确定第二用户终端的发布行为为恶意刷评论,此时需要向第二用户终端发送禁言指令,以指示第二用户终端在预设时长内停止发布用户评论,如指示第二用户终端在当天禁止发布评论。
若检测到第二用户终端发布负面评论的总次数大于第二预设次数,例如5次,则确定第二用户终端的发布行为为恶意刷评论,此时需要向第二用户终端发送禁言指令,以指示第二用户终端在预设时长内停止发布用户评论,如指示第二用户终端在当天禁止发布评论。
通过对用户评论进行监控,在确定存在恶意刷评论的用户终端时,向用户终端发送禁言指令,可以纠正直播间的评论风气,保证基于数字人视频介绍目标平台支持的业务的直播效果。
可选地,所述方法还包括:在监测到评论发送触发条件的情况下,向至少一个虚拟用户终端发送与当前讲解内容关联的评论信息,以使所述至少一个虚拟用户终端发布接收到的评论信息。
目标平台为了保证直播间的氛围,可以设置自动发评论的时间,在到达预先设置的时间点时,向至少一个虚拟用户终端发送与当前讲解内容关联的用户评论,使得至少一个虚拟用户终端在直播间内发布接收到的用户评论,以提升直播间的互动性,且所发送的用户评论为正向引导信息。目标平台可以实时监控直播间内的负面评论,在负面评论的占比大于设定值的情况下,向至少一个虚拟用户终端发送与当前讲解内容关联的正向评论信息,由虚拟用户终端发布接收到的评论信息,实现对直播间内的用户进行正向引导。目标平台可以实时监控直播间内的评论数量,在直播间内的评论数量过少时,向至少一个虚拟用户终端发送与当前讲解内容关联的评论信息,由虚拟用户终端发布接收到的评论信息,以提升直播间内的评论数量,进而为直播间营造良好的互动氛围。
目标平台向虚拟用户终端发送的评论可以预先生成,也可以是在监测到评论发送的触发条件时生成。目标平台还可基于其他形式的触发条件控制虚拟用户终端发布评论,不局限于上述所列举的几种情况。
通过基于触发条件向虚拟用户终端发送评论,由虚拟用户终端发布接收到的评论,可以提升直播间内的评论数量,为直播间营造良好的互动氛围。
以上为本申请实施例提供的应用于目标平台的数字人直播交互方法,通过生成以数字人形象对目标平台支持的业务进行讲解的数字人视频,基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接,可以向至少一个用户定向展示数字人视频、通过数字人推广目标平台支持的业务,在节约人力成本的同时提升业务的推广效率;在接收到携带询问信息的目标用户评论之后,获取针对目标用户评论进行回复的口播视频或者文本形式的回复内容,通过将口播视频发送至用户终端,可以使得用户通过音频方式获取回复,增强数字人主播与用户的互动,且用户可以基于相对简单的形式获取回复,无需时刻关注显示界面查找回复,通过以文本形式将针对询问信息的回复内容推送至用户终端,可以使得用户通过显示界面所呈现的文本内容获取询问信息的回复;通过针对询问信息进行回复,增强了数字人主播与用户之间的互动,进而可以提升数字人直播间的灵活性以及互动性。
进一步地,在获取用户的留资信息之后,基于留资信息生成商机信息,将商机信息分配给匹配商家,可以建立商家与用户会话的会话渠道,使得商家进一步为用户感兴趣的业务进行介绍,提升交易量;且通过基于真实联系方式确定目标联系方式、将目标联系方式提供给商家,可以在构建会话渠道的同时保护用户的隐私。
通过对用户评论进行监控,在确定存在恶意刷评论的用户终端时,向用户终端发送禁言指令,可以纠正直播间的评论风气,保证基于数字人视频介绍目标平台支持的业务的直播效果;通过基于触发条件向虚拟用户终端发送评论,由虚拟用户终端发布接收到的评论,可以提升直播间内的评论数量,为直播间营造良好的互动氛围。
本申请实施例还提供一种数字人直播交互方法,应用于用户终端,如图3所示,包括:
步骤301、在建立与目标平台的直播交互连接的情况下,接收所述目标平台基于数字人视频推送的直播信息,显示与所述数字人视频关联的直播界面,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,所述直播界面包括所述数字人视频对应的讲解画面、评论信息以及留资卡片。
本申请实施例的目标平台为目标应用程序(用户应用程序)的后台,用户终端通过目标应用程序与目标平台通信,访问目标平台所支持的各类业务。本申请中,目标平台采用数字人直播的方式为用户进行业务介绍,使得更多的用户了解目标平台,在节约人力成本的同时提升业务的推广效率。
目标平台在采用数字人进行直播时,生成以数字人形象对目标平台支持的业务进行讲解的数字人视频,基于数字人视频创建数字人直播间。用户终端通过目标应用程序的应用页面展示的直播入口进入数字人直播间,目标平台与一个或者多个用户终端建立直播交互连接,向建立直播交互连接的用户终端推送关联数字人视频的直播信息。
用户终端接收目标平台推送的直播信息,基于直播信息展示与数字人视频关联的直播界面,使得用户基于数字人直播了解目标平台支持的业务。直播信息包括数字人视频对应的视频流、留资卡片以及用户评论,相应的,直播界面包括数字人视频对应的讲解画面、评论信息以及留资卡片。
步骤302、响应于第一输入,向所述目标平台发送携带询问信息的目标用户评论。
用户终端可以基于用户的操作向目标平台发送用户评论,目标平台在接收到任一用户终端发送的用户评论之后,检验用户评论是否满足发布条件,若满足发布条件,将该用户评论发送至各用户终端,使得各用户终端了解该评论。
用户终端在接收到用户的第一输入(第一输入指示询问数字人主播问题)的情况下,响应于第一输入,获取询问信息,向目标平台发送携带询问信息的目标用户评论。在目标用户评论满足发布条件时,目标平台将目标用户评论发送至各用户终端,在用户终端的直播界面展示该目标用户评论。其中,目标用户评论可以为文本形式的评论,也可以为语音形式的评论,若是文本形式的评论,可以直接在直播界面的评论区域显示文本;若是语音形式的评论,在直播界面显示语音评论(类似语音消息),点击语音评论即可播放。
步骤303、接收所述目标平台基于所述目标用户评论发送的口播视频或者文本形式的回复内容并展示,所述口播视频或者所述文本形式的回复内容为针对所述目标用户评论进行回复的回复内容。
目标平台在接收到携带询问信息的目标用户评论、将该评论推送至各用户终端之后,还需要针对该询问信息确定回复内容,将回复内容推送至各用户终端。
目标平台针对询问信息所确定的回复内容可以为口播形式的回复内容(口播视频)或者文本形式的回复内容。在确定口播形式的回复内容之后,将口播视频发送至用户终端,用户终端接收口播形式的回复内容,展示针对询问信息的回复视频,可以使得用户通过音频方式获取回复,增强数字人主播与用户的互动,且用户可以基于相对简单的形式获取回复,无需时刻关注显示界面查找回复。目标平台在确定文本形式的回复内容之后,以文本形式将针对询问信息的回复内容推送至各用户终端,用户终端接收文本形式的回复内容,在直播界面显示,使得用户通过显示界面所呈现的文本内容获取询问信息的回复。
本申请上述实施方案,在目标平台基于以数字人形象对目标平台支持的业务进行讲解的数字人视频创建直播间之后,用户终端通过直播入口进入直播间建立与目标平台的直播交互连接,接收目标平台推送的直播信息,基于直播信息展示与数字人视频关联的直播界面,进而使得用户基于数字人直播了解目标平台提供的业务;通过向目标平台发送携带询问信息的目标用户评论,接收目标平台发送的口播视频或者文本形式的回复内容,可以增强数字人主播与用户之间的互动,进而提升了数字人直播间的灵活性以及互动性;且通过接收口播视频可以使得用户基于相对简单的形式获取回复,无需时刻关注显示界面查找回复,通过接收文本形式的回复内容,可以使得用户通过显示界面所呈现的文本内容获取询问信息的回复。
作为一可选实施例,所述方法还包括:
响应于对所述留资卡片的第二输入,向所述目标平台发送包括所述用户终端的真实联系方式和用户意向信息的留资信息,所述用户意向信息指示用户感兴趣的业务,所述留资信息经所述目标平台处理后、生成关联所述用户终端的商机信息,所述商机信息被分配至目标商家且所述商机信息包括目标联系方式和所述用户意向信息,所述目标联系方式为基于所述真实联系方式生成的加密联系方式;
接收所述目标商家对应的商家终端基于所述目标联系方式发送的会话请求,基于所述会话请求与所述商家终端建立会话连接。
用户终端的直播界面包括留资卡片,在接收到用户对留资卡片的第二输入时,向目标平台发送留资信息,留资信息包括当前用户终端(发送留资信息的用户终端)的真实联系方式和用户意向信息,用户意向信息指示用户感兴趣的业务。用户终端对应的用户对数字人讲解的业务感兴趣,因此会执行留资行为。
留资信息到达目标平台后,目标平台对留资信息进行处理生成关联当前用户终端的商机信息,所生成的商机信息包括目标联系方式和用户意向信息,目标平台在对留资信息进行处理时,基于真实联系方式生成关联当前用户终端的加密联系方式,所生成的加密联系方式即为目标联系方式,目标联系方式可以为虚拟联系方式(如虚拟号码)或者处于加密状态的真实联系方式(如139xxxx1235)。
在生成关联当前用户终端的商机信息之后,根据用户意向信息,将关联当前用户终端的商机信息分配给目标商家,使得目标商家基于所获取的商机信息与当前用户终端对应的用户取得联系。
在目标商家通过对应的商家终端获取商机信息之后,商家终端基于目标联系方式向目标平台发起会话请求,目标平台基于目标联系方式确定对应的真实联系方式,基于真实联系方式向当前用户终端发起会话请求,当前用户终端接收会话请求,与商家终端建立会话连接,实现商家终端基于目标联系方式与当前用户终端建立连接,进而使得目标商家与用户取得联系。
本申请上述实施过程,通过向目标平台发送留资信息,由目标平台对留资信息处理生成包含目标联系方式的商机信息、将商机信息提供给目标商家,可以实现建立用户终端与商家终端的会话渠道,在与商家终端建立会话连接后,获取商家终端提供的对相关业务的进一步介绍;且由目标平台提供目标联系方式给商家,可以保护用户的隐私。
需要说明的是,在用户终端发布同一负面评论的次数大于第一预设次数或者发布负面评论的总次数大于第二预设次数时,会接收到禁言指令,以暂停发布评论。详细内容可参见目标平台侧的介绍,这里不再进一步阐述。
以上为本申请实施例提供的应用于用户终端的数字人直播交互方法,在目标平台基于以数字人形象对目标平台支持的业务进行讲解的数字人视频创建直播间之后,用户终端通过直播入口进入直播间建立与目标平台的直播交互连接,接收目标平台推送的直播信息,基于直播信息展示与数字人视频关联的直播界面,进而使得用户基于数字人直播了解目标平台提供的业务;通过向目标平台发送携带询问信息的目标用户评论,接收目标平台发送的口播视频或者文本形式的回复内容,可以增强数字人主播与用户之间的互动,进而提升了数字人直播间的灵活性以及互动性;且通过接收口播视频可以使得用户基于相对简单的形式获取回复,无需时刻关注显示界面查找回复,通过接收文本形式的回复内容,可以使得用户通过显示界面所呈现的文本内容获取询问信息的回复。
进一步地,通过向目标平台发送留资信息,由目标平台对留资信息处理生成包含目标联系方式的商机信息、将商机信息提供给目标商家,可以实现建立用户终端与商家终端的会话渠道,在与商家终端建立会话连接后,获取商家终端提供的对用户感兴趣业务的进一步介绍;且由目标平台提供目标联系方式给商家,可以保护用户的隐私。
本申请实施例还提供了数字人直播交互装置,如图4所示,应用于目标平台的装置,包括:
推送模块401,用于在基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接的情况下,向所述用户终端推送直播信息,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,P的取值大于或者等于1,所述用户终端基于所述直播信息显示与所述数字人视频关联的直播界面,所述直播信息包括所述数字人视频对应的视频流、留资卡片以及用户评论;
处理模块402,用于在接收到携带询问信息的目标用户评论的情况下,将所述目标用户评论推送至所述用户终端,获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端。
可选地,所述处理模块包括:
检测子模块,用于检测所述目标平台对应的第一知识库中是否存在与所述询问信息的相似度大于第一阈值的问题;
第一处理子模块,用于若存在,确定与所述询问信息的相似度最高的目标问题,根据所述第一知识库中与所述目标问题匹配的回复内容生成口播视频,将所述口播视频在预设推送时刻推送至所述用户终端;
第二处理子模块,用于若不存在,获取所述询问信息关联的目标内容,基于所述目标内容获取针对所述询问信息的回复内容,在所述回复内容满足限制条件时,向所述用户终端推送文本形式的回复内容。
可选的,所述第一处理子模块进一步用于:
获取所述数字人视频对应的视频素材,所述视频素材至少包括数字人形象、背景信息和前景信息;
根据所述数字人视频对应的视频素材和与所述目标问题匹配的回复内容,生成所述口播视频。
可选地,所述第一处理子模块进一步用于:
在到达预设推送时刻的情况下,暂停推送所述数字人视频对应的视频流,向所述用户终端推送所述口播视频对应的视频流,在所述口播视频对应的视频流推送结束后,继续推送所述数字人视频对应的视频流。
可选地,所述第二处理子模块包括:
查找单元,用于在所述目标平台对应的第二知识库中查找与所述询问信息相似度最高的关联知识;
第一处理单元,用于在所述关联知识与所述询问信息的相似度大于第二阈值时,将所述关联知识确定为所述目标内容,基于所述关联知识确定针对所述询问信息的回复内容,在所述回复内容对应的长度小于或者等于配置长度时,向所述用户终端推送文本形式的回复内容;
第二处理单元,用于在所述关联知识与所述询问信息的相似度不大于第二阈值时,基于所述关联知识和所述询问信息关联的讲解内容确定所述目标内容,基于自然语言处理模型和所述目标内容获取针对所述询问信息生成的参考回复,在所述参考回复支持回复所述询问信息且对应的长度小于或者等于配置长度时,将所述参考回复作为针对所述询问信息的回复内容,并以文本形式推送至所述用户终端。
可选地,所述装置还包括:
接收模块,用于接收第一用户终端发送的留资信息,所述留资信息包括所述第一用户终端的真实联系方式和用户意向信息,所述用户意向信息指示用户感兴趣的业务;
处理获取模块,用于对所述留资信息进行处理,获取包括目标联系方式和所述用户意向信息、关联所述第一用户终端的商机信息,所述目标联系方式为基于所述真实联系方式生成且关联所述第一用户终端的加密联系方式;
分配模块,用于根据所述用户意向信息,将关联所述第一用户终端的商机信息分配给目标商家。
可选地,所述分配模块包括:
确定子模块,用于根据所述用户意向信息确定目标业务;
筛选分配子模块,用于在支持所述目标业务的商家中,筛选出所述目标商家,将关联所述第一用户终端的商机信息分配至所述目标商家,其中,所述目标商家基于所述目标联系方式向所述第一用户终端发起会话请求。
可选地,所述装置还包括:
检测模块,用于检测所述用户终端所发布的用户评论中是否包括负面评论;
第一发送模块,用于在确定第二用户终端发布同一负面评论的次数大于第一预设次数或者发布负面评论的总次数大于第二预设次数的情况下,向所述第二用户终端发送禁言指令,所述禁言指令指示所述第二用户终端在预设时长内停止发布用户评论。
可选地,所述装置还包括:
第二发送模块,用于在监测到评论发送触发条件的情况下,向至少一个虚拟用户终端发送与当前讲解内容关联的评论信息,以使所述至少一个虚拟用户终端发布接收到的评论信息。
如图5所示,应用于用户终端的数字人直播交互装置包括:
接收显示模块501,用于在建立与目标平台的直播交互连接的情况下,接收所述目标平台基于数字人视频推送的直播信息,显示与所述数字人视频关联的直播界面,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的数字人视频,所述直播界面包括所述数字人视频对应的讲解画面、评论信息以及留资卡片;
第三发送模块502,用于响应于第一输入,向所述目标平台发送携带询问信息的目标用户评论;
接收展示模块503,用于接收所述目标平台基于所述目标用户评论发送的口播视频或者文本形式的回复内容并展示;
其中,所述目标用户评论在所述直播界面展示,所述口播视频或者所述文本形式的回复内容为针对所述目标用户评论进行回复的回复内容。
可选地,所述装置还包括:
第四发送模块,用于响应于对所述留资卡片的第二输入,向所述目标平台发送包括所述用户终端的真实联系方式和用户意向信息的留资信息,所述用户意向信息指示用户感兴趣的业务,所述留资信息经所述目标平台处理后、生成关联所述用户终端的商机信息,所述商机信息被分配至目标商家且所述商机信息包括目标联系方式和所述用户意向信息,所述目标联系方式为基于所述真实联系方式生成的加密联系方式;
接收建立模块,用于接收所述目标商家对应的商家终端基于所述目标联系方式发送的会话请求,基于所述会话请求与所述商家终端建立会话连接。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种电子设备,包括:处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述数字人直播交互方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
举例如下,图6示出了一种电子设备的实体结构示意图。如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,处理器610用于执行上述数字人直播交互方法实施例的各个过程,这里不再进一步阐述。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述数字人直播交互方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
本领域普通技术人员可以意识到,结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种数字人直播交互方法,应用于目标平台,其特征在于,包括:
在基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接的情况下,向所述用户终端推送直播信息,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,P的取值大于或者等于1,所述用户终端基于所述直播信息显示与所述数字人视频关联的直播界面,所述直播信息包括所述数字人视频对应的视频流、留资卡片以及用户评论;
在接收到携带询问信息的目标用户评论的情况下,将所述目标用户评论推送至所述用户终端,获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端。
2.根据权利要求1所述的方法,其特征在于,所述获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端,包括:
检测所述目标平台对应的第一知识库中是否存在与所述询问信息的相似度大于第一阈值的问题;
若存在,确定与所述询问信息的相似度最高的目标问题,根据所述第一知识库中与所述目标问题匹配的回复内容生成口播视频,将所述口播视频在预设推送时刻推送至所述用户终端;
若不存在,获取所述询问信息关联的目标内容,基于所述目标内容获取针对所述询问信息的回复内容,在所述回复内容满足限制条件时,向所述用户终端推送文本形式的回复内容。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一知识库中与所述目标问题匹配的回复内容生成口播视频,包括:
获取所述数字人视频对应的视频素材,所述视频素材至少包括数字人形象、背景信息和前景信息;
根据所述数字人视频对应的视频素材和与所述目标问题匹配的回复内容,生成所述口播视频。
4.根据权利要求2所述的方法,其特征在于,所述将所述口播视频在预设推送时刻推送至所述用户终端,包括:
在到达预设推送时刻的情况下,暂停推送所述数字人视频对应的视频流,向所述用户终端推送所述口播视频对应的视频流,在所述口播视频对应的视频流推送结束后,继续推送所述数字人视频对应的视频流。
5.根据权利要求2所述的方法,其特征在于,所述获取所述询问信息关联的目标内容,基于所述目标内容获取针对所述询问信息的回复内容,在所述回复内容满足限制条件时,向所述用户终端推送文本形式的回复内容,包括:
在所述目标平台对应的第二知识库中查找与所述询问信息相似度最高的关联知识;
在所述关联知识与所述询问信息的相似度大于第二阈值时,将所述关联知识确定为所述目标内容,基于所述关联知识确定针对所述询问信息的回复内容,在所述回复内容对应的长度小于或者等于配置长度时,向所述用户终端推送文本形式的回复内容;
在所述关联知识与所述询问信息的相似度不大于第二阈值时,基于所述关联知识和所述询问信息关联的讲解内容确定所述目标内容,基于自然语言处理模型和所述目标内容获取针对所述询问信息生成的参考回复,在所述参考回复支持回复所述询问信息且对应的长度小于或者等于配置长度时,将所述参考回复作为针对所述询问信息的回复内容,并以文本形式推送至所述用户终端。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收第一用户终端发送的留资信息,所述留资信息包括所述第一用户终端的真实联系方式和用户意向信息,所述用户意向信息指示用户感兴趣的业务;
对所述留资信息进行处理,获取包括目标联系方式和所述用户意向信息、关联所述第一用户终端的商机信息,所述目标联系方式为基于所述真实联系方式生成且关联所述第一用户终端的加密联系方式;
根据所述用户意向信息,将关联所述第一用户终端的商机信息分配给目标商家。
7.根据权利要求6所述的方法,其特征在于,所述根据所述用户意向信息,将关联所述第一用户终端的商机信息分配给目标商家,包括:
根据所述用户意向信息确定目标业务;
在支持所述目标业务的商家中,筛选出所述目标商家,将关联所述第一用户终端的商机信息分配至所述目标商家,其中,所述目标商家基于所述目标联系方式向所述第一用户终端发起会话请求。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述用户终端所发布的用户评论中是否包括负面评论;
在确定第二用户终端发布同一负面评论的次数大于第一预设次数或者发布负面评论的总次数大于第二预设次数的情况下,向所述第二用户终端发送禁言指令,所述禁言指令指示所述第二用户终端在预设时长内停止发布用户评论。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在监测到评论发送触发条件的情况下,向至少一个虚拟用户终端发送与当前讲解内容关联的评论信息,以使所述至少一个虚拟用户终端发布接收到的评论信息。
10.一种数字人直播交互方法,应用于用户终端,其特征在于,包括:
在建立与目标平台的直播交互连接的情况下,接收所述目标平台基于数字人视频推送的直播信息,显示与所述数字人视频关联的直播界面,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,所述直播界面包括所述数字人视频对应的讲解画面、评论信息以及留资卡片;
响应于第一输入,向所述目标平台发送携带询问信息的目标用户评论;
接收所述目标平台基于所述目标用户评论发送的口播视频或者文本形式的回复内容并展示;
其中,所述目标用户评论在所述直播界面展示,所述口播视频或者所述文本形式的回复内容为针对所述目标用户评论进行回复的回复内容。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
响应于对所述留资卡片的第二输入,向所述目标平台发送包括所述用户终端的真实联系方式和用户意向信息的留资信息,所述用户意向信息指示用户感兴趣的业务,所述留资信息经所述目标平台处理后、生成关联所述用户终端的商机信息,所述商机信息被分配至目标商家且所述商机信息包括目标联系方式和所述用户意向信息,所述目标联系方式为基于所述真实联系方式生成的加密联系方式;
接收所述目标商家对应的商家终端基于所述目标联系方式发送的会话请求,基于所述会话请求与所述商家终端建立会话连接。
12.一种数字人直播交互装置,应用于目标平台,其特征在于,包括:
推送模块,用于在基于数字人视频创建数字人直播间、建立与P个用户终端的直播交互连接的情况下,向所述用户终端推送直播信息,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,P的取值大于或者等于1,所述用户终端基于所述直播信息显示与所述数字人视频关联的直播界面,所述直播信息包括所述数字人视频对应的视频流、留资卡片以及用户评论;
处理模块,用于在接收到携带询问信息的目标用户评论的情况下,将所述目标用户评论推送至所述用户终端,获取针对所述目标用户评论进行回复的口播视频或者文本形式的回复内容,将所述口播视频或者所述文本形式的回复内容发送至所述用户终端。
13.一种数字人直播交互装置,应用于用户终端,其特征在于,包括:
接收显示模块,用于在建立与目标平台的直播交互连接的情况下,接收所述目标平台基于数字人视频推送的直播信息,显示与所述数字人视频关联的直播界面,所述数字人视频为以数字人形象对所述目标平台支持的业务进行讲解的视频,所述直播界面包括所述数字人视频对应的讲解画面、评论信息以及留资卡片;
第三发送模块,用于响应于第一输入,向所述目标平台发送携带询问信息的目标用户评论;
接收展示模块,用于接收所述目标平台基于所述目标用户评论发送的口播视频或者文本形式的回复内容并展示;
其中,所述目标用户评论在所述直播界面展示,所述口播视频或者所述文本形式的回复内容为针对所述目标用户评论进行回复的回复内容。
14.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至9或者如权利要求10至11任一项所述的数字人直播交互方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9或者如权利要求10至11任一项所述的数字人直播交互方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410145386.9A CN117857830A (zh) | 2024-02-01 | 2024-02-01 | 数字人直播交互方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410145386.9A CN117857830A (zh) | 2024-02-01 | 2024-02-01 | 数字人直播交互方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117857830A true CN117857830A (zh) | 2024-04-09 |
Family
ID=90534476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410145386.9A Pending CN117857830A (zh) | 2024-02-01 | 2024-02-01 | 数字人直播交互方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117857830A (zh) |
-
2024
- 2024-02-01 CN CN202410145386.9A patent/CN117857830A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106131706B (zh) | 一种移动客户端应用程序中关于主播动态的消息推送方法及装置 | |
CN108419138B (zh) | 直播互动装置、方法及计算机可读存储介质 | |
CN105450778B (zh) | 信息推送系统 | |
US20180241701A1 (en) | Information processing system and information processing method | |
CN112653902B (zh) | 说话人识别方法、装置及电子设备 | |
CN106909603A (zh) | 搜索信息处理方法及装置 | |
CN112367528B (zh) | 直播互动方法及计算机设备 | |
WO2019047850A1 (zh) | 标识的显示方法和装置、请求的响应方法和装置 | |
CN110460514A (zh) | 即时通信工具的消息发送方法、装置、存储介质及设备 | |
CN107562724B (zh) | 用于引导聊天的方法、设备、服务器和计算机可读存储介质 | |
CN108989864B (zh) | 一种连麦方法、装置、设备及存储介质 | |
CN112929253A (zh) | 一种虚拟形象交互方法和装置 | |
CN112784070A (zh) | 一种基于大数据的用户画像方法 | |
CN114449301B (zh) | 物品发送方法、装置、电子设备和计算机可读存储介质 | |
CN117857830A (zh) | 数字人直播交互方法、装置、电子设备及存储介质 | |
CN117793433A (zh) | 视频互动方法、装置、电子设备和计算机可读存储介质 | |
CN112565913B (zh) | 视频通话方法、装置和电子设备 | |
CN114666643A (zh) | 一种信息显示方法、装置、电子设备及存储介质 | |
US20130041491A1 (en) | Communication system and communication method | |
CN111158838B (zh) | 一种信息处理方法及装置 | |
JP2007520736A (ja) | メッセージングシステム及び方法 | |
CN114095745A (zh) | 直播互动方法、装置、计算机存储介质和电子设备 | |
CN108573056B (zh) | 内容数据处理方法、装置、电子设备及存储介质 | |
CN117857832A (zh) | 数字人直播交互方法、装置、电子设备及存储介质 | |
KR20150106565A (ko) | 메신저 서비스 시스템, 그 시스템에서 프레즌스 정보를 이용한 인스턴트 메시지 서비스 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |