CN114710688A - 一种可配置自动化驱动虚拟主播的直播互动系统及方法 - Google Patents
一种可配置自动化驱动虚拟主播的直播互动系统及方法 Download PDFInfo
- Publication number
- CN114710688A CN114710688A CN202210303776.5A CN202210303776A CN114710688A CN 114710688 A CN114710688 A CN 114710688A CN 202210303776 A CN202210303776 A CN 202210303776A CN 114710688 A CN114710688 A CN 114710688A
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- client
- server
- bullet screen
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003993 interaction Effects 0.000 title claims description 24
- 230000002452 interceptive effect Effects 0.000 claims abstract description 15
- 238000007726 management method Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 9
- 229910052711 selenium Inorganic materials 0.000 claims description 9
- 239000011669 selenium Substances 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000003795 chemical substances by application Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 241000411851 herbal medicine Species 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/47815—Electronic shopping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
Abstract
本发明涉及一种可配置自动化驱动虚拟主播的直播互动系统，包括客户端、FAQ服务器、语音服务器、弹幕采集服务单元、Unity3D虚拟动画服务单元,用户管理服务器；所述客户端与弹幕采集服务单元、Unity3D虚拟动画服务单元和用户管理服务器分别连接；所述用户管理服务器与FAQ服务器、语音服务器分别连接。本发明有效降低电商直播卖货中的人工成本，为虚拟主播赋能，支持可配置自动化流程。
Description
技术领域
本发明涉及计算机软件技术领域，具体涉及一种可配置自动化驱动虚拟主播的直播互动系统及方法。
背景技术
在电商直播卖货过程中，通常是由人工先介绍商品情况为主然后不定时与来访者互动，介绍商品往往是会预先准备的一些介绍台本，以及可能针对商品相关的FAQ，这样真人主播在直播的过程中能够相对准确地与粉丝互动。然而，重复性的工作使得人工成本太高，于是需要考虑智能化虚拟主播的赋能，让一系列重复性流程化的工作交给程序来处理。一方面用户在使用程序化虚拟主播时可以结合自己商品修改台本与FAQ数据，另一方面在互动上提供一些必要的辅助，比如及时欢迎进场、答谢礼物等。技术难点主要在于流程化配置，以及适配不同直播平台，尤其如何建立高效智能化的驱动虚拟直播互动上，也需要模拟制定出来。
发明内容
有鉴于此，本发明的目的在于提供一种可配置自动化驱动虚拟主播的直播互动系统及方法，实现为虚拟主播赋能，支持可配置自动化流程。
为实现上述目的，本发明采用如下技术方案：
一种可配置自动化驱动虚拟主播的直播互动系统，包括客户端、FAQ服务器、语音服务器、弹幕采集服务单元、Unity3D虚拟动画服务单元,用户管理服务器；所述客户端与弹幕采集服务单元、Unity3D虚拟动画服务单元和用户管理服务器分别连接；所述用户管理服务器与FAQ服务器、语音服务器分别连接。
进一步的，所述客户端实现可配置输入，包括：场景动画选择、台本选择编辑、欢迎答谢模板定制、FAQ编辑、合成声音选择、素材上传和运行日志。
进一步的，所述FAQ服务器基于Directional Skip-Gram大规模无监督学习的词向量模型对用户传上来的问答库预先转句子级向量。
进一步的，所述Unity3D虚拟动画服务单元预先设计不同形象虚拟主播，为每个虚拟主播配置不同的动作组合，通过开启接口监听，并实现与客户端对接，由客户端控制请求声音动作输出。
一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，包括以下步骤:
客户端配置待驱动的虚拟主播工作流程;
当客户端配置完成后开启直播，进入粉丝问答时，会抽取最新n数量弹幕，对n条数量过滤之后进行FAQ计算请求，其中n由用户设定；
弹幕采集阶段采用两种方式进行采集，包括基于http传输的protobuf格式的弹幕采集和基于websocket传输的protobuf格式的弹幕采集。
进一步的，所述抽取最新n数量弹幕，具体为:设初始化的时间是T0=0，而当前的时间是Tm，m表示工作流进入粉丝问答的次数，若Tm>T0且当前粉丝发送弹幕时间在区间[T0,Tm]产生的弹幕，则作为备用待互动候选集set0，为了进一步从候选集中提取有效的互动数据集set1，再进行判断每条汉字所占比例>=0.9，且数字字母<5个，其他字符<4个。
进一步的，所述FAQ计算，具体为：若互动数据集set1的某一条存在词Wm不属于语义词集中，则用字符差异化编辑距离作为相似度兜底计算；
请求FAQ返回包含最高相似度配对问题Qm、以及对应互动文本答案Am，通过解析答案Am，匹配用户预先设定对应的动作组集合，另外客户端还会将Am请求语音合成服务器，对返回的语音连同动作集合一起传送给Unity3D虚拟动画服务，最后给直播间推合成视频流。
进一步的，所述基于http传输的protobuf格式的弹幕采集，具体为：
（1）、输入需要采集的直播页面地址；
（2）、使用selenium工具驱动浏览器打开直播页面，解析页面获取所需的直播间id等信息；
（3）、启动本地代理工具，配置工具脚本，采集来自指定直播间id的数据；
（4）、使用selenium工具配置本地代理地址以及端口，驱动浏览器打开需要采集的直播页面并保持页面在后台常驻；
（5）、本地代理工具开始捕获符合指定规则的接口路径，并保存接口返回数据到本地目录；
（6）、监听指定的本地目录，实时解析保存下来的protobuf格式数据；
（7）、将解析完成的弹幕信息保存至指定位置。
进一步的，所述基于websocket传输的protobuf格式的弹幕采集，具体为：
（1）、输入需要采集的直播页面地址；
（2）、使用selenium工具驱动浏览器打开直播页面，获取页面html源码；
（3）、从html源码中解析出弹幕websocket地址、直播流id、校验token信息；
（4）、获取最新的直播间礼物id与名称的映射文件，解析并记录到内存中；
（5）、使用aiohttp框架模拟网页请求与服务端websocket接口进行交互，并解析服务端返回数据；
（6）、将解析完成的弹幕信息保存至指定位置。
进一步的，所述客户端还设置有用户跟踪管理机制，加入了用户使用跟踪的功能，任何用户在使用客户端相关功能服务时，都会与用户管理服务器进行接收和发出消息，系统会复制并保存用户的各种操作信息，然后通过辅助分析工具进行分析。
本发明与现有技术相比具有以下有益效果：
1. 本发明有效降低电商直播卖货中的人工成本，为虚拟主播赋能，支持可配置自动化流程。
2. 本发明系统用户不需要专业的直播互动能力，就可以快速上手配置自己的虚拟主播，对于提高直播卖货转化率上也可以节省时间专注于剧情台本互动文案准备和优化。
3. 本发明独立的个性化可定制FAQ数据管理服务器便于数据备份与提取，用于分析不同用户间FAQ的差异，提升个性化程度的FAQ数据定制，降低冗余，提高语义相似度的准确性，进而提高与粉丝互动的相关性。
4. 本发明可私有化配置语音合成服务，除了提供已有的不同离线语音合成包，用户还可以上传一段清晰的说话音频段，提供声音克隆服务，打造差异化声线语音效果，实现私有化声音的定制。
附图说明
图1是本发明系统框架图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种可配置自动化驱动虚拟主播的直播互动系统，包括客户端、FAQ服务器、语音服务器、弹幕采集服务单元、Unity3D虚拟动画服务单元,用户管理服务器；所述客户端与弹幕采集服务单元、Unity3D虚拟动画服务单元和用户管理服务器分别连接；所述用户管理服务器与FAQ服务器、语音服务器分别连接。
在本实施例中，客户端实现可配置输入，包括：场景动画选择、台本选择编辑、欢迎答谢模板定制、FAQ编辑、合成声音选择、素材上传和运行日志。
在本实施例中，语音服务器对客户端请求的文本合成语音，对接离线语音合成包，提供不同声线供用户选择。
在本实施例中，FAQ服务器基于Directional Skip-Gram大规模无监督学习的词向量模型对用户传上来的问答库预先转句子级向量。
在本实施例中，Unity3D虚拟动画服务单元预先设计不同形象虚拟主播，为每个虚拟主播配置不同的动作组合，通过开启接口监听，并实现与客户端对接，由客户端控制请求声音动作输出。
在本实施例中，弹幕采集服务单元通过网络流包获取直播间弹幕信息，由客户端程序控制抽取待互动的有用信息。
在本实施例中，用户管理服务器用于对使用者进行身份认证与管理，以及跟踪反馈使用情况。
在本实施例中，还提供一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，包括以下步骤:
配置预览阶段：
客户端配置待驱动的虚拟主播工作流程;
在本实施例中，工作流程包括：”剧情台本——欢迎进场——答谢礼物——气氛维护——粉丝问答——剧情台本——......，注意环节顺序可自定义。对每一小段剧情台本都可以预览虚拟主播执行的效果，调整适配的声音和动作组合；欢迎和答谢可以自定义设置模板，比如欢迎的模板类似“欢迎user小仙女进入直播间”，比如答谢的模板类似“感谢user的gift，大气大气！”，user和gift是变量；气氛维护则设定一些备选话术，可以不定时随机也可设定规则在工作流程中输出；粉丝问答是在直播阶段进行，而配置预览阶段主要配置领域FAQ文本数据集即可。可以设定多个场景scene，每一个scene都有一个自定义的虚拟主播工作流程，并且可以配置scene下不同素材，包括纯单人模式、单素材模式、双素材模式，一旦配置好不同的scene，后续可以修改编辑并随时开启直播。
直播阶段：
在直播过程中，系统是可以清晰被用户监管工作流程执行到哪一步，随时暂停并且修改后续还未完成的工作流。当工作流程进入粉丝问答时，会抽取最新n数量弹幕，对n条数量过滤之后进行FAQ请求，其中n由用户设定，默认值是10。本发明具体化，假设初始化的时间是T0=0，而当前的时间是Tm，m表示工作流进入粉丝问答的次数，若Tm>T0且当前粉丝发送弹幕时间在区间[T0,Tm]产生的弹幕，则作为备用待互动候选集set0，为了进一步从候选集中提取有效的互动数据集set1，再进行判断每条汉字所占比例>=0.9，且数字字母<5个，其他字符<4个。
FAQ计算包含两种方式，第一种是基于Directional Skip-Gram大规模无监督学习的语义词向量余弦相似度，另一种是基于字符差异化编辑距离计算相似度，考虑到语义词向量可能存在词集缺陷问题，本发明融合这两种相似度计算。具体化，若互动数据集set1的某一条存在词Wm不属于语义词集中，则用字符差异化编辑距离作为相似度兜底计算。请求FAQ返回包含最高相似度配对问题Qm、以及对应互动文本答案Am，通过解析答案Am，匹配用户预先设定对应的动作组集合，另外客户端还会将Am请求语音合成服务器，对返回的语音连同动作集合一起传送给Unity3D虚拟动画服务，最后给直播间推合成视频流。
弹幕采集阶段：
提供两种有效采集技术手段，已实现包含淘宝、抖音、快手、京东、钉钉、斗鱼、虎牙、NOW等等主流直播平台的采集，具体如下：
基于http传输的protobuf格式的弹幕采集，具体为：
（1）、输入需要采集的直播页面地址；
（2）、使用selenium工具驱动浏览器打开直播页面，解析页面获取所需的直播间id等信息；
（3）、启动本地代理工具，配置工具脚本，采集来自指定直播间id的数据；
（4）、使用selenium工具配置本地代理地址以及端口，驱动浏览器打开需要采集的直播页面并保持页面在后台常驻；
（5）、本地代理工具开始捕获符合指定规则的接口路径，并保存接口返回数据到本地目录；
（6）、监听指定的本地目录，实时解析保存下来的protobuf格式数据；
（7）、将解析完成的弹幕信息保存至指定位置。
基于websocket传输的protobuf格式的弹幕采集，具体为：
（1）、输入需要采集的直播页面地址；
（2）、使用selenium工具驱动浏览器打开直播页面，获取页面html源码；
（3）、从html源码中解析出弹幕websocket地址、直播流id、校验token信息；
（4）、获取最新的直播间礼物id与名称的映射文件，解析并记录到内存中；
（5）、使用aiohttp框架模拟网页请求与服务端websocket接口进行交互，并解析服务端返回数据；
（6）、将解析完成的弹幕信息保存至指定位置。
在本实施例中，优选的，客户端还设置有用户跟踪管理机制，加入了用户使用跟踪的功能，任何用户在使用客户端相关功能服务时，都会与用户管理服务器进行接收和发出消息，系统会复制并保存用户的各种操作信息，然后通过辅助分析工具进行分析。通过这种用户跟踪管理功能，如果出现故障，可以迅速的判断出是哪个环节的错误而导致的故障。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (10)
1.一种可配置自动化驱动虚拟主播的直播互动系统，其特征在于，包括客户端、FAQ服务器、语音服务器、弹幕采集服务单元、Unity3D虚拟动画服务单元,用户管理服务器；所述客户端与弹幕采集服务单元、Unity3D虚拟动画服务单元和用户管理服务器分别连接；所述用户管理服务器与FAQ服务器、语音服务器分别连接。
2.根据权利要求1所述的一种可配置自动化驱动虚拟主播的直播互动系统，其特征在于，所述客户端实现可配置输入，包括：场景动画选择、台本选择编辑、欢迎答谢模板定制、FAQ编辑、合成声音选择、素材上传和运行日志。
3.根据权利要求1所述的一种可配置自动化驱动虚拟主播的直播互动系统，其特征在于，所述FAQ服务器基于Directional Skip-Gram大规模无监督学习的词向量模型对用户传上来的问答库预先转句子级向量。
4.根据权利要求1所述的一种可配置自动化驱动虚拟主播的直播互动系统，其特征在于，所述Unity3D虚拟动画服务单元预先设计不同形象虚拟主播，为每个虚拟主播配置不同的动作组合，通过开启接口监听，并实现与客户端对接，由客户端控制请求声音动作输出。
5.一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，其特征在于，包括以下步骤:
客户端配置待驱动的虚拟主播工作流程;
当客户端配置完成后开启直播，进入粉丝问答时，会抽取最新n数量弹幕，对n条数量过滤之后进行FAQ计算请求，其中n由用户设定；
弹幕采集阶段采用两种方式进行采集，包括基于http传输的protobuf格式的弹幕采集和基于websocket传输的protobuf格式的弹幕采集。
6.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，其特征在于，所述抽取最新n数量弹幕，具体为:设初始化的时间是T0=0，而当前的时间是Tm，m表示工作流进入粉丝问答的次数，若Tm>T0且当前粉丝发送弹幕时间在区间[T0,Tm]产生的弹幕，则作为备用待互动候选集set0，为了进一步从候选集中提取有效的互动数据集set1，再进行判断每条汉字所占比例>=0.9，且数字字母<5个，其他字符<4个。
7.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，其特征在于，所述FAQ计算，具体为：若互动数据集set1的某一条存在词Wm不属于语义词集中，则用字符差异化编辑距离作为相似度兜底计算；
请求FAQ返回包含最高相似度配对问题Qm、以及对应互动文本答案Am，通过解析答案Am，匹配用户预先设定对应的动作组集合，另外客户端还会将Am请求语音合成服务器，对返回的语音连同动作集合一起传送给Unity3D虚拟动画服务，最后给直播间推合成视频流。
8.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，其特征在于，所述基于http传输的protobuf格式的弹幕采集，具体为：
（1）、输入需要采集的直播页面地址；
（2）、使用selenium工具驱动浏览器打开直播页面，解析页面获取所需的直播间id等信息；
（3）、启动本地代理工具，配置工具脚本，采集来自指定直播间id的数据；
（4）、使用selenium工具配置本地代理地址以及端口，驱动浏览器打开需要采集的直播页面并保持页面在后台常驻；
（5）、本地代理工具开始捕获符合指定规则的接口路径，并保存接口返回数据到本地目录；
（6）、监听指定的本地目录，实时解析保存下来的protobuf格式数据；
（7）、将解析完成的弹幕信息保存至指定位置。
9.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，其特征在于，所述基于websocket传输的protobuf格式的弹幕采集，具体为：
（1）、输入需要采集的直播页面地址；
（2）、使用selenium工具驱动浏览器打开直播页面，获取页面html源码；
（3）、从html源码中解析出弹幕websocket地址、直播流id、校验token信息；
（4）、获取最新的直播间礼物id与名称的映射文件，解析并记录到内存中；
（5）、使用aiohttp框架模拟网页请求与服务端websocket接口进行交互，并解析服务端返回数据；
（6）、将解析完成的弹幕信息保存至指定位置。
10.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方法，其特征在于，所述客户端还设置有用户跟踪管理机制，加入了用户使用跟踪的功能，任何用户在使用客户端相关功能服务时，都会与用户管理服务器进行接收和发出消息，系统会复制并保存用户的各种操作信息，然后通过辅助分析工具进行分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210303776.5A CN114710688B (zh) | 2022-03-26 | 2022-03-26 | 一种可配置自动化驱动虚拟主播的直播互动系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210303776.5A CN114710688B (zh) | 2022-03-26 | 2022-03-26 | 一种可配置自动化驱动虚拟主播的直播互动系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114710688A true CN114710688A (zh) | 2022-07-05 |
| CN114710688B CN114710688B (zh) | 2024-03-05 |
Family
ID=82170661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210303776.5A Active CN114710688B (zh) | 2022-03-26 | 2022-03-26 | 一种可配置自动化驱动虚拟主播的直播互动系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114710688B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116996703A (zh) * | 2023-08-23 | 2023-11-03 | 中科智宏(北京)科技有限公司 | 一种数字人直播互动方法、系统、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109660818A (zh) * | 2018-12-30 | 2019-04-19 | 广东彼雍德云教育科技有限公司 | 一种虚拟互动直播系统 |
| US10467792B1 (en) * | 2017-08-24 | 2019-11-05 | Amazon Technologies, Inc. | Simulating communication expressions using virtual objects |
-
2022
- 2022-03-26 CN CN202210303776.5A patent/CN114710688B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10467792B1 (en) * | 2017-08-24 | 2019-11-05 | Amazon Technologies, Inc. | Simulating communication expressions using virtual objects |
| CN109660818A (zh) * | 2018-12-30 | 2019-04-19 | 广东彼雍德云教育科技有限公司 | 一种虚拟互动直播系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116996703A (zh) * | 2023-08-23 | 2023-11-03 | 中科智宏(北京)科技有限公司 | 一种数字人直播互动方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114710688B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112995706B (zh) | 基于人工智能的直播方法、装置、设备及存储介质 | |
| US7617272B2 (en) | Systems and methods for enhancing streaming media | |
| CN102314439B (zh) | 与应用接口相结合的输入方法和设备 | |
| CN100442280C (zh) | 协作服务器，协作系统，及协作服务器和系统用方法 | |
| CN113014732B (zh) | 会议记录处理方法、装置、计算机设备和存储介质 | |
| US20070143796A1 (en) | Methods, systems, and computer program products for selectively facilitating internet content and/or alerts on a television crawl screen, closed caption and/or picture-in-picture area | |
| CN111835986A (zh) | 视频编辑处理方法、装置及电子设备 | |
| GB2407682A (en) | Automated speech-enabled application creation | |
| CN104410923A (zh) | 基于视频聊天室的动画呈现方法及装置 | |
| US20090037801A1 (en) | Method and apparatus for automatic user manual generation | |
| CN103513890A (zh) | 一种基于图片的交互方法、装置和服务器 | |
| CN114710688A (zh) | 一种可配置自动化驱动虚拟主播的直播互动系统及方法 | |
| KR102224785B1 (ko) | 모바일에서 연동 가능한 코딩 교육 서비스 제공 방법 및 장치 | |
| GB2307381A (en) | Data terminal connected to two networks | |
| CN103945236A (zh) | 在线直播频道的汇聚方法和系统 | |
| CN106303634A (zh) | 一种tv设备弹幕发送系统及方法 | |
| CN104268267A (zh) | 社群媒体分享系统及方法 | |
| CN111191472A (zh) | 一种教学辅助翻译学习系统和方法 | |
| GB2330429A (en) | Data stream enhancement | |
| CN110610727A (zh) | 具有语音识别功能的课件录播系统 | |
| CN109243214A (zh) | 一种带录音功能的课件分享系统 | |
| CN108023926A (zh) | 课件内容控制分发系统 | |
| KR102523438B1 (ko) | 오토 라벨링 활용과 가상 템플릿 자동 선정을 통한 영상 자동 편집 시스템 및 그 방법 | |
| CN114285836B (zh) | 一种视频播放方法、装置及介质 | |
| CN113852849A (zh) | 一种酒店客房智能管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 361000 3F-A317, Zone C, Innovation Building, Software Park, Torch High tech Zone, Xiamen City, Fujian Province Patentee after: Fujian Reliable Cloud Computing Technology Co.,Ltd. Country or region after: China Address before: 361000 3f-a317, Zone C, innovation building, software park, torch hi tech Zone, Huli District, Xiamen City, Fujian Province Patentee before: Xiamen Biebeyun Co.,Ltd. Country or region before: China |