CN115515016B - 一种可实现自交互回复的虚拟直播方法、系统及存储介质 - Google Patents

一种可实现自交互回复的虚拟直播方法、系统及存储介质 Download PDF

Info

Publication number
CN115515016B
CN115515016B CN202211374895.6A CN202211374895A CN115515016B CN 115515016 B CN115515016 B CN 115515016B CN 202211374895 A CN202211374895 A CN 202211374895A CN 115515016 B CN115515016 B CN 115515016B
Authority
CN
China
Prior art keywords
interactive
live broadcast
virtual image
live
reply
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211374895.6A
Other languages
English (en)
Other versions
CN115515016A (zh
Inventor
王丽玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xuanrun Digital Information Technology Co ltd
Original Assignee
Guangdong Xuanrun Digital Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xuanrun Digital Information Technology Co ltd filed Critical Guangdong Xuanrun Digital Information Technology Co ltd
Priority to CN202211374895.6A priority Critical patent/CN115515016B/zh
Publication of CN115515016A publication Critical patent/CN115515016A/zh
Application granted granted Critical
Publication of CN115515016B publication Critical patent/CN115515016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种可实现自交互回复的虚拟直播方法、系统及存储介质，涉及网络直播技术领域，包括如下步骤：在直播端进行虚拟直播场景构建，在所述虚拟直播场景中加载主直播虚拟形象；当观众进入所述虚拟直播场景中时，在观看端加载次直播虚拟形象；对观看端输入的交互弹幕进行实时捕捉，获得交互捕捉数据；获得交互特征信息；将所述交互特征信息与自动回复特征库进行匹配；若所述交互特征信息属于自动回复特征库的内容生成次直播虚拟形象控制控制次直播虚拟形象进行对应交互弹幕的回复。本发明的优点在于：通过在观看端中加载一个次直播虚拟形象，可制造出更加逼真的交互反馈感，极大的提高了直播交互的趣味性，可有效的提高直播的观众观感。

Description

一种可实现自交互回复的虚拟直播方法、系统及存储介质
技术领域
本发明涉及网络直播技术领域，具体是涉及一种可实现自交互回复的虚拟直播方法、系统及存储介质。
背景技术
近年来随着互联网技术的高速发展，衍生出一批便捷、有吸引力的网络娱乐方式。网络直播作为一种新兴产业，吸取和延续了互联网的优势，利用视讯方式进行网上现场直播，可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上，利用互联网的直观、快速，表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点，加强活动现场的推广效果。
随着直播行业的不断的发展，虚拟形象直播的方式逐渐开始兴起虚拟形象直播是以原创的虚拟人格设定、形象在视频网站、社交平台上进行活动。形象多以MMD或Unity的3D模型或Live2D制作的2D模型出现，并以真人控制的一种新兴的直播形式。
网络直播的形式限定了其“一对多”的特征，即进行直播展示的一方人数有限，多数情况下为一名或多名主播，而观看直播的观众人数不会受到限制。主播与观众之间往往通过观众发出的弹幕信息进行交流互动，而当观众基数巨大时，弹幕数量剧增，主播一方难免会忽略部分弹幕信息，而导致部分观众的观看留言无法得到主播一方的反馈，会间接影响观众的观感，降低观众黏性，以至于影响直播效果，现有技术中，存在使用语音助手的方式实现对于一些弹幕信息进行自动语音回复的手段，然而，此方式缺乏观众视觉上的直接反馈，导致观众缺乏交互的真实感，基于此，本方案结合虚拟形象直播技术，提出一种可实现自交互回复的虚拟直播方法、系统及存储介质。
发明内容
为解决上述技术问题，提供一种可实现自交互回复的虚拟直播方法、系统及存储介质，本技术方案解决了上述的现有技术中，存在使用语音助手的方式实现对于一些弹幕信息进行自动语音回复的手段，然而，此方式缺乏观众视觉上的直接反馈，导致观众缺乏交互的真实感的问题。
为达到以上目的，本发明采用的技术方案为：
一种可实现自交互回复的虚拟直播方法，包括如下步骤：
在直播端进行虚拟直播场景构建，并在所述虚拟直播场景中加载主直播虚拟形象，所述主直播虚拟形象由真人主播控制；
当观众进入所述虚拟直播场景中时，在观看端加载次直播虚拟形象，所述次直播虚拟形象由AI智能控制，所述次直播虚拟形象与所述观看端一一对应；
对观看端输入的交互弹幕进行实时捕捉，获得交互捕捉数据；
对所述交互捕捉数据进行特征分析，获得交互特征信息；
将所述交互特征信息与自动回复特征库进行匹配，判断所述交互特征信息是否属于自动回复特征库的内容；
若所述交互特征信息属于自动回复特征库的内容，则从自动回复数据库中调取对应的自动回复数据，并根据所述自动回复数据生成次直播虚拟形象控制信号并发送至对应观看端的次直播虚拟形象，控制次直播虚拟形象进行对应交互弹幕的回复；
若所述交互特征信息不属于自动回复特征库的内容，则将所述交互特征信息对应的交互弹幕输送至直播后台，由真人主播判断是否进行回复；
对所有所述观看端捕捉的所有所述交互特征信息进行分析，获得交互分析数据；
根据交互分析数据对所述自动回复特征库分成第一特征库和第二特征库，其中，所述第一特征库内部的数据为匹配频率较高的自动回复特征，所述第二特征库内部的数据为匹配频率较低的自动回复特征；
在将所述交互特征信息与自动回复特征库进行匹配时，第一特征库的匹配优先级高于第二特征库的匹配优先级；
对所有所述观看端捕捉的所有所述交互特征信息进行分析，对所有可回复内容的交互特征信息按照特征出现频率进行筛分，获得出现频率较高但不属于自动回复特征库的所有待补充交互特征信息，获得待补充交互特征数据；
根据待补充交互特征数据，对每一条待补充交互特征信息输入对应的自动回复信息，并建立待补充交互特征信息与自动回复信息之间的映射关系后，将待补充交互特征信息与自动回复信息分别加入自动回复特征库和所述自动回复数据库中。
其中，所述次直播虚拟形象控制信号包括语音信号和动作信号；
所述语音信号根据所述自动回复数据自动生成，用于在对应的观看端以语音播报的形式进行自动回复数据的展示；
所述动作信号用于控制次直播虚拟形象根据自动回复数据进行对应的动作变化。
优选的，在将所述交互特征信息与自动回复特征库进行比对前，还包括：
对所述交互特征信息进行分析，判断所述交互特征信息对应的交互弹幕是否为可回复内容；
若判断为可回复内容，则执行将所述交互特征信息与自动回复特征库进行比对；
若判断为不可回复内容，则中止后续步骤。
优选的，所述动作信号包括语音口型信号，所述语音口型信号的生成方式为：
对自动回复数据进行识别，获得自动回复数据中的文字信息；
对自动回复数据中的文字信息进行识别，得到每一个文字信息对应的拼音字符串，所述拼音字符串包括声母音素和韵母音素；
从口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；
将所有汉字口型按照自动回复数据中的文字顺序进行排列，获得口型数据；
根据次直播虚拟形象的嘴部模型的大小，获得开口幅度数据；
将口型数据与开口幅度数据组合，生成语音口型信号。
优选的，所述控制次直播虚拟形象进行对应交互弹幕的回复具体包括以下步骤：
次直播虚拟形象接收到发送的语音信号和语音口型信号；
次直播虚拟形象内置的音频系统分析语音信号，并输出对应的回复音频信息；
次直播虚拟形象根据语音口型信号，在输出回复音频信息时，同步进行嘴部模型的开合。
优选的，所述次直播虚拟形象可由主播建立或者观众建立中任意一种方式生成。
进一步的，提出一种可实现自交互回复的虚拟直播系统，用于实现如上述的可实现自交互回复的虚拟直播方法，包括：
虚拟形象模块，虚拟形象模块包括主虚拟形象模块和次虚拟形象模块，所述主直播虚拟形象模块用于进行主直播虚拟形象的建立、保存和加载，所述次虚拟形象模块用于进行次直播虚拟形象的建立、保存和加载；
主虚拟形象控制模块，主直播虚拟形象控制模块用于根据真人主播的形态动作控制主直播虚拟形象进行直播；
次虚拟形象控制模块，次虚拟形象控制模块用于生成次直播虚拟形象控制信号并发送至对应观看端的次直播虚拟形象，控制次直播虚拟形象进行响应；
数据库模块，数据库模块用于进行所述自动回复特征库和所述自动回复数据库的保存和更新；
捕捉模块，捕捉模块用于进行对观看端输入的交互弹幕进行实时捕捉；
分析模块，分析模块用于对所述交互捕捉数据进行特征分析，获得交互特征信息；
匹配模块，匹配模块用于将所述交互特征信息与自动回复特征库进行匹配。
可选的，所述主虚拟形象控制模块包括：
表情采集单元：所述表情采集单元用于采集真人主播的面部表情，并控制主直播虚拟形象进行对应的表情模拟；
声音采集单元：所述声音采集单元用于采集真人主播的语音并经过处理后进行直播。
再进一步的，提出一种计算机可读存储介质，其上存储有计算机可读程序，所述计算机可读程序被调用时执行如上述的可实现自交互回复的虚拟直播方法。
与现有技术相比，本发明的有益效果在于：
本发明提出一种可实现自交互回复的虚拟直播方案，通过在观看端的虚拟直播场景中加载一个次直播虚拟形象，在进行直播交互时，对观看端发送的交互弹幕进行实时捕捉，并根据自动回复特征库进行匹配后输出自动回复数据，并根据自动回复数据生成次直播虚拟形象控制信号，控制次直播虚拟形象进行对应交互弹幕的回复，在进行交互时，与传统的语音交互方式不同，采用虚拟形象回复的方式进行弹幕内容的交互回复，虚拟形象的动作可给观众视觉上的直接反馈，制造出更加逼真的交互反馈感，极大的提高了直播交互的趣味性，可有效的提高直播的观众观感，提高观众黏性，实现网络直播行业的良好发展。
附图说明
图1为实施例一提出的可实现自交互回复的虚拟直播方法流程图；
图2为实施例一中的语音口型信号的生成方法流程图；
图3为实施例一中的控制次直播虚拟形象的方法流程图；
图4为实施例二中的对自动回复特征库划分的方法流程图；
图5为实时例三中的自动回复特征库和自动回复数据库的更新方法流程图；
图6为本方案提出的可实现自交互回复的虚拟直播系统结构框图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
实施例一：
参照图1-3所示，一种可实现自交互回复的虚拟直播方法，包括如下步骤：
在直播端进行虚拟直播场景构建，并在虚拟直播场景中加载主直播虚拟形象，主直播虚拟形象由真人主播控制；
当观众进入虚拟直播场景中时，在观看端加载次直播虚拟形象，次直播虚拟形象由AI智能控制，次直播虚拟形象与观看端一一对应；
对观看端输入的交互弹幕进行实时捕捉，获得交互捕捉数据；
对交互捕捉数据进行特征分析，获得交互特征信息；
对交互特征信息进行分析，判断所述交互特征信息对应的交互弹幕是否为可回复内容；
若判断为可回复内容，则执行下一步骤；
若判断为不可回复内容，则中止后续步骤。
将交互特征信息与自动回复特征库进行匹配，判断交互特征信息是否属于自动回复特征库的内容；
若交互特征信息属于自动回复特征库的内容，则从自动回复数据库中调取对应的自动回复数据，并根据自动回复数据生成次直播虚拟形象控制信号并发送至对应观看端的次直播虚拟形象，控制次直播虚拟形象进行对应交互弹幕的回复；
若交互特征信息不属于自动回复特征库的内容，则将所述交互特征信息对应的交互弹幕输送至直播后台，由真人主播判断是否进行回复；
其中，次直播虚拟形象控制信号包括语音信号和动作信号；
语音信号根据自动回复数据自动生成，用于在对应的观看端以语音播报的形式进行自动回复数据的展示；
动作信号用于控制次直播虚拟形象根据自动回复数据进行对应的动作变化。
本实施例中，通过在观看端的虚拟直播场景中加载一个次直播虚拟形象，在进行直播交互时，对观看端发送的交互弹幕进行实时捕捉，并根据自动回复特征库进行匹配后输出自动回复数据，并根据自动回复数据生成次直播虚拟形象控制信号，控制次直播虚拟形象进行对应交互弹幕的回复，可有效解决直播观众数量庞大时主播方无法全面且及时对弹幕信息进行反馈导致观众体验不佳的问题，同时虚拟形象回复可以给到直播间观众在视觉上和听觉上的双重反馈，制造出更加逼真的交互反馈感，进而有效的提高观众在直播交互的趣味性。
动作信号包括语音口型信号，语音口型信号的生成方式为：
对自动回复数据进行识别，获得自动回复数据中的文字信息；
对自动回复数据中的文字信息进行识别，得到每一个文字信息对应的拼音字符串，拼音字符串包括声母音素和韵母音素；
从口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；
将所有汉字口型按照自动回复数据中的文字顺序进行排列，获得口型数据；
根据次直播虚拟形象的嘴部模型的大小，获得开口幅度数据；
将口型数据与开口幅度数据组合，生成语音口型信号。
控制次直播虚拟形象进行对应交互弹幕的回复具体包括以下步骤：
次直播虚拟形象接收到发送的语音信号和语音口型信号；
次直播虚拟形象内置的音频系统分析语音信号，并输出对应的回复音频信息；
次直播虚拟形象根据语音口型信号，在输出回复音频信息时，同步进行嘴部模型的开合。
为进一步增加在观看虚拟直播过程中的观众在获得交互反馈时的真实感，本方案还引入了口型匹配，在由次直播虚拟形象的控制信号中加入生成语音口型信号的生成，并在次直播虚拟形象进行交互反馈时，通过语音口型信号控制次直播虚拟形象根据交互反馈语音信息同步输出进行嘴部模型的开合，使次直播虚拟形象的口型适配交互反馈语音，进一步提高观众在进行获得直播交互反馈时的真实感，提高观众观看直播的趣味性。
次直播虚拟形象可由主播根据自己的直播风格来进行特定化建立或者由观众建立专属的特定化模型，在进行次直播虚拟形象加载时，可由观众自主选择加载何种次直播虚拟形象。
实施例二：
请参阅图4所示，在实施例一的基础上，本实施例提出一种可实现自交互回复的虚拟直播方法，还包括如下步骤：
对所有观看端捕捉的所有交互特征信息进行分析，获得交互分析数据；
根据交互分析数据对自动回复特征库分成第一特征库和第二特征库，其中，第一特征库内部的数据为匹配频率较高的自动回复特征，第二特征库内部的数据为匹配频率较低的自动回复特征；
在将交互特征信息与自动回复特征库进行匹配时，第一特征库的匹配优先级高于第二特征库的匹配优先级。
本实施例中，在实施例一的基础上增加了针对于直播间观众的弹幕分析，通过分析结果将自动回复特征库中的数据按照匹配的频率进行分成第一特征库和第二特征库，后续在进行交互特征信息匹配时，首先从匹配概率较高的第一特征库中进行匹配，可极大的缩短交互特征信息匹配用时，保证观众获得交互反馈的即时性。
实施例三：
请参阅图5所示，在实施例二的基础上，本实施例提出一种可实现自交互回复的虚拟直播方法，还包括对自动回复特征库和自动回复数据库进行更新，对自动回复特征库和自动回复数据库进行更新具体包括如下步骤：
对所有观看端捕捉的所有交互特征信息进行分析，对所有可回复内容的交互特征信息按照特征出现频率进行筛分，获得出现频率较高但不属于自动回复特征库的所有待补充交互特征信息，获得待补充交互特征数据；
根据待补充交互特征数据，对每一条待补充交互特征信息输入对应的自动回复信息，并建立待补充交互特征信息与自动回复信息之间的映射关系后，将待补充交互特征信息与自动回复信息分别加入自动回复特征库和自动回复数据库中。
由于预先建立的自动回复特征库和自动回复数据库难以含括所有观众可能希望进行交互的内容，本实施例中实现了针对于自动回复特征库和自动回复数据库的更新，对出现频率较高但不属于自动回复特征库的所有待补充交互特征信息进行补充更新，可进一步的扩大自动交互反馈的范围，保证观众可以获得所需要的反馈信息。
为进一步的说明本方案，以下结合上述可实现自交互回复的虚拟直播方法，提出一种可实现自交互回复的虚拟直播系统，包括：
虚拟形象模块，虚拟形象模块包括主虚拟形象模块和次虚拟形象模块，主直播虚拟形象模块用于进行主直播虚拟形象的建立、保存和加载，次虚拟形象模块用于进行次直播虚拟形象的建立、保存和加载；
主虚拟形象控制模块，主直播虚拟形象控制模块用于根据真人主播的形态动作控制主直播虚拟形象进行直播；
次虚拟形象控制模块，次虚拟形象控制模块用于生成次直播虚拟形象控制信号并发送至对应观看端的次直播虚拟形象，控制次直播虚拟形象进行响应；
数据库模块，数据库模块用于进行自动回复特征库和自动回复数据库的保存和更新；
捕捉模块，捕捉模块用于进行对观看端输入的交互弹幕进行实时捕捉；
分析模块，分析模块用于对交互捕捉数据进行特征分析，获得交互特征信息；
匹配模块，匹配模块用于将交互特征信息与自动回复特征库进行匹配。
其中，表情采集单元：表情采集单元用于采集真人主播的面部表情，并控制主直播虚拟形象进行对应的表情模拟；
声音采集单元：声音采集单元用于采集真人主播的语音并经过处理后进行直播。
上述虚拟直播系统的工作过程为：
S1、主播通过主虚拟形象模块进行建立主直播虚拟形象，并进行保存，主播和观众通过次虚拟形象模块进行建立次直播虚拟形象，并进行保存；
S2、主播通过数据库模块建立自动回复特征库和自动回复数据库；
S3、主播开启直播，在直播端进行虚拟直播场景构建，主虚拟形象模块在直播端的虚拟直播场景中加载对应的主直播虚拟形象，真人直播通过表情采集单元和声音采集单元采集自身的表情和语音进行控制主直播虚拟形象；
S4、观众打开对应直播间，选择需要加载的次直播虚拟形象，由次虚拟形象控制模块在观看端加载对应的次直播虚拟形象；
S5、当观众发送交互弹幕时，由捕捉模块对观看端输入的交互弹幕进行实时捕捉，并经过分析模块进行特征信息后，通过匹配模块与自动回复特征库进行匹配，根据匹配结果获得自动回复数据；
S6、次虚拟形象控制模块根据自动回复数据生成次直播虚拟形象控制信号并发送至对应观看端的次直播虚拟形象，控制次直播虚拟形象进行对应交互弹幕的回复。
S7、数据库模块对所有观看端捕捉的所有交互特征信息进行分析，根据分析结果，进行自动回复特征库和自动回复数据库的更新。
进一步的，本方案还提出一种计算机可读存储介质，其上存储有计算机可读程序，计算机可读程序被调用时执行如上述的可实现自交互回复的虚拟直播方法；
可以理解的是，计算机可读存储介质可以是磁性介质，例如，软盘、硬盘、磁带；光介质例如，DVD；或者半导体介质例如固态硬盘SolidStateDisk，SSD等。
综上所述，本发明的优点在于：通过在观看端的虚拟直播场景中加载一个次直播虚拟形象，可制造出更加逼真的交互反馈感，极大的提高了直播交互的趣味性，可有效的提高直播的观众观感，提高观众黏性，实现网络直播行业的良好发展。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (8)

1.一种可实现自交互回复的虚拟直播方法，其特征在于，包括如下步骤：
在直播端进行虚拟直播场景构建，并在所述虚拟直播场景中加载主直播虚拟形象，所述主直播虚拟形象由真人主播控制；
当观众进入所述虚拟直播场景中时，在观看端加载次直播虚拟形象，所述次直播虚拟形象由AI智能控制，所述次直播虚拟形象与所述观看端一一对应；
对观看端输入的交互弹幕进行实时捕捉，获得交互捕捉数据；
对所述交互捕捉数据进行特征分析，获得交互特征信息；
将所述交互特征信息与自动回复特征库进行匹配，判断所述交互特征信息是否属于自动回复特征库的内容；
若所述交互特征信息属于自动回复特征库的内容，则从自动回复数据库中调取对应的自动回复数据，并根据所述自动回复数据生成次直播虚拟形象控制信号并发送至对应观看端的次直播虚拟形象，控制次直播虚拟形象进行对应交互弹幕的回复；
若所述交互特征信息不属于自动回复特征库的内容，则将所述交互特征信息对应的交互弹幕输送至直播后台，由真人主播判断是否进行回复；
对所有所述观看端捕捉的所有所述交互特征信息进行分析，获得交互分析数据；
根据交互分析数据对所述自动回复特征库分成第一特征库和第二特征库，其中，所述第一特征库内部的数据为匹配频率较高的自动回复特征，所述第二特征库内部的数据为匹配频率较低的自动回复特征；
在将所述交互特征信息与自动回复特征库进行匹配时，第一特征库的匹配优先级高于第二特征库的匹配优先级；
对所有所述观看端捕捉的所有所述交互特征信息进行分析，对所有可回复内容的交互特征信息按照特征出现频率进行筛分，获得出现频率较高但不属于自动回复特征库的所有待补充交互特征信息，获得待补充交互特征数据；
根据待补充交互特征数据，对每一条待补充交互特征信息输入对应的自动回复信息，并建立待补充交互特征信息与自动回复信息之间的映射关系后，将待补充交互特征信息与自动回复信息分别加入自动回复特征库和所述自动回复数据库中；
其中，所述次直播虚拟形象控制信号包括语音信号和动作信号；
所述语音信号根据所述自动回复数据自动生成，用于在对应的观看端以语音播报的形式进行自动回复数据的展示；
所述动作信号用于控制次直播虚拟形象根据自动回复数据进行对应的动作变化。
2.根据权利要求1所述一种可实现自交互回复的虚拟直播方法，其特征在于，在将所述交互特征信息与自动回复特征库进行比对前，还包括：
对所述交互特征信息进行分析，判断所述交互特征信息对应的交互弹幕是否为可回复内容；
若判断为可回复内容，则执行将所述交互特征信息与自动回复特征库进行比对；
若判断为不可回复内容，则中止后续步骤。
3.根据权利要求2所述一种可实现自交互回复的虚拟直播方法，其特征在于，所述动作信号包括语音口型信号，所述语音口型信号的生成方式为：
对自动回复数据进行识别，获得自动回复数据中的文字信息；
对自动回复数据中的文字信息进行识别，得到每一个文字信息对应的拼音字符串，所述拼音字符串包括声母音素和韵母音素；
从口型库内找出与声母音素、韵母音素对应的声母口型和韵母口型，并根据声母口型、韵母口型合成相应的汉字口型；
将所有汉字口型按照自动回复数据中的文字顺序进行排列，获得口型数据；
根据次直播虚拟形象的嘴部模型的大小，获得开口幅度数据；
将口型数据与开口幅度数据组合，生成语音口型信号。
4.根据权利要求3所述一种可实现自交互回复的虚拟直播方法，其特征在于，所述控制次直播虚拟形象进行对应交互弹幕的回复具体包括以下步骤：
次直播虚拟形象接收到发送的语音信号和语音口型信号；
次直播虚拟形象内置的音频系统分析语音信号，并输出对应的回复音频信息；
次直播虚拟形象根据语音口型信号，在输出回复音频信息时，同步进行嘴部模型的开合。
5.根据权利要求4所述一种可实现自交互回复的虚拟直播方法，其特征在于，所述次直播虚拟形象可由主播建立或者观众建立中任意一种方式生成。
6.一种可实现自交互回复的虚拟直播系统，用于实现如权利要求1-5任一项所述的可实现自交互回复的虚拟直播方法，其特征在于，包括：
虚拟形象模块，虚拟形象模块包括主虚拟形象模块和次虚拟形象模块，所述主直播虚拟形象模块用于进行主直播虚拟形象的建立、保存和加载，所述次虚拟形象模块用于进行次直播虚拟形象的建立、保存和加载；
主虚拟形象控制模块，主直播虚拟形象控制模块用于根据真人主播的形态动作控制主直播虚拟形象进行直播；
次虚拟形象控制模块，次虚拟形象控制模块用于生成次直播虚拟形象控制信号并发送至对应观看端的次直播虚拟形象，控制次直播虚拟形象进行响应；
数据库模块，数据库模块用于进行所述自动回复特征库和所述自动回复数据库的保存和更新；
捕捉模块，捕捉模块用于进行对观看端输入的交互弹幕进行实时捕捉；
分析模块，分析模块用于对所述交互捕捉数据进行特征分析，获得交互特征信息；
匹配模块，匹配模块用于将所述交互特征信息与自动回复特征库进行匹配。
7.根据权利要求6所述一种可实现自交互回复的虚拟直播系统，其特征在于，所述主虚拟形象控制模块包括：
表情采集单元：所述表情采集单元用于采集真人主播的面部表情，并控制主直播虚拟形象进行对应的表情模拟；
声音采集单元：所述声音采集单元用于采集真人主播的语音并经过处理后进行直播。
8.一种计算机可读存储介质，其上存储有计算机可读程序，其特征在于，所述计算机可读程序被调用时执行如权利要求1-5任一项所述的可实现自交互回复的虚拟直播方法。
CN202211374895.6A 2022-11-04 2022-11-04 一种可实现自交互回复的虚拟直播方法、系统及存储介质 Active CN115515016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211374895.6A CN115515016B (zh) 2022-11-04 2022-11-04 一种可实现自交互回复的虚拟直播方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211374895.6A CN115515016B (zh) 2022-11-04 2022-11-04 一种可实现自交互回复的虚拟直播方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN115515016A CN115515016A (zh) 2022-12-23
CN115515016B true CN115515016B (zh) 2023-03-31

Family

ID=84512997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211374895.6A Active CN115515016B (zh) 2022-11-04 2022-11-04 一种可实现自交互回复的虚拟直播方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115515016B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615514B (zh) * 2022-03-14 2023-09-22 深圳幻影未来信息科技有限公司 一种虚拟人直播互动系统
CN116112732A (zh) * 2023-04-12 2023-05-12 山东工程职业技术大学 一种人工智能交互方法及系统
CN116737936B (zh) * 2023-06-21 2024-01-02 圣风多媒体科技(上海)有限公司 一种基于人工智能的ai虚拟人物语言库分类管理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035325A (zh) * 2019-04-19 2019-07-19 广州虎牙信息科技有限公司 弹幕回复方法、弹幕回复装置和直播设备
CN112291576B (zh) * 2020-10-14 2022-06-17 珠海格力电器股份有限公司 虚拟直播系统以及方法
CN114630135A (zh) * 2020-12-11 2022-06-14 北京字跳网络技术有限公司 一种直播互动方法及装置
CN113766253A (zh) * 2021-01-04 2021-12-07 北京沃东天骏信息技术有限公司 基于虚拟主播的直播方法、装置、设备及存储介质
CN113301376B (zh) * 2021-05-24 2023-04-07 成都威爱新经济技术研究院有限公司 一种基于虚拟现实技术的直播交互方法及系统
CN115002491A (zh) * 2022-04-26 2022-09-02 未鲲(上海)科技服务有限公司 基于智能机器的网络直播方法、装置、设备及存储介质
CN114866796A (zh) * 2022-07-05 2022-08-05 广东玄润数字信息科技股份有限公司 一种基于虚拟主播的购物系统及方法

Also Published As

Publication number Publication date
CN115515016A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN115515016B (zh) 一种可实现自交互回复的虚拟直播方法、系统及存储介质
CN110941954B (zh) 文本播报方法、装置、电子设备及存储介质
CN106878820B (zh) 直播互动方法及装置
US11847726B2 (en) Method for outputting blend shape value, storage medium, and electronic device
CN112653902B (zh) 说话人识别方法、装置及电子设备
US20230047858A1 (en) Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication
CN112562705A (zh) 直播互动方法、装置、电子设备及可读存储介质
CN112672090B (zh) 一种云视频会议中优化音视频效果的方法
CN112738557A (zh) 视频处理方法及装置
CN111654715A (zh) 直播的视频处理方法、装置、电子设备及存储介质
CN110162667A (zh) 视频生成方法、装置及存储介质
CN110536095A (zh) 通话方法、装置、终端及存储介质
CN114430494B (zh) 界面显示方法、装置、设备及存储介质
CN111737516A (zh) 一种互动音乐生成方法、装置、智能音箱及存储介质
CN114286021B (zh) 渲染方法、装置、服务器、存储介质及程序产品
CN116756285A (zh) 虚拟机器人的互动方法、设备和存储介质
CN110446090A (zh) 一种虚拟观众席观众连线方法、系统、装置和存储介质
KR20200050707A (ko) 그래픽 객체를 이용한 자막 생성 시스템
CN117519825A (zh) 一种数字人分身交互方法、装置、电子设备和存储介质
CN108320331B (zh) 一种生成用户场景的增强现实视频信息的方法与设备
CN111160051B (zh) 数据处理方法、装置、电子设备及存储介质
CN113282770A (zh) 一种多媒体推荐系统及方法
CN112312062A (zh) 多人会议记录回放的3d展示方法、存储介质及终端设备
CN114363557B (zh) 一种面向语义保真的虚拟会议方法及三维虚拟会议系统
CN109905766A (zh) 一种动态视频海报生成方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant