CN114466211A - 一种基于虚拟现实技术的直播交互方法及系统 - Google Patents

一种基于虚拟现实技术的直播交互方法及系统 Download PDF

Info

Publication number
CN114466211A
CN114466211A CN202210113355.6A CN202210113355A CN114466211A CN 114466211 A CN114466211 A CN 114466211A CN 202210113355 A CN202210113355 A CN 202210113355A CN 114466211 A CN114466211 A CN 114466211A
Authority
CN
China
Prior art keywords
interaction
audience
virtual reality
live
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210113355.6A
Other languages
English (en)
Other versions
CN114466211B (zh
Inventor
罗湘文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiwu Huayue Culture Media Co ltd
Original Assignee
Lemike Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemike Information Technology Shenzhen Co ltd filed Critical Lemike Information Technology Shenzhen Co ltd
Priority to CN202210113355.6A priority Critical patent/CN114466211B/zh
Publication of CN114466211A publication Critical patent/CN114466211A/zh
Application granted granted Critical
Publication of CN114466211B publication Critical patent/CN114466211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种基于虚拟现实技术的直播交互方法及系统,方法包括:步骤1:对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉;步骤2:记录当下时刻进入虚拟现实直播场景的观众端的观众用户的喜好信息,并按照喜好信息,对第一捕捉结果进行特效呈现分析,并向对应观众端呈现对应的特效结果,供观众用户交互观看;步骤3:对观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照交互种类确定交互指令集合,对特效结果依次进行交互调整。通过记录观众用户的喜好信息,呈现不同的特效结果,且通过捕捉观众用户的输入指令,对交互结果进行调整,有效提高用户的交互体验。

Description

一种基于虚拟现实技术的直播交互方法及系统
技术领域
本发明涉及智能交互技术领域,特别涉及一种基于虚拟现实技术的直播交互方法及系统。
背景技术
虚拟现实技术(简称VR),又称虚拟环境、灵境或人工环境,是指利用计算机生成一种可对参与者直接施加视觉、听觉和触觉感受,并允许其交互地观察和操作的虚拟世界的技术,其中,虚拟现实技术是包括三维图形生成技术、多传感交互技术以及高分辨率显示技术在内的,生成三维逼真的虚拟环境,用户需要通过特殊的交互设备才能进入虚拟环境中。
现有的虚拟交互场景很常见,比如:虚拟游戏场景等、虚拟直播场景等。
但是在虚拟直播场景的情况下,一般是按照提前设定好的方式,来完成主播与用户的交互且交互显示的结果都是按照设定好的来显示的,不能根据用户本身的因素,进行自动调节,来满足用户的交互需求。
因此,本发明提出一种基于虚拟显示显示技术的直播交互方法及系统。
发明内容
本发明提供一种基于虚拟现实技术的直播交互方法,用以通过记录观众用户的喜好信息,呈现不同的特效结果,且通过捕捉观众用户的输入指令,对交互结果进行调整,有效提高用户的交互体验。
本发明提供一种基于虚拟现实技术的直播交互方法,包括:
步骤1:对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉;
步骤2:记录当下时刻进入所述虚拟现实直播场景的观众端的观众用户的喜好信息,并按照喜好信息,对第一捕捉结果进行特效呈现分析,并向对应观众端呈现对应的特效结果,供观众用户交互观看;
步骤3:对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述特效结果依次进行交互调整。
在一种可能实现的方式中,步骤1,对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉之后,还包括:
自动搜索所述主播用户对应的设置选项,并按照所述设置选项,确定在直播过程中的开放功能以及未开放功能;
确定所述开放功能的功能属性,并向所述功能属性匹配对应的功能开放显示信息;
基于所述功能开放显示信息,来确定对应开放功能的功能列表;
根据在所述虚拟现实场景中的所有观众用户对开放功能的点击频率,确定功能开放列表的被选择分布;
根据分布结果,确定每个开放功能进行画面选位大小;
对所述未开放功能的功能图标进行统计,并按照所述主播用户对未开放功能的历史开放记录以及所述观众用户对不同主播用户的历史功能查看记录,构建所述观众用户的查看列表,并对所述查看列表中的查看功能进行优先级排序;
确定所述功能图标的常规设置大小以及常规设置图像,进行初次排列;
根据优先级排序结果,对初次排列结果进行调整排列,得到最终排列结果,来确定未开放功能对应列表的未开放选位大小;
基于确定的画面选位大小以及未开放选位大小,进行位置部署,并输出在虚拟现实场景中进行展示。
在一种可能实现的方式中,输出在虚拟现实场景中进行展示之后,还包括:
捕捉所述用户主播的直播间的实时信息,确定所述实时信息对不同功能列表所对应的功能标签的实时流量变化;
根据所述实时流量变化,对对应功能列表中的排序结果进行实时更新;
所述功能列表包括:人数列表、礼物列表、刷礼物排名列表、高人气列表在内。
在一种可能实现的方式中,步骤1:对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉,包括:
对所述虚拟现实直播场景进行拍捕捉,获得第一视频,按照语音信息,确定时间断点,并基于时间断点对所述第一视频进行拆分,得到若干子视频;
获取每个子视频中的每帧图像中与所述直播用户相关的肢体动作以及当执行所述肢体动作时,对应的语音输出的文本信息;
将所述肢体动作与文本信息进行同步分析,得到所述直播用户的第一交互意图,进而得到每个子视频的子交互意图;
其中,第一捕捉结果包括每个子视频的子交互意图在内。
在一种可能实现的方式中,按照喜好信息,对第一捕捉结果进行特效呈现分析,包括:
构建所述观众用户的历史行为序列,以及所述观众用户进入所述虚拟现实直播场景的当下喜好选择序列;
根据所述历史行为序列,确定所述观众用户的偏向交互资源,并调取相关的偏向交互库,且根据偏向程度,向不同偏向交互库设置偏向标签;
根据所述当下喜好选择序列,确定所述观众用户的可能交互资源,并调取相关的可能交互库,且根据当下喜好选择序列中的同类喜好的选择数量,向不同可能交互库设置概率标签;
确定历史行为序列中的第一喜好维度以及当下喜好选择序列的第二喜好维度,并对第一喜好维度与第二喜好维度中的重叠维度进行标注,构建重叠维度的重叠交互库,且根据重叠维度中涉及到的喜好参量,向不同的重叠交互库设置喜好标签;
当所述观众用户进入所述虚拟现实直播场景中时,向所述观众用户推送策略交互选项,并根据选择结果,确定对应的目标交互策略;
对子交互意图进行意图分析,并将意图分析结果与不同库的资源数据进行匹配,并基于所述目标交互策略,从所有偏向标签中筛选第一标签、从所有概率标签中筛选第二标签以及从所有喜好标签中筛选第三标签,对匹配的资源数据进行效果呈现分析。
在一种可能实现的方式中,基于所述目标交互策略,从所有偏向标签中筛选第一标签、从所有概率标签中筛选第二标签以及从所有喜好标签中筛选第三标签,对匹配的资源数据进行效果呈现分析,包括:
基于效果呈现模型,分别对第一标签构成的第一向量、第二标签构成的第二向量、第三标签构成的第三向量进行分析,并集合匹配的资源数据,得到对应的第一效果呈现、第二效果呈现以及第三效果呈现;
将所述第一效果呈现、第二效果呈现、第三效果呈现进行同步融合分析,得到第四效果呈现,并对所述第四效果呈现中的未达标成效区域进行第一框选;
基于效果呈现模型,对所述第一向量、第二向量以及第三向量进行第四分析,得到第五效果呈现,并对所述第五效果呈现中的未达标成效区域进行第二框选;
若所述第一框选与第二框选中存在框选不同的位置区域,则将所述第五效果呈现中与所述第四效果呈现中的框选不同的位置区域的区域显示,对对应框选不同的位置区域进行替换;
对框选相同的位置区域的第一区域的第一有效参数进行提取,同时,对第二区域的第二有效参数进行提取,对提取后的参数进行参数优化,获得优化效果呈现,并将所述优化效果呈现与边缘区域进行像素融合拼接处理,获得第六效果呈现,并输出显示。
在一种可能实现的方式中,对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述特效结果依次进行交互调整,包括:
将第二捕捉的输入指令,基于指令-文本转换规则进行文本转化,得到不同输入指令的文本信息;
根据所述文本信息所属预设交互种类种类数量,确定对应的交互量度;
当所述交互量度小于最小量度设置标准时,将对应的输入指令设置为待定状态,并存储在暂存区域中;
当所述交互量度大于最大量度设置标准时,将对应的输入指令放置在触发存储区域,进行第一队列排序;
否则,将对应的输入指令放置在对应的等待触发区域,进行第二队列排序;
按照队列排序结果对同个区域中的所有输入指令进行种类划分;
筛选同个区域中,不同种类划分之后,每个种类划分结果中对应的最先时间点,并对所述最先时间点进行排序,按照排序结果,设定顺序交互标签;
按照顺序交互标签,对所述特效结果依次进行交互调整。
在一种可能实现的方式中,第二捕捉的输入指令是在指令输入时间段内输入的若干指令。
在一种可能实现的方式中,根据预分析结果,确定交互种类之后,还包括:
当所述交互类型与交易相关时,确定具体交易类型,并判断所述观众用户是否满足对应的具体交易类型的交易标准;
当不满足时,对所述输入指令的执行输出链接进行自动消除;
当满足时,对所述输入指令的执行输出链接进行继续输出,并根据所述执行输出链接确定对应的虚拟交易信息,当所述虚拟交易信息中的交易金额大于预设提醒金额时,向对应观众端,发送交易提醒。
本发明提供一种基于虚拟现实技术的直播交互系统,包括:
第一捕捉模块,用于对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉;
分析模块,用于记录当下时刻进入所述虚拟现实直播场景的观众端的观众用户的喜好信息,并按照喜好信息,对第一捕捉结果进行特效呈现分析,并向对应观众端呈现对应的特效结果,供观众用户交互观看;
第二捕捉模块,用于对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述虚拟现实直播场景依次进行交互调整。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于虚拟现实技术的直播交互方法的流程图;
图2为本发明实施例中一种基于虚拟现实技术的直播交互系统的结构图;
图3为本发明实施例中选位确定的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明提供一种基于虚拟现实技术的直播交互方法,如图1所示,包括:
步骤1:对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉;
步骤2:记录当下时刻进入所述虚拟现实直播场景的观众端的观众用户的喜好信息,并按照喜好信息,对第一捕捉结果进行特效呈现分析,并向对应观众端呈现对应的特效结果,供观众用户交互观看;
步骤3:对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述特效结果依次进行交互调整。
该实施例中,第一捕捉的当前交互行为,是要求刷小心心,此时,按照观众用户的喜好,来对“要求刷小心心”这个结果进行特效呈现,比如:结合用户喜好后,是将“刷小心心”依次显著显示,并在虚拟直播场景中的正中央显示等(特效结果)。
该实施例中,交互观看的过程中,还捕捉用户输入的指令,比如:对“刷小心心”中的第一个“心”进行放大操作,并进行颜色调整的指令,来对特效结果依次进行调整交互。
上述技术方案的有益效果是:通过记录观众用户的喜好信息,呈现不同的特效结果,且通过捕捉观众用户的输入指令,对交互结果进行调整,有效提高用户的交互体验。
实施例2:
基于实施例1的基础上,步骤1,对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉之后,如图3所示,还包括:
步骤01:自动搜索所述主播用户对应的设置选项,并按照所述设置选项,确定在直播过程中的开放功能以及未开放功能;
步骤02:确定所述开放功能的功能属性,并向所述功能属性匹配对应的功能开放显示信息;
步骤03:基于所述功能开放显示信息,来确定对应开放功能的功能列表;
步骤04:根据在所述虚拟现实场景中的所有观众用户对开放功能的点击频率,确定功能开放列表的被选择分布;
步骤05:根据分布结果,确定每个开放功能进行画面选位大小;
步骤06:对所述未开放功能的功能图标进行统计,并按照所述主播用户对未开放功能的历史开放记录以及所述观众用户对不同主播用户的历史功能查看记录,构建所述观众用户的查看列表,并对所述查看列表中的查看功能进行优先级排序;
步骤07:确定所述功能图标的常规设置大小以及常规设置图像,进行初次排列;
步骤08:根据优先级排序结果,对初次排列结果进行调整排列,得到最终排列结果,来确定对应未开放功能对应列表的未开放选位大小;
步骤09:基于确定的画面选位大小以及未开放选位大小,进行位置部署,并输出在虚拟现实场景中进行展示。
该实施例中,比如直播端存在直播功能A、B、C三个功能,其中,主播用户设置直播功能A、B为开放功能,直播功能C为未开放功能。
该实施例中,开放功能A的属性,比如可以刷礼物、开放功能B的功能属性比如语音连麦等。
该实施例中,刷礼物的显示信息,比如可以看到每个观众用户刷的礼物,以及可以听到与主播进行连麦用户的两者这之间的连麦信息等。比如,当对刷礼物功能的点击频率为10次,对连麦功能的点击频率为6次,此时,根据点击频率,来设置刷礼物列表和连麦列表的被选择分布,也就是10和6构成的分布,通过该结果,确定刷礼物功能的在现实场景中的显示大小,以及连麦功能在现实场景中的显示大小;
该实施例中,根据统计的信息,来构建查看列表,且查看列表是只包括不同的未开放功能图标在内,且对未开放功能的查看次数等,来对未开放功能的图标进行优先级排序,是针对观众用户设置的。
该实施例中,通过按照常规方式,来对未开放功能图标进行初次排列,并基于优先排序结果进行调整,得到最终排列结果,比如:未开放功能包括1、2、3在内,初始排列为1、2、3,调整后的最终排列结果为2、1、3,此时,并基于最终排列结果来确定未开放功能在现实场景中的显示大小。
通过不同功能对应的显示大小,来对每个功能的选位进行部署,来确定每个功能在虚拟现实中的显示位置。
该实施例中,针对开放功能而言,每个开放功能都有其对应的列表,针对未开放功能而言,只是将所有未开放功能罗列成一个列表进行显示。
上述技术方案的有益效果是:通过对开放功能的选位大小进行确定,以及对所有未开放功能构成的列表的选位大小进行确定,可以有效获取若干大小,通过按照大小进行布局,可以有效的确定不同开放功能以及未开放功能列表的布局位置,进而进行展示,有效提供用户的体验效果。
实施例3:
基于实施例2的基础上,输出在虚拟现实场景中进行展示之后,还包括:
捕捉所述用户主播的直播间的实时信息,确定所述实时信息对不同功能列表所对应的功能标签的实时流量变化;
根据所述实时流量变化,对对应功能列表中的排序结果进行实时更新;
所述功能列表包括:人数列表、礼物列表、刷礼物排名列表、高人气列表在内。
该实施例中,实时信息指的是直播间的语音、交互、动作等各种信息,来对不同的功能列表进行实时更新。
上述技术方案的有益效果是:通过根据直播间的实时信息,来实时更新不同的列表,保证信息实时同步,方便用户及时了解。
实施例4:
基于实施例1的基础上,步骤1:对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉,包括:
对所述虚拟现实直播场景进行拍捕捉,获得第一视频,按照语音信息,确定时间断点,并基于时间断点对所述第一视频进行拆分,得到若干子视频;
获取每个子视频中的每帧图像中与所述直播用户相关的肢体动作以及当执行所述肢体动作时,对应的语音输出的文本信息;
将所述肢体动作与文本信息进行同步分析,得到所述直播用户的第一交互意图,进而得到每个子视频的子交互意图;
其中,第一捕捉结果包括每个子视频的子交互意图在内。
该实施例中,第一视频指的是与主播相关的直播视频,且直播视频中是包括语音信号、肢体动作等在内的。
该实施例中,由于不同的语音信息代表的含义是不同,因此,可以按照语音信息,来确定时间断点,以此来对第一视频进行拆分,得到若干子视频。
该实施例中,将同帧图像涉及到的语音信息与肢体动作进行同步,以此,来确定交互意图,保证可以具体且详细的得到意图。
上述技术方案的有益效果是:通过获取同帧的语音和肢体动作,来得到主播的意图,进而方便与观众用户进行有效交互,保证观众用户的交互体验感。
实施例5:
基于实施例4的基础上,按照喜好信息,对第一捕捉结果进行特效呈现分析,包括:
构建所述观众用户的历史行为序列,以及所述观众用户进入所述虚拟现实直播场景的当下喜好选择序列;
根据所述历史行为序列,确定所述观众用户的偏向交互资源,并调取相关的偏向交互库,且根据偏向程度,向不同偏向交互库设置偏向标签;
根据所述当下喜好选择序列,确定所述观众用户的可能交互资源,并调取相关的可能交互库,且根据当下喜好选择序列中的同类喜好的选择数量,向不同可能交互库设置概率标签;
确定历史行为序列中的第一喜好维度以及当下喜好选择序列的第二喜好维度,并对第一喜好维度与第二喜好维度中的重叠维度进行标注,构建重叠维度的重叠交互库,且根据重叠维度中涉及到的喜好参量,向不同的重叠交互库设置喜好标签;
当所述观众用户进入所述虚拟现实直播场景中时,向所述观众用户推送策略交互选项,并根据选择结果,确定对应的目标交互策略;
对子交互意图进行意图分析,并将意图分析结果与不同库的资源数据进行匹配,并基于所述目标交互策略,从所有偏向标签中筛选第一标签、从所有概率标签中筛选第二标签以及从所有喜好标签中筛选第三标签,对匹配的资源数据进行效果呈现分析。
该实施例中,历史行为序列,比如为1111 0000 1111 2222,当下喜好选择序列,比如1111 1111 2222 2222,此时,根据1111 1110 1112 2222,来获取用户的偏向交互资源,且获取是基于序列与交互资源列表中一一对比来得到的,且序列与交互资源列表是包括序列与资源在内的,且可能交互资源也是基于序列与交互资源列表中一一对比来得到的。
该实施例中,比如:当下喜好选择序列中的同类喜好的选择数量:1111 1110 1112可以视为一个类,且包括3个选择数量,2222可以视为一个类,且包括1个选择数量,进而向对应的可能交互库,设置概率标签。
该实施例中,1111 0000 1111 2222为四个维度,1111 1110 1112 2222也可以为四个维度,也就是存在几组序列,便视为几个维度。
该实施例中,1111 0000 1111 2222与1111 1110 1112 2222是包括重叠维度11112222在内的,且根据重叠维度的涉及到的喜好参量,比如,是语音连麦和刷礼物,此时,向1111对应的重叠维度,以及2222对应的重叠维度分别设置喜好标签。
该实施例中,观众用户进入虚拟现实直播场景中时,根据观众用户的选择,来设置目标交互策略,保证观众用户可以按照自己的意愿完成后续的交互。
该实施例中,子交互意图都是与开放功能相关的一些意图,且基于意图进行与资源的匹配,后续再基于标签来对资源进行效果呈现,更好的符合用户的期待。
上述技术方案的有益效果是:通过构建观众用户的历史行为序列以及当下喜好选择序列,来确定不同序列对应的交互库,并设置标签,且还对重叠维度设置标签,基于设置的标签、观众用户的交互选项以及主播用户的交互意图,来对资源数据进行效果呈现,来满足观众用户的体验。
实施例6:
基于实施例5的基础上,基于所述目标交互策略,从所有偏向标签中筛选第一标签、从所有概率标签中筛选第二标签以及从所有喜好标签中筛选第三标签,对匹配的资源数据进行效果呈现分析,包括:
基于效果呈现模型,分别对第一标签构成的第一向量、第二标签构成的第二向量、第三标签构成的第三向量进行分析,并集合匹配的资源数据,得到对应的第一效果呈现、第二效果呈现以及第三效果呈现;
将所述第一效果呈现、第二效果呈现、第三效果呈现进行同步融合分析,得到第四效果呈现,并对所述第四效果呈现中的未达标成效区域进行第一框选;
基于效果呈现模型,对所述第一向量、第二向量以及第三向量进行第四分析,得到第五效果呈现,并对所述第五效果呈现中的未达标成效区域进行第二框选;
若所述第一框选与第二框选中存在框选不同的位置区域,则将所述第五效果呈现中与所述第四效果呈现中的框选不同的位置区域的区域显示,对对应框选不同的位置区域进行替换;
对框选相同的位置区域的第一区域的第一有效参数进行提取,同时,对第二区域的第二有效参数进行提取,对提取后的参数进行参数优化,获得优化效果呈现,并将所述优化效果呈现与边缘区域进行像素融合拼接处理,获得第六效果呈现,并输出显示。
该实施例中,效果呈现模型是预先训练好的,且是将不同设置标签对应的交互库以及不同交互库结合带来的呈现效果在内的,因此,通过该模型,对不同标签对应的向量进行分析,并与该标签对应的资源进行结合,得到不同的效果。
该实施例中,通过对第一效果呈现、第二效果呈现、第三效果呈现,来得到基于该现实场景的整体呈现,且还通过另一种综合分析的方式,来得到第五效果呈现(即整体呈现)。
该实施例中,第一区域的第一有效参数,比如:01.02.03,第二区域的有效参数,比如:01.02.04,最后提取后的参数为:01.02.03.04,且进行参数优化后,得到参数01.02.03.041,此时,041表示对04进行了优化。
上述技术方案的有益效果是:通过单独呈现进行融合以及整体呈现进行边角,来确定两者存在的不同位置,且通过区域替换,来保证效果呈现的合理性以及可靠性,通过对框选的相同位置区域的参数提取及优化,便于对相同位置区域进行重新呈现,且通过像素融合拼接处理,来得到第六效果呈现,保证呈现的最佳效果,进一步满足观众用户的体验感。
实施例7:
基于实施例1的基础上,对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述特效结果依次进行交互调整,包括:
将第二捕捉的输入指令,基于指令-文本转换规则进行文本转化,得到不同输入指令的文本信息;
根据所述文本信息所属预设交互种类种类数量,确定对应的交互量度;
当所述交互量度小于最小量度设置标准时,将对应的输入指令设置为待定状态,并存储在暂存区域中;
当所述交互量度大于最大量度设置标准时,将对应的输入指令放置在触发存储区域,进行第一队列排序;
否则,将对应的输入指令放置在对应的等待触发区域,进行第二队列排序;
按照队列排序结果对同个区域中的所有输入指令进行种类划分;
筛选同个区域中,不同种类划分之后,每个种类划分结果中对应的最先时间点,并对所述最先时间点进行排序,按照排序结果,设定顺序交互标签;
按照顺序交互标签,对所述特效结果依次进行交互调整。
在一种可能实现的方式中,第二捕捉的输入指令是在指令输入时间段内输入的若干指令。
该实施例中,通过对输入指令进行文本转换,是为了将分析的基础设置为同一格式,方便处理。
比如:对输入指令进行文本转换,来得到文本信息,进而来得到该指令中包含的各类信息,比如是包括:交易、购物、点赞、刷礼物等信息在内时。
该实施例中,根据所述文本信息所属预设交互种类种类数量,确定对应的交互量度,包括:
Figure BDA0003495530080000141
Figure BDA0003495530080000142
Figure BDA0003495530080000143
其中,Y表示交互量度;n1表示文本信息所属预设交互种类的种类数量;n2表示不同预设交互种类中包含的交互因子,且是变量,不同的预设交互种类对应的交互因子可能相同也可能不同,且交互因子,比如:交易、购物、点赞、刷礼物等因子;sij表示第i个预设交互种类中第j个交互因子的量度值,且取值范围为[0,1];
Figure BDA0003495530080000144
表示第i个预设交互种类中第j个交互因子的交互权重;且
Figure BDA0003495530080000145
(sij)min表示所有量度值中的最小值;exp()表示指数函数;
Figure BDA0003495530080000146
表示sij与对应该预设交互种类中,剩余交互因子的量度比值;
Figure BDA0003495530080000151
表示sij与除去sij之外的所有交互因子的量度比值;其中,交互因子的交互权重越大,对应的量度比值越大。
通过计算交互量度,便于进行比较,来对对应的输入指令进行区域的存储判断。
上述技术方案的有益效果是:通过将指令转换为文本信息,便于在同类信息上进行有效处理,提高处理效率,且通过对计算结果进行大小比较,便于放置在不同位置,且通过对不同指令的放置区域进行确定,且进行排序,可以有效的确定优先交互顺序,进而保证后续交互调整的合理性以及有效性。
实施例8:
基于实施例1的基础上,根据预分析结果,确定交互种类之后,还包括:
当所述交互类型与交易相关时,确定具体交易类型,并判断所述观众用户是否满足对应的具体交易类型的交易标准;
当不满足时,对所述输入指令的执行输出链接进行自动消除;
当满足时,对所述输入指令的执行输出链接进行继续输出,并根据所述执行输出链接确定对应的虚拟交易信息,当所述虚拟交易信息中的交易金额大于预设提醒金额时,向对应观众端,发送交易提醒。
该实施例中,执行输出链接可以与交易有关,比如支付链接等。
上述技术方案的有益效果是:当为交易类型时,通过对具体交易类型的交易标准进行判断,来确定是否将执行输出链接消除,避免观众用户在未知的情况下,进行交易,降低用户体验感。
实施例9:
本发明提供一种基于虚拟现实技术的直播交互系统,如图2所示,包括:
第一捕捉模块,用于对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉;
分析模块,用于记录当下时刻进入所述虚拟现实直播场景的观众端的观众用户的喜好信息,并按照喜好信息,对第一捕捉结果进行特效呈现分析,并向对应观众端呈现对应的特效结果,供观众用户交互观看;
第二捕捉模块,用于对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述虚拟现实直播场景依次进行交互调整。
上述技术方案的有益效果是:通过记录观众用户的喜好信息,呈现不同的特效结果,且通过捕捉观众用户的输入指令,对交互结果进行调整,有效提高用户的交互体验。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于虚拟现实技术的直播交互方法,其特征在于,包括:
步骤1:对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉;
步骤2:记录当下时刻进入所述虚拟现实直播场景的观众端的观众用户的喜好信息,并按照喜好信息,对第一捕捉结果进行特效呈现分析,并向对应观众端呈现对应的特效结果,供观众用户交互观看;
步骤3:对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述特效结果依次进行交互调整。
2.如权利要求1所述的基于虚拟现实技术的直播交互方法,其特征在于,步骤1,对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉之后,还包括:
自动搜索所述主播用户对应的设置选项,并按照所述设置选项,确定在直播过程中的开放功能以及未开放功能;
确定所述开放功能的功能属性,并向所述功能属性匹配对应的功能开放显示信息;
基于所述功能开放显示信息,来确定对应开放功能的功能列表;
根据在所述虚拟现实场景中的所有观众用户对开放功能的点击频率,确定功能开放列表的被选择分布;
根据分布结果,确定每个开放功能进行画面选位大小;
对所述未开放功能的功能图标进行统计,并按照所述主播用户对未开放功能的历史开放记录以及所述观众用户对不同主播用户的历史功能查看记录,构建所述观众用户的查看列表,并对所述查看列表中的查看功能进行优先级排序;
确定所述功能图标的常规设置大小以及常规设置图像,进行初次排列;
根据优先级排序结果,对初次排列结果进行调整排列,得到最终排列结果,来确定未开放功能对应列表的未开放选位大小;
基于确定的画面选位大小以及未开放选位大小,进行位置部署,并输出在虚拟现实场景中进行展示。
3.如权利要求2所述的基于虚拟现实技术的直播交互方法,其特征在于,输出在虚拟现实场景中进行展示之后,还包括:
捕捉所述用户主播的直播间的实时信息,确定所述实时信息对不同功能列表所对应的功能标签的实时流量变化;
根据所述实时流量变化,对对应功能列表中的排序结果进行实时更新;
所述功能列表包括:人数列表、礼物列表、刷礼物排名列表、高人气列表在内。
4.如权利要求1所述的基于虚拟现实技术的直播交互方法,其特征在于,步骤1:对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉,包括:
对所述虚拟现实直播场景进行拍捕捉,获得第一视频,按照语音信息,确定时间断点,并基于时间断点对所述第一视频进行拆分,得到若干子视频;
获取每个子视频中的每帧图像中与所述直播用户相关的肢体动作以及当执行所述肢体动作时,对应的语音输出的文本信息;
将所述肢体动作与文本信息进行同步分析,得到所述直播用户的第一交互意图,进而得到每个子视频的子交互意图;
其中,第一捕捉结果包括每个子视频的子交互意图在内。
5.如权利要求4所述的基于虚拟现实技术的直播交互方法,其特征在于,按照喜好信息,对第一捕捉结果进行特效呈现分析,包括:
构建所述观众用户的历史行为序列,以及所述观众用户进入所述虚拟现实直播场景的当下喜好选择序列;
根据所述历史行为序列,确定所述观众用户的偏向交互资源,并调取相关的偏向交互库,且根据偏向程度,向不同偏向交互库设置偏向标签;
根据所述当下喜好选择序列,确定所述观众用户的可能交互资源,并调取相关的可能交互库,且根据当下喜好选择序列中的同类喜好的选择数量,向不同可能交互库设置概率标签;
确定历史行为序列中的第一喜好维度以及当下喜好选择序列的第二喜好维度,并对第一喜好维度与第二喜好维度中的重叠维度进行标注,构建重叠维度的重叠交互库,且根据重叠维度中涉及到的喜好参量,向不同的重叠交互库设置喜好标签;
当所述观众用户进入所述虚拟现实直播场景中时,向所述观众用户推送策略交互选项,并根据选择结果,确定对应的目标交互策略;
对子交互意图进行意图分析,并将意图分析结果与不同库的资源数据进行匹配,并基于所述目标交互策略,从所有偏向标签中筛选第一标签、从所有概率标签中筛选第二标签以及从所有喜好标签中筛选第三标签,对匹配的资源数据进行效果呈现分析。
6.如权利要求5所述的基于虚拟现实技术的直播交互方法,其特征在于,基于所述目标交互策略,从所有偏向标签中筛选第一标签、从所有概率标签中筛选第二标签以及从所有喜好标签中筛选第三标签,对匹配的资源数据进行效果呈现分析,包括:
基于效果呈现模型,分别对第一标签构成的第一向量、第二标签构成的第二向量、第三标签构成的第三向量进行分析,并集合匹配的资源数据,得到对应的第一效果呈现、第二效果呈现以及第三效果呈现;
将所述第一效果呈现、第二效果呈现、第三效果呈现进行同步融合分析,得到第四效果呈现,并对所述第四效果呈现中的未达标成效区域进行第一框选;
基于效果呈现模型,对所述第一向量、第二向量以及第三向量进行第四分析,得到第五效果呈现,并对所述第五效果呈现中的未达标成效区域进行第二框选;
若所述第一框选与第二框选中存在框选不同的位置区域,则将所述第五效果呈现中与所述第四效果呈现中的框选不同的位置区域的区域显示,对对应框选不同的位置区域进行替换;
对框选相同的位置区域的第一区域的第一有效参数进行提取,同时,对第二区域的第二有效参数进行提取,对提取后的参数进行参数优化,获得优化效果呈现,并将所述优化效果呈现与边缘区域进行像素融合拼接处理,获得第六效果呈现,并输出显示。
7.如权利要求1所述的基于虚拟显示技术的直播交互方法,其特征在于,对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述特效结果依次进行交互调整,包括:
将第二捕捉的输入指令,基于指令-文本转换规则进行文本转化,得到不同输入指令的文本信息;
根据所述文本信息所属预设交互种类种类数量,确定对应的交互量度;
当所述交互量度小于最小量度设置标准时,将对应的输入指令设置为待定状态,并存储在暂存区域中;
当所述交互量度大于最大量度设置标准时,将对应的输入指令放置在触发存储区域,进行第一队列排序;
否则,将对应的输入指令放置在对应的等待触发区域,进行第二队列排序;
按照队列排序结果对同个区域中的所有输入指令进行种类划分;
筛选同个区域中,不同种类划分之后,每个种类划分结果中对应的最先时间点,并对所述最先时间点进行排序,按照排序结果,设定顺序交互标签;
按照顺序交互标签,对所述特效结果依次进行交互调整。
8.如权利要求7所述的基于虚拟显示显示技术的直播交互方法,其特征在于,第二捕捉的输入指令是在指令输入时间段内输入的若干指令。
9.如权利要求1所述的基于虚拟现实技术的直播交互方法,其特征在于,根据预分析结果,确定交互种类之后,还包括:
当所述交互类型与交易相关时,确定具体交易类型,并判断所述观众用户是否满足对应的具体交易类型的交易标准;
当不满足时,对所述输入指令的执行输出链接进行自动消除;
当满足时,对所述输入指令的执行输出链接进行继续输出,并根据所述执行输出链接确定对应的虚拟交易信息,当所述虚拟交易信息中的交易金额大于预设提醒金额时,向对应观众端,发送交易提醒。
10.一种基于虚拟现实技术的直播交互系统,其特征在于,包括:
第一捕捉模块,用于对虚拟现实直播场景中的直播端的直播用户的当前交互行为进行第一捕捉;
分析模块,用于记录当下时刻进入所述虚拟现实直播场景的观众端的观众用户的喜好信息,并按照喜好信息,对第一捕捉结果进行特效呈现分析,并向对应观众端呈现对应的特效结果,供观众用户交互观看;
第二捕捉模块,用于对所述观众用户在交互观看过程中的输入指令进行第二捕捉,并进行预分析,根据预分析结果,确定交互种类,并按照所述交互种类确定交互指令集合,对所述虚拟现实直播场景依次进行交互调整。
CN202210113355.6A 2022-01-30 2022-01-30 一种基于虚拟现实技术的直播交互方法及系统 Active CN114466211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210113355.6A CN114466211B (zh) 2022-01-30 2022-01-30 一种基于虚拟现实技术的直播交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210113355.6A CN114466211B (zh) 2022-01-30 2022-01-30 一种基于虚拟现实技术的直播交互方法及系统

Publications (2)

Publication Number Publication Date
CN114466211A true CN114466211A (zh) 2022-05-10
CN114466211B CN114466211B (zh) 2024-06-14

Family

ID=81411955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210113355.6A Active CN114466211B (zh) 2022-01-30 2022-01-30 一种基于虚拟现实技术的直播交互方法及系统

Country Status (1)

Country Link
CN (1) CN114466211B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061617A (zh) * 2022-06-14 2022-09-16 深圳市万声文化科技有限公司 直播画面的处理方法、装置、计算机设备和存储介质
CN117135417A (zh) * 2023-10-26 2023-11-28 环球数科集团有限公司 一种基于多模态大模型的景区智能营销及虚拟直播系统
CN117473138A (zh) * 2023-12-26 2024-01-30 江西工业贸易职业技术学院(江西省粮食干部学校、江西省粮食职工中等专业学校) 一种基于虚拟现实的产品展示方法及系统
WO2024037565A1 (zh) * 2022-08-18 2024-02-22 北京字跳网络技术有限公司 人机交互方法、基于虚拟现实空间的显示处理方法、模型显示方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180359530A1 (en) * 2017-06-09 2018-12-13 Fuji Xerox Co., Ltd. Systems and methods for content curation in video based communications
CN109348261A (zh) * 2018-08-21 2019-02-15 北京潘达互娱科技有限公司 一种直播中数据统计方法、装置及电子设备
CN111526412A (zh) * 2020-04-30 2020-08-11 广州华多网络科技有限公司 全景直播方法、装置、设备及存储介质
CN112347395A (zh) * 2019-08-07 2021-02-09 阿里巴巴集团控股有限公司 特效展示方法、装置、电子设备及计算机存储介质
CN112839249A (zh) * 2016-09-26 2021-05-25 广州方硅信息技术有限公司 虚拟礼物展示方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839249A (zh) * 2016-09-26 2021-05-25 广州方硅信息技术有限公司 虚拟礼物展示方法、装置、设备及存储介质
US20180359530A1 (en) * 2017-06-09 2018-12-13 Fuji Xerox Co., Ltd. Systems and methods for content curation in video based communications
CN109348261A (zh) * 2018-08-21 2019-02-15 北京潘达互娱科技有限公司 一种直播中数据统计方法、装置及电子设备
CN112347395A (zh) * 2019-08-07 2021-02-09 阿里巴巴集团控股有限公司 特效展示方法、装置、电子设备及计算机存储介质
CN111526412A (zh) * 2020-04-30 2020-08-11 广州华多网络科技有限公司 全景直播方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061617A (zh) * 2022-06-14 2022-09-16 深圳市万声文化科技有限公司 直播画面的处理方法、装置、计算机设备和存储介质
WO2024037565A1 (zh) * 2022-08-18 2024-02-22 北京字跳网络技术有限公司 人机交互方法、基于虚拟现实空间的显示处理方法、模型显示方法、装置、设备及介质
CN117135417A (zh) * 2023-10-26 2023-11-28 环球数科集团有限公司 一种基于多模态大模型的景区智能营销及虚拟直播系统
CN117135417B (zh) * 2023-10-26 2023-12-22 环球数科集团有限公司 一种基于多模态大模型的景区智能营销及虚拟直播系统
CN117473138A (zh) * 2023-12-26 2024-01-30 江西工业贸易职业技术学院(江西省粮食干部学校、江西省粮食职工中等专业学校) 一种基于虚拟现实的产品展示方法及系统
CN117473138B (zh) * 2023-12-26 2024-03-29 江西工业贸易职业技术学院(江西省粮食干部学校、江西省粮食职工中等专业学校) 一种基于虚拟现实的产品展示方法及系统

Also Published As

Publication number Publication date
CN114466211B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN114466211A (zh) 一种基于虚拟现实技术的直播交互方法及系统
CN110636353B (zh) 一种显示设备
JP7270661B2 (ja) ビデオの処理方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
JP2020030814A (ja) 情報を処理するための方法と装置
AU2021314277B2 (en) Interaction method and apparatus, and electronic device and computer-readable storage medium
CN111711869B (zh) 一种标签数据处理方法、装置以及计算机可读存储介质
CN111757137A (zh) 一种基于单镜头直播视频的多路特写播放方法及装置
CN113766296A (zh) 直播画面的展示方法和装置
CN114296949A (zh) 一种虚拟现实设备及高清晰度截屏方法
CN113766299A (zh) 一种视频数据播放方法、装置、设备以及介质
CN115190366B (zh) 一种信息展示方法、装置、电子设备、计算机可读介质
CN113542833A (zh) 基于人脸识别的视频播放方法、装置、设备及存储介质
WO2017104089A1 (ja) ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
CN111757138A (zh) 一种基于单镜头直播视频的特写显示方法及装置
CN114025185A (zh) 一种视频回放方法、装置、电子设备及存储介质
CN105323624B (zh) 一种录制视频的方法、装置和系统
CN113596574A (zh) 视频处理方法、视频处理装置、电子设备和可读存储介质
KR102576977B1 (ko) 대화형 교육 서비스를 제공하는 전자 장치 및 그 동작 방법
CN115460452A (zh) 一种显示设备和频道播放方法
CN113489920A (zh) 一种视频合成方法、装置及电子设备
CN112989115A (zh) 待推荐视频的筛选控制方法及装置
CN115278292B (zh) 一种视频推理信息的展示方法、装置及电子设备
CN117294866A (zh) 配置虚拟礼物的方法、设备和存储介质
CN113190107B (zh) 手势识别方法、装置及电子设备
CN114979698B (zh) 一种直播处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240521

Address after: Room 701, 7th Floor, Building 3, No. 315 Hongyun Road, Chengxi Street, Yiwu City, Jinhua City, Zhejiang Province, China (Zhejiang) Pilot Free Trade Zone, 2014

Applicant after: Yiwu Huayue Culture Media Co.,Ltd.

Country or region after: China

Address before: 518000 b1303a, Tangshang building, No. 35, Xinqiao section, Guangshen Road, Shangxing community, Xinqiao street, Bao'an District, Shenzhen, Guangdong Province

Applicant before: Lemike information technology (Shenzhen) Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant