CN115243068A - 一种基于直播内容弹幕互动的摄像头控制方法 - Google Patents

一种基于直播内容弹幕互动的摄像头控制方法 Download PDF

Info

Publication number
CN115243068A
CN115243068A CN202210878464.7A CN202210878464A CN115243068A CN 115243068 A CN115243068 A CN 115243068A CN 202210878464 A CN202210878464 A CN 202210878464A CN 115243068 A CN115243068 A CN 115243068A
Authority
CN
China
Prior art keywords
control
bullet screen
content
barrage
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210878464.7A
Other languages
English (en)
Inventor
付强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Bo'angtaijie Technology Co ltd
Original Assignee
Wuhan Bo'angtaijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Bo'angtaijie Technology Co ltd filed Critical Wuhan Bo'angtaijie Technology Co ltd
Priority to CN202210878464.7A priority Critical patent/CN115243068A/zh
Publication of CN115243068A publication Critical patent/CN115243068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理技术领域,公开了一种基于直播内容弹幕互动的摄像头控制方法,该方法包括以下步骤:获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否包含控制命令;若是,则得到目标弹幕,并从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果;响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,其中所述终端设备至少包括摄像头;接收所述控制指令,并进行等待控制处理,当控制生效后,基于所述控制指令,所述终端设备执行控制任务,并反馈至直播画面;本发明满足观看直播时用户的互动需求,从而更好地满足用户的观看需求。

Description

一种基于直播内容弹幕互动的摄像头控制方法
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于直播内容弹幕互动的摄像头控制方法。
背景技术
随着电子科技以及互联网的发展,产生了各种各样的以计算机模拟环境为基础,以虚拟的人物化身为载体,用户在其中生活、交流的网络世界(或虚拟平台);在这动态的网络社会生活空间中,用户可以进行学习、游戏、娱乐、购物等。
当前,在线直播越来越受到用户的喜爱;在线直播是指利用互联网及流媒体技术进行直播,视频因融合了图像、文字、声音等丰富元素,声形并茂,效果极佳,逐渐成为互联网的主流表达方式。主播客户端(即主播用户)可以通过互联网在网站上建立在线直播间(相当于在线直播频道),向该在线直播频道中的观众客户端(即观众用户)进行在线广播,观众用户可以看到当前在线直播频道中的主播内容,比如观看到视频内容等,当前在线直播频道内的多个观众可以通过弹幕与直播间进行互动,弹幕是指在播放视频时,伴随视频内容而弹出的评论性信息,其不仅能够使用户表达观看节目感受,而且还能使用户观看其他用户对节目的评论内容,实现用户观看视频时的互动性。目前基于直播互动的技术,一般为基础的弹幕互动,或者聊天,无法直接参与直播视角的互动。
应该注意,上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
有鉴于此,有必要针对无法直接参与直播视角的互动等的问题,提供一种基于直播内容弹幕互动的摄像头控制方法。
本发明提供了一种基于直播内容弹幕互动的摄像头控制方法,该方法包括以下步骤:
获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否包含控制命令;
若是,则得到目标弹幕,并从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果;
响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,其中所述终端设备至少包括摄像头;
接收所述控制指令,并进行等待控制处理,当控制生效后,基于所述控制指令,所述终端设备执行控制任务,并反馈至直播画面。
在其中一个实施例中,获取用户在直播间发送的弹幕内容之前,还包括:
接收用户输入的弹幕内容,并根据所述弹幕内容获取发生时间和用户的消费贡献分数,以得到该条所述弹幕内容的弹幕信息;
将所述弹幕信息发送至对应直播间的服务器,以通过所述服务器将所述弹幕内容显示在直播间中。
在其中一个实施例中,所述获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否属于控制指令,包括:
获取用户在直播间发送的弹幕内容,并对所述弹幕内容进行第一文本预处理;
调用预先构建的弹幕分类模型,将经过所述第一文本预处理后的所述弹幕内容输入所述弹幕分类模型,并输出分类结果;
从所述分类结果中筛选出目标类别,以判断所述目标类别中的每条所述弹幕内容是否属于控制指令。
在其中一个实施例中,所述第一文本预处理至少包括文本分词、文本降噪、文本表示和文本向量化。
在其中一个实施例中,所述弹幕分类模型的生成过程包括以下步骤:
获取来自多个直播间的弹幕内容样本,得到总数据集,并将所述总数据集按比例分为训练数据集和测试数据集;
获取预设的候选值,计算所述训练数据集中每个所述弹幕内容样本中每个属性的属性值概率,将所述属性的属性值概率和所述候选值进行对比,以判断是否淘汰对应的所述弹幕内容样本;
若是,则得到筛选后的训练数据集,并采用所述筛选后的训练数据集对朴素贝叶斯分类模型进行训练;
采用训练后的所述朴素贝叶斯分类模型对所述测试数据集进行分类,优化所述朴素贝叶斯分类模型的参数,以得到弹幕分类模型。
在其中一个实施例中,所述从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果,包括:
获取包含控制命令的目标弹幕,并对所述目标弹幕进行第二文本预处理,以筛选出控制请求;
建立BP神经网络的分类器,设置多层网络,其中所述多层网络表示不同的特征数据,所述特征数据至少包括输入层和输出层;
使用所述特征数据对所述BP神经网络的分类器进行训练,调整参数;
将所述控制请求输入训练后的所述BP神经网络的分类器,以使得所述BP神经网络的分类器对所述控制请求中的字符进行分辨及内容识别,并输出识别结果。
在其中一个实施例中,所述第二文本预处理具体包括以下步骤:
采用PYTHON的JIEBA工具包将所述目标弹幕切分成包含多个候选词的单词序列,并对每个所述候选词进行词性标注;
基于所述词性标注,对所述单词序列中的所述候选词进行筛选,以剔除停用词;
将经过筛选后的所述候选词输入BERT模型中,以通过BERT隐藏层获取向量序列,得到候选词向量集合;
计算所述候选词向量集合中每一个向量至聚类中心位置距离,并根据距离长短筛选出控制请求。
在其中一个实施例中,所述响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,包括:
接收识别结果,并获取所述识别结果中的字符串;
通过处理器将所述字符串转换成一定位数的二进制数字信号,以得到指令编码;
响应于所述指令编码,生成对应的控制指令;
调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备。
在其中一个实施例中,所述接收所述控制指令,并进行等待控制处理,包括:
获取每个所述控制指令对应的所述弹幕信息,并从所述弹幕信息中提取发送时间;
按照所述发生时间对多个所述控制指令进行排序,以得到第一指令处理顺序;
根据所述第一指令处理顺序,对所述控制指令进行等待控制处理。
在其中一个实施例中,所述接收所述控制指令,并进行等待控制处理,包括:
获取每个所述控制指令对应的所述弹幕信息,并从所述弹幕信息中提取消费贡献分数;
按照所述消费贡献分数对多个所述控制指令进行排序,以得到第二指令处理顺序;
根据所述第二指令处理顺序,对所述控制指令进行等待控制处理。
本发明提供的技术方案中,通过获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否包含控制命令;若是,则得到目标弹幕,并从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果;响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,其中所述终端设备至少包括摄像头;接收所述控制指令,并进行等待控制处理,当控制生效后,基于所述控制指令,所述终端设备执行控制任务,并反馈至直播画面;本发明参与观看直播的用户可以通过弹幕控制摄像头,可以直接的参与到直播互动中,满足观看直播时用户的互动需求,从而更好地满足用户的观看需求。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。
图1为本发明实施例中基于直播内容弹幕互动的摄像头控制方法的第一个实施例示意图;
图2为本发明实施例中基于直播内容弹幕互动的摄像头控制方法的第二个实施例示意图;
图3为本发明实施例中基于直播内容弹幕互动的摄像头控制方法的第三个实施例示意图;
图4为本发明实施例中基于直播内容弹幕互动的摄像头控制装置的第一个实施例示意图;
图5为本发明实施例中基于直播内容弹幕互动的摄像头控制装置的第二个实施例示意图;
图6为本发明实施例中基于直播内容弹幕互动的摄像头控制设备的一个实施例示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
作为一个较好的实施例,如图1所示,一种基于直播内容弹幕互动的摄像头控制方法包括以下步骤:
步骤101、获取用户在直播间发送的弹幕内容,并判断每条弹幕内容是否包含控制命令;
本发明实施例中,在获取用户在直播间发送的弹幕内容之前,服务器会先接收用户输入的弹幕内容,并根据弹幕内容获取发生时间和用户的消费贡献分数,以得到该条弹幕内容的弹幕信息,将弹幕信息发送至对应直播间的服务器,以通过服务器将弹幕内容显示在直播间中。
用户在通过用户终端在直播间中观看直播视频时,可以进行相关的事件触发操作,比如,用户在直播间中观看直播视频时,可以触发弹幕事件,即用户可以在直播间中发送弹幕。又比如,用户在直播间中观看直播视频时,可以触发活动事件,即用户可以在直播间中参与抽奖活动、入团活动、进行礼物打赏等。在本实施例中,当用户通过用户终端触发相关的事件后,用户终端也会根据用户触发的相关事件生成对应的消息,并将生成的消息发送给对应直播间的服务器,从而使得直播间的服务器可以对接收到的消息进行存储。其中,用户终端生成的消息中也会包含有用户在直播间触发的事件所发生的时间和信息,如弹幕发生时间和用户的消费贡献分数,消费贡献分数为用户在直播间的消费情况,以便直播服务器后续可以对接收到的消息进行处理。
获取用户在直播间发送的弹幕内容,并对弹幕内容进行第一文本预处理;调用预先构建的弹幕分类模型,将经过第一文本预处理后的弹幕内容输入弹幕分类模型,并输出分类结果;从分类结果中筛选出目标类别,以判断目标类别中的每条弹幕内容是否属于控制指令。第一文本预处理至少包括文本分词、文本降噪、文本表示和文本向量化。对弹幕内容进行中文文本分类,首先要对弹幕你让进行第一文本预处理,目的是为了过滤掉无关噪声的影响且使得弹幕内容的词特征能得到最大的保留。第一文本预处理经过中文分词、去停用词、去低频词、把词映射成id等输出数字化向量。
通过中文分词器进行分词处理。本实施例釆用中国科学院计算机研究所研制的汉语词法分析系统ICTCLAS。ICTCLAS主要包括的功能有:中文分词、词性标注、命名实体识别、新词识别和支持用户词典。ICTCLAS的分词速度单机996KB/s,分词精度98.45%,API不超过200KB,各种词典数据压缩后不到3M。本发明主要利用ICTCLAS的分词功能,分完词的文档中词与词之间以空格分割。
本实施例中弹幕分类模型主要基于朴素贝叶斯分类模型构建,朴素贝叶斯分类器是一系列以假设特征之间强独立下运用贝叶斯定理为基础的简单概率分类器。通常在机器学习领域用作有监督学习,一般常用的模型有两种:多项式模型(Multinomial Model)即为词频型,伯努利模型(Bernoulli Model)即文档型。以上两种模型按照处理时的粒度不同来区分,多项式模型以单词为粒度,伯努利模型以文件为粒度。因为模型在计算时采用不同的粒度,在计算先验概率和类条件概率时,其计算方法也不一样。
数据去噪分为文本整体去噪、分词去噪。文本整体去噪即去掉哪些文本当中不包含任何主题词的整条文本,分词去噪是去掉那些对文本主题分类无意义的词。文本整体去噪:去掉文本当中不包含任何有意义主题词的文本,如纯邮箱文本、不包含任何汉字的文本;文本分词去噪:文本分词去噪是去掉那些文本主题性较弱,在主题之间没有区分度的词,如停用词、地名等。
本实施例的弹幕分类模型构建过程包括以下步骤:获取来自多个直播间的弹幕内容样本,得到总数据集,并将总数据集按比例分为训练数据集和测试数据集;获取预设的候选值,计算训练数据集中每个弹幕内容样本中每个属性的属性值概率,将属性的属性值概率和候选值进行对比,以判断是否淘汰对应的弹幕内容样本;若是,则得到筛选后的训练数据集,并采用筛选后的训练数据集对朴素贝叶斯分类模型进行训练;采用训练后的朴素贝叶斯分类模型对测试数据集进行分类,优化朴素贝叶斯分类模型的参数,以得到弹幕分类模型。
例如,将总数据集的前2/3的样本作为训练集,剩余的样本作为测试集,并基于训练集和测试集求出训练集未优化前分类的正确率r1,设定候选值,计算训练数据集中每个弹幕内容样本中每个属性的属性值概率,将属性的属性值概率和候选值进行对比,以判断是否淘汰对应的弹幕内容样本,如果样本中有超过一半的属性的属性值概率小于后选址,则淘汰该样本;除设定候选值,也可设定关联度的候选值,计算未被淘汰的训练集中每个样本中任意两个属性同时出现的概率,并将其余关联度的候选值进行比较,如果样本中任意两个属性的组合中有一般以上同时出现的概率小于关联度的候选值,则淘汰该样本;筛选后得到的训练集对朴素贝叶斯分类模型进行训练,对测试数据集进行分类,求出分类的准确率r2,并与r1相比,直至能使r2较高且大于r1或至少等于r1。
步骤102、若是,则得到目标弹幕,并从目标弹幕中提取控制请求,对控制请求进行内容识别,得到识别结果;
本实施例中,该步骤的目的是对目标弹幕进行内容进行提取,以得到包含控制指令的弹幕内容,如图2所示,具体包括以下步骤:
步骤1021、获取包含控制命令的目标弹幕,并对目标弹幕进行第二文本预处理,以筛选出控制请求;
本实施例中,第二文本预处理的具体过程包括:采用PYTHON的JIEBA工具包将目标弹幕切分成包含多个候选词的单词序列,并对每个候选词进行词性标注;基于词性标注,对单词序列中的候选词进行筛选,以剔除停用词;将经过筛选后的候选词输入BERT模型中,以通过BERT隐藏层获取向量序列,得到候选词向量集合;计算候选词向量集合中每一个向量至聚类中心位置距离,并根据距离长短筛选出控制请求。
文本由各种词性的词、标点符号、注释等信息组成。在关键词提取任务中,并不需要利用所有的信息,若混入一些不必要的信息则会对提取结果产生负面影响。因此,对原始文本进行预处理并筛选出候选词很重要。通过对文本进行预处理,将文本中的长句切分、去噪,并筛选出候选关键词。第二文本预处理使用PYTHON的JIEBA工具包中分词模块的全模式进行分词处理,全模式是将目标弹幕中能够成词的词全部筛选出来,使用这种方式的优势在于为候选词提供更多的选择。首先将原始文本D切分为单词序列{w1,w2,…,wn},序列长度为n;随后对词序列行词性标注并筛选出名词、专有名词、名动词、副形词等关键词的常见词性,并将候选词与停用词表匹配,剔除停用词,得到m个候选词{h1,h2,…,hm};接着,将原始文本D切分为单字序列:{c1,c2,…,cT},T表示全文单字的总量。设候选词h的单字在[a,b]区间内,则候选词对应字序列为:{ca,ca+1,…,cb}。目标弹幕已经被分割为候选词{h1,h2,…,hm},随后需要将其转换为语义向量。选用BERT模型能够根据上下文动态地生成词量,相较于静态词向量的优势在于能够更好地联合上下文语义,并将语义信息融入候选词的向量表示中,使获得的向量能够更准确的表示其在当前语境下的含义。将单字序列输入BERT模型的隐藏层中。通过BERT隐藏层获取向量序列,得到候选词向量集合;分别计算候选词向量集合中的每一个向量至聚类中心位置距离,并根据距离长短,分别将集合中的词归入对应的类中。完成一次计算后,重新计算每个类的中心,再次计算词距离,迭代至收敛。聚类完成后取出距离聚类中心最近的词作为候选关键词输出。
步骤1022、建立BP神经网络的分类器,设置多层网络,其中多层网络表示不同的特征数据,特征数据至少包括输入层和输出层;
本实施例中,BP分类器的使用首先需要构建神经网络,然后再分别设计net1,2,3,这三数字分别代表着不同特征的数据,这些数据中包含输入和输出层,另外也包含两个隐层。每组数据中的节点也表现出较大的差异性,比如net1中的节点数量分别为64/128和1;net2中的节点数量分别为24/48/1,Unicode为输出范围,编码范围为x4,;net3中的节点数量分别为60/128/1,输出范围也是Unicode,编码范围也为x4;初始化网络时,initwb和initnw都是比较常见的初始化方式。Initwb在进行初始化全部网络偏置量和权值时需要进行自定义矩阵,initnw是一种默认的初始化方式,在具体运行过程中需要应用到widrow和nguyen两种算法这样就能够做到在不同的层次中时权重和偏置值得到有效的初始化,而且在进行控件输入的过程中,所有的神经元活动都可以被有效的输入其中,从而减少神经元当中的浪费现象,也使训练速率变得更快。
步骤1023、使用特征数据对BP神经网络的分类器进行训练,调整参数;
本实施例中,文字识别系统在交叉验证过程中就会对部分文字进行相应的判断,也会检测到错误的字符数,错误字符数与总字符数之间的比值也就是最终所得到的错误自检率。在具体应用个系统的过程中,识别率预计达到2000字符左右,但是仍然需要对该系统进行相应的完善,方法如下:对于每组中的字符,单个分类需要在这些字符特征的基础上进行分辨,在整个文字识别的过程中想要有效的识别所有的字符,那么具体使用到的分类器也应该包含这些字符。这就需要提前划分好小组划分2000多个汉字,对于分类器的训练,需要结合每一个小组的具体特征。最终在对文字进行识别时,不同字符图像所代表的小组特征必须要被整个系统所接纳,所以说分类器需要具备各个小组所拥有的共同特征。对于分类器中出现的不同结果,统计出不同最多的那些特点,将这些特征代表的数据进行筛选,而最终的识别结果就是票数最多的那个。如果将其具体应用在交叉验证方法当中,将会在验证了结果的有效性之后再输出最终的结果。
步骤1024、将控制请求输入训练后的BP神经网络的分类器,以使得BP神经网络的分类器对控制请求中的字符进行分辨及内容识别,并输出识别结果。
本实施例中,通过BP神经网络的分类器对控制请求中的字符进行分辨及内容识别,便于步骤103进行指令转换。
步骤103、响应于识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过控制模块将控制指令发生至终端设备,其中终端设备至少包括摄像头;
本实施例中,该步骤的目的是将目标弹幕中的控制命令进行转换,转换成服务器的语言,即控制指令,从而通过控制模块控制终端设备(摄像头),如图3所示,具体过程包括如下步骤:
步骤1031、接收识别结果,并获取识别结果中的字符串;
本实施例中,可以通过预设的解析器组件库中调用至少一个目标解析器组成字符串解释器,字符串解释方法,可以将不同类型的语言对应的字符串解释为可以编译运行的语言。
步骤1032、通过处理器将字符串转换成一定位数的二进制数字信号,以得到指令编码;
本实施例中,软件代码的具体功能由二进制代码实际执行,然而其加载与运行方式却与操作系统底层机制密切相关,因此,不同软件平台所支持的二进制文件格式各不相同。PE文件包括EXE、DLL、OCX、SYS、COM等二进制;无论是静态分析还是动态分析,二进制代码在进行特征提取后,通常需将其转换为特定的表示形式,从而进行分类或相似性检测。其中,灰度图像、文本序列及图结构是三类最典型的特征表示方式。二进制代码的字符串、操作码、API、System Call等均可视为文本序列特征,既可基于LCS算法直接进行比较,也可利用N-Gram语言模型将其转换为特征向量表示。二进制的基础是二值量,一个二值量可以表示两种状态,两个独立的二值量可以表示2×2=4种状态,n个独立的二值量可以表示2n种状态。如果想将这些状态和现实生活中需要测量或者控制的状态结合起来,就需要对其进行编码,将每种状态和一种现实需要的计算机的输入或输出状态对应起来。例如,我们用二值量状态表示不同的音符,则至少需要3个独立的二值量,其8种状态的7个状态表示从do~xi之间的7个音符,而这8种状态如何和7个音符一一对应起来则是一个编码的过程,像这种将二值量的状态和需要用二值量表述的信息一一对应起来的过程,称为信息的编码;二进制独立编码单元编码数值为二的一次方,共两个,二进制编码0000和0001,二进制复合编码单元为二进制编码0010至1111,以十个基础复合编码集和四个特殊复合编码集构成,四个特殊复合编码分别是平级扩展码、下级扩展码、字符分类码、语种分类码。独立的两个二值量是指他们之间可以彼此独立地改变状态,如键盘上的两个键,一个键按下并不会影响另一个键的状态,它们是彼此独立的;从最小的状态0000开始,每次给当前状态加1,当我们加9次1得到状态0009之后,我们需要运用进位法则即当当前位已经为最高位9的时候,需要将当前位归0,之后,将上一位加1。运用类似的规则,我们发现二进制的最高位为1,即0001再加1之后,末尾的一位应该是0,上一位应该加1,即变成0010。
根据直播时弹幕对摄像头的动作要求,将所需动作列表编制成四位二进制编码,对应的摄像头动作的部分控制指令如下表所示:
Figure BDA0003763401200000101
步骤1033、响应于指令编码,生成对应的控制指令;
本实施例中,服务器根据对应的四位二进制编码,生成对应的控制指令,如“0011”对应的控制指令为摄像机左转。
步骤1034、调用服务器中的控制模块,并通过控制模块将控制指令发生至终端设备。
本实施例中,服务器中的控制模块将转换完的指令发送至终端设备,如摄像头,以便于摄像头根据用户输入的弹幕内容执行对应的任务,使得用户可以直接的参与到直播互动中,满足观看直播时用户的互动需求。
步骤104、接收控制指令,并进行等待控制处理,当控制生效后,基于控制指令,终端设备执行控制任务,并反馈至直播画面。
本实施例中,等待控制处理有两种方式,一种是基于弹幕发生时间,另一种是基于用户的消费贡献分数;基于弹幕发生时间的等待过程包括:获取每个控制指令对应的弹幕信息,并从弹幕信息中提取发送时间;按照发生时间对多个控制指令进行排序,以得到第一指令处理顺序;根据第一指令处理顺序,对控制指令进行等待控制处理。基于用户的消费贡献分数的等待过程包括:获取每个控制指令对应的弹幕信息,并从弹幕信息中提取消费贡献分数;按照消费贡献分数对多个控制指令进行排序,以得到第二指令处理顺序;根据第二指令处理顺序,对控制指令进行等待控制处理。
本实施例中,按照发生时间或消费贡献分数进行排序,终端设备(摄像头)按照排序一个个执行控制任务,即根据指令做出相应的反馈,例如控制指令为向左,摄像头就向左摆动;这里终端设备不仅局限于摄像头,本发明对此不作具体限定。
本发明实施例中,通过获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否包含控制命令;若是,则得到目标弹幕,并从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果;响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,其中所述终端设备至少包括摄像头;接收所述控制指令,并进行等待控制处理,当控制生效后,基于所述控制指令,所述终端设备执行控制任务,并反馈至直播画面;本发明参与观看直播的用户可以通过弹幕控制摄像头,可以直接的参与到直播互动中,满足观看直播时用户的互动需求,从而更好地满足用户的观看需求。
上面对本发明实施例中一种基于直播内容弹幕互动的摄像头控制方法进行了描述,下面对本发明实施例中基于直播内容弹幕互动的摄像头控制装置进行描述,请参阅图4,本发明实施例中基于直播内容弹幕互动的摄像头控制装置的一个实施例包括:
判断模块401,用于获取用户在直播间发送的弹幕内容,并判断每条弹幕内容是否包含控制命令;
提取模块402,用于若是,则得到目标弹幕,并从目标弹幕中提取控制请求,对控制请求进行内容识别,得到识别结果;
生成模块403,用于响应于识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过控制模块将控制指令发生至终端设备,其中终端设备至少包括摄像头;
执行模块404,用于接收控制指令,并进行等待控制处理,当控制生效后,基于控制指令,终端设备执行控制任务,并反馈至直播画面。
本发明实施例中,通过获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否包含控制命令;若是,则得到目标弹幕,并从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果;响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,其中所述终端设备至少包括摄像头;接收所述控制指令,并进行等待控制处理,当控制生效后,基于所述控制指令,所述终端设备执行控制任务,并反馈至直播画面;本发明参与观看直播的用户可以通过弹幕控制摄像头,可以直接的参与到直播互动中,满足观看直播时用户的互动需求,从而更好地满足用户的观看需求。
请参阅图5,本发明实施例中基于直播内容弹幕互动的摄像头控制装置的第二个实施例,所述提取模块402,包括:
筛选单元4021,用于获取包含控制命令的目标弹幕,并对目标弹幕进行第二文本预处理,以筛选出控制请求;
建立单元4022,用于建立BP神经网络的分类器,设置多层网络,其中多层网络表示不同的特征数据,特征数据至少包括输入层和输出层;
训练单元4023,用于使用特征数据对BP神经网络的分类器进行训练,调整参数;
输入单元4024,用于将控制请求输入训练后的BP神经网络的分类器,以使得BP神经网络的分类器对控制请求中的字符进行分辨及内容识别,并输出识别结果。
在本实施例中,所述判断模块401具体用于:
获取用户在直播间发送的弹幕内容,并对弹幕内容进行第一文本预处理;调用预先构建的弹幕分类模型,将经过第一文本预处理后的弹幕内容输入弹幕分类模型,并输出分类结果;从分类结果中筛选出目标类别,以判断目标类别中的每条弹幕内容是否属于控制指令。
在本实施例中,所述生成模块403具体用于:
接收识别结果,并获取识别结果中的字符串;通过处理器将字符串转换成一定位数的二进制数字信号,以得到指令编码;响应于指令编码,生成对应的控制指令;调用服务器中的控制模块,并通过控制模块将控制指令发生至终端设备。
在本实施例中,所述执行模块404具体用于:
获取每个控制指令对应的弹幕信息,并从弹幕信息中提取发送时间;按照发生时间对多个控制指令进行排序,以得到第一指令处理顺序;根据第一指令处理顺序,对控制指令进行等待控制处理。
获取每个控制指令对应的弹幕信息,并从弹幕信息中提取消费贡献分数;按照消费贡献分数对多个控制指令进行排序,以得到第二指令处理顺序;根据第二指令处理顺序,对控制指令进行等待控制处理。
本实施例在上一实施例的基础上,详细描述了各个模块的具体功能以及部分模块的单元构成,通过上述模块并细化了原有模块的具体作用,完善了快递包裹拦截装置的运行,提高了其运行时的可靠性以及明确了各个步骤间的实际逻辑,提高了装置的实用性。
上面图4-图5从模块化功能实体的角度对本发明实施例中的基于直播内容弹幕互动的摄像头控制装置进行详细描述,下面从硬件处理的角度对本发明实施例中基于直播内容弹幕互动的摄像头控制设备进行详细描述。
图6是本发明实施例提供的一种基于直播内容弹幕互动的摄像头控制设备的结构示意图,该基于直播内容弹幕互动的摄像头控制设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对基于直播内容弹幕互动的摄像头控制设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在基于直播内容弹幕互动的摄像头控制设备500上执行存储介质530中的一系列指令操作。
基于直播内容弹幕互动的摄像头控制设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的基于直播内容弹幕互动的摄像头控制设备结构并不构成对基于直播内容弹幕互动的摄像头控制设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种基于直播内容弹幕互动的摄像头控制设备,所述计算机设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述一种基于直播内容弹幕互动的摄像头控制方法的各个步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述一种基于直播内容弹幕互动的摄像头控制方法的各个步骤。
所述领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,该方法包括以下步骤:
获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否包含控制命令;
若是,则得到目标弹幕,并从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果;
响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,其中所述终端设备至少包括摄像头;
接收所述控制指令,并进行等待控制处理,当控制生效后,基于所述控制指令,所述终端设备执行控制任务,并反馈至直播画面。
2.根据权利要求1所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,获取用户在直播间发送的弹幕内容之前,还包括:
接收用户输入的弹幕内容,并根据所述弹幕内容获取发生时间和用户的消费贡献分数,以得到该条所述弹幕内容的弹幕信息;
将所述弹幕信息发送至对应直播间的服务器,以通过所述服务器将所述弹幕内容显示在直播间中。
3.根据权利要求1所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述获取用户在直播间发送的弹幕内容,并判断每条所述弹幕内容是否属于控制指令,包括:
获取用户在直播间发送的弹幕内容,并对所述弹幕内容进行第一文本预处理;
调用预先构建的弹幕分类模型,将经过所述第一文本预处理后的所述弹幕内容输入所述弹幕分类模型,并输出分类结果;
从所述分类结果中筛选出目标类别,以判断所述目标类别中的每条所述弹幕内容是否属于控制指令。
4.根据权利要求3所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述第一文本预处理至少包括文本分词、文本降噪、文本表示和文本向量化。
5.根据权利要求3所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述弹幕分类模型的生成过程包括以下步骤:
获取来自多个直播间的弹幕内容样本,得到总数据集,并将所述总数据集按比例分为训练数据集和测试数据集;
获取预设的候选值,计算所述训练数据集中每个所述弹幕内容样本中每个属性的属性值概率,将所述属性的属性值概率和所述候选值进行对比,以判断是否淘汰对应的所述弹幕内容样本;
若是,则得到筛选后的训练数据集,并采用所述筛选后的训练数据集对朴素贝叶斯分类模型进行训练;
采用训练后的所述朴素贝叶斯分类模型对所述测试数据集进行分类,优化所述朴素贝叶斯分类模型的参数,以得到弹幕分类模型。
6.根据权利要求1所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述从所述目标弹幕中提取控制请求,对所述控制请求进行内容识别,得到识别结果,包括:
获取包含控制命令的目标弹幕,并对所述目标弹幕进行第二文本预处理,以筛选出控制请求;
建立BP神经网络的分类器,设置多层网络,其中所述多层网络表示不同的特征数据,所述特征数据至少包括输入层和输出层;
使用所述特征数据对所述BP神经网络的分类器进行训练,调整参数;
将所述控制请求输入训练后的所述BP神经网络的分类器,以使得所述BP神经网络的分类器对所述控制请求中的字符进行分辨及内容识别,并输出识别结果。
7.根据权利要求6所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述第二文本预处理具体包括以下步骤:
采用PYTHON的JIEBA工具包将所述目标弹幕切分成包含多个候选词的单词序列,并对每个所述候选词进行词性标注;
基于所述词性标注,对所述单词序列中的所述候选词进行筛选,以剔除停用词;
将经过筛选后的所述候选词输入BERT模型中,以通过BERT隐藏层获取向量序列,得到候选词向量集合;
计算所述候选词向量集合中每一个向量至聚类中心位置距离,并根据距离长短筛选出控制请求。
8.根据权利要求1所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述响应于所述识别结果,生成对应的控制指令,调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备,包括:
接收识别结果,并获取所述识别结果中的字符串;
通过处理器将所述字符串转换成一定位数的二进制数字信号,以得到指令编码;
响应于所述指令编码,生成对应的控制指令;
调用服务器中的控制模块,并通过所述控制模块将所述控制指令发生至终端设备。
9.根据权利要求1所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述接收所述控制指令,并进行等待控制处理,包括:
获取每个所述控制指令对应的所述弹幕信息,并从所述弹幕信息中提取发送时间;
按照所述发生时间对多个所述控制指令进行排序,以得到第一指令处理顺序;
根据所述第一指令处理顺序,对所述控制指令进行等待控制处理。
10.根据权利要求1所述的一种基于直播内容弹幕互动的摄像头控制方法,其特征在于,所述接收所述控制指令,并进行等待控制处理,包括:
获取每个所述控制指令对应的所述弹幕信息,并从所述弹幕信息中提取消费贡献分数;
按照所述消费贡献分数对多个所述控制指令进行排序,以得到第二指令处理顺序;
根据所述第二指令处理顺序,对所述控制指令进行等待控制处理。
CN202210878464.7A 2022-07-25 2022-07-25 一种基于直播内容弹幕互动的摄像头控制方法 Pending CN115243068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210878464.7A CN115243068A (zh) 2022-07-25 2022-07-25 一种基于直播内容弹幕互动的摄像头控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210878464.7A CN115243068A (zh) 2022-07-25 2022-07-25 一种基于直播内容弹幕互动的摄像头控制方法

Publications (1)

Publication Number Publication Date
CN115243068A true CN115243068A (zh) 2022-10-25

Family

ID=83674837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210878464.7A Pending CN115243068A (zh) 2022-07-25 2022-07-25 一种基于直播内容弹幕互动的摄像头控制方法

Country Status (1)

Country Link
CN (1) CN115243068A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106358068A (zh) * 2016-10-10 2017-01-25 郭海波 大数据解决网络直播绘画的系统及方法
CN108347650A (zh) * 2018-01-29 2018-07-31 广州虎牙信息科技有限公司 一种确定互动结果的方法、装置、存储介质及电子设备
CN108537176A (zh) * 2018-04-11 2018-09-14 武汉斗鱼网络科技有限公司 目标弹幕的识别方法、装置、终端及存储介质
WO2019101038A1 (zh) * 2017-11-22 2019-05-31 腾讯科技(深圳)有限公司 弹幕内容控制方法、计算机设备和存储介质
CN114302245A (zh) * 2021-12-30 2022-04-08 南京七奇智能科技有限公司 一种跨直播平台的交互式虚拟主播实现方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106358068A (zh) * 2016-10-10 2017-01-25 郭海波 大数据解决网络直播绘画的系统及方法
WO2019101038A1 (zh) * 2017-11-22 2019-05-31 腾讯科技(深圳)有限公司 弹幕内容控制方法、计算机设备和存储介质
CN108347650A (zh) * 2018-01-29 2018-07-31 广州虎牙信息科技有限公司 一种确定互动结果的方法、装置、存储介质及电子设备
CN108537176A (zh) * 2018-04-11 2018-09-14 武汉斗鱼网络科技有限公司 目标弹幕的识别方法、装置、终端及存储介质
CN114302245A (zh) * 2021-12-30 2022-04-08 南京七奇智能科技有限公司 一种跨直播平台的交互式虚拟主播实现方法及系统

Similar Documents

Publication Publication Date Title
Neal et al. Surveying stylometry techniques and applications
CN109657054B (zh) 摘要生成方法、装置、服务器及存储介质
US11775254B2 (en) Analyzing graphical user interfaces to facilitate automatic interaction
JP7301922B2 (ja) 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN110888966A (zh) 自然语言问答
CN110741364A (zh) 确定自动化助理对话的状态
JP2021197133A (ja) 意味マッチング方法、装置、電子機器、記憶媒体及びコンピュータプログラム
Lee et al. Deep learning-based context-sensitive spelling typing error correction
CN111985243B (zh) 情感模型的训练方法、情感分析方法、装置及存储介质
CN114429133A (zh) 通过神经机器阅读理解依赖于话语分析来回答复杂问题
KR20200087977A (ko) 멀티모달 문서 요약 시스템 및 방법
CN112599128A (zh) 一种语音识别方法、装置、设备和存储介质
Zhang et al. Image captioning via semantic element embedding
CN110472234A (zh) 敏感文本识别方法、装置、介质和计算机设备
JP6553180B2 (ja) 言語検出を行うためのシステムおよび方法
Tajane et al. AI based chat-bot using azure cognitive services
US11817088B1 (en) Ensemble of machine learning models for real-time predictions in expert electronic chats
Liang et al. Extending implicit discourse relation recognition to the PDTB-3
Mehfooz et al. Medical chatbot for novel COVID-19
Hovy Text analysis in python for social scientists: Prediction and classification
US20220405549A1 (en) Multi-stream recurrent neural network transducer(s)
US10902221B1 (en) Social hash for language models
WO2023137903A1 (zh) 基于粗糙语义的回复语句确定方法、装置及电子设备
CN115243068A (zh) 一种基于直播内容弹幕互动的摄像头控制方法
CN116978367A (zh) 语音识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination