CN110062248B - 推荐直播间的方法和装置 - Google Patents
推荐直播间的方法和装置 Download PDFInfo
- Publication number
- CN110062248B CN110062248B CN201910360918.XA CN201910360918A CN110062248B CN 110062248 B CN110062248 B CN 110062248B CN 201910360918 A CN201910360918 A CN 201910360918A CN 110062248 B CN110062248 B CN 110062248B
- Authority
- CN
- China
- Prior art keywords
- live
- video data
- time domain
- training
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims description 75
- 238000000605 extraction Methods 0.000 claims description 72
- 230000003287 optical effect Effects 0.000 claims description 59
- 230000004927 fusion Effects 0.000 claims description 30
- 238000013145 classification model Methods 0.000 claims description 16
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001425800 Pipa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种推荐直播间的方法和装置，属于计算机技术领域。所述方法包括：在确定直播视频数据的类别标签时，可以获取直播间的直播视频数据，对直播视频数据进行识别，确定直播视频数据中包括的演奏乐器的类型，将类型添加为直播视频数据的类别标签，在该类别标签对应的推荐列表中显示该直播间。采用本公开，可以提升识别精度，节约时间，并可以提升直播推荐效率。
Description
技术领域
本公开涉及计算机技术领域，特别涉及一种推荐直播间的方法和装置。
背景技术
随着计算机和网络技术的发展，越来越多的用户可以在直播间中进行直播，用户在进行直播过程中，可以进行乐器演奏等表演，用户使用的终端可以将进行乐器演奏的视频数据，发送至直播间所属直播应用程序的后台服务器。直播应用程序的后台服务器接收到后，可以将进行乐器演奏的视频数据分发至直播间的观众的终端。观众的终端接收到视频数据后，可以播放视频数据，观众可以观看主播直播的内容。
这样，观众只能观看视频数据，才能确定主播直播的内容，这样极有可能导致观众进错直播间，进而导致推荐效率比较低。
发明内容
为了解决花费时间较多的问题，本公开实施例提供了一种推荐直播间的方法和装置。所述技术方案如下：
第一方面，提供了一种推荐直播间的方法，所述方法包括：
获取直播间的直播视频数据；
对所述直播视频数据进行识别，确定所述直播视频数据中包括的演奏乐器的类型；
将所述类型添加为所述直播视频数据的类别标签，将所述直播间更新在所述类别标签对应的推荐列表中。
可选的，所述对所述直播视频数据进行识别，确定所述直播视频数据中包括的演奏乐器的类型，包括：
提取所述直播视频数据的时域特征、空域特征和光流特征；
将所述时域特征、所述空域特征和所述光流特征进行融合处理，得到融合特征；
将所述融合特征，输入到分类模型中，得到所述直播视频数据中包括的演奏乐器的类型。
可选的，所述提取所述直播视频数据的时域特征、空域特征和光流特征，包括：
根据所述直播视频数据和第一提取模型，得到所述直播视频数据中的时域特征；
根据所述直播视频数据和第二提取模型，得到所述直播视频数据中的空域特征；
根据所述直播视频数据和第三提取模型，得到所述直播视频数据中的光流特征。
可选的，所述方法还包括：
按照直播帧率提取样本集合中各个视频片段的时域图像和空域图像，在所述时域图像中提取光流图像；其中，所述样本集合中包括多个视频片段，以及每个视频片段包括的演奏乐器的类型，每个视频片段为进行乐器表演的视频片段；
使用所述时域图像，对第一训练模型进行训练，得到第一提取模型；
使用所述空域图像，对第二训练模型进行训练，得到第二提取模型；
使用提取到的光流图像，对第三训练模型进行训练，得到第三提取模型。
可选的，所述方法还包括：
使用所述第一提取模型，提取所述样本集合中各个视频片段的时域特征，并使用所述第二提取模型，提取所述样本集合中各个视频片段的空域特征，并使用所述第三提取模型，提取所述样本集合中各个视频片段的光流特征；
根据所述各个视频片段的时域特征、所述各个视频片段的空域特征和所述各个视频片段的光流特征，得到所述各个视频片段的融合特征；
使用所述各个视频片段的融合特征，对分类训练模型进行训练，得到分类模型。
可选的，所述方法还包括：
根据所述直播间的登录账户的账户数目和所述直播间的关注数目，更新所述类别标签对应的推荐列表中各直播间的排列顺序。
第二方面，提供了一种推荐直播间的装置，所述装置包括：
获取模块，用于获取直播间的直播视频数据；
确定模块，用于对所述直播视频数据进行识别，确定所述直播视频数据中包括的演奏乐器的类型；
显示模块，用于将所述类型添加为所述直播视频数据的类别标签，将所述直播间更新在所述类别标签对应的推荐列表中。
可选的，所述确定模块，用于：
提取所述直播视频数据的时域特征、空域特征和光流特征；
将所述时域特征、所述空域特征和所述光流特征进行融合处理，得到融合特征；
将所述融合特征，输入到分类模型中，得到所述直播视频数据中包括的演奏乐器的类型。
可选的，所述确定模块，用于：
根据所述直播视频数据和第一提取模型，得到所述直播视频数据中的时域特征；
根据所述直播视频数据和第二提取模型，得到所述直播视频数据中的空域特征；
根据所述直播视频数据和第三提取模型，得到所述直播视频数据中的光流特征。
可选的，所述确定模块，还用于：
按照直播帧率提取样本集合中各个视频片段的时域图像和空域图像，在所述时域图像中提取光流图像；其中，所述样本集合中包括多个视频片段，以及每个视频片段包括的演奏乐器的类型，每个视频片段为进行乐器表演的视频片段；
使用所述时域图像，对第一训练模型进行训练，得到第一提取模型；
使用所述空域图像，对第二训练模型进行训练，得到第二提取模型；
使用提取到的光流图像，对第三训练模型进行训练，得到第三提取模型。
可选的，所述确定模块，还用于：
使用所述第一提取模型，提取所述样本集合中各个视频片段的时域特征，并使用所述第二提取模型，提取所述样本集合中各个视频片段的空域特征，并使用所述第三提取模型，提取所述样本集合中各个视频片段的光流特征；
根据所述各个视频片段的时域特征、所述各个视频片段的空域特征和所述各个视频片段的光流特征，得到所述各个视频片段的融合特征；
使用所述各个视频片段的融合特征，对分类训练模型进行训练，得到分类模型。
可选的，所述更新模块，还用于根据所述直播间的登录账户的账户数目和所述直播间的关注数目，更新所述类别标签对应的推荐列表中各直播间的排列顺序。
第三方面，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述第一方面所述的推荐直播间的方法。
第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述第一方面所述的推荐直播间的方法。
本公开实施例提供的技术方案带来的有益效果至少包括：
本公开实施例中，在确定直播视频数据的类别标签时，可以获取直播间的直播视频数据，对直播视频数据进行识别，确定直播视频数据中包括的演奏乐器的类型，将类型添加为直播视频数据的类别标签，在该类别标签对应的推荐列表中显示该直播间。这样，由于可以确定直播视频数据的类别标签，在一个类别标签下，查看该类别标签下的多个直播间，用户不需要进入直播间，就可以了解直播间直播的内容，所以可以提升推荐效率。
附图说明
图1是本公开实施例提供的一种推荐直播间的方法流程图；
图2是本公开实施例提供的一种确定演奏的乐器的类型的方法流程图；
图3是本公开实施例提供的一种时域图像的示意图；
图4是本公开实施例提供的一种空域图像的示意图；
图5是本公开实施例提供的一种推荐直播间的装置的结构示意图；
图6是本公开实施例提供的一种服务器的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
本公开实施例提供了一种识别推荐直播间的方法，该方法的执行主体可以是服务器，服务器可以是视频应用程序的后台服务器，该视频应用程序可以是直播应用程序，也可以是能供用户上传视频片段的视频应用程序。
其中，服务器中可以设置有处理器、存储器和收发器等，处理器可以用于推荐直播间的过程的处理，存储器可以用于存储推荐直播间的过程中需要的数据以及产生的数据，收发器可以用于接收以及发送数据。
本公开实施例中，提供了一种推荐直播间的方法，如图1所示，该方法的执行流程可以如下：
步骤101，获取直播间的直播视频数据。
在实施中，主播想要直播演奏乐器，可以下载并安装直播应用程序，然后进入直播间，在直播过程中，主播演奏乐器，主播终端可以录制演奏乐器的视频流，发送至直播应用程序的后台服务器(后续可以称为是服务器)。该后台服务器接收到演奏乐器的视频流(即直播间的直播视频数据)。
步骤102，对直播视频数据进行识别，确定直播视频数据中包括的演奏乐器的类型。
在实施中，服务器获取到直播视频数据之后，可以将直播视频数据输入到识别模型中，进行识别处理，得到直播视频数据中包括的演奏乐器的类型。
步骤103，将类型添加为直播视频数据的类别标签，将直播间更新在类别标签的推荐列表中。
在实施中，服务器在得到演奏乐器的类型之后，可以将该类型添加为直播视频数据的类别标签。例如，得到演奏乐器的类型为琵琶，则直播视频数据的类别标签为琵琶。然后可以将该直播间归入该类别标签对应的推荐列表中。这样，用户可以通过类别标签，查看该类别标签下的所有直播间。
在步骤102中，如图2所示，进行识别的处理可以如下：
步骤201，提取直播视频数据的时域特征、空域特征和光流特征。
在实施中，服务器获取到直播视频数据之后，可以从直播视频数据中各个视频帧中，提取时域特征、空域特征和光流特征。
需要说明的是，在时域，由于一些动作通过单个图像帧无法判断，所以智能通过时序上的变化进行判断，需要考虑时序上的特征(即时域特征)，获得对视频的整体描述，如图3所示。
空域，即像素域，在空域的处理就是在像素级的处理，对于同一时刻的帧图像，从中提取空域特征，空域特征可以表示为直播视频数据中包括的对象在每个帧图像中的位置(位置可以使用直角坐标系下的坐标表示)，如图4所示。
光流特征，在空间中，运动可以用运动场描述，而在一个图像平面上，物体的运动往往是通过视频中图像帧序列中不同图像灰度分布的不同体现的，从而空间中的运动场转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变换趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，也是一种对真实运动场的近似估计。也可以是利用图像序列中像素在时间域上的变换以及相邻帧图像之间的相关性来找到，与上一帧图像之间存在的对应关系，从而计算出的相邻帧图像之间物体的运动信息。
步骤202，将时域特征、空域特征和光流特征进行融合处理，得到融合特征。
在实施中，步骤201得到的时域特征、空域特征和光流特征，实际上是特征图，特征图即矩阵，意思就是时域特征、空域特征和光流特征都是m*n的矩阵，也即得到了三个矩阵，将这三个矩阵直接合并到一起，得到3m*n的矩阵，即融合特征为3m*n的矩阵。
例如，时域特征为矩阵
空域特征为矩阵
光流特征为矩阵
融合特征为
步骤203，将融合特征，输入到分类模型中，得到直播视频数据中包括的演奏乐器的类型。
其中，演奏乐器的类型包括多种，钢琴、吉他、萨克斯、笛子、架子鼓、古筝、二胡、琵琶、唢呐、单簧管、小提琴等，每种演奏乐器的类型有对应的编号。
在实施中，服务器在获取到融合特征之后，可以获取存储的分类模型，将融合特征输入到分类模型中，输出则会为直播视频数据中包括各种演奏乐器的类型的概率。在其中选择概率最大的类型，即为直播视频数据中包括的演奏乐器的类型。
这样，由于通过时域特征、空域特征和光流特征三个维度的特征，得到演奏乐器的类型，所以可以使得到的类型更准确，进而使直播视频数据的类别标签更准确。
可选的，上述步骤201中，可以通过提取模型提取到时域特征、空域特征和光流特征，相应的步骤201的处理可以如下：
根据直播视频数据和第一提取模型，得到直播视频数据中的时域特征；根据直播视频数据和第二提取模型，得到直播视频数据中的空域特征；根据直播视频数据和第三提取模型，得到直播视频数据中的光流特征。
其中，第一提取模型用于提取时域特征，第二提取模型用于提取空域特征，第三提取模型用于提取光流特征。第一提取模型、第二提取模型和第三提取模型均可以是3D-CNN(Convolutional Neural Networks，卷积神经网络)，LSTM (Long Short-Term Memory，长短期记忆网络)中的任意一种。
在实施中，服务器可以在直播视频数据中，按照目标帧率提取时域图像，输入到第一提取模型，提取出直播视频数据中的时域特征。并且可以在直播视频数据中，按照目标帧率提取空域图像，输入到第二提取模型，提取出直播视频数据中的空域特征。并且可以在直播视频数据中，按照目标帧率提取时域图像，然后在时域图像中提取出光流图像，输入到第三提取模型，提取出直播视频数据中的光流特征。
可选的，本公开实施例中，还提供了如何得到第一提取模型、第二提取模型和第三提取模型的处理：
按照目标帧率提取样本集合中各个视频片段的时域图像和空域图像，其中，样本集合中包括多个视频片段，以及每个视频片段包括的演奏乐器的类型；使用时域图像，对第一训练模型进行训练，得到第一提取模型，并在时域图像中提取光流图像；使用空域图像，对第二训练模型进行训练，得到第二提取模型；使用提取到的光流图像，对第三训练模型进行训练，得到第三提取模型。
其中，目标帧率可以预设，并且存储在服务器中，目标帧率可以是5帧/秒。
在实施中，服务器可以获取样本集合，样本集合中包括多个视频片段，视频片段均是进行乐器演奏的视频片段，每个视频片段都标注有包括的演奏乐器的类型。
服务器可以按照目标帧率，在样本集合中的每个视频片段，提取时域图像，然后建立训练模型，即第一训练模型，使用提取到的时域图像，对第一训练模型进行迭代训练，得到第一训练模型中参数的参数值，将第一训练模型中参数的参数值代入到第一训练模型，即可得到第一提取模型。
服务器可以按照目标帧率，在样本集合中的每个视频片段，提取空域图像，然后建立训练模型，即第二训练模型，使用提取到的时域图像，对第二训练模型进行迭代训练，得到第二训练模型中参数的参数值，将第二训练模型中参数的参数值代入到第二训练模型，即可得到第二提取模型。
服务器可以在提取到的时域图像中，提取光流图像，然后建立训练模型，即第三训练模型，使用提取到的光流图像，对第三训练模型进行迭代训练，得到第三训练模型中参数的参数值，将第三训练模型中参数的参数值代入到三训练模型，即可得到第三提取模型。
可选的，本公开实施例中还提供了如何训练分类模型的过程：
使用第一提取模型，提取样本集合中各个视频片段的时域特征，并使用第二提取模型，提取样本集合中各个视频片段的空域特征，并使用第三提取模型，提取样本集合中各个视频片段的光流特征；根据各个视频片段的时域特征、各个视频片段的空域特征和各个视频片段的光流特征，得到各个视频片段的融合特征；使用各个视频片段的融合特征，对分类训练模型进行训练，得到分类模型。
在实施中，服务器可以将样本集合中各个视频片段输入到第一提取模型，则会得到各个视频片段的时域特征，并且可以将样本集合中各个视频片段输入到第二提取模型，则会得到各个视频片段的空域特征，并且可以将样本集合中各个视频片段输入到第三提取模型，则会得到各个视频片段的光流特征。
然后将每个视频片段的时域特征、空域特征和光流特征进行融合(融合处理和步骤202中的处理完全相同，此处不再赘述)，得到每个视频片段的融合特征，建立分类训练模型，该分类训练模型可以是SVM(Support Vector Machine，支持向量机)模型。然后使用各个视频片段的融合特征和各个视频片段标注的演奏乐器的类型，对分类训练模型进行迭代训练，得到分类训练模型中参数的参数值，将得到的参数值代入分类训练模型，即可得到分类模型。
可选的，为了更好的进行推荐，可以进行如下处理：
根据直播间的登录账户的账户数目和直播间的关注数目，更新类别标签对应的推荐列表中各直播间的排列顺序。
其中，周期可以预设，如1分钟等。
在实施中，在直播过程中，服务器接收到主播终端发送的直播间的直播视频流后，可以周期性从接收到直播视频流中，获取一段视频数据，即直播视频数据，然后按照步骤102和步骤103的处理，确定直播视频数据的类别标签。
然后服务器可以确定直播间中登陆账户的账户数目和关注该直播间的账户的关注数目，获取账户数目和关注数目分别对应的权值(账户数目和关注数目分别对应的权值之和等于一，账户数目对应的权值大于关注数目对应的权值)。将账户数目与账户数目对应的权值相乘，得到第一数值，并将关注数目与关注数目对应的权值相乘，得到第二数值，将第一数值与第二数值相加，得到权重之和。
然后确定直播视频数据的类别标签下，所有直播间的视频数据的权重之和，将该类别标签下所有直播间，按照权重之和从大到小的顺序进行排序，得到该类别标签下各直播的排列顺序，也就是得到该类别标签对应的推荐列表中各直播间的排列顺序。
后续，如果服务器接收到该类别标签对应的显示界面的获取请求时，可以推送更新后的类别标签对应的显示界面中各直播间的排列顺序。这样，由于类别标签识别效率高，直播分类比较准确，所以可以提高直播间的推荐率。
本公开实施例中，在确定直播视频数据的类别标签时，可以获取直播间的直播视频数据，对直播视频数据进行识别，确定直播视频数据中包括的演奏乐器的类型，将类型添加为直播视频数据的类别标签，在该类别标签对应的推荐列表中显示该直播间。这样，由于可以确定直播视频数据的类别标签，在一个类别标签下，查看该类别标签下的多个直播间，用户不需要进入直播间，就可以了解直播间直播的内容，所以可以提升推荐效率。
基于相同的技术构思，本公开实施例还提供了一种推荐直播间的装置，如图5所示，该装置包括：
获取模块510，用于获取直播间的直播视频数据；
确定模块520，用于对所述直播视频数据进行识别，确定所述直播视频数据中包括的演奏乐器的类型；
更新模块530，用于将所述类型添加为所述直播视频数据的类别标签，将所述直播间更新在所述类别标签对应的推荐列表中。
可选的，所述确定模块520，用于：
提取所述直播视频数据的时域特征、空域特征和光流特征；
将所述时域特征、所述空域特征和所述光流特征进行融合处理，得到融合特征；
将所述融合特征，输入到分类模型中，得到所述直播视频数据中包括的演奏乐器的类型。
可选的，所述确定模块520，用于：
根据所述直播视频数据和第一提取模型，得到所述直播视频数据中的时域特征；
根据所述直播视频数据和第二提取模型，得到所述直播视频数据中的空域特征；
根据所述直播视频数据和第三提取模型，得到所述直播视频数据中的光流特征。
可选的，所述确定模块520，还用于：
按照直播帧率提取样本集合中各个视频片段的时域图像和空域图像，在所述时域图像中提取光流图像；其中，所述样本集合中包括多个视频片段，以及每个视频片段包括的演奏乐器的类型，每个视频片段为进行乐器表演的视频片段；
使用所述时域图像，对第一训练模型进行训练，得到第一提取模型；
使用所述空域图像，对第二训练模型进行训练，得到第二提取模型；
使用提取到的光流图像，对第三训练模型进行训练，得到第三提取模型。
可选的，所述确定模块520，还用于：
使用所述第一提取模型，提取所述样本集合中各个视频片段的时域特征，并使用所述第二提取模型，提取所述样本集合中各个视频片段的空域特征，并使用所述第三提取模型，提取所述样本集合中各个视频片段的光流特征；
根据所述各个视频片段的时域特征、所述各个视频片段的空域特征和所述各个视频片段的光流特征，得到所述各个视频片段的融合特征；
使用所述各个视频片段的融合特征，对分类训练模型进行训练，得到分类模型。
可选的，所述更新模块530，还用于根据所述直播间的登录账户的账户数目和所述直播间的关注数目，更新所述类别标签对应的推荐列表中各直播间的排列顺序。
本公开实施例中，在确定直播视频数据的类别标签时，可以获取直播间的直播视频数据，对直播视频数据进行识别，确定直播视频数据中包括的演奏乐器的类型，将类型添加为直播视频数据的类别标签，在该类别标签对应的推荐列表中显示该直播间。这样，由于可以确定直播视频数据的类别标签，在一个类别标签下，查看该类别标签下的多个直播间，用户不需要进入直播间，就可以了解直播间直播的内容，所以可以提升推荐效率。
需要说明的是：上述实施例提供的推荐直播间的装置在推荐直播间时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的推荐直播间的装置与推荐直播间的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图6是本发明实施例提供的一种服务器的结构示意图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述推荐直播间的方法步骤。
本公开另一实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述推荐直播间的方法步骤。
本公开另一实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述推荐直播间的方法步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (8)
1.一种推荐直播间的方法，其特征在于，所述方法包括：
获取直播间的直播视频数据；
提取所述直播视频数据的时域特征、空域特征和光流特征；
将所述时域特征、所述空域特征和所述光流特征进行融合处理，得到融合特征；
将所述融合特征，输入到分类模型中，得到所述直播视频数据中包括的演奏乐器的类型，所述演奏乐器的类型为所演奏的乐器的类型；
将所述类型添加为所述直播视频数据的类别标签，将所述直播间更新在所述类别标签对应的推荐列表中；
确定所述直播间的登录账户的账户数目和所述直播间的关注数目，将所述账户数目和关注数据进行加权获得权重，根据所述权重更新所述类别标签对应的推荐列表中各直播间的排列顺序。
2.根据权利要求1所述的方法，其特征在于，所述提取所述直播视频数据的时域特征、空域特征和光流特征，包括：
根据所述直播视频数据和第一提取模型，得到所述直播视频数据中的时域特征；
根据所述直播视频数据和第二提取模型，得到所述直播视频数据中的空域特征；
根据所述直播视频数据和第三提取模型，得到所述直播视频数据中的光流特征。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
按照直播帧率提取样本集合中各个视频片段的时域图像和空域图像，在所述时域图像中提取光流图像；其中，所述样本集合中包括多个视频片段，以及每个视频片段包括的演奏乐器的类型，每个视频片段为进行乐器表演的视频片段；
使用所述时域图像，对第一训练模型进行训练，得到第一提取模型；
使用所述空域图像，对第二训练模型进行训练，得到第二提取模型；
使用提取到的光流图像，对第三训练模型进行训练，得到第三提取模型。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
使用所述第一提取模型，提取所述样本集合中各个视频片段的时域特征，并使用所述第二提取模型，提取所述样本集合中各个视频片段的空域特征，并使用所述第三提取模型，提取所述样本集合中各个视频片段的光流特征；
根据所述各个视频片段的时域特征、所述各个视频片段的空域特征和所述各个视频片段的光流特征，得到所述各个视频片段的融合特征；
使用所述各个视频片段的融合特征，对分类训练模型进行训练，得到分类模型。
5.一种推荐直播间的装置，其特征在于，所述装置包括：
获取模块，用于获取直播间的直播视频数据；
确定模块，用于提取所述直播视频数据的时域特征、空域特征和光流特征；将所述时域特征、所述空域特征和所述光流特征进行融合处理，得到融合特征；将所述融合特征，输入到分类模型中，得到所述直播视频数据中包括的演奏乐器的类型，所述演奏乐器的类型为所演奏的乐器的类型；
显示模块，用于：
将所述类型添加为所述直播视频数据的类别标签，将所述直播间更新在所述类别标签对应的推荐列表中；
确定所述直播间的登录账户的账户数目和所述直播间的关注数目，将所述账户数目和关注数据进行加权获得权重，根据所述权重更新所述类别标签对应的推荐列表中各直播间的排列顺序。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，用于：
根据所述直播视频数据和第一提取模型，得到所述直播视频数据中的时域特征；
根据所述直播视频数据和第二提取模型，得到所述直播视频数据中的空域特征；
根据所述直播视频数据和第三提取模型，得到所述直播视频数据中的光流特征。
7.根据权利要求6所述的装置，其特征在于，所述确定模块，还用于：
按照直播帧率提取样本集合中各个视频片段的时域图像和空域图像，在所述时域图像中提取光流图像；其中，所述样本集合中包括多个视频片段，以及每个视频片段包括的演奏乐器的类型，每个视频片段为进行乐器表演的视频片段；
使用所述时域图像，对第一训练模型进行训练，得到第一提取模型；
使用所述空域图像，对第二训练模型进行训练，得到第二提取模型；
使用提取到的光流图像，对第三训练模型进行训练，得到第三提取模型。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，还用于：
使用所述第一提取模型，提取所述样本集合中各个视频片段的时域特征，并使用所述第二提取模型，提取所述样本集合中各个视频片段的空域特征，并使用所述第三提取模型，提取所述样本集合中各个视频片段的光流特征；
根据所述各个视频片段的时域特征、所述各个视频片段的空域特征和所述各个视频片段的光流特征，得到所述各个视频片段的融合特征；
使用所述各个视频片段的融合特征，对分类训练模型进行训练，得到分类模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910360918.XA CN110062248B (zh) | 2019-04-30 | 2019-04-30 | 推荐直播间的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910360918.XA CN110062248B (zh) | 2019-04-30 | 2019-04-30 | 推荐直播间的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110062248A CN110062248A (zh) | 2019-07-26 |
| CN110062248B true CN110062248B (zh) | 2021-09-28 |
Family
ID=67321910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910360918.XA Active CN110062248B (zh) | 2019-04-30 | 2019-04-30 | 推荐直播间的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110062248B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472098A (zh) * | 2019-08-20 | 2019-11-19 | 北京达佳互联信息技术有限公司 | 视频内容主题的确定方法、装置、电子设备及存储介质 |
| CN110996118A (zh) * | 2019-12-20 | 2020-04-10 | 北京达佳互联信息技术有限公司 | 一种封面合成方法、装置、服务器以及存储介质 |
| CN111212299B (zh) * | 2020-01-16 | 2022-02-11 | 广州酷狗计算机科技有限公司 | 直播视频教程的获取方法、装置、服务器及存储介质 |
| CN111787351B (zh) * | 2020-07-01 | 2022-09-06 | 百度在线网络技术（北京）有限公司 | 信息查询方法、装置、设备和计算机存储介质 |
| CN112511850B (zh) * | 2020-11-20 | 2023-08-08 | 广州繁星互娱信息科技有限公司 | 连麦方法、直播显示方法、装置、设备及存储介质 |
| CN112348649B (zh) * | 2020-12-07 | 2022-07-29 | 福州灵和晞科技有限公司 | 直播类别推荐方法 |
| CN113395537B (zh) * | 2021-06-16 | 2023-05-16 | 北京百度网讯科技有限公司 | 用于推荐直播间的方法和装置 |
| CN114040214A (zh) * | 2021-10-13 | 2022-02-11 | 北京达佳互联信息技术有限公司 | 一种直播间推荐方法、装置、电子设备和存储介质 |
| CN114401413B (zh) * | 2021-12-10 | 2023-09-05 | 北京达佳互联信息技术有限公司 | 虚拟空间的交互提示方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488135A (zh) * | 2015-11-25 | 2016-04-13 | 广州酷狗计算机科技有限公司 | 直播内容分类方法及装置 |
| CN106599789A (zh) * | 2016-07-29 | 2017-04-26 | 北京市商汤科技开发有限公司 | 视频类别识别方法和装置、数据处理装置和电子设备 |
| CN109151500A (zh) * | 2018-09-29 | 2019-01-04 | 北京数美时代科技有限公司 | 一种针对视频直播的主播推荐方法、系统及计算机设备 |
| CN109271534A (zh) * | 2018-10-19 | 2019-01-25 | 武汉斗鱼网络科技有限公司 | 一种直播数据识别框架、方法、服务器及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7773813B2 (en) * | 2005-10-31 | 2010-08-10 | Microsoft Corporation | Capture-intention detection for video content analysis |
| CN109151593B (zh) * | 2018-09-30 | 2021-07-02 | 广州酷狗计算机科技有限公司 | 主播推荐方法、装置存储介质 |
-
2019
- 2019-04-30 CN CN201910360918.XA patent/CN110062248B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488135A (zh) * | 2015-11-25 | 2016-04-13 | 广州酷狗计算机科技有限公司 | 直播内容分类方法及装置 |
| CN106599789A (zh) * | 2016-07-29 | 2017-04-26 | 北京市商汤科技开发有限公司 | 视频类别识别方法和装置、数据处理装置和电子设备 |
| CN109151500A (zh) * | 2018-09-29 | 2019-01-04 | 北京数美时代科技有限公司 | 一种针对视频直播的主播推荐方法、系统及计算机设备 |
| CN109271534A (zh) * | 2018-10-19 | 2019-01-25 | 武汉斗鱼网络科技有限公司 | 一种直播数据识别框架、方法、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110062248A (zh) | 2019-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110062248B (zh) | 推荐直播间的方法和装置 | |
| WO2022022152A1 (zh) | 视频片段定位方法、装置、计算机设备及存储介质 | |
| CN110321958B (zh) | 神经网络模型的训练方法、视频相似度确定方法 | |
| CN109862393B (zh) | 视频文件的配乐方法、系统、设备及存储介质 | |
| CN109241242B (zh) | 一种直播间话题推荐方法、装置、服务器及存储介质 | |
| CN111523566A (zh) | 目标视频片段定位方法和装置 | |
| WO2020000876A1 (zh) | 用于生成模型的方法和装置 | |
| CN111295708A (zh) | 语音识别设备及其操作方法 | |
| CN111615002B (zh) | 视频后台播放控制方法、装置、系统及电子设备 | |
| CN110674349B (zh) | 视频poi识别方法、装置及电子设备 | |
| CN112995690B (zh) | 直播内容品类识别方法、装置、电子设备和可读存储介质 | |
| CN112668608B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN112650867A (zh) | 图片匹配方法、装置、电子设备以及存储介质 | |
| CN114040216B (zh) | 直播间推荐方法、介质、装置和计算设备 | |
| CN113742590A (zh) | 一种推荐方法、装置、存储介质及电子设备 | |
| CN111597361B (zh) | 多媒体数据处理方法、装置、存储介质及设备 | |
| CN113395584A (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| CN116756281A (zh) | 知识问答方法、装置、设备和介质 | |
| CN114816719B (zh) | 多任务模型的训练方法及装置 | |
| CN114595361B (zh) | 一种音乐热度的预测方法、装置、存储介质及电子设备 | |
| CN112883256B (zh) | 多任务处理方法、装置、电子设备及存储介质 | |
| CN112651942B (zh) | 布局检测方法和装置 | |
| CN115344774A (zh) | 用户账号的筛选方法、装置及服务器 | |
| CN110650239B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN109788331A (zh) | 海报展示方法及其装置、电子设备、计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |