CN108509457A - 一种视频数据的推荐方法和装置 - Google Patents
一种视频数据的推荐方法和装置 Download PDFInfo
- Publication number
- CN108509457A CN108509457A CN201710113741.4A CN201710113741A CN108509457A CN 108509457 A CN108509457 A CN 108509457A CN 201710113741 A CN201710113741 A CN 201710113741A CN 108509457 A CN108509457 A CN 108509457A
- Authority
- CN
- China
- Prior art keywords
- video data
- information
- character information
- qualitative character
- sample video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 241001269238 Data Species 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 23
- 238000013508 migration Methods 0.000 claims description 19
- 230000005012 migration Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种视频数据的推荐方法和装置,所述推荐方法包括:获取一个或多个待检测的视频数据;分别提取每个待检测的视频数据的质量特征信息;采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据;向用户推荐所述目标视频数据,本申请实施例通过采用深度学习模型能够迅速筛选出优质的视频数据,本申请实施例解决了现有技术中只能依靠人工识别并向用户推荐视频片段的问题,提高了对视频数据的识别效率以及推荐的准确率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种视频数据的推荐方法、一种视频数据的推荐装置、一种视频数据检测模型的生成方法、一种视频数据检测模型的生成装置、一种视频数据的识别方法和一种视频数据的识别装置。
背景技术
电子商务的发展显著地提升了人们日常生活的便捷性,通过电子商务网站,人们可以轻松地选购商品、完成支付,节省了购物的时间。
为了更好地帮助用户了解目标商品的特性,电子商务网站开始使用视频内容进行导购及营销,即根据运营需要输入相应的文本信息,然后从视频库中选择合适的视频帧,进而根据文本语义采用视频帧构建合适场景的视频,并推荐给目标用户。
但是,在实际应用中,海量的视频内容被提取并合成为视频之后,还需要对合成的视频的质量进行检测和评估,以筛选出最优的视频才能投放给目标用户。现有技术中对视频的质量进行检测和评估主要依赖于运营人员的人工审核,该种方法不仅耗费了大量的运营资源,而且在大多数情况下,人工审核也无法对合成的视频进行实时的处理。
发明内容
鉴于上述问题,提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频数据的推荐方法、一种视频数据的推荐装置、一种视频数据检测模型的生成方法、一种视频数据检测模型的生成装置、一种视频数据的识别方法和相应的一种视频数据的识别装置。
为了解决上述问题,本申请公开了一种视频数据的推荐方法,包括:
获取一个或多个待检测的视频数据;
分别提取每个待检测的视频数据的质量特征信息;
采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据;
向用户推荐所述目标视频数据。
可选地,所述预设的视频数据检测模型通过如下方式生成:
分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
可选地,所述质量特征信息包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
可选地,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
提取每个样本视频数据的每一帧图像的像素信息;
分别对所述像素信息进行卷积运算和池化处理,以获得图像像素特征信息。
可选地,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
识别每个样本视频数据的每一帧图像中的物体对象;
分别确定相邻两帧图像中的物体对象出现的次数和频率,以获得连续帧图像物体迁移特征信息。
可选地,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
识别每个样本视频数据的每一帧图像中的动作对象的形状特征;
分别确定相邻两帧图像中的动作对象的形状特征的几何参数,以获得连续帧图像动作特征信息。
可选地,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
确定每个样本视频数据的每一帧图像的幅值和相位;
分别确定相邻两帧图像的幅值差和相位差,以获得图像帧不同的频域特征信息。
可选地,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
确定每个样本视频数据的每一帧图像的小波系数;
分别确定相邻两帧图像的小波系数的变化值,以获得图像帧小波变换特征信息。
可选地,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
确定每个样本视频数据的每一帧图像的旋转算子;
分别确定相邻两帧图像的旋转算子的变化值,以获得图像旋转算子特征信息。
可选地,所述采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型的步骤包括:
对所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行归一化处理,以获得归一化的质量特征信息;
补全所述归一化的质量特征信息的缺失值;
从所述归一化的质量特征信息中识别出目标质量特征信息;
采用所述目标质量特征信息进行神经网络模型训练,生成视频数据检测模型。
可选地,所述从所述归一化的质量特征信息中识别出目标质量特征信息的步骤包括:
确定所述归一化的质量特征信息的信息熵;
识别所述信息熵超过第一预设阈值的质量特征信息为目标质量特征信息。
可选地,还包括:
获取多个用户的属性信息;
根据所述属性信息,将所述多个用户聚类为多个用户群体,所述用户群体具有相应的用户标签。
可选地,所述采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据的步骤包括:
采用预设的视频数据检测模型分别对所述一个或多个待检测的视频数据的质量特征信息进行识别,以获得所述一个或多个待检测的视频数据的质量分值;
提取所述质量分值超过第二预设阈值的视频数据为目标视频数据。
可选地,所述向用户推荐所述目标视频数据的步骤包括:
在所述多个用户群体中确定目标用户群体;
向所述目标用户群体推荐所述目标视频数据。
可选地,所述目标视频数据具有相应的视频标签,所述在所述多个用户群体中确定目标用户群体的步骤包括:
确定与所述目标视频数据的视频标签相同的用户标签所对应的用户群体为目标用户群体。
为了解决上述问题,本申请公开了一种视频数据检测模型的生成方法,包括:
分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
可选地,所述质量特征信息包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
为了解决上述问题,本申请公开了一种视频数据的识别方法,包括:
获取一个或多个待检测的视频数据;
将所述一个或多个待检测的视频数据发送至服务器,所述服务器用于分别对所述一个或多个待检测的视频数据进行识别,以获得识别结果,所述识别结果包括一个或多个候选视频数据;
接收所述服务器返回的所述一个或多个候选视频数据;
在所述一个或多个候选视频数据中确定目标视频数据;
展现所述目标视频数据。
为了解决上述问题,本申请公开了一种视频数据的推荐装置,包括:
获取模块,用于获取一个或多个待检测的视频数据;
提取模块,用于分别提取每个待检测的视频数据的质量特征信息;
识别模块,用于采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据;
推荐模块,用于向用户推荐所述目标视频数据。
可选地,所述预设的视频数据检测模型通过调用如下模块生成:
质量特征信息提取模块,用于分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
视频数据检测模型生成模块,用于采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
可选地,所述质量特征信息包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
可选地,所述质量特征信息提取模块包括:
像素信息提取子模块,用于提取每个样本视频数据的每一帧图像的像素信息;
像素信息处理子模块,用于分别对所述像素信息进行卷积运算和池化处理,以获得图像像素特征信息。
可选地,所述质量特征信息提取模块还包括:
物体对象识别子模块,用于识别每个样本视频数据的每一帧图像中的物体对象;
物体对象处理子模块,用于分别确定相邻两帧图像中的物体对象出现的次数和频率,以获得连续帧图像物体迁移特征信息。
可选地,所述质量特征信息提取模块还包括:
动作对象识别子模块,用于识别每个样本视频数据的每一帧图像中的动作对象的形状特征;
动作对象处理子模块,用于分别确定相邻两帧图像中的动作对象的形状特征的几何参数,以获得连续帧图像动作特征信息。
可选地,所述质量特征信息提取模块还包括:
幅值和相位确定子模块,用于确定每个样本视频数据的每一帧图像的幅值和相位;
幅值和相位处理子模块,用于分别确定相邻两帧图像的幅值差和相位差,以获得图像帧不同的频域特征信息。
可选地,所述质量特征信息提取模块还包括:
小波系数确定子模块,用于确定每个样本视频数据的每一帧图像的小波系数;
小波系数处理子模块,用于分别确定相邻两帧图像的小波系数的变化值,以获得图像帧小波变换特征信息。
可选地,所述质量特征信息提取模块还包括:
旋转算子确定子模块,用于确定每个样本视频数据的每一帧图像的旋转算子;
旋转算子处理子模块,用于分别确定相邻两帧图像的旋转算子的变化值,以获得图像旋转算子特征信息。
可选地,所述视频数据检测模型生成模块包括:
归一化处理子模块,用于对所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行归一化处理,以获得归一化的质量特征信息;
缺失值补全子模块,用于补全所述归一化的质量特征信息的缺失值;
目标质量特征信息识别子模块,用于从所述归一化的质量特征信息中识别出目标质量特征信息;
视频数据检测模型生成子模块,用于采用所述目标质量特征信息进行神经网络模型训练,生成视频数据检测模型。
可选地,所述目标质量特征信息识别子模块包括:
信息熵确定单元,用于确定所述归一化的质量特征信息的信息熵;
目标质量特征信息识别单元,用于识别所述信息熵超过第一预设阈值的质量特征信息为目标质量特征信息。
可选地,生成所述预设的视频数据检测模型还调用如下模块:
属性信息获取模块,用于获取多个用户的属性信息;
用户群体聚类模块,用于根据所述属性信息,将所述多个用户聚类为多个用户群体,所述用户群体具有相应的用户标签。
可选地,所述识别模块包括:
质量特征信息识别子模块,用于采用预设的视频数据检测模型分别对所述一个或多个待检测的视频数据的质量特征信息进行识别,以获得所述一个或多个待检测的视频数据的质量分值;
目标视频数据提取子模块,用于提取所述质量分值超过第二预设阈值的视频数据为目标视频数据。
可选地,所述推荐模块包括:
目标用户群体确定子模块,用于在所述多个用户群体中确定目标用户群体;
目标视频数据推荐子模块,用于向所述目标用户群体推荐所述目标视频数据。
可选地,所述目标视频数据具有相应的视频标签,所述目标用户群体确定子模块包括:
目标用户群体确定单元,用于确定与所述目标视频数据的视频标签相同的用户标签所对应的用户群体为目标用户群体。
为了解决上述问题,本申请公开了一种视频数据检测模型的生成装置,包括:
质量特征信息提取模块,用于分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
视频数据检测模型生成模块,用于采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
可选地,所述质量特征信息包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
为了解决上述问题,本申请公开了一种视频数据的识别装置,包括:
获取模块,用于获取一个或多个待检测的视频数据;
发送模块,用于将所述一个或多个待检测的视频数据发送至服务器,所述服务器用于分别对所述一个或多个待检测的视频数据进行识别,以获得识别结果,所述识别结果包括一个或多个候选视频数据;
接收模块,用于接收所述服务器返回的所述一个或多个候选视频数据;
确定模块,用于在所述一个或多个候选视频数据中确定目标视频数据;
展现模块,用于展现所述目标视频数据。
与背景技术相比,本申请实施例包括以下优点:
本申请实施例,通过获取一个或多个待检测的视频数据,并分别提取每个待检测的视频数据的质量特征信息,然后采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据,进而向用户推荐所述目标视频数据,通过采用深度学习模型能够迅速筛选出优质的视频数据,本申请实施例解决了现有技术中只能依靠人工识别并向用户推荐视频片段的问题,提高了对视频数据的识别效率以及推荐的准确率。
附图说明
图1是本申请的一种视频数据的推荐方法实施例一的步骤流程图;
图2是本申请的一种视频数据的推荐方法实施例二的步骤流程图;
图3是本申请的一种视频数据的推荐方法的原理框图;
图4是本申请的一种视频数据检测模型的生成方法实施例的步骤流程图;
图5是本申请的一种视频数据的识别方法实施例的步骤流程图;
图6是本申请的一种视频数据的推荐装置实施例的结构框图;
图7是本申请的一种视频数据检测模型的生成装置实施例的结构框图;
图8是本申请的一种视频数据的识别装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1,示出了本申请的一种视频数据的推荐方法实施例一的步骤流程图,具体可以包括如下步骤:
步骤101,获取一个或多个待检测的视频数据;
在本申请实施例中,所述待检测的视频数据可以是从各种途径获取的现成的视频片段,也可以是在视频库中根据某种规则提取多个视频帧实时合成的视频片段,本申请实施例对视频数据的具体来源和类型不作限定。
步骤102,分别提取每个待检测的视频数据的质量特征信息;
在本申请实施例中,视频数据的质量特征信息可以是用于识别所述视频数据的质量的特征信息,例如,视频数据的图像像素、图像所展示的内容等特征信息。通过对视频数据的质量特征信息进行识别,能够对视频片段的流畅度、连贯性等进行检验。
当然,本领域技术人员可以根据实际需要,具体确定所要提取的质量特征信息的类型及提取方式,本申请实施例对此不作限定。
步骤103,采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据;
在本申请实施例中,预设的视频数据检测模型可以通过对训练样本集中的多个样本视频数据进行训练生成,从而可以用于对待检测的视频数据的各个质量特征信息进行识别。
在具体实现中,训练样本集中的多个样本视频数据可以包括多个正向样本视频数据和多个负向样本视频数据,所述正向样本视频数据可以是视频质量较好的视频片段,例如,流畅度和连贯性较好、各个视频帧之间的整体风格较一致的视频片段,通常此类正向样本视频数据可以通过人工打标或者网络爬取获得;与正向样本视频数据相反,所述负向样本视频数据则是流畅度、连贯性以及各个视频帧之间的整体风格一致性较差的视频片段,通常此类负向样本视频数据可以通过对多个视频帧进行随机合成获得,本申请实施例对正向样本视频数据和负向样本视频数据的来源和识别方式不作限定。
在集合多个正向样本视频数据和负向样本视频数据形成训练样本集后,可以分别提取所述正向样本视频数据和负向样本视频数据的质量特征信息,并进行模型训练,从而生成视频数据检测模型;进而可以在提取待检测的视频数据的质量特征信息后,采用所述视频数据检测模型对所述质量特征信息进行识别,获得目标视频数据。
在本申请实施例中,所述目标视频数据可以是经视频数据检测模型识别后获得的质量较好的视频片段。
步骤104,向用户推荐所述目标视频数据。
在具体实现中,向用户推荐目标视频数据可以是在用户界面播放所述目标视频片段,也可以是将所述目标视频片段推送给用户,本申请实施例对推荐目标视频数据的具体方式不作限定。
在本申请实施例中,通过获取一个或多个待检测的视频数据,并分别提取每个待检测的视频数据的质量特征信息,然后采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据,进而向用户推荐所述目标视频数据,本申请实施例采用深度学习模型能够迅速筛选出优质的视频数据,解决了现有技术中只能依靠人工识别并向用户推荐视频片段的问题,提高了对视频数据的识别效率以及推荐的准确率。
参照图2,示出了本申请的一种视频数据的推荐方法实施例二的步骤流程图,具体可以包括如下步骤:
步骤201,分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
如图3所示,是本申请的一种视频数据的推荐方法的原理框图。本申请实施例通过对训练样本集进行特征抽取,进而进行深度学习建模,然后采用训练好的模型对待检测视频数据进行评估,输出相应的质量分值,同时,在建模过程中通过融合用户属性信息对用户群体进行聚类,从而实现向用户群体的视频推荐。
在本申请实施例中,所述正向样本视频数据可以是视频质量较好的视频片段,例如,流畅度和连贯性较好、各个视频帧之间的整体风格较一致的视频片段,通常此类正向样本视频数据可以通过人工打标获得,由运营人员对视频片段的流畅度、连贯性以及各个视频帧之间的整体风格进行检验,从而将流畅度和连贯性较好、各个视频帧之间的整体风格较一致的视频片段标记为正向样本视频数据,还可以通过网络爬取获得,即通过从视频网站上截取一些点击率高,点赞数多的优质视频,作为网络爬取的正向样本视频数据。
与正向样本视频数据相反,所述负向样本视频数据则是流畅度、连贯性以及各个视频帧之间的整体风格一致性较差的视频片段,通常此类负向样本视频数据可以通过对多个视频帧进行随机合成获得。例如,可以从多个类别中(比如旅游、宗教、电子产品中)随机分别抽取一些零散的视频帧片段,然后将抽取出的视频帧片段随意组合拼接,这些随意组合拼接而成的视频片段必然存在大量的不连贯和语义不一致,从而可以将此类拼接而成的视频片段作为负向样本视频数据。
当然,本领域技术人员还可以按照其他方式获取正向样本视频数据和负向样本视频数据,本申请实施例对此不作限定。
然后,可以将获得的正向样本视频数据和负向样本视频数据作为训练样本集,供后续的模型训练使用。
在具体实现中,可以首先分别提取训练样本集中的多个样本视频数据的质量特征信息。
作为本申请实施例的一种示例,所述质量特征信息可以包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
下面逐一对上述六种特征信息的提取方式作一说明。
在本申请实施例中,对于图像像素特征信息,可以提取每个样本视频数据的每一帧图像的像素信息,然后分别对所述像素信息进行卷积运算和池化处理,以获得图像像素特征信息。
通常,图像是通过截取视频片段的每一帧获得的,因此,可以分别抽取每一帧图像中的像素信息,作为待处理的特征集合,然后对所述特征集合中的像素信息进行卷积运算,并对卷积运算后获得的特征集合进一步进行池化处理(max-pooling),从而获得图像像素特征信息。
本申请实施例对图像像素进行处理后,可以获得像素信息的最显著描述,在处理之后,相应的特征不仅维度降低了,而且更能表达图像原有的语义含义。
在本申请实施例中,可以通过识别每个样本视频数据的每一帧图像中的物体对象,然后分别确定相邻两帧图像中的物体对象出现的次数和频率,以获得连续帧图像物体迁移特征信息。
在具体实现中,可以分别对每一帧图像进行序列分析,对各帧图像中的物体对象进行识别抽取,然后按照各帧的时间先后顺序进行排序,进而确定出相邻两帧图像中的物体对象出现的次数、频率,以及物体对象之间关联出现的次数、关联出现的概率等信息,作为连续帧图像物体迁移特征信息。
需要说明的是,在确定相邻两帧图像中的物体对象出现的次数、频率等信息时,可以根据实际需要选择部分的相邻图像帧,本申请实施例对选择的相邻图像帧的数量不作限定。
与连续帧图像物体迁移特征信息的提取方式类似,本申请实施例在提取连续帧图像动作特征信息时,可以通过识别每个样本视频数据的每一帧图像中的动作对象的形状特征,然后分别确定相邻两帧图像中的动作对象的形状特征的几何参数,以获得连续帧图像动作特征信息。
例如,可以分别对每一帧图像中的动作对象进行识别,并确定出该动作对象的几何形状边界,然后将每一帧图像中的动作的几何形状边界与前一帧图像中的动作的几何形状边界进行比较,按照几何仿射变换计算动作对象的形状特征的几何参数,并将该几何参数作为连续帧图像动作特征信息。
在本申请实施例中,对于图像帧不同的频域特征信息,可以通过确定每个样本视频数据的每一帧图像的幅值和相位,然后分别确定相邻两帧图像的幅值差和相位差,以获得图像帧不同的频域特征信息。
在具体实现中,可以首先对每一帧图像做傅里叶变换并抽取频谱系特征,然后抽取各个多个不同频谱系的幅值,相位特征,将这些特征都作为每一帧图像的特征集合,然后对于相邻两帧的幅值差和相位差异性进行计算,得到相邻两帧图像的幅值差和相位差。
对于小波变换特征信息,本申请实施例可以通过确定每个样本视频数据的每一帧图像的小波系数,然后分别确定相邻两帧图像的小波系数的变化值,以获得图像帧小波变换特征信息。
具体地,可以对每一帧图像做小波变换处理,获得相应的小波系数,然后将各帧图像按照时间先后进行排序,分别计算相邻两帧图像之间的小波系数的变化情况,抽取小波系数变化的差值作为小波变换特征信息。
在本申请实施例中,对于图像旋转算子特征信息,可以首先确定每个样本视频数据的每一帧图像的旋转算子,然后分别确定相邻两帧图像的旋转算子的变化值,获得图像旋转算子特征信息。
具体地,可以首先计算每一帧图像的旋转算子,然后将各帧图像按照时间先后进行排序,确定相邻两帧图像之间的旋转算子的变化值,得到图像旋转算子特征信息。
在具体实现中,计算每一帧图像的旋转算子可以采用SIFT((Scale-invariantfeature transform,尺度不变特征转换)算法,该算法是一种检测局部特征的算法,通过求一幅图中的特征点及其尺度和方向描述子得到特征并进行图像特征点匹配,其实质是在不同的尺度空间上查找关键点(特征点),并计算出关键点的方向。
以上对如何提取视频数据的图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息和图像旋转算子特征信息进行了介绍,本领域技术人员还可以采用其他方式抽取上述特征信息,本申请实施例对比不作限定。
步骤202,采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型;
在分别获得样本视频数据的多种类型的质量特征信息后,可以采用所述质量特征信息进行模型训练,从而生成视频数据检测模型。
在具体实现中,可以首先对所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行归一化处理,获得归一化的质量特征信息,并补全所述归一化的质量特征信息的缺失值,然后从所述归一化的质量特征信息中识别出目标质量特征信息,进而采用所述目标质量特征信息进行神经网络模型训练,生成视频数据检测模型。
在本申请实施例中,识别目标质量特征信息可以是筛选出高判别性的特征信息,具体地,可以首先确定所述归一化的质量特征信息的信息熵。由于信息熵越大的特征,蕴含的信息也越丰富,进而特征的重要性也越大,越应该保留,因此,可以识别所述信息熵超过第一预设阈值的质量特征信息为目标质量特征信息。
在本申请实施例中,在生成视频数据检测模型时,还可以融合进用户的个性化的特征信息,从而使对待检测的视频数据进行识别时,能够对视频数据的评价与用户属性相结合,提高推荐视频数据的针对性和有效性。
在具体实现中,可以获取多个用户的属性信息,然后根据所述属性信息,将所述多个用户聚类为多个用户群体,所述用户群体具有相应的用户标签,从而在对训练样本集中的视频数据进行模型训练时,可以有效融合用户的属性信息。
步骤203,获取一个或多个待检测的视频数据;
在本申请实施例中,所述待检测的视频数据可以是在视频库中根据某种规则提取多个视频帧实时合成的视频片段。例如,在电子商务网站使用视频内容进行导购及营销时,可以根据输入的文本内容,从海量的视频库中提取出与所述文本内容相匹配的多个视频帧,然后将所述多个视频帧按照一定规则组合成视频片段。当然,本领域技术人员还可以采用其他方式确定待检测的视频数据,例如,所述待检测的视频数据也可以是从各种途径获取的现成的视频片段,本申请实施例对此不作限定。
步骤204,分别提取每个待检测的视频数据的质量特征信息;
与样本视频数据类似,待检测的视频数据的质量特征信息也可以包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
对于上述质量特征信息的提取方法可以参见步骤201,本步骤对此不再赘述。
步骤205,采用预设的视频数据检测模型分别对所述一个或多个待检测的视频数据的质量特征信息进行识别,以获得所述一个或多个待检测的视频数据的质量分值;
在具体实现中,在完成视频检测模型的构建,以及待检测视频数据的质量特征信息的提取后,便可以采用已经训练好的视频检测模型对所述质量特征信息进行识别,并依据识别结果对每一个待检测的视频数据进行评分,输出相应的质量分值。
步骤206,提取所述质量分值超过第二预设阈值的视频数据为目标视频数据;
通常,质量分值越高,其对应的视频数据的质量越好,该视频数据的流畅度和连贯性也较好、各个视频帧之间的整体风格也会相对较一致。因此,可以将质量分值超过第二预设阈值的视频数据提取为目标视频数据。本领域技术人员可以根据实际需要确定第二预设阈值的大小,本申请实施例对此不作限定。当然,还可以直接选择质量分值最高的视频数据作为目标视频数据,本申请实施例对此亦不作限定。
步骤207,在所述多个用户群体中确定目标用户群体;
在本申请实施例中,由于在构建视频数据检测模型的过程中加入了用户的属性信息,因此,识别出的目标视频数据可以包括有相应的视频标签,以体现该视频数据的分类或其他信息。
在具体实现中,可以根据视频标签与用户群体的用户标签的比对,识别出该目标视频数据所针对的目标用户群体。例如,可以确定与所述目标视频数据的视频标签相同的用户标签所对应的用户群体为目标用户群体。当然,本领域技术人员还可以采用其他方式确定目标用户群体,本申请实施例对此不作限定。
步骤208,向所述目标用户群体推荐所述目标视频数据。
在本申请实施例中,在分别确定目标视频数据和目标用户群体后,便可以将所述目标视频数据推荐给目标用户群体。
例如,对于电子商务网站的视频导购,可以在确定出优质的导购视频片段后,将该视频片段推荐给潜在的消费群体,提升用户服务体验,提高用户转化率。
参照图4,示出了本申请的一种视频数据检测模型的生成方法实施例的步骤流程图,具体可以包括如下步骤:
步骤401,分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
步骤402,采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
在本申请实施例中,所述质量特征信息可以包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
由于本实施例步骤401-步骤402中所述的视频数据检测模型生成方法与上述视频数据的推荐方法实施例二中步骤201-步骤202类似,可以相互参阅,本实施例对此不再赘述。
参照图5,示出了本申请的一种视频数据的识别方法实施例的步骤流程图,具体可以包括如下步骤:
步骤501,获取一个或多个待检测的视频数据;
在本申请实施例中,可以提供一用户界面,例如,在终端的显示屏上展现一交互界面,用户可以通过该交互界面,提交针对一个或多个视频数据的检测请求。所述视频数据可以是从各种途径获取的现成的视频片段,也可以是在视频库中根据某种规则提取多个视频帧实时合成的视频片段,本申请实施例对视频数据的具体来源和类型不作限定。
步骤502,将所述一个或多个待检测的视频数据发送至服务器,所述服务器用于分别对所述一个或多个待检测的视频数据进行识别,以获得识别结果,所述识别结果包括一个或多个候选视频数据;
当用户在提交针对视频数据的检测请求后,终端可以将一个或多个待检测的视频数据发送至服务器,由所述服务器完成对上述视频数据的识别,以获得相应的识别结果。
在本申请实施例中,所述识别结果可以包括一个或多个候选视频数据,每个候选视频数据均包括有相应的质量分值。
在具体实现中,服务器对一个或多个待检测的视频数据进行识别的过程,与前述实施例中步骤201-步骤205类似,可以相互参照,本实施例对此不再赘述。
步骤503,接收所述服务器返回的所述一个或多个候选视频数据;
在本申请实施例中,服务器在完成对待检测视频数据的识别,获得识别结果后,可以将所述识别结果中包括的一个或多个候选视频数据返回给终端。
步骤504,在所述一个或多个候选视频数据中确定目标视频数据;
在本申请实施例中,由于候选视频数据具有相应的质量分值,因此,可以根据质量分值的高低,确定出目标视频数据。
在一种示例中,质量分值越高,可以认为对应的视频数据的质量越好,因此,可以以质量分值最高的视频数据作为目标视频数据;或者,可以从质量分值超过某一阈值的多个候选视频数据中确定出一筛选范围,然后进一步根据业务的实际需求,从该范围内的多个候选视频数据中确定出目标视频数据,本申请实施例对确定目标视频数据的具体方式不作限定。当然,目标视频数据可以不止一个,也可以有多个,本申请对此亦不作限定。
需要说明的是,目标视频数据可以是由终端根据用户输入的信息自行确定的,可以是用户在多个候选视频数据中具体选定的,本申请实施例对此不作限定。
步骤505,展现所述目标视频数据。
当确定出目标视频数据后,终端可以在交互界面上展现所述目标视频数据,例如,可以展现目标视频数据的具体信息,或者直接播放该目标视频数据,本申请实施例对此不作限定。
在本申请实施例中,通过在终端上提供一交互界面,从而用户可以通过该交互界面直接提交对视频数据的识别请求,并由服务器对该识别请求所针对的视频数据进行识别,使得用户可以根据实际需要完成对视频数据的检测,提高了用户对视频数据的质量的判断便捷性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图6,示出了本申请的一种视频数据的推荐装置实施例的结构框图,具体可以包括如下模块:
获取模块601,用于获取一个或多个待检测的视频数据;
提取模块602,用于分别提取每个待检测的视频数据的质量特征信息;
识别模块603,用于采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据;
推荐模块604,用于向用户推荐所述目标视频数据。
在本申请实施例中,所述预设的视频数据检测模型可以通过调用如下模块生成:
质量特征信息提取模块,用于分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据可以包括多个正向样本视频数据和负向样本视频数据;
视频数据检测模型生成模块,用于采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
在本申请实施例中,所述质量特征信息可以包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
在本申请实施例中,所述质量特征信息提取模块具体可以包括如下子模块:
像素信息提取子模块,用于提取每个样本视频数据的每一帧图像的像素信息;
像素信息处理子模块,用于分别对所述像素信息进行卷积运算和池化处理,以获得图像像素特征信息。
在本申请实施例中,所述质量特征信息提取模块还可以包括如下子模块:
物体对象识别子模块,用于识别每个样本视频数据的每一帧图像中的物体对象;
物体对象处理子模块,用于分别确定相邻两帧图像中的物体对象出现的次数和频率,以获得连续帧图像物体迁移特征信息。
在本申请实施例中,所述质量特征信息提取模块还可以包括如下子模块:
动作对象识别子模块,用于识别每个样本视频数据的每一帧图像中的动作对象的形状特征;
动作对象处理子模块,用于分别确定相邻两帧图像中的动作对象的形状特征的几何参数,以获得连续帧图像动作特征信息。
在本申请实施例中,所述质量特征信息提取模块还可以包括如下子模块:
幅值和相位确定子模块,用于确定每个样本视频数据的每一帧图像的幅值和相位;
幅值和相位处理子模块,用于分别确定相邻两帧图像的幅值差和相位差,以获得图像帧不同的频域特征信息。
在本申请实施例中,所述质量特征信息提取模块还可以包括如下子模块:
小波系数确定子模块,用于确定每个样本视频数据的每一帧图像的小波系数;
小波系数处理子模块,用于分别确定相邻两帧图像的小波系数的变化值,以获得图像帧小波变换特征信息。
在本申请实施例中,所述质量特征信息提取模块还可以包括如下子模块:
旋转算子确定子模块,用于确定每个样本视频数据的每一帧图像的旋转算子;
旋转算子处理子模块,用于分别确定相邻两帧图像的旋转算子的变化值,以获得图像旋转算子特征信息。
在本申请实施例中,所述视频数据检测模型生成模块具体可以包括如下子模块:
归一化处理子模块,用于对所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行归一化处理,以获得归一化的质量特征信息;
缺失值补全子模块,用于补全所述归一化的质量特征信息的缺失值;
目标质量特征信息识别子模块,用于从所述归一化的质量特征信息中识别出目标质量特征信息;
视频数据检测模型生成子模块,用于采用所述目标质量特征信息进行神经网络模型训练,生成视频数据检测模型。
在本申请实施例中,所述目标质量特征信息识别子模块具体可以包括如下单元:
信息熵确定单元,用于确定所述归一化的质量特征信息的信息熵;
目标质量特征信息识别单元,用于识别所述信息熵超过第一预设阈值的质量特征信息为目标质量特征信息。
在本申请实施例中,生成所述预设的视频数据检测模型还可以调用如下模块:
属性信息获取模块,用于获取多个用户的属性信息;
用户群体聚类模块,用于根据所述属性信息,将所述多个用户聚类为多个用户群体,所述用户群体具有相应的用户标签。
在本申请实施例中,所述识别模块603具体可以包括如下子模块:
质量特征信息识别子模块,用于采用预设的视频数据检测模型分别对所述一个或多个待检测的视频数据的质量特征信息进行识别,以获得所述一个或多个待检测的视频数据的质量分值;
目标视频数据提取子模块,用于提取所述质量分值超过第二预设阈值的视频数据为目标视频数据。
在本申请实施例中,所述推荐模块604具体可以包括如下子模块:
目标用户群体确定子模块,用于在所述多个用户群体中确定目标用户群体;
目标视频数据推荐子模块,用于向所述目标用户群体推荐所述目标视频数据。
在本申请实施例中,所述目标视频数据可以具有相应的视频标签,所述目标用户群体确定子模块具体可以包括如下单元:
目标用户群体确定单元,用于确定与所述目标视频数据的视频标签相同的用户标签所对应的用户群体为目标用户群体。
参照图7,示出了本申请的一种视频数据检测模型的生成装置实施例的结构框图,具体可以包括如下模块:
质量特征信息提取模块701,用于分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据可以包括多个正向样本视频数据和负向样本视频数据;
视频数据检测模型生成模块702,用于采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
在本申请实施例中,所述质量特征信息可以包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
参照图8,示出了本申请的一种视频数据的识别装置实施例的结构框图,具体可以包括如下模块:
获取模块801,用于获取一个或多个待检测的视频数据;
发送模块802,用于将所述一个或多个待检测的视频数据发送至服务器,所述服务器用于分别对所述一个或多个待检测的视频数据进行识别,以获得识别结果,所述识别结果可以包括一个或多个候选视频数据;
接收模块803,用于接收所述服务器返回的所述一个或多个候选视频数据;
确定模块804,用于在所述一个或多个候选视频数据中确定目标视频数据;
展现模块805,用于展现所述目标视频数据。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种视频数据的推荐方法、一种视频数据的推荐装置、一种视频数据检测模型的生成方法、一种视频数据检测模型的生成装置、一种视频数据的识别方法和一种视频数据的识别装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (21)
1.一种视频数据的推荐方法,其特征在于,包括:
获取一个或多个待检测的视频数据;
分别提取每个待检测的视频数据的质量特征信息;
采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据;
向用户推荐所述目标视频数据。
2.根据权利要求1所述的方法,其特征在于,所述预设的视频数据检测模型通过如下方式生成:
分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
3.根据权利要求2所述的方法,其特征在于,所述质量特征信息包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
4.根据权利要求3所述的方法,其特征在于,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
提取每个样本视频数据的每一帧图像的像素信息;
分别对所述像素信息进行卷积运算和池化处理,以获得图像像素特征信息。
5.根据权利要求3所述的方法,其特征在于,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
识别每个样本视频数据的每一帧图像中的物体对象;
分别确定相邻两帧图像中的物体对象出现的次数和频率,以获得连续帧图像物体迁移特征信息。
6.根据权利要求3所述的方法,其特征在于,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
识别每个样本视频数据的每一帧图像中的动作对象的形状特征;
分别确定相邻两帧图像中的动作对象的形状特征的几何参数,以获得连续帧图像动作特征信息。
7.根据权利要求3所述的方法,其特征在于,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
确定每个样本视频数据的每一帧图像的幅值和相位;
分别确定相邻两帧图像的幅值差和相位差,以获得图像帧不同的频域特征信息。
8.根据权利要求3所述的方法,其特征在于,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
确定每个样本视频数据的每一帧图像的小波系数;
分别确定相邻两帧图像的小波系数的变化值,以获得图像帧小波变换特征信息。
9.根据权利要求3所述的方法,其特征在于,所述分别提取多个样本视频数据的质量特征信息的步骤包括:
确定每个样本视频数据的每一帧图像的旋转算子;
分别确定相邻两帧图像的旋转算子的变化值,以获得图像旋转算子特征信息。
10.根据权利要求2-9任一所述的方法,其特征在于,所述采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型的步骤包括:
对所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行归一化处理,以获得归一化的质量特征信息;
补全所述归一化的质量特征信息的缺失值;
从所述归一化的质量特征信息中识别出目标质量特征信息;
采用所述目标质量特征信息进行神经网络模型训练,生成视频数据检测模型。
11.根据权利要求10所述的方法,其特征在于,所述从所述归一化的质量特征信息中识别出目标质量特征信息的步骤包括:
确定所述归一化的质量特征信息的信息熵;
识别所述信息熵超过第一预设阈值的质量特征信息为目标质量特征信息。
12.根据权利要求2所述的方法,其特征在于,还包括:
获取多个用户的属性信息;
根据所述属性信息,将所述多个用户聚类为多个用户群体,所述用户群体具有相应的用户标签。
13.根据权利要求12所述的方法,其特征在于,所述采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据的步骤包括:
采用预设的视频数据检测模型分别对所述一个或多个待检测的视频数据的质量特征信息进行识别,以获得所述一个或多个待检测的视频数据的质量分值;
提取所述质量分值超过第二预设阈值的视频数据为目标视频数据。
14.根据权利要求13所述的方法,其特征在于,所述向用户推荐所述目标视频数据的步骤包括:
在所述多个用户群体中确定目标用户群体;
向所述目标用户群体推荐所述目标视频数据。
15.根据权利要求14所述的方法,其特征在于,所述目标视频数据具有相应的视频标签,所述在所述多个用户群体中确定目标用户群体的步骤包括:
确定与所述目标视频数据的视频标签相同的用户标签所对应的用户群体为目标用户群体。
16.一种视频数据检测模型的生成方法,其特征在于,包括:
分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
17.根据权利要求16所述的方法,其特征在于,所述质量特征信息包括图像像素特征信息,连续帧图像物体迁移特征信息,连续帧图像动作特征信息,图像帧不同的频域特征信息,图像帧小波变换特征信息,和/或,图像旋转算子特征信息。
18.一种视频数据的识别方法,其特征在于,包括:
获取一个或多个待检测的视频数据;
将所述一个或多个待检测的视频数据发送至服务器,所述服务器用于分别对所述一个或多个待检测的视频数据进行识别,以获得识别结果,所述识别结果包括一个或多个候选视频数据;
接收所述服务器返回的所述一个或多个候选视频数据;
在所述一个或多个候选视频数据中确定目标视频数据;
展现所述目标视频数据。
19.一种视频数据的推荐装置,其特征在于,包括:
获取模块,用于获取一个或多个待检测的视频数据;
提取模块,用于分别提取每个待检测的视频数据的质量特征信息;
识别模块,用于采用预设的视频数据检测模型对所述质量特征信息进行识别,以获得目标视频数据;
推荐模块,用于向用户推荐所述目标视频数据。
20.一种视频数据检测模型的生成装置,其特征在于,包括:
质量特征信息提取模块,用于分别提取多个样本视频数据的质量特征信息,所述多个样本视频数据包括多个正向样本视频数据和负向样本视频数据;
视频数据检测模型生成模块,用于采用所述多个正向样本视频数据和负向样本视频数据的质量特征信息进行训练,生成视频数据检测模型。
21.一种视频数据的识别装置,其特征在于,包括:
获取模块,用于获取一个或多个待检测的视频数据;
发送模块,用于将所述一个或多个待检测的视频数据发送至服务器,所述服务器用于分别对所述一个或多个待检测的视频数据进行识别,以获得识别结果,所述识别结果包括一个或多个候选视频数据;
接收模块,用于接收所述服务器返回的所述一个或多个候选视频数据;
确定模块,用于在所述一个或多个候选视频数据中确定目标视频数据;
展现模块,用于展现所述目标视频数据。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710113741.4A CN108509457A (zh) | 2017-02-28 | 2017-02-28 | 一种视频数据的推荐方法和装置 |
TW106138405A TWI753044B (zh) | 2017-02-28 | 2017-11-07 | 影片資料的推薦方法和裝置 |
PCT/CN2018/076784 WO2018157746A1 (zh) | 2017-02-28 | 2018-02-14 | 一种视频数据的推荐方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710113741.4A CN108509457A (zh) | 2017-02-28 | 2017-02-28 | 一种视频数据的推荐方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108509457A true CN108509457A (zh) | 2018-09-07 |
Family
ID=63369778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710113741.4A Pending CN108509457A (zh) | 2017-02-28 | 2017-02-28 | 一种视频数据的推荐方法和装置 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN108509457A (zh) |
TW (1) | TWI753044B (zh) |
WO (1) | WO2018157746A1 (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109068180A (zh) * | 2018-09-28 | 2018-12-21 | 武汉斗鱼网络科技有限公司 | 一种确定视频精选集的方法以及相关设备 |
CN109242030A (zh) * | 2018-09-21 | 2019-01-18 | 京东方科技集团股份有限公司 | 画单生成方法及装置,电子设备,计算机可读存储介质 |
CN109614537A (zh) * | 2018-12-06 | 2019-04-12 | 北京百度网讯科技有限公司 | 用于生成视频的方法、装置、设备和存储介质 |
CN109685631A (zh) * | 2019-01-10 | 2019-04-26 | 博拉网络股份有限公司 | 一种基于大数据用户行为分析的个性化推荐方法 |
CN109729395A (zh) * | 2018-12-14 | 2019-05-07 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、存储介质和计算机设备 |
CN111209897A (zh) * | 2020-03-09 | 2020-05-29 | 腾讯科技(深圳)有限公司 | 视频处理的方法、装置和存储介质 |
CN111353597A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视数字技术股份有限公司 | 一种目标检测神经网络训练方法和装置 |
CN111401100A (zh) * | 2018-12-28 | 2020-07-10 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、设备及存储介质 |
CN111491187A (zh) * | 2020-04-15 | 2020-08-04 | 腾讯科技(深圳)有限公司 | 视频的推荐方法、装置、设备及存储介质 |
CN111683273A (zh) * | 2020-06-02 | 2020-09-18 | 中国联合网络通信集团有限公司 | 视频卡顿信息的确定方法及装置 |
CN112199582A (zh) * | 2020-09-21 | 2021-01-08 | 聚好看科技股份有限公司 | 一种内容推荐方法、装置、设备及介质 |
CN112464027A (zh) * | 2019-09-06 | 2021-03-09 | 腾讯科技(深圳)有限公司 | 一种视频检测方法、装置及存储介质 |
CN113837820A (zh) * | 2020-06-23 | 2021-12-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及设备 |
CN116708725A (zh) * | 2023-08-07 | 2023-09-05 | 清华大学 | 基于语义编解码的低带宽人群场景安防监控方法及系统 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10863206B2 (en) * | 2018-11-08 | 2020-12-08 | Alibaba Group Holding Limited | Content-weighted deep residual learning for video in-loop filtering |
CN110879851A (zh) * | 2019-10-15 | 2020-03-13 | 北京三快在线科技有限公司 | 视频动态封面生成方法、装置、电子设备及可读存储介质 |
CN111191054B (zh) * | 2019-12-18 | 2024-02-13 | 腾讯科技(深圳)有限公司 | 媒体数据的推荐方法、装置 |
CN111126262B (zh) * | 2019-12-24 | 2023-04-28 | 中国科学院自动化研究所 | 基于图神经网络的视频精彩片段检测方法及装置 |
CN112749297B (zh) * | 2020-03-03 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 视频推荐方法、装置、计算机设备和计算机可读存储介质 |
CN111950360B (zh) * | 2020-07-06 | 2023-08-18 | 北京奇艺世纪科技有限公司 | 一种识别侵权用户的方法及装置 |
CN112100441B (zh) * | 2020-09-17 | 2024-04-09 | 咪咕文化科技有限公司 | 视频推荐方法、电子设备和计算机可读存储介质 |
CN112464083A (zh) * | 2020-11-16 | 2021-03-09 | 北京达佳互联信息技术有限公司 | 模型训练方法、作品推送方法、装置、电子设备及存储介质 |
US20240087298A1 (en) * | 2022-09-14 | 2024-03-14 | Digit7 India Private Limited | System and Method for Automatically Labelling Media |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282481A (zh) * | 2008-05-09 | 2008-10-08 | 中国传媒大学 | 一种基于人工神经网络的视频质量评价方法 |
US20110131595A1 (en) * | 2009-12-02 | 2011-06-02 | General Electric Company | Methods and systems for online recommendation |
CN104216960A (zh) * | 2014-08-21 | 2014-12-17 | 北京奇艺世纪科技有限公司 | 一种视频推荐方法和装置 |
CN104219575A (zh) * | 2013-05-29 | 2014-12-17 | 酷盛(天津)科技有限公司 | 相关视频推荐方法及系统 |
CN104915861A (zh) * | 2015-06-15 | 2015-09-16 | 浙江经贸职业技术学院 | 基于评分和标签构建用户群体模型的电子商务推荐方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI510064B (zh) * | 2012-03-30 | 2015-11-21 | Inst Information Industry | 視訊推薦系統及其方法 |
-
2017
- 2017-02-28 CN CN201710113741.4A patent/CN108509457A/zh active Pending
- 2017-11-07 TW TW106138405A patent/TWI753044B/zh active
-
2018
- 2018-02-14 WO PCT/CN2018/076784 patent/WO2018157746A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282481A (zh) * | 2008-05-09 | 2008-10-08 | 中国传媒大学 | 一种基于人工神经网络的视频质量评价方法 |
US20110131595A1 (en) * | 2009-12-02 | 2011-06-02 | General Electric Company | Methods and systems for online recommendation |
CN104219575A (zh) * | 2013-05-29 | 2014-12-17 | 酷盛(天津)科技有限公司 | 相关视频推荐方法及系统 |
CN104216960A (zh) * | 2014-08-21 | 2014-12-17 | 北京奇艺世纪科技有限公司 | 一种视频推荐方法和装置 |
CN104915861A (zh) * | 2015-06-15 | 2015-09-16 | 浙江经贸职业技术学院 | 基于评分和标签构建用户群体模型的电子商务推荐方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242030A (zh) * | 2018-09-21 | 2019-01-18 | 京东方科技集团股份有限公司 | 画单生成方法及装置,电子设备,计算机可读存储介质 |
CN109068180B (zh) * | 2018-09-28 | 2021-02-02 | 武汉斗鱼网络科技有限公司 | 一种确定视频精选集的方法以及相关设备 |
CN109068180A (zh) * | 2018-09-28 | 2018-12-21 | 武汉斗鱼网络科技有限公司 | 一种确定视频精选集的方法以及相关设备 |
CN109614537A (zh) * | 2018-12-06 | 2019-04-12 | 北京百度网讯科技有限公司 | 用于生成视频的方法、装置、设备和存储介质 |
CN109729395A (zh) * | 2018-12-14 | 2019-05-07 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、存储介质和计算机设备 |
CN109729395B (zh) * | 2018-12-14 | 2022-02-08 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、存储介质和计算机设备 |
CN111353597B (zh) * | 2018-12-24 | 2023-12-05 | 杭州海康威视数字技术股份有限公司 | 一种目标检测神经网络训练方法和装置 |
CN111353597A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视数字技术股份有限公司 | 一种目标检测神经网络训练方法和装置 |
US11762905B2 (en) | 2018-12-28 | 2023-09-19 | Bigo Technology Pte. Ltd. | Video quality evaluation method and apparatus, device, and storage medium |
CN111401100A (zh) * | 2018-12-28 | 2020-07-10 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、设备及存储介质 |
CN109685631B (zh) * | 2019-01-10 | 2021-06-01 | 博拉网络股份有限公司 | 一种基于大数据用户行为分析的个性化推荐方法 |
CN109685631A (zh) * | 2019-01-10 | 2019-04-26 | 博拉网络股份有限公司 | 一种基于大数据用户行为分析的个性化推荐方法 |
CN112464027A (zh) * | 2019-09-06 | 2021-03-09 | 腾讯科技(深圳)有限公司 | 一种视频检测方法、装置及存储介质 |
CN111209897A (zh) * | 2020-03-09 | 2020-05-29 | 腾讯科技(深圳)有限公司 | 视频处理的方法、装置和存储介质 |
CN111209897B (zh) * | 2020-03-09 | 2023-06-20 | 深圳市雅阅科技有限公司 | 视频处理的方法、装置和存储介质 |
CN111491187B (zh) * | 2020-04-15 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 视频的推荐方法、装置、设备及存储介质 |
CN111491187A (zh) * | 2020-04-15 | 2020-08-04 | 腾讯科技(深圳)有限公司 | 视频的推荐方法、装置、设备及存储介质 |
CN111683273A (zh) * | 2020-06-02 | 2020-09-18 | 中国联合网络通信集团有限公司 | 视频卡顿信息的确定方法及装置 |
CN113837820A (zh) * | 2020-06-23 | 2021-12-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及设备 |
CN112199582A (zh) * | 2020-09-21 | 2021-01-08 | 聚好看科技股份有限公司 | 一种内容推荐方法、装置、设备及介质 |
CN112199582B (zh) * | 2020-09-21 | 2023-07-18 | 聚好看科技股份有限公司 | 一种内容推荐方法、装置、设备及介质 |
CN116708725A (zh) * | 2023-08-07 | 2023-09-05 | 清华大学 | 基于语义编解码的低带宽人群场景安防监控方法及系统 |
CN116708725B (zh) * | 2023-08-07 | 2023-10-31 | 清华大学 | 基于语义编解码的低带宽人群场景安防监控方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2018157746A1 (zh) | 2018-09-07 |
TW201834463A (zh) | 2018-09-16 |
TWI753044B (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108509457A (zh) | 一种视频数据的推荐方法和装置 | |
US20210256320A1 (en) | Machine learning artificialintelligence system for identifying vehicles | |
CN107690657B (zh) | 根据影像发现商户 | |
US9607010B1 (en) | Techniques for shape-based search of content | |
CN110413877A (zh) | 一种资源推荐方法、装置及电子设备 | |
US20100088151A1 (en) | Method and apparatus for recommending image based on user profile using feature-based collaborative filtering to resolve new item recommendation | |
CN110019943B (zh) | 视频推荐方法、装置、电子设备和存储介质 | |
US20150310300A1 (en) | System and method for multiple object recognition and personalized recommendations | |
CN105022773B (zh) | 包括图像优先级的图像处理系统 | |
CN105005982B (zh) | 包括对象选择的图像处理 | |
CN105183739B (zh) | 图像处理方法 | |
WO2019072098A1 (zh) | 一种识别核心产品词的方法和系统 | |
CN107977678A (zh) | 用于输出信息的方法和装置 | |
CN110363206B (zh) | 数据对象的聚类、数据处理及数据识别方法 | |
CN111967924A (zh) | 商品推荐方法、商品推荐装置、计算机设备和介质 | |
CN113327132A (zh) | 多媒体推荐方法、装置、设备及存储介质 | |
KR20210054021A (ko) | 확률적 물품 매칭 및 검색 | |
CN112487277B (zh) | 数据分配方法、装置、可读存储介质和电子设备 | |
CN110879863B (zh) | 跨领域搜索方法和跨领域搜索装置 | |
CN105045793B (zh) | 图像处理客户端 | |
CN111753181A (zh) | 基于图像的搜索方法、装置、服务器、客户端及介质 | |
CN105843949B (zh) | 一种图像显示方法与装置 | |
CN117651165A (zh) | 基于客户数据的视频推荐方法及装置 | |
CN117035932A (zh) | 业务推荐方法、业务推荐装置、电子设备及可读存储介质 | |
CN117201846A (zh) | Ar产品的推送方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1260141 Country of ref document: HK |
|
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180907 |
|
RJ01 | Rejection of invention patent application after publication |