CN112132797B - 一种短视频质量筛选方法 - Google Patents

Abstract

本发明公开了一种短视频质量筛选方法，所述方法包括如下步骤：获取目标短视频，并获取目标短视频关键帧；识别关键帧视频要素；建立至少一个必要评价模型；建立至少一个筛选评价模型；将所述视频要素输入必要评价模型，将满足所述必要评价模型的关键帧输入所有筛选评价模型，获取视频每一筛选评价模型的质量分，计算关键帧的质量分，根据关键帧质量分筛选所述目标短视频，所述筛选方法采用人工智能技术，采集短视频中的人脸、手势、目光、表情和互动动作等视频要素分别建立识别和评价模型，并且根据上述获取的视频要素建立总的评价算法，用于筛选适应场景搜索的最佳的短视频。

Description

一种短视频质量筛选方法

发明领域

本发明涉及视频领域，特别涉及一种短视频质量筛选方法。

背景技术

目标短视频的编辑主要通过人工来完成，通过人工对短视频进行筛选、编辑和优化，人工筛选短视频成本较高，并且人工筛选的短视频效率较低，无法实现短时间内大批量高质量的短视频编辑，从而也影响了优质短视频的传播效率。

发明目的

本发明其中一个目的在于提供一种短视频质量筛选方法，所述筛选方法采用人工智能技术，采集短视频中的人脸、手势、目光、表情和互动动作等视频要素分别建立识别和评价模型，并且根据上述获取的视频要素建立总的评价算法，用于筛选适应场景最佳的短视频。

本发明另一个目的在于提供一种短视频质量筛选方法，所述筛选方法获取短视频的最优帧和多个关键帧，并将最优帧作为短视频质量筛选和排序的关联条件，同时将所有关键帧的平均质量作为短视频质量筛选和排序条件，从而使得短视频既可以兼顾画面和整体的播放质量。

本发明另一个目的在于提供一种短视频质量筛选方法，所述筛选方法采用双层或多层评价模型，针对不同的视频要素并根据要素在具体场景中重要程度分配评价模型的必要层级和筛选层级，从而更加适配短视频的场景。

本发明另一个目的在于提供一种短视频质量筛选方法，所述筛选方法优选视频中的人脸要素为建立必要评价模型的，当人脸要素满足必要评价模型后，进一步筛选其他要素中的一个或多个作为筛选评价模型。

本发明另一个目的在于提供一种短视频质量筛选方法，所述筛选方法将根据筛选评价模型中的数据设置权重值，并根据一个或多个筛选评价模型中的评价分值和权重值相乘并相加后输出总评价分，并根据总评价分对短视频进行排序输出。

本发明另一个目的在于提供一种短视频质量筛选方法，所述筛选方法采集短视频中的关键帧，并对关键帧进行视频要素采集，从而可以提高图像采集和处理的效率。

为了实现至少一个上述发明目的，本发明进一步提供一种短视频质量筛选方法，所述方法包括如下步骤：

获取目标短视频，并获取目标短视频关键帧；

识别关键帧视频要素；

建立至少一个必要评价模型；

建立至少一个筛选评价模型；

将所述视频要素输入必要评价模型，将满足所述必要评价模型的关键帧输入所有筛选评价模型，获取视频每一筛选评价模型的质量分，计算关键帧的质量分，根据关键帧质量分筛选所述目标短视频。

根据本发明其中一个较佳实施例，识别关键帧中的人脸视频要素，建立人脸视频要素的必要评价模型，其中所述人脸视频要素的必要评价模型建立方法包括如下步骤：

采集关键帧人脸大小数据、人脸清晰度数据、人脸角度数据和人脸位置数据；

计算人脸大小质量分数、人脸清晰度质量分数、人脸角度质量分数和人脸位置质量分数，并分别设置权重系数，

将人脸大小质量分数、人脸清晰度质量分数、人脸角度质量分数、人脸位置质量分数分别和对应的权重系数相乘并相加以获取短视频人脸要素的必要评价模型质量分；

设置人脸视频要素质量分数阈值，若采集的短视频关键帧人脸质量分数大于所述人脸质量分数阈值，则满足人脸视频要素的必要评价模型，否则剔除该关键帧。

根据本发明其中一个较佳实施例，所述筛选评价模型包括手势筛选评价模型，通过训练好的手势识别模型识别关键帧中的手势，若关键帧中存在手势，则在所述关键帧中增加手势质量分。

根据本发明其中一个较佳实施例，设置显著性筛选评价模型，获取人脸在关键帧中的像素占比，根据人脸在关键帧中的像素占比计算显著性质量分，对所述关键帧增加所述显著性质量分。

根据本发明其中一个较佳实施例，设置情绪筛选评价模型，采用情绪识别模型识别关键帧的人脸情绪，若关键帧中检测到笑脸，则对所述关键帧增加情绪质量分数。

根据本发明其中一个较佳实施例，设置互动动作筛选评价模型，采集所述关键帧至少一相邻帧画面，采用互动动作模型识别关键帧和相邻帧的互动动作，若关键帧中存在互动动作，则对所述关键帧增加互动动作质量分数。

根据本发明其中一个较佳实施例，识别关键帧和所述关键帧至少一相邻帧画面中的人脸，计算相邻关键帧和相邻帧之间人脸角度偏移量，并获取人脸最大角度偏移量，设置偏移量阈值，若所述人脸最大角度偏移量大于所述偏移量阈值，则对所述关键帧增加旋转的互动动作质量分数。

根据本发明其中一个较佳实施例，根据所有筛选评价模型计算所述关键帧质量分数，对每一筛选评价模型设置权值，计算每一筛选评价模型质量分数和对应权值的乘积，调整每一筛选评价模型质量分数，所述调整方法为将每一筛选评价模型质量分数和对应权值乘积后加1，进一步将调整后的每一筛选评价模型质量分数相乘，以获取总筛选评价模型质量分数，所述关键帧质量分为该关键帧必要评价模型质量分数和总筛选评价模型质量分数之积。

根据本发明其中一个较佳实施例，获取短视频中质量分数最高的关键帧作为最优帧，获取最优帧的质量分数，并计算所有关键帧的平均值，分别对所述关键帧和最优帧设置权值，将加权后的关键帧质量分数和最优帧质量分数相加，以获取目标短视频质量分数。

根据本发明其中一个较佳实施例，计算目标短视频质量分，并根据该质量分从高到低将所述目标短视频设置从高到低传播优先级。

为了实现至少一个上述发明目的，本发明进一步提供一种短视频质量筛选系统，所述系统采用上述一种短视频质量筛选方法。

附图说明

图1显示的是本发明一种短视频质量筛选方法流程示意图；

图2显示的是人脸位置评分函数示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请参考图1显示的本发明一种短视频质量筛选方法流程示意图。本发明采用人工智能技术，建立至少一个必要评价模型和至少一个筛选评价模型，其中所述必要评价模型采集所述短视频中必要的视频要素，并判断该必要的视频要素是否满足模型要求，其中所述筛选评价模型分别用于评价短视频中不同的视频要素在本视频中的质量分，通过统计各个视频要素的质量分计算所述短视频的综合质量分。

具体而言，所述筛选方法优选获取目标短视频的关键帧，并获取关键帧中的必要视频要素和优选视频要素，在本发明其中一个较佳实施例中，必要视频要素被设置为人脸大小、人脸清晰度、人脸角度和人脸位置，本发明采用现有的人脸识别模型获取所述人脸大小数据、人脸清晰度数据、人脸角度数据和人脸位置，并设置人脸大小阈值、人脸清晰度阈值、人脸角度阈值和人脸位置阈值，当所述人脸大小、人脸清晰度、人脸角度和人脸位置同时大于各自预设的人脸大小阈值、人脸清晰度阈值和人脸角度阈值，则判断所述关键帧符合必要评价模型，否则从所述必要评价模型中剔除该关键帧。进一步的，在本发明另一个较佳实施例中，通过计算人脸大小、人脸清晰度以及人脸角度，并分别映射为0-1分布，其中0值代表人脸大小最小、清晰度最小和人脸角度最小(0°)，其中人脸角度优选以垂直于画面为基准平面，1值代表人脸大小最大、清晰度最大和人脸角度最大，根据场景需求针对所述人脸大小、人脸清晰度和人脸角度分别设置权值，其中人脸大小权值、人脸清晰度权值和人脸角度权值之和为1，计算所述关键帧每一必要视频要素的加权和值，设置必要评价模型阈值，若关键帧中必要视频要素的加权和值大于所述必要评价模型阈值，则判断所述关键帧满足必要评价模型，否则从所述必要评价模型中剔除所述关键帧，并且进一步获取所述必要评价模型的质量分数。

对人脸位置评分方法包括如下步骤：获取短视频数据，并提取每一视频的关键帧，预建立人脸识别模型，根据人脸识别模型采集关键帧中的人脸信息，进一步获取人脸的中心位置和关键帧画面中心位置，计算人脸中心位置和关键帧画面中心位置之间的距离差值，建立不同距离差值段，并为每一距离差值段设置质量分值。在本发明另一较佳实施例中，采集人脸中心位置的坐标，该坐标为像素坐标，根据像素坐标进行划分，举例来说，请参考图2，设置像素坐标(x,y)，其中x取值范围为0≤x≤2000，对应的人脸位置质量分通过图2中所示函数计算获得，通过3个分段函数计算对应的人脸框中心点位置的质量分，图2中所示的分段函数中W()是窗函数；tanh()是三角函数；N_L为图像左侧的数值变化像素点横坐标临界值；N_R是图像右侧的数值变化像素点横坐临界值，x为人脸中心位置的像素坐标值，需要说明的是，参数N_L和参数N_R可根据拍摄角度进行调整，发明优选所述人脸位置作为所述关键帧的必要质量分评分要素，在本发明其他较佳实施例中，根据具体应用场景可将手势位置、人体位置等作为关键帧的必要视频要素进行质量评分。

当所述关键帧满足所述必要评价模型后，进一步针对所述关键帧建立至少一个筛选评价模型，并针对筛选评价模型对所述关键帧质量进行评分，其中每一筛选评价模型对所述关键帧进行质量评分，并计算总筛选评价模型质量分，所述总筛选评价模型质量分为每个筛选评价模型质量分的加1后乘积，所述关键帧质量分为必要评价模型质量分和总筛选评价模型质量分的乘积。

举例来说，在本发明其中一个较佳实施例中，建立包括但不限于手势筛选评价模型、显著性筛选评价模型、情绪筛选评价模型和互动动作筛选评价模型。

建立所述手势筛选模型包括如下步骤：获取短视频数据，并提取每一短视频的关键帧，预建立手势识别模型，其中该手势识别模型基于现有的机器学习模型通过大数据训练获取。将所述关键帧输入所述手势识别模型，用于识别所述关键帧中的手势，其中所述手势识别模型可用于识别包括但部仅限于“剪刀手势”、“OK手势”、“单/双手比心手势”和“挥手手势”，当所述手势筛选模型识别出每一种手势时，进一步对所述关键帧进行评分，其中所述关键帧中存在每一种手势则增加所述关键帧的质量分，优选的，质量分评分机制中，每一种手势将增加所述关键帧1分质量分，进一步统计所述手势筛选模型对所述关键帧的质量评分。

建立显著性筛选模型包括如下步骤：获取短视频数据，并提取每一视频的关键帧，获取所述关键帧中的人脸，并计算该人脸在关键帧中画面的占比，也就是说，计算所述关键帧中人脸像素和关键帧中所有像素的占比，在本发明其中一个较佳实施例中，可设置所述显著性筛选模型的双阶梯质量分评分机制，设置最佳占比范围，并设置该最佳占比范围内的质量分值，若所述人脸在所述关键帧中的占比在所述最佳占比范围内，则将所述关键帧的显著性分值记录为最佳占比对应的分值，进一步的分别设置不同占比范围对应的分值，举例来说，可设置人脸占比40％-60％为最佳占比，其分值设置为1，设置30％-40％和60％-70％为第二占比，其分值可设置为0.8，对应的第三占比为20％-30％和70％-80％；分值为0.6；设置第四占比为10％-20％和80％-90％，对应分值为0.4；设置第五占比为0％-10％和90％-100％，对应的分值为0.2。通过计算所述关键帧中人脸像素占比对应分值，以获取所述关键帧的显著性质量分，值得一提的是，本发明中优选人脸占比算法为显著性筛选模型，为了适应不同的场景需求可设置汽车占比、动物脸占比等算法作为显著性筛选模型，可以理解的是显著性占比模型的视频要素选择不是本发明的限制。

建立情绪筛选评价模型方法包括如下步骤：获取短视频数据，并提取每一视频的关键帧，根据人脸识别模型获取每一关键帧的人脸信息，并标注人脸信息中的嘴唇部位，根据标注的嘴唇部位采用包括但不仅限于深度学习算法获取情绪识别模型，采用大数据训练后的所述情绪识别模型可识别人脸中的微笑、大笑等正向情绪。在本发明其中一个较佳实施例中，根据所述情绪识别模型获取所述关键帧中的正向情绪，并将每一正向情绪计入所述关键帧的质量分，若关键帧中无正向情绪则不计分。

建立互动动作筛选评价模型包括如下步骤：获取短视频数据，并提取每一视频的关键帧，进一步提取对应关键帧n张相邻帧，其中20≥n≥1，采用人脸识别模型识别所述关键帧的人脸信息以及人脸角度，识别每一相邻帧的人脸角度，并计算每一相邻帧和所述关键帧人脸角度偏移量，在所述互动动作筛选评价模型中设置角度偏移量阈值，计算相邻帧中最大的角度偏移量，若最大角度偏移量大于所述角度偏移阈值，则通过所述互动动作筛选评价模型计算所述关键帧的互动动作质量分，所述关键帧对应的每一互动动作加质量分1分，需要说明的是，上述互动动作以脸部转动角度为互动动作，在本发明其他较佳实施例中，可采用机器学习算法识别经过关键帧中的特殊画面或特殊动作，并将所述特殊画面和特殊动作计入所述关键帧的质量分，比如所述特殊动作包括但不仅限于转身、倒立、腾空，从而可以将不同的特殊动作计入所述关键帧的采集和筛选过程。

值得一提的是，所述短视频质量筛选方法进一步包括将选定的至少一个筛选评价模型对应的质量分数据根据预设的权值相乘并加1，以获取总筛选模型质量分数，其中所有筛选评价模型质量分数的权值之和为1，将总筛选模型质量分数和所述必要评价模型质量分数相乘，以形成所述关键帧的质量分，所述关键帧质量分为：

P₁＝S₀*(S₁*W₁+1)*(S₂*W₂+1)*(S₃*W₃+1)*(S₄*W₄+1)，其中S₀为必要评价模型质量分；S₁为手势质量分；W₁为该手势质量分权值；S₂显著性质量分，W₂显著性质量分权值；S₃情绪质量分，W₃情绪质量分权值；S₄互动动作质量分，W₄互动动作质量分权值；其中W₁+W₂+W₃+W₄＝1。

进一步的，所述短视频筛选方法获取短视频中多个关键帧的质量分，并获取质量分最高的关键帧为最优帧，计算所述短视频中的所有关键帧质量分的平均值，计关键帧质量分平均值为P₂，最优帧质量分为P₃，设置关键帧平均分权值W₆和最优帧质量分权值W₇，其中W₆+W₇＝1,所述短视频质量分为P＝P₂*W₆+P₃*W₇。

获取短视频质量分后根据所述短视频质量分从高到低进行排序，并根据所述视频质量分从高到低设置从高到低优先级进行播放或传播。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)或GPU执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (4)

1.一种短视频质量筛选方法，其特征在于，所述方法包括如下步骤：

获取目标短视频，并获取目标短视频关键帧；

识别关键帧视频要素；

建立至少一个必要评价模型；

识别关键帧中的人脸视频要素，建立人脸视频要素的必要评价模型，其中所述人脸视频要素的必要评价模型建立方法包括如下步骤：

采集关键帧人脸大小数据、人脸清晰度数据、人脸角度数据和人脸位置数据；

计算人脸大小质量分数、人脸清晰度质量分数、人脸角度质量分数和人脸位置质量分数，并分别设置权重系数，

将人脸大小质量分数、人脸清晰度质量分数、人脸角度质量分数、人脸位置质量分数分别和对应的权重系数相乘并相加以获取短视频人脸视频要素的必要评价模型质量分；

设置人脸视频要素质量分数阈值，若采集的短视频关键帧人脸质量分数大于所述人脸质量分数阈值，则满足人脸视频要素的必要评价模型，否则剔除该关键帧；

建立至少一个筛选评价模型；

所述筛选评价模型包括手势筛选评价模型，通过训练好的手势识别模型识别关键帧中的手势，若关键帧中存在手势，则在所述关键帧中增加手势质量分；

设置显著性筛选评价模型，获取人脸在关键帧中的像素占比，根据人脸在关键帧中的像素占比计算显著性质量分，在所述关键帧中增加所述显著性质量分；

设置情绪筛选评价模型，采用情绪识别模型识别关键帧的人脸情绪，若关键帧中检测到笑脸，则对所述关键帧增加情绪质量分数；

设置互动动作筛选评价模型，采用互动动作模型识别关键帧的互动动作，若关键帧中存在互动动作，则对所述关键帧增加互动动作质量分数；识别关键帧和所述关键帧至少一相邻帧画面中的人脸，计算相邻关键帧和相邻帧之间人脸角度偏移量，并获取人脸最大角度偏移量，设置偏移量阈值，若所述人脸最大角度偏移量大于所述偏移量阈值，则对所述关键帧增加旋转的互动动作质量分数；

将所述视频要素输入必要评价模型，获取必要评价模型质量分，将满足所

述必要评价模型的关键帧输入所有筛选评价模型，获取视频每一筛选评价模型的质量分，计算关键帧的质量分，根据关键帧质量分筛选所述目标短视频；

根据所有筛选评价模型计算所述关键帧质量分数，对每一筛选评价模型设置权值，计算每一筛选评价模型质量分数和对应权值的乘积，调整每一筛选评价模型质量分数，所述调整方法为将每一筛选评价模型质量分数和对应权值乘积后加1，进一步将调整后的每一筛选评价模型质量分数相乘，以获取总筛选评价模型质量分数，所述关键帧质量分为该关键帧必要评价模型质量分数和总筛选评价模型质量分数之乘积。

2.根据权利要求1所述的一种短视频质量筛选方法，其特征在于，获取短视频中质量分数最高的关键帧作为最优帧，获取最优帧的质量分数，并计算所有关键帧的平均值，分别对所述关键帧和最优帧设置权值，将加权后的关键帧质量分数和最优帧质量分数相加，获取目标短视频质量分数。

3.根据权利要求2所述的一种短视频质量筛选方法，其特征在于，计算目标短视频质量分数，并根据该质量分数从高到低将所述目标短视频设置从高到低传播优先级。

4.一种短视频质量筛选系统，其特征在于，所述系统采用上述权利要求1-3中任意一项所述的一种短视频质量筛选方法。