CN114120196A - 一种高光视频处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种高光视频处理方法、装置、存储介质及电子设备，该方法包括：对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；根据多个维度的预设评价指标计算目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对高光时刻视频进行综合评分；根据目标人物在每一个视频图像中的位置确定目标人物在每一个视频图像中的出框率；根据出框率对综合评分结果进行调整；根据调整后的综合评分结果及预设阈值对高光时刻视频中的图像进行筛选得到满足条件的高光视频。该方法大幅度减少了计算量和计算时长，提高了目标人物高光视频的质量。

Description

一种高光视频处理方法、装置、存储介质及电子设备

技术领域

本发明涉及计算机技术领域，具体涉及一种高光视频处理方法、装置、存储介质及电子设备。

背景技术

随着互联网的发展，人们通过网络平台观看视频、社交等需求日益增加。其中，视频网站的受众也越来越广泛，用户可以观看各类视频，并能实时与主播或者他人互动。在这个过程中，用户希望可以了解视频中的高光视频片段(例如精彩片段)，在观看实时直播或其他视频时，可以挑选自己更关注的视频片段。但是采用现有技术获取的高光视频片段质量较差，例如获取的高光视频片段中用户出现时间较短等，导致用户体验不好。

发明内容

有鉴于此，本发明实施例提供了涉及一种高光视频处理方法、装置、存储介质及电子设备，以解决现有技术中获取的高光视频片段质量较差的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种高光视频处理方法，该高光视频处理方法包括：对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；根据多个维度的预设评价指标计算所述目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对所述高光时刻视频进行综合评分；根据所述目标人物在每一个视频图像中的位置确定所述目标人物在每一个视频图像中的出框率；根据所述出框率对所述综合评分结果进行调整；根据调整后的综合评分结果及预设阈值对所述高光时刻视频中的图像进行筛选得到满足条件的高光视频。

可选地，所述对获取的高光时刻视频中用户的身份进行匹配，得到目标人物的高光时刻视频，包括：获取所述获取的高光时刻视频中出现的人物视频图像；根据以图搜图的方法在所述人物视频图像中确定所述目标人物的视频图像；根据所述视频图像确定目标人物的高光时刻视频。

可选地，所述根据以图搜图的方法在所述人物视频图像中确定所述目标人物的视频图像，包括：根据人脸重识别方法确定所述目标人物。

可选地，所述预设评价指标包括：潜在高光的置信度、图搜众数占比、人头中心点位置变化、人头像素值变化和图像质量中的任意多种。

本发明实施例第二方面提供一种高光视频处理装置，该高光视频处理装置包括：匹配模块，用于对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；处理模块，用于根据多个维度的预设评价指标计算所述目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对所述高光时刻视频进行综合评分；确定模块，用于根据所述目标人物在每一个视频图像中的位置确定所述目标人物在每一个视频图像中的出框率；调整模块，用于根据所述出框率对所述综合评分结果进行调整；筛选模块，用于根据调整后的综合评分结果及预设阈值对所述高光时刻视频中的图像进行筛选得到满足条件的高光视频。

可选地，所述匹配模块包括：获取模块，用于获取所述高光时刻视频中出现的人物视频图像；第一确定模块，用于根据以图搜图的方法在所述人物视频图像中确定所述目标人物的视频图像；第二确定模块，用于根据所述视频图像确定目标人物的高光时刻视频。

可选地，所述第一确定模块包括：第三确定模块，用于根据人脸重识别方法确定所述目标人物。

可选地，所述预设评价指标包括：潜在高光的置信度、图搜众数占比、人头中心点位置变化、人头像素值变化和图像质量中的任意多种。

本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的高光视频处理方法。

本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的高光视频处理方法。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的高光视频处理方法，对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；根据多个维度的预设评价指标计算所述目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对所述高光时刻视频进行综合评分；根据所述目标人物在每一个视频图像中的位置确定所述目标人物在每一个视频图像中的出框率；根据所述出框率对所述综合评分结果进行调整；根据调整后的综合评分结果及预设阈值对所述高光时刻视频中的图像进行筛选得到满足条件的高光视频。该方法对高光时刻视频设置评价指标，并根据评价指标的权重对高光时刻视频进行综合评分，大幅度减少了计算量和计算时长；根据出框率对综合评分结果进行调整，提高了目标人物高光视频的质量。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的高光视频处理方法的流程图；

图2是根据本发明实施例的高光视频图像示意图；

图3是根据本发明实施例的高光视频处理装置的结构框图；

图4是根据本发明实施例提供的计算机可读存储介质的结构示意图；

图5是根据本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种高光视频处理方法，如图1所示，该方法包括如下步骤：

步骤S101：对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频。具体地，在摄像视频中获取高光时刻视频，并对该高光时刻视频中目标人物的身份进行匹配，然后得到目标人物的高光时刻视频。如当获取的视频为幼儿园内摄像头采集的视频，目标人物可以为幼儿园小孩等；获取的高光时刻视频可以指幼儿园小孩日常活动中的精彩视频片段，包括开心、搞怪、跳舞、玩游戏等一系列有趣的画面。

步骤S102：根据多个维度的预设评价指标计算目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对高光时刻视频进行综合评分。具体地，在获取目标人物的高光时刻视频之后，为该高光时刻视频多个维度设置评价指标，根据设置的评价指标可以计算得到该高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，然后获取不同维度的预设评价指标对应的权重，结合该权重计算可以得到高光时刻视频的综合分值。其中，不同维度的预设评价指标对应的权重可以根据获取的高光时刻视频的效果赋予不同的数值；不同维度的预设评价指标对应的权重之和为100；本申请实施例对不同维度的预设评价指标对应的权重不作具体限定，只要能满足需求即可。

步骤S103：根据目标人物在每一个视频图像中的位置确定目标人物在每一个视频图像中的出框率。具体地，在得到高光时刻视频的综合分值之后，再根据目标人物在每一个视频图像中的位置确定目标人物在每一个视频图像中的出框率，保证最后获取的高光时刻视频中该目标人物的出镜率。其中，出框率＝出框尺寸/实际尺寸，具体地，实际尺寸指目标人物图像的尺寸；出框尺寸指目标人物不在当前视频图像中的图像尺寸。

在一实施例中，如图2所示，目标人物的高光时刻视频图像a，目标人物图像b。其中，d则为目标人物在该视频图像中的出框图像，则当前时刻目标人物的出框率为：c的尺寸/b的尺寸。

步骤S104：根据出框率对综合评分结果进行调整。具体地，得到目标人物在每一个视频图像中的出框率之后，根据该出框率在综合评分结果的基础上根据预设阈值对得到的综合评分结果执行减分操作，调整并得到目标人物高光时刻视频的最终综合评分结果。

在一实施例中，根据的出框率对综合评分结果的调整方式可以是：当出框率大于50％时，直接在综合评分结果的基础上减40分；当出框率小于50％时，根据以下公式进行计算：

cut_score＝10^2x×4

式中，cut_score表示需要减掉的分值；x表示出框率。

具体地，当x＝10％时，大约减掉6.3分；当x＝20％时，大约减掉10分；当x＝30％时，大约减掉15.9分；当x＝40％时，大约减掉25.2分；当x＝0时，不执行减分操作。本申请实施例对上述分值调整方式不作限定，本领域技术人员可以根据实际需要确定。

步骤S105：根据调整后的综合评分结果及预设阈值对高光时刻视频中的图像进行筛选得到满足条件的高光视频。具体地，调整综合评分结果之后，根据预设阈值对综合评分结果进行筛选，筛选之后得到的高光时刻视频即为满足条件的高质量的高光视频。其中，预设阈值大于等于60、小于等于100即可。具体地，预设阈值越高，得到的高光视频质量越高。

在一实施例中，设置预设阈值为80，则将综合评分结果大于等于70的视频图像筛选出来并得到目标人物的高光视频。

本发明实施例提供的高光视频处理方法，对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；根据多个维度的预设评价指标计算目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对高光时刻视频进行综合评分；根据目标人物在每一个视频图像中的位置确定目标人物在每一个视频图像中的出框率；根据出框率对综合评分结果进行调整；根据调整后的综合评分结果及预设阈值对高光时刻视频中的图像进行筛选得到满足条件的高光视频。该方法对高光时刻视频设置评价指标，并根据评价指标的权重对高光时刻视频进行综合评分，大幅度减少了计算量和计算时长；根据出框率对综合评分结果进行调整，提高了目标人物高光视频的质量。

作为本发明实施例一种可选的实施方式，对获取的高光时刻视频中用户的身份进行匹配，得到目标人物的高光时刻视频时，首先获取高光时刻视频中出现的人物视频图像，然后根据人脸重识别方法以及以图搜图的方法并结合目标人物的原始图像确定该高光时刻视频中目标人物的视频图像。其中，目标人物的原始图像指在任意状态下的人物本身的图像。

具体地，获取高光时刻视频中出现的所有人物视频图像之后，结合目标人物的原始图像并利用以图搜图的方法在所有人物视频图像中进行搜索，可以在所有人物视频图像中确定目标人物的视频图像。此时，得到的目标人物的视频图像是静态的、片面的，因此，在确定该高光时刻视频中目标人物的视频图像之后，利用人脸重识别方法可以进一步确定目标任务的身份，并根据匹配成功的身份结合之前得到的目标人物的视频图像最终确定该高光时刻视频中目标人物的视频图像，然后根据该视频图像可以确定目标人物的高光时刻视频。其中，最终获取的目标人物的视频图像为目标人物在任意状态、任意时刻下的视频图像。

在一实施例中，结合目标人物的原始图像并利用以图搜图的方法在所有人物视频图像中进行搜索之后，得到了目标人物A的面向视频的正面视频图像，经过人脸重识别方法确定目标任务的身份之后，可以得到目标人物在该高光时刻视频中处于任意状态时的视频图像，最后，根据该视频图像确定目标人物的高光时刻视频。其中。人脸重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定人的技术，解决了固定摄像头的视觉局限。具体地，给定任意一张目标人物的图像就可以检索出该目标人物任意场景、任意状态下的图像。

作为本发明实施例一种可选的实施方式，预设评价指标包括：潜在高光的置信度、图搜众数占比、人头中心点位置变化、人头像素值变化和图像质量中的任意多种。具体地，对预设评价指标做归一化处理：

潜在高光的置信度＝检测帧中所有高光属性的置信度均值；

图搜众数占比＝图搜众数/图搜数目；

人头中心点位置变化＝(单张人头中心点位置变化－人头中心点位置变化均值)/人头中心点位置变化方差；

人头像素值变化＝(单张人头像素值变化－人头像素值变化均值)/人头像素值变化方差；

图像质量＝(单张图片质量－图片质量均值)/图片质量方差。

作为本发明实施例一种可选的实施方式，步骤S102，具体地，对高光时刻视频进行综合评分：

高光视频分值＝N1＊置信度+N2＊人头像素变化+N3＊图搜众数占比+N4＊图像质量+N5＊人头中心点变化。

其中，N1+N2+N3+N4+N5＝100，即视频的满分为100分。

本发明实施例还提供一种高光视频处理装置，如图3所示，该装置包括：

匹配模块401，用于对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；详细内容参见上述方法实施例中步骤S101的相关描述。

处理模块402，用于根据多个维度的预设评价指标计算目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对高光时刻视频进行综合评分；详细内容参见上述方法实施例中步骤S102的相关描述。

确定模块403，用于根据目标人物在每一个视频图像中的位置确定目标人物在每一个视频图像中的出框率；详细内容参见上述方法实施例中步骤S103的相关描述。

调整模块404，用于根据出框率对综合评分结果进行调整；详细内容参见上述方法实施例中步骤S104的相关描述。

筛选模块405，用于根据调整后的综合评分结果及预设阈值对高光时刻视频中的图像进行筛选得到满足条件的高光视频；详细内容参见上述方法实施例中步骤S105的相关描述。

本发明实施例提供的高光视频处理装置，对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；根据多个维度的预设评价指标计算目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对高光时刻视频进行综合评分；根据目标人物在每一个视频图像中的位置确定目标人物在每一个视频图像中的出框率；根据出框率对综合评分结果进行调整；根据调整后的综合评分结果及预设阈值对高光时刻视频中的图像进行筛选得到满足条件的高光视频。该方法对高光时刻视频设置评价指标，并根据评价指标的权重对高光时刻视频进行综合评分，大幅度减少了计算量和计算时长；根据出框率对综合评分结果进行调整，提高了目标人物高光视频的质量。

作为本发明实施例一种可选的实施方式，匹配模块包括：获取模块，用于获取高光时刻视频中出现的人物视频图像；第一确定模块，用于根据以图搜图的方法在人物视频图像中确定目标人物的视频图像；第二确定模块，用于根据视频图像确定目标人物的高光时刻视频。

作为本发明实施例一种可选的实施方式，第一确定模块包括：第三确定模块，用于根据人脸重识别方法确定目标人物。

作为本发明实施例一种可选的实施方式，预设评价指标包括：潜在高光的置信度、图搜众数占比、人头中心点位置变化、人头像素值变化和图像质量中的任意多种。

本发明实施例提供的高光视频处理装置的功能描述详细参见上述实施例中高光视频处理方法描述。

本发明实施例还提供一种存储介质，如图4所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中高光视频处理方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的高光视频处理方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－2所示实施例中的高光视频处理方法。

上述电子设备具体细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种高光视频处理方法，其特征在于，包括如下步骤：

对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；

根据多个维度的预设评价指标计算所述目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对所述高光时刻视频进行综合评分；

根据所述目标人物在每一个视频图像中的位置确定所述目标人物在每一个视频图像中的出框率；

根据所述出框率对所述综合评分结果进行调整；

根据调整后的综合评分结果及预设阈值对所述高光时刻视频中的图像进行筛选得到满足条件的高光视频。

2.根据权利要求1所述的方法，其特征在于，所述对获取的高光时刻视频中用户的身份进行匹配，得到目标人物的高光时刻视频，包括：

获取所述高光时刻视频中出现的人物视频图像；

根据以图搜图的方法在所述人物视频图像中确定所述目标人物的视频图像；

根据所述视频图像确定目标人物的高光时刻视频。

3.根据权利要求2所述的方法，其特征在于，所述根据以图搜图的方法在所述人物视频图像中确定所述目标人物的视频图像，包括：根据人脸重识别方法确定所述目标人物。

4.根据权利要求1所述的方法，其特征在于，所述预设评价指标包括：潜在高光的置信度、图搜众数占比、人头中心点位置变化、人头像素值变化和图像质量中的任意多种。

5.一种高光视频处理装置，其特征在于，包括：

匹配模块，用于对获取的高光时刻视频进行身份匹配，得到目标人物的高光时刻视频；

处理模块，用于根据多个维度的预设评价指标计算所述目标人物的高光时刻视频中每一个图像在每一个维度的预设评价指标下的分值，并获取不同维度的预设评价指标对应的权重对所述高光时刻视频进行综合评分；

确定模块，用于根据所述目标人物在每一个视频图像中的位置确定所述目标人物在每一个视频图像中的出框率；

调整模块，用于根据所述出框率对所述综合评分结果进行调整；

筛选模块，用于根据调整后的综合评分结果及预设阈值对所述高光时刻视频中的图像进行筛选得到满足条件的高光视频。

6.根据权利要求5所述的装置，其特征在于，所述匹配模块，包括：

获取模块，用于获取所述高光时刻视频中出现的人物视频图像；

第一确定模块，用于根据以图搜图的方法在所述人物视频图像中确定所述目标人物的视频图像；

第二确定模块，用于根据所述视频图像确定目标人物的高光时刻视频。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块，包括：

第三确定模块，用于根据人脸重识别方法确定所述目标人物。

8.根据权利要求5所述的装置，其特征在于，所述预设评价指标包括：潜在高光的置信度、图搜众数占比、人头中心点位置变化、人头像素值变化和图像质量中的任意多种。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－4任一项所述的高光视频处理方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－4任一项所述的高光视频处理方法。

Images