CN114418848A - 视频处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种视频处理方法、装置、存储介质及电子设备，涉及计算机技术领域，该方法包括：从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。本申请可以提升视频播放时与显示界面的适配效果，提升视频播放效果。

Description

视频处理方法、装置、存储介质及电子设备

技术领域

本申请涉及计算机技术领域，具体涉及一种视频处理方法、装置、存储介质及电子设备。

背景技术

随着用户体验的升级，视频播放适配显示界面(如屏幕)对用户体验具有重要的影响。目前，存在根据视频帧的大小与显示界面进行视频后播放视频的方案，但是，目前的方式下由于视频帧中会存在有效画面以为的区域，如黑边等，根据视频帧的大小直接视频播放的方式，还是存在视频播放时与显示界面的适配效果较差，导致视频播放效果较差的问题。

发明内容

本申请实施例提供一种方案，可以有效提升视频播放时与显示界面的适配效果，提升视频播放效果。

本申请实施例提供以下技术方案：

根据本申请的一个实施例，一种视频处理方法，其包括：从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

在本申请的一些实施例中，所述检测每个所述视频帧样本中有效画面的轮廓，包括：将每个所述视频帧样本转化为灰度图像；将每个所述灰度图像进行二值化处理得到二值化图像；提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

在本申请的一些实施例中，所述提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓，包括：将每个所述二值化图像进行直方图均衡化处理，得到直方图均衡化图像；提取每个所述直方图均衡化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

在本申请的一些实施例中，所述将每个所述灰度图像进行二值化处理得到二值化图像，包括：将每个所述灰度图像进行去噪处理得到去噪后图像；将每个所述去噪后图像进行二值化处理得到二值化图像。

在本申请的一些实施例中，所述将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域，包括：从每个所述视频帧样本中检测到的轮廓中确定目标轮廓；针对每个所述视频帧样本中的目标轮廓，将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，得到每个所述视频帧样本中的目标区域。

在本申请的一些实施例中，所述将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，包括：检测所述目标轮廓中的每个像素点的坐标；根据所述每个像素点的坐标，确定最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标；基于所述最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标，计算中心坐标；确定所述目标轮廓中的像素点中，距离所述中心坐标最远的左上角像素点、左下角像素点、右上角像素点及右下角像素点；基于所述左上角像素点、左下角像素点、右上角像素点及右下角像素点对应的最大坐标值及最小坐标值，形成所述矩形区域。

在本申请的一些实施例中，每个所述视频帧样本中检测到至少一个轮廓；所述从每个所述视频帧样本中检测到的轮廓中确定目标轮廓，包括：从每个所述视频帧样本中检测到的至少一个轮廓中确定面积最大的轮廓；将所述面积最大的轮廓确定为所述目标轮廓。

在本申请的一些实施例中，所述从视频中获取多个视频帧作为视频帧样本，包括：从所述视频中确定目标视频片段；从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本。

在本申请的一些实施例中，所述从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，包括：按照公式Ti＝D/(K+2)*i从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，其中，0<i<＝K，K为抽取的视频帧的数目，i为抽取的视频帧的编号，D为所述目标视频片段的时长，Ti为第i个视频帧对应的视频时间点。

在本申请的一些实施例中，所述目标区域为矩形区域；所述计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例，包括：计算每个所述矩形区域的宽度与每个所述矩形区域对应的视频帧样本的宽度之比，得到每个视频帧样本对应的第一比例；计算每个所述矩形区域的高度与每个所述矩形区域对应的视频帧样本的高度之比，得到每个视频帧样本对应的第二比例；将每个视频帧样本对应的第一比例及第二比例中最小的比例，作为每个所述视频帧样本的缩放比例。

在本申请的一些实施例中，所述基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例，包括：将每个所述视频帧样本对应的缩放比例中超过预定比例范围的缩放比例剔除，得到剩余的缩放比例；基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例。

在本申请的一些实施例中，所述基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例，包括：确定所述剩余的缩放比例中的中位数；将所述中位数作为所述视频中所有视频帧的参考缩放比例。

根据本申请的一个实施例，一种视频处理装置，其包括：检测模块，用于从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；扩充模块，用于将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；计算模块，用于计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；分析模块，用于基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；处理模块，用于将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

根据本申请的另一实施例，一种存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本申请实施例所述的方法。

根据本申请的另一实施例，一种电子设备可以包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本申请实施例所述的方法。

本申请实施例中，从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

以这种方式，检测视频中多个视频帧内有效画面的轮廓，通过扩充为包含有效画面的目标区域，计算目标区域视频显示界面时对应视频帧的缩放比例，并融合多个视频帧的缩放比例确定视频中所有视频帧的统一参考缩放比例，基于参考缩放比例缩放处理所有视频帧后，可以高效、准确地使得视频中有效画面可靠地适配显示界面，进而有效提升视频播放时与显示界面的适配效果，提升视频播放效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种可以应用本申请实施例的系统的示意图。

图2示出了根据本申请的一个实施例的视频处理方法的流程图。

图3示出了根据本申请的一个实施例的区域处理方法的流程图。

图4示出了根据本申请的一个实施例的视频处理装置的框图。

图5示出了根据本申请的一个实施例的电子设备的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示意性示出了根据本申请的一个实施例的视频处理方法的流程图。该视频处理方法的执行主体可以是任意的设备，例如手机、平板电脑、智能手表以及家电设备(如智能电视)等。

如图1所示，该视频处理方法可以包括步骤S110至步骤S150。

步骤S110，从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；

步骤S120，将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；

步骤S130，计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；

步骤S140，基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；

步骤S150，将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

多个视频帧即至少2个视频帧，根据抽取策略可以从视频中抽取多个视频帧作为视频帧样本。针对每个视频帧样本可以检测其上的有效画面，有效画面可以是亮度高于预定阈值的画面，预定阈值例如0或1等。针对检测的有效画面可以检测有效画面在视频帧样本中的轮廓，例如有效画面为一个人体时，该轮廓则为人体的外轮廓。

检测到的轮廓通常由于有效画面是不规则形状的，有效画面的轮廓也是不规则的，将每个轮廓扩充为包含有效画面的目标区域，通过目标区域的样式(如形状)的指定，可以根据目标区域进行视频的有效处理。

每个轮廓扩充为目标区域后，通过计算目标区域适配显示界面时目标区域对应的视频帧样本的缩放比例，进而根据该缩放比例缩放视频帧样本后视频帧样本中的目标区域可以有效适配显示界面，使得有效画面也可以有效适配显示画面(如屏幕)，避免目标区域之外的其他区域对显示适配的影响。

针对多个视频帧样本对应的缩放比例，通过融合分析可以进一步确定适合视频中所有视频帧的参考缩放比例，根据该参考缩放比例对视频中所有视频帧进行缩放处理得到目标视频，可以使得目标视频在显示界面中播放时有效视频显示界面。

以这种方式，基于步骤S110至步骤S150，检测视频中多个视频帧内有效画面的轮廓，通过扩充为包含有效画面的目标区域，计算目标区域视频显示界面时对应视频帧的缩放比例，并融合多个视频帧的缩放比例确定视频中所有视频帧的统一参考缩放比例，基于参考缩放比例缩放处理所有视频帧后，可以高效、准确地使得视频中有效画面可靠地适配显示界面，进而有效提升视频播放时与显示界面的适配效果，提升视频播放效果。

下面描述进行视频处理时，所进行的各步骤的具体过程。

步骤S110，从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓。

一种实施例中，参阅图2，步骤S110中，检测每个所述视频帧样本中有效画面的轮廓，包括：

步骤S111，将每个所述视频帧样本转化为灰度图像；步骤S112，将每个所述灰度图像进行二值化处理得到二值化图像；步骤S113，提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

灰度图像即灰度数字图像是每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度。将每个视频帧样本加载到native层并转化成OpenCV需要的BGR格式图像，然后将BGR格式图像将进行灰度化即可得到灰度图像。

二值化图像即只有两种类型(如两中采样颜色)的像素点形成的图像。将每个灰度图像中所有像素点的采样颜色的颜色值根据二值化处理算法可以转化的两种类型(如黑色和白色)，进而形成可以区分前景和背景的二值化图像。

二值化处理算法例如选择固定阈值算法BINARY以及自适应阈值算法OTSU。固定阈值算法BINARY中可以手动设置阈值，当像素点的颜色值大于阈值时，像素点的值取最大阈值，否则设置为0，进而完成二值化。而自适应阈值算法OTSU可以配合固定阈值算法BINARY使用，可以根据像素点分配自动计算合适的分割阈值，而无须手动设置。

转化为二值化图像后，便可以提取每个二值化图像中的两种类型的像素点形成的至少一个轮廓(也即前景区域与背景区域所形成的交界线)，得到每个视频帧样本中有效画面的轮廓。

一种实施例中，参阅图2，步骤S113，提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓，包括：

步骤S1131，将每个所述二值化图像进行直方图均衡化处理，得到直方图均衡化图像；步骤S1132，提取每个所述直方图均衡化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

直方图均衡化(Histogram equalization)处理即对二值化图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减，提升二值化图像的清晰度得到直方图均衡化图像，直方图均衡化图像的对比度高，可以提升轮廓提取的准确性。其中，可以使用OpenCV开源库的findContours()方法提取直方图均衡化图像中的所有轮廓，最终得到至少一个轮廓的集合。

一种实施例中，参阅图2，步骤S112，将每个所述灰度图像进行二值化处理得到二值化图像，包括：步骤S1121，将每个所述灰度图像进行去噪处理得到去噪后图像；步骤S1122，将每个所述去噪后图像进行二值化处理得到二值化图像。

对灰度图像进行去噪处理，可以防止图像中的噪点影响轮廓的生成，其中，可以通过高斯滤波对灰度图像进行滤波处理，将灰度图像中的当前像素作为核中心，利用卷积核对当前像素的周围邻域像素作加权平均，其加权平均后的值作为当前像素的新值。去噪处理后得到去噪后图像进行后续处理时进一步提升轮廓提取的准确性。

一种实施例中，步骤S110中，从视频中获取多个视频帧作为视频帧样本，包括：从所述视频中确定目标视频片段；从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本。

目标视频片段可以根据实际情况指定，一个示例中目标视频片段为视频全部片段，一个示例中目标视频片段为视频中的中间片段，中间片段例如视频均匀划分为4段后中间的2段。

从目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，可以保证后续步骤基于视频帧样本进行处理的可靠性。

一种实施例中，所述从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，包括：

按照公式Ti＝D/(K+2)*i从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，其中，0<i<＝K，K为抽取的视频帧的数目，i为抽取的视频帧的编号，D为所述目标视频片段的时长，Ti为第i个视频帧对应的视频时间点。基于该公式从目标视频片段中提起视频帧样本，申请人发现可以有效提升后续步骤基于视频帧样本进行处理的可靠性。

步骤S120，将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域。

一种实施例中，所述将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域，包括：

从每个所述视频帧样本中检测到的轮廓中确定目标轮廓；针对每个所述视频帧样本中的目标轮廓，将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，得到每个所述视频帧样本中的目标区域。

每个视频帧样本中可以检测到至少一个轮廓，目前轮廓可以是其中根据情况选定的一个轮廓。针对目标轮廓进行扩充得到包含有效画面且面积最小的矩形区域作为目标区域，有效视频矩阵的屏幕同时有效界面可以有效视频屏幕。

一种实施例中，所述将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，包括：检测所述目标轮廓中的每个像素点的坐标；根据所述每个像素点的坐标，确定最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标；基于所述最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标，计算中心坐标；确定所述目标轮廓中的像素点中，距离所述中心坐标最远的左上角像素点、左下角像素点、右上角像素点及右下角像素点；基于所述左上角像素点、左下角像素点、右上角像素点及右下角像素点对应的最大坐标值及最小坐标值，形成所述矩形区域。

参阅图3，通过对目标轮廓中的像素点集C_max进行多边形逼近可以得到每个像素点的坐标，每个像素点的坐标包括横坐标x及纵坐标y，进而找到轮廓的拟合多边形点集DP＝{(x，y)}。

遍历拟合多边形点集DP＝{(x，y)}，可以根据每个像素点的坐标确定最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标，即得到点集DP＝{(x，y)}中X_min、X_max、Y_min以及Y_max。

根据C_x＝(X_max-X_min)/2、C_y＝(Y_max-Y_min)/2，可以计算得到目标轮廓的中心点的中心坐标(C_x，C_y)。

遍历拟合多边形点集DP＝{(x，y)}，可以找到离中心坐标(C_x，C_y)最远的左上角的左上角像素点、左下角的左下角像素点、右上角的右上角像素点及右下角的右下角像素点，形成点集P＝{P_i，0<＝i<4}。

若点集P＝{P_i，0<＝i<4}中存在四个点，可以遍历点集P＝{P_i，0<＝i<4}，找的最大与最小的坐标值(最大坐标值及最小坐标值)，得到点集P＝{P_i，0<＝i<4}中X_min、X_max、Y_min以及Y_max。根据点集P＝{Pi，0<＝i<4}中X_min、X_max、Y_min以及Y_max这四个坐标值构造对称的长方形即矩形区域。

一种实施例中，每个所述视频帧样本中检测到至少一个轮廓；所述从每个所述视频帧样本中检测到的轮廓中确定目标轮廓，包括：从每个所述视频帧样本中检测到的至少一个轮廓中确定面积最大的轮廓；将所述面积最大的轮廓确定为所述目标轮廓。

进一步参阅图3，每个视频帧样本中检测到至少一个轮廓，可以形成轮廓集合C，对集合C按照轮廓面积降序排序，可以选择面积最大的轮廓C_max，将面积最大的轮廓C_max确定为目标轮廓，进一步提升视频处理效果。

步骤S130，计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例。

一种实施例中，所述目标区域为矩形区域；步骤S130，计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例，包括：

计算每个所述矩形区域的宽度与每个所述矩形区域对应的视频帧样本的宽度之比，得到每个视频帧样本对应的第一比例；计算每个所述矩形区域的高度与每个所述矩形区域对应的视频帧样本的高度之比，得到每个视频帧样本对应的第二比例；将每个视频帧样本对应的第一比例及第二比例中最小的比例，作为每个所述视频帧样本的缩放比例。

以这种方式，将第一比例及第二比例中最小值作为对应的视频帧样本的缩放比例，可以使得视频帧样本缩放处理后其中的矩形区域至少有对称的两边贴着显示界面边缘且有效画面完全显示。

进一步的，一种实施例中，所述目标区域为任意形状区域；步骤S130，计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例，包括：计算每个所述任意形状区域的第一面积并获取每个所述任意形状区域内有效面积的轮廓中像素点的数量；获取所述视频中视频帧的第二面积；计算每个所述任意形状区域的第一面积与所述第二面积的比值，得到每个所述任意形状区域对应的比值；从预设调整表中获取每个任意形状区域内有效面积的轮廓中像素点的数量对应的调整系数，得到每个任意形状区域对应的调整系数，将每个所述任意形状区域对应的比值与调整系数相乘的目标值，作为每个任意形状区域对应的视频帧样本的缩放比例。

以这种方式申请人发现可以对视频帧样本中根据需求扩充任意形状区域时，也可以进行显示界面的有效适配。

步骤S140，基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例。

一种实施例中，步骤S140基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例，包括：将每个所述视频帧样本对应的缩放比例中超过预定比例范围的缩放比例剔除，得到剩余的缩放比例；基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例。

预定比例范围即预定的一个缩放比例的范围，例如1～1.3。若每个视频帧样本对应的缩放比例的集合为R＝{R_i|0<＝i<K}，超过预定比例范围的缩放比例剔除后，得到剩余的缩放比例构成的集合R_r＝{R_i|1<＝Ri<＝1.3}。基于剩余的缩放比例确定视频中所有视频帧的参考缩放比例，可以进一步提升参考缩放比例的可靠性。

一种实施例中，所述基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例，包括：确定所述剩余的缩放比例中的中位数；将所述中位数作为所述视频中所有视频帧的参考缩放比例。

将剩余的缩放比例进行排序，可以选择排名位于中间的缩放比例作为中位数，也可以将剩余的缩放比例的平均值作为中位数，将中位数作为视频中所有视频帧的参考缩放比例可以可靠的适用于视频中所有视频帧。

步骤S150，将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

将视频中所有视频帧按照统一的参考缩放比例进行缩放，得到目标视频，目标视频在显示界面中播放时可以使得初始的视频中有效画面良好的适配显示界面，有效避免视频帧内有效画面之外的其他黑边的内容的播放体验影响。

为便于更好的实施本申请实施例提供的视频处理方法，本申请实施例还提供一种基于上述视频处理方法的视频处理装置。其中名词的含义与上述视频处理方法中相同，具体实现细节可以参考方法实施例中的说明。图4示出了根据本申请的一个实施例的视频处理装置的框图。

如图4所示，视频处理装置200中可以包括检测模块210、扩充模块220、计算模块230、分析模块240以及处理模块250。

检测模块210可以用于从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；扩充模块220可以用于将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；计算模块230可以用于计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；分析模块240可以用于基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；处理模块250可以用于将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

在本申请的一些实施例中，所述检测模块210，包括：转化单元，用于将每个所述视频帧样本转化为灰度图像；二值化单元，用于将每个所述灰度图像进行二值化处理得到二值化图像；提取单元，用于提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

在本申请的一些实施例中，所述提取单元，用于：将每个所述二值化图像进行直方图均衡化处理，得到直方图均衡化图像；提取每个所述直方图均衡化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

在本申请的一些实施例中，所述二值化单元，用于：将每个所述灰度图像进行去噪处理得到去噪后图像；将每个所述去噪后图像进行二值化处理得到二值化图像。

在本申请的一些实施例中，所述扩充模块220，包括：轮廓确定单元，用于从每个所述视频帧样本中检测到的轮廓中确定目标轮廓；轮廓扩充单元，用于针对每个所述视频帧样本中的目标轮廓，将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，得到每个所述视频帧样本中的目标区域。

在本申请的一些实施例中，所述轮廓扩充单元，用于：检测所述目标轮廓中的每个像素点的坐标；根据所述每个像素点的坐标，确定最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标；基于所述最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标，计算中心坐标；确定所述目标轮廓中的像素点中，距离所述中心坐标最远的左上角像素点、左下角像素点、右上角像素点及右下角像素点；基于所述左上角像素点、左下角像素点、右上角像素点及右下角像素点对应的最大坐标值及最小坐标值，形成所述矩形区域。

在本申请的一些实施例中，每个所述视频帧样本中检测到至少一个轮廓；所述轮廓确定单元，用于：从每个所述视频帧样本中检测到的至少一个轮廓中确定面积最大的轮廓；将所述面积最大的轮廓确定为所述目标轮廓。

在本申请的一些实施例中，所述检测模块210，包括视频帧抽取单元，用于：从所述视频中确定目标视频片段；从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本。

在本申请的一些实施例中，所述视频帧抽取单元，用于：按照公式Ti＝D/(K+2)*i从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，其中，0<i<＝K，K为抽取的视频帧的数目，i为抽取的视频帧的编号，D为所述目标视频片段的时长，Ti为第i个视频帧对应的视频时间点。

在本申请的一些实施例中，所述目标区域为矩形区域；所述计算模块230用于：计算每个所述矩形区域的宽度与每个所述矩形区域对应的视频帧样本的宽度之比，得到每个视频帧样本对应的第一比例；计算每个所述矩形区域的高度与每个所述矩形区域对应的视频帧样本的高度之比，得到每个视频帧样本对应的第二比例；将每个视频帧样本对应的第一比例及第二比例中最小的比例，作为每个所述视频帧样本的缩放比例。

在本申请的一些实施例中，所述分析模块240，包括剔除单元，用于：将每个所述视频帧样本对应的缩放比例中超过预定比例范围的缩放比例剔除，得到剩余的缩放比例；比例确定单元，用于基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例。

在本申请的一些实施例中，所述比例确定单元，用于：确定所述剩余的缩放比例中的中位数；将所述中位数作为所述视频中所有视频帧的参考缩放比例。

以这种方式，基于视频处理装置200，可以检测视频中多个视频帧内有效画面的轮廓，通过扩充为包含有效画面的目标区域，计算目标区域视频显示界面时对应视频帧的缩放比例，并融合多个视频帧的缩放比例确定视频中所有视频帧的统一参考缩放比例，基于参考缩放比例缩放处理所有视频帧后，可以高效、准确地使得视频中有效画面可靠地适配显示界面，进而有效提升视频播放时与显示界面的适配效果，提升视频播放效果。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，本申请实施例还提供一种电子设备，该电子设备可以为终端或者服务器，如图5所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器301是该电子设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行计算机设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器301可包括一个或多个处理核心；优选的，处理器301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。

存储器302可用于存储软件程序以及模块，处理器301通过运行存储在存储器302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器302还可以包括存储器控制器，以提供处理器301对存储器302的访问。

电子设备还包括给各个部件供电的电源303，优选的，电源303可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元304，该输入单元304可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器301会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现本申请前述实施例中各种功能，如处理器301可以执行下述步骤：

从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

在本申请的一些实施例中，所述检测每个所述视频帧样本中有效画面的轮廓时，处理器301可以执行：将每个所述视频帧样本转化为灰度图像；将每个所述灰度图像进行二值化处理得到二值化图像；提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

在本申请的一些实施例中，所述提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓时，处理器301可以执行：将每个所述二值化图像进行直方图均衡化处理，得到直方图均衡化图像；提取每个所述直方图均衡化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

在本申请的一些实施例中，所述将每个所述灰度图像进行二值化处理得到二值化图像时，处理器301可以执行：将每个所述灰度图像进行去噪处理得到去噪后图像；将每个所述去噪后图像进行二值化处理得到二值化图像。

在本申请的一些实施例中，所述将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域时，处理器301可以执行：从每个所述视频帧样本中检测到的轮廓中确定目标轮廓；针对每个所述视频帧样本中的目标轮廓，将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，得到每个所述视频帧样本中的目标区域。

在本申请的一些实施例中，所述将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域时，处理器301可以执行：检测所述目标轮廓中的每个像素点的坐标；根据所述每个像素点的坐标，确定最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标；基于所述最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标，计算中心坐标；确定所述目标轮廓中的像素点中，距离所述中心坐标最远的左上角像素点、左下角像素点、右上角像素点及右下角像素点；基于所述左上角像素点、左下角像素点、右上角像素点及右下角像素点对应的最大坐标值及最小坐标值，形成所述矩形区域。

在本申请的一些实施例中，每个所述视频帧样本中检测到至少一个轮廓；所述从每个所述视频帧样本中检测到的轮廓中确定目标轮廓时，处理器301可以执行：从每个所述视频帧样本中检测到的至少一个轮廓中确定面积最大的轮廓；将所述面积最大的轮廓确定为所述目标轮廓。

在本申请的一些实施例中，所述从视频中获取多个视频帧作为视频帧样本时，处理器301可以执行：从所述视频中确定目标视频片段；从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本。

在本申请的一些实施例中，所述从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本时，处理器301可以执行：按照公式Ti＝D/(K+2)*i从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，其中，0<i<＝K，K为抽取的视频帧的数目，i为抽取的视频帧的编号，D为所述目标视频片段的时长，Ti为第i个视频帧对应的视频时间点。

在本申请的一些实施例中，所述目标区域为矩形区域；所述计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例时，处理器301可以执行：计算每个所述矩形区域的宽度与每个所述矩形区域对应的视频帧样本的宽度之比，得到每个视频帧样本对应的第一比例；计算每个所述矩形区域的高度与每个所述矩形区域对应的视频帧样本的高度之比，得到每个视频帧样本对应的第二比例；将每个视频帧样本对应的第一比例及第二比例中最小的比例，作为每个所述视频帧样本的缩放比例。

在本申请的一些实施例中，所述基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例时，处理器301可以执行：将每个所述视频帧样本对应的缩放比例中超过预定比例范围的缩放比例剔除，得到剩余的缩放比例；基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例。

在本申请的一些实施例中，所述基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例时，处理器301可以执行：确定所述剩余的缩放比例中的中位数；将所述中位数作为所述视频中所有视频帧的参考缩放比例。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种方法中的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的实施例，而可以在不脱离其范围的情况下进行各种修改和改变。

Claims (15)

1.一种视频处理方法，其特征在于，包括：

从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；

将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；

计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；

基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；

将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

2.根据权利要求1所述的方法，其特征在于，所述检测每个所述视频帧样本中有效画面的轮廓，包括：

将每个所述视频帧样本转化为灰度图像；

将每个所述灰度图像进行二值化处理得到二值化图像；

提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

3.根据权利要求2所述的方法，其特征在于，所述提取每个所述二值化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓，包括：

将每个所述二值化图像进行直方图均衡化处理，得到直方图均衡化图像；

提取每个所述直方图均衡化图像中的两种类型的像素点形成的至少一个轮廓，得到每个所述视频帧样本中有效画面的轮廓。

4.根据权利要求2所述的方法，其特征在于，所述将每个所述灰度图像进行二值化处理得到二值化图像，包括：

将每个所述灰度图像进行去噪处理得到去噪后图像；

将每个所述去噪后图像进行二值化处理得到二值化图像。

5.根据权利要求1所述的方法，其特征在于，所述将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域，包括：

从每个所述视频帧样本中检测到的轮廓中确定目标轮廓；

针对每个所述视频帧样本中的目标轮廓，将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，得到每个所述视频帧样本中的目标区域。

6.根据权利要求5所述的方法，其特征在于，所述将所述目标轮廓扩充为包含有效画面且面积最小的矩形区域，包括：

检测所述目标轮廓中的每个像素点的坐标；

根据所述每个像素点的坐标，确定最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标；

基于所述最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标，计算中心坐标；

确定所述目标轮廓中的像素点中，距离所述中心坐标最远的左上角像素点、左下角像素点、右上角像素点及右下角像素点；

基于所述左上角像素点、左下角像素点、右上角像素点及右下角像素点对应的最大坐标值及最小坐标值，形成所述矩形区域。

7.根据权利要求5所述的方法，其特征在于，每个所述视频帧样本中检测到至少一个轮廓；

所述从每个所述视频帧样本中检测到的轮廓中确定目标轮廓，包括：

从每个所述视频帧样本中检测到的至少一个轮廓中确定面积最大的轮廓；

将所述面积最大的轮廓确定为所述目标轮廓。

8.根据权利要求1所述的方法，其特征在于，所述从视频中获取多个视频帧作为视频帧样本，包括：

从所述视频中确定目标视频片段；

从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本。

9.根据权利要求8所述的方法，其特征在于，所述从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，包括：

按照公式Ti＝D/(K+2)*i从所述目标视频片段中按照预定时间间隔抽取多个视频帧作为视频帧样本，其中，0<i<＝K，K为抽取的视频帧的数目，i为抽取的视频帧的编号，D为所述目标视频片段的时长，Ti为第i个视频帧对应的视频时间点。

10.根据权利要求1所述的方法，其特征在于，所述目标区域为矩形区域；所述计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例，包括：

计算每个所述矩形区域的宽度与每个所述矩形区域对应的视频帧样本的宽度之比，得到每个视频帧样本对应的第一比例；

计算每个所述矩形区域的高度与每个所述矩形区域对应的视频帧样本的高度之比，得到每个视频帧样本对应的第二比例；

将每个视频帧样本对应的第一比例及第二比例中最小的比例，作为每个所述视频帧样本的缩放比例。

11.根据权利要求1所述的方法，其特征在于，所述基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例，包括：

将每个所述视频帧样本对应的缩放比例中超过预定比例范围的缩放比例剔除，得到剩余的缩放比例；

基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例。

12.根据权利要求11所述的方法，其特征在于，所述基于所述剩余的缩放比例确定所述视频中所有视频帧的参考缩放比例，包括：

确定所述剩余的缩放比例中的中位数；

将所述中位数作为所述视频中所有视频帧的参考缩放比例。

13.一种视频处理装置，其特征在于，包括：

检测模块，用于从视频中获取多个视频帧作为视频帧样本，并检测每个所述视频帧样本中有效画面的轮廓；

扩充模块，用于将每个所述视频帧样本中的所述轮廓扩充为包含有效画面的目标区域；

计算模块，用于计算每个所述目标区域适配显示界面时每个所述目标区域对应的视频帧样本的缩放比例；

分析模块，用于基于每个所述视频帧样本对应的缩放比例进行融合分析，确定所述视频中所有视频帧的参考缩放比例；

处理模块，用于将所述视频中的视频帧根据所述参考缩放比例进行缩放处理，得到适配所述显示界面的目标视频。

14.一种存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至12任一项所述的方法。

15.一种电子设备，其特征在于，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行权利要求1至12任一项所述的方法。

Images