CN111182094A - 一种视频文件的处理方法及装置 - Google Patents

Abstract

本申请提供一种视频文件的处理方法及装置，用于解决具有异形显示屏的终端播放视频文件时，无法完整地显示视频文件中的图像对象的问题。该方法包括：获取待播放的视频文件，待播放的视频文件用于在终端的异形显示屏上播放，终端还包括遮挡部件，遮挡部件与异形显示屏在终端的第一面上形成矩形区域；提取待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，第一区域为矩形区域中与遮挡部件对应的区域，第i帧图像为视频文件包括的N帧图像中的任意一帧图像；将第i帧图像中需要在第一区域显示的图像对象移动至第i帧图像中的第二区域中，第二区域中的图像对象在异形显示屏上显示。

Description

一种视频文件的处理方法及装置

技术领域

本申请涉及电子技术领域，尤其涉及一种视频文件的处理方法及装置。

背景技术

为了扩大显示屏的有效显示面积，现有很多终端的显示屏采用异形显示屏。异形显示屏与终端的遮挡部件在第一面上形成矩形区域。异形显示屏的形状一般不是矩形。异形显示屏，例如刘海显示屏。一般在终端播放视频文件之前，对视频文件进行处理，使得视频文件与终端的异形显示屏能够相对适应。具体处理方法如下。

获取终端的矩形区域的总面积大小与视频的大小的比例，将视频文件按照比例缩小或放大，从而使得视频文件相对适应终端的矩形区域。但是由于视频文件中的每帧图像一般是呈矩形显示的，对视频文件按照比例缩小或者放大之后，视频文件是与异形显示屏和遮挡部件的总面积相适应的，这样就会导致视频文件每帧图像中落入终端的遮挡部件的图像对象无法显示，导致用户观看视频的体验差。

发明内容

本申请提供一种视频文件的处理方法及装置，用于解决具有异形显示屏的终端播放视频文件时，无法完整地显示视频文件中的图像对象的问题。

为了解决上述技术问题，本申请的技术方案如下。

第一方面，提供一种视频文件的处理方法，所述方法包括：

获取待播放的视频文件，所述待播放的视频文件用于在终端的异形显示屏上播放，所述终端还包括遮挡部件，所述遮挡部件与所述异形显示屏在所述终端的第一面上形成矩形区域；

提取所述待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，所述第一区域为所述矩形区域中与所述遮挡部件对应的区域，所述第i帧图像为所述视频文件包括的N帧图像中的任意一帧图像；

将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域中，所述第二区域中的图像对象在所述异形显示屏上显示。

在上述方案中，处理装置先提取出终端的遮挡区域中被遮挡的图像对象，再将图像对象移动到异形显示屏中，这样，原本被遮挡区域遮挡的图像对象便可以在异形显示屏的显示区域中进行显示。解决了具有异形显示屏的终端播放视频文件时，无法完整地显示视频文件中的图像对象的问题。对用户而言，减少了用户在观看视频时，对终端的遮挡部件的关注，提升了用户观看视频的体验。

在一种可能的设计中，提取所述待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，包括：

确定所述第i帧图像中需要在所述第一区域显示的图像区域；

从所述图像区域中获取感兴趣区域；

根据所述感兴趣区域，获取所述第i帧图像中需要在所述第一区域显示的图像对象。

在上述方案中，处理装置先确定出需要第一区域显示的图像区域，获取图像区域中重要的图像信息，再根据重要的图像信息确定出完整的图像对象。在后续处理中，处理装置只需关注处理图像对象，无需对图像区域的其它部分进行处理，从而相对减少处理装置的处理量。

在一种可能的设计中，确定所述第i帧图像中需要在所述第一区域显示的图像区域，包括：

获取所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率；

根据所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率，确定所述第i帧图像中需要在所述第一区域显示的图像区域。

在上述方案中，根据矩形区域的面积大小，第一区域的面积大小以及第i帧图像的分辨率，从而相对更准确地获得第一区域显示的图像区域。且，可以实现对图像区域的量化。

在一种可能的设计中，从所述图像区域中获取感兴趣区域，包括：

对所述图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为所述感兴趣区域。

在上述方案中，提取图像区域的特征，将具有明显图像特征的区域确定为感兴趣区域。可以避免遗漏重要的图像信息，且，有选择的处理图像，可以相对减少处理装置的处理量。且，提出了一种通过特征值抽取来建立感兴趣区域的概念。

在一种可能的设计中，在从所述图像区域中获取感兴趣区域之前，还包括：

获得L个区域中每个区域与所述图像区域的相似度，以获得L个相似度，所述L个区域中的每一个区域位于所述第二区域中，且所述L个区域中的每一个区域的面积与所述图像区域的面积相同；

根据所述L个相似度，获得所述L个相似度的均值；

确定所述均值小于或等于第二预设值。

在上述方案中，在获得感兴趣区域之前，还对图像区域与第二区域进行相似度判断。如果确定图像区域与第二区域的相似度相差较大，则表示图像区域的图像信息可复制性差，因此再获取感兴趣区域。如果确定图像区域与第二区域的相似度相差较小，则表示图像区域的图像信息可复制性较大，因此，不对图像区域进行处理。有选择性地对图像区域进行处理，在保证处理装置不遗漏图像区域的重要图像信息的同时，还可以进一步减少处理装置的处理量。

在一种可能的设计中，在将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域之前，还包括：

根据所述第i帧图像中的图像对象，获取所述待播放的视频文件中的第(i-K)帧图像至第(i+K)帧图像中的2K个图像对象，K为小于i的正整数；

根据所述2K个图像对象，提取所述第(i-K)帧图像至所述第(i+K)帧图像中的背景图像特征，所述背景图像特征是指每帧图像中与所述图像对象相邻的图像的图像特征。

在上述方案中，在获得第i帧图像中的图像对象之后，可以先获得第i帧图像前后若干帧的图像的图像对象，排除多帧图像中的图像对象，从而可以获得更准确的背景图像特征。

在一种可能的设计中，将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域中，包括：

将所述第i帧图像中的所述图像对象移动至所述第i帧图像的第二区域中；

将所述背景图像特征填充至所述第i帧图像中的空白区域，所述空白区域是指所述第i帧图像中因移动所述图像对象而形成的空白像素区域。

在上述方案中，将图像对象移动到第二区域中，可以保证即使是具有异形显示屏的终端播放视频文件，也能完整地显示的视频文件中的图像对象。且，利用获得的背景图像特征填充第i帧图像中的空白区域，从而使得处理后的第i帧图像的图像质量更好。

第二方面，提供一种视频文件的处理装置，所述装置包括：收发模块和处理模块；

所述收发模块，用于获取待播放的视频文件，所述待播放的视频文件用于在终端的异形显示屏上播放，所述终端还包括遮挡部件，所述遮挡部件与所述异形显示屏在所述终端的第一面上形成矩形区域；

所述处理模块，用于提取所述待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，所述第一区域为所述矩形区域中与所述遮挡部件对应的区域，所述第i帧图像为所述视频文件包括的N帧图像中的任意一帧图像；以及

将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域中，所述第二区域中的图像对象在所述异形显示屏上显示。

在一种可能的设计中，所述处理模块具体用于：

确定所述第i帧图像中需要在所述第一区域显示的图像区域；

从所述图像区域中获取感兴趣区域；

根据所述感兴趣区域，获取所述第i帧图像中需要在所述第一区域显示的图像对象。

在一种可能的设计中，所述处理模块具体用于：

获取所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率；

根据所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率，确定所述第i帧图像中需要在所述第一区域显示的图像区域。

在一种可能的设计中，所述处理模块具体用于：

对所述图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为所述感兴趣区域。

在一种可能的设计中，所述处理模块还用于：

在从所述图像区域中获取感兴趣区域之前，获得L个区域中每个区域与所述图像区域的相似度，以获得L个相似度，所述L个区域中的每一个区域位于所述第二区域中，且所述L个区域中的每一个区域的面积与所述图像区域的面积相同；

根据所述L个相似度，获得所述L个相似度的均值；

确定所述均值小于或等于第二预设值。

在一种可能的设计中，所述处理模块还用于：

在将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域之前，根据所述第i帧图像中的图像对象，获取所述待播放的视频文件中的第(i-K)帧图像至第(i+K)帧图像中的2K个图像对象，K为小于i的正整数；

根据所述2K个图像对象，提取所述第(i-K)帧图像至所述第(i+K)帧图像中的背景图像特征，所述背景图像特征是指每帧图像中与所述图像对象相邻的图像的图像特征。

在一种可能的设计中，所述处理模块还用于：

将所述第i帧图像中的所述图像对象移动至所述第i帧图像的第二区域中；

将所述背景图像特征填充至所述第i帧图像中的空白区域，所述空白区域是指所述第i帧图像中因移动所述图像对象而形成的空白像素区域。

第三方面，提供一种家电设备的控制装置，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面中任一项所述的方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面中任一项所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种具有异形显示屏的终端的结构示意图；

图2为本申请实施例提供的一种视频文件的处理方法的流程图；

图3为本申请实施例提供的一种视频文件的处理方法的流程图；

图4为本申请实施例提供的一种第i帧图像的结构图；

图5为本申请实施例提供的一种第i帧图像的示意图；

图6为本申请实施例提供的一种图像对象的示意图；

图7为本申请实施例提供的一种背景图像特征；

图8为本申请实施例提供的一种移动图像对象后的第i帧图像的示意图；

图9为本申请实施例提供的一种填充后的第i帧图像的示意图；

图10为本申请实施例提供的一种视频文件的处理方法的流程图；

图11为本申请实施例提供的一种视频文件的处理装置的结构图；

图12为本申请实施例提供的一种视频文件的处理装置的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

下面介绍本申请实施例的技术背景。

为了更清楚地说明终端的异形显示屏的结构，请参照图1，终端包括异形显示屏120以及遮挡部件110。遮挡部件110主要是指终端的摄像头以及其他传感器等集成在终端的异形显示屏上方的中间区域位置。异形显示屏120和遮挡部件110在第一面上形成矩形区域100。

目前，视频处理方法一般是将视频文件的分辨率调整到与矩形区域100的尺寸相适应。由于遮挡部件110无法用于显示，因此，处理后的视频文件在异形显示屏120进行播放的时候，落入遮挡部件110的图像对象就无法正常显示，进而导致终端无法完整地显示该视频文件中的图像对象。

鉴于此，本申请实施例提供一种视频文件的处理方法。该方法由视频文件的处理装置来执行。为了简化描述，下文将视频文件的处理装置简称为处理装置。处理装置可以通过服务器来实现，服务器例如虚拟服务器或实体服务器。处理装置也可以通过终端来实现，终端例如手机或个人计算机(personal computer，PC)。本文不对处理装置进行具体限制。请参照图2，下面对该方法的具体流程进行说明。

步骤201、获取待播放的视频文件，所述待播放的视频文件用于在终端的异形显示屏上播放，所述终端还包括遮挡部件，所述遮挡部件与所述异形显示屏在所述终端的第一面上形成矩形区域；

步骤202、提取所述待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，所述第一区域为所述矩形区域中与所述遮挡部件对应的区域，所述第i帧图像为所述视频文件包括的N帧图像中的任意一帧图像；

步骤203、将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域中，所述第二区域中的图像对象在所述异形显示屏上显示。

待处理的视频文件是指用于在终端的异形显示屏110上播放的视频文件。如图1所示，具有异形显示屏110的终端包括异形显示屏110和遮挡部件120，遮挡部件120和异形显示屏110在终端的第一面上形成矩形区域100。也就是说，遮挡部件120和异形显示屏110在水平投影面上的正投影呈矩形。第一面可以理解为终端的正面或反面，以用户正常使用终端为参照标准，终端距离用户最近的一个面可以理解为正面，距离用户最远的一个面可以理解为反面。本申请中的矩形包括不限于直角矩形和圆角矩形。

处理装置在处理待处理的视频文件之前，需要先执行步骤201，即获取待处理的视频文件。可以是其他设备直接将待处理的视频文件发送给处理装置，处理装置接收到视频文件，也就相当于获取了视频文件。其他设备，例如终端。也可以是用户直接将待处理的视频存储在处理装置中，也就相当于获取了视频文件。

在执行步骤201之后，处理装置执行步骤202，即提取待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象。

其中，待处理的视频文件包括N帧图像，第i帧图像为N帧图像中的任意一帧图像。遮挡部件120为立体结构的部件，第一区域可以理解为二维平面结构。也就是说，第一区域可以理解为矩形区域100中与遮挡部件120对应的区域，第一区域也可以理解为遮挡部件120在第一面上的正投影区域。图像对象的实质为图像，是指构成对象的像素点的集合。例如，人脸或文字。该图像对象可以是需要完整地显示在第一区域的图像对象，也可以是部分需要在第一区域显示而另外一部分不需要在第一区域显示的图像对象。

具体来说，步骤202有很多种实现方式，下面进行示例说明。

第一种方式如下，请参照图3，该方式包括步骤202a，步骤202b以及步骤202c。

202a、确定第i帧图像中需要在第一区域显示的图像区域；

202b、从图像区域中获取感兴趣区域；

202c、根据感兴趣区域，获取第i帧图像中需要在第一区域显示的图像对象。

下面对步骤202的第一种实现方式中的202a进行说明。步骤202a的具体实现方式如下：

获取矩形区域100的面积大小，第一区域的面积大小以及第i帧图像的分辨率；

根据矩形区域100的面积大小，第一区域的面积大小以及第i帧图像的分辨率，确定第i帧图像中需要在第一区域显示的图像区域。

具体来说，处理装置可以是预先存储了矩形区域100的面积大小，第一区域的面积大小以及第i帧图像的分辨率的相关参数。在需要使用时，直接调用相应的参数即可。处理装置也可以是从其他设备接收的矩形区域100的面积大小，第一区域的面积大小以及第i帧图像的分辨率。也就相当于处理装置获取了相应的参数。

例如，处理装置将第i帧图像投影到矩形区域100，根据矩形区域100的面积大小、第一区域的面积大小以及第i帧图像的分辨率，直接确定出第i帧图像中需要在第一区域显示的图像区域。

本申请实施例中，处理装置直接确定出第i帧图像，无需对第i帧图像进行其他处理，可以相对减少处理装置的处理量。

或者例如，处理装置先将第i帧图像按比例调整到与矩形区域100相适应，相适应是指第i帧图像的分辨率与矩形区域100的面积相同。比例是指视频文件的分辨率与矩形区域100的面积的比值。如果第i帧图像过大，则可以将第i帧图像缩小到与矩形区域100相适应；如果第i帧图像过小，则可以将第i帧图像放大到与矩形区域100相适应。调整第i帧图像之后，处理装置再确定出调整后的第i帧图像中需要在第一区域显示的图像区域。

本申请实施例中先将第i帧图像进行调整，使得第i帧图像可以全部落入矩形区域100，从而可以显示调整前的第i帧图像中超出矩形区域100的图像，保持第i帧图像的完整性。

为了便于对图像区域进行量化，在确定图像区域的同时，还可以确定图像区域的坐标位置。例如，图像区域的坐标位置为(x1，y1，x2，y2)，其中(x1、y1)表示图像区域最左上角的象素坐标，(x2，y2)表示图像区域最右下角的像素坐标。由于图像区域为二维平面图，两个坐标即可以确定出需要在第一区域显示的图像区域。

在执行步骤202a之后，处理装置执行步骤202b，即从图像区域中获取感兴趣区域。感兴趣区域(region of interest，ROI)可以理解为在图像区域中图像对象对应的部分。具体来说，如果图像对象均在图像区域中，那么感兴趣区域就是该图像对象。如果图像对象部分在图像区域中，图像对象的另外一部分在第二区域中，那么感兴趣区域就是该图像对象在图像区域中的那部分。

下面对处理装置实现步骤202b的方式进行示例说明。

方式一：

对图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为感兴趣区域。

具体来说，处理装置对图像区域进行特征识别，确定出图像区域中的特征值的取值大于或等于第一预设值的子区域，将该子区域确定为感兴趣的区域。对于特征值小于第一预设值的子区域，图像处理装置确定子区域没有明显的图像信息。也就是说，即使异形显示屏上无法显示该子区域的图像，也不会影响用户观看视频文件。

例如，处理装置将图像区域划分为P个子区域，P为正整数，对P个子区域进行特征识别处理，获得P个子区域的P个子区域的P个特征值。处理装置将P个特征值与第一预设值进行比较，将特征值大于第一预设值的子区域确定为感兴趣区域。如果P个特征值均小于第一预设值，表示图像区域均无明显的图像信息，那么处理装置可以不对该图像区域进行处理，直接对视频文件中的其它帧进行处理。

其中，特征识别处理例如提取图像的纹理特征、提取图像的平滑度或提取图像的灰度等。本文不对特征识别处理的具体方法进行限制。第一预设值可以是处理装置默认设置的。应当说明的是，选取的特征识别处理的方法不一样，对应的第一预设值的取值就不一样。

本申请实施例中，处理装置处理将图像区域划分之后，再进行特征处理，可以直接获得P个子区域的图像特征值，从而可以获得图像特征更加明显的感兴趣区域。

或者例如，处理装置将图像区域进行灰度处理，确定图像区域中的所有像素点的灰度值，确定出灰度值大于或等于第一预设值的图像区域的M个像素点。确定M个像素点组成的区域即为感兴趣区域。

本申请实施例中，直接以像素点为处理单位，无需处理装置对图像区域进行划分，且根据灰度值确定感兴趣区域的方式简单直接。

方式二：

确定图像区域的图像特征值大于第三预设值；

对图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为感兴趣区域。

具体来说，处理装置先确定图像区域整体的图像特征大于第三预设值，如果大于第三预设值，再对图像区域进行特征识别，确定出图像区域中的感兴趣区域。第三预设值可以是处理装置默认设置的。关于确定图像特征的取值大于或等于第一预设值的子区域为感兴趣区域的内容可以参照前文论述内容。

本申请实施例中，先对图像区域进行整体评估，如果确定图像区域整体的图像信息不明显，则不对图像区域进行处理。如确定图像区域有明显的图像信息，再确定出图像区域中感兴趣区域。从而在保证视频文件的完整性的情况下，进一步地减少处理装置的处理量。

在一种可能的实施方式中，在执行步骤202b之前，请继续参照图3，处理装置还可以执行步骤301，即获得L个区域中每个区域与图像区域的相似度，以获得L个相似度，L个区域中的每一个区域位于第二区域中，且L个区域中的每一个区域的面积与图像区域的面积相同；根据L个相似度，获得L个相似度的均值；确定均值小于或等于第二预设值。

具体来说，第二区域是指第i帧图像中需要在异形显示屏110显示的图像。处理装置从第二区域中划分出L个区域，每个区域的尺寸与图像区域的尺寸一致。获得L个区域之后，获得L个区域中与每个区域与图像区域的相似度，从而获得L个相似度。再对L个相似度求均值。求均值包括两种方式，一种是L个相似度的值之和再除以L，从而获得均值。一种是对L个相似度的值分别赋予对应的权重系数，每个相似度值乘以对应的权重系数的和，获得的和即为均值。权重系数可以由处理装置默认设置。

如果处理装置确定均值大于第二预设值，则表示图像区域与第二区域的相似度较高。也就是说，处理装置可以从第二区域的图像信息获得图像区域中的图像信息，因此，则无需对图像区域进行处理。处理装置对视频文件中的其它帧图像进行处理。

如果处理装置确定均值小于或等于第二预设值，则表示图像区域与第二区域的相似度低。也就是说，图像区域的图像信息与第二区域的图像信息存在较大差异。处理装置对图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为感兴趣区域。关于确定图像特征的取值大于或等于第一预设值的子区域为感兴趣区域的内容，可以参照前文论述的内容，此处不再赘述。

例如，图4中的区域5为第i帧中的图像区域，以图像区域为中心，做九宫格处理，分别获得与图像区域的大小相同的区域1、2、3、4、6、7、8和9。由于区域1、4、7不属于第i帧中的图像区域，所以不对区域1、4、7进行处理。每个区域的相似度按照满分100进行打分。

处理装置获得区域2、3、6、8和9与区域5的相似度，5个相似度依次为50分，92分，21分，10分，100分。将与区域5呈对角线的区域3和区域9的相似度的权重系数设置为100％，将与区域5呈邻边的其余区域的相似度的权重系数设置为50％，从而获得的均值Similarity_Value具体为：

Similarity_Value＝∑{100％*∑(50+21+10)+50％*∑(92+100)}＝177

处理装置从而获得均值为177，第二预设阈值为200，则确定均值小于预设阈值。

应当说明的是，步骤301是可选的步骤，即不是必须执行的步骤。

在执行步骤202b之后，处理装置执行步骤202c，即根据感兴趣区域，获取第i帧图像中需要在第一区域显示的图像对象。

具体来说，图像对象可以参照前文论述的内容，此处不再赘述。感兴趣区域可以参照前文论述内容，此处不再赘述。处理装置获得感兴趣区域之后，可以以感兴趣区域为起点，进行描边识别，识别与第二区域中与感兴趣区域像素点连接的像素点，从而获得与感兴趣区域对应的图像对象。或者，处理装置直接根据感兴趣区域，确定出感兴趣区域对应的图像对象，再在第二区域中识别出该图像对象对应的部分，从而获得第i帧图像中的图像对象。

例如，请参照图5，感兴趣区域为图5中虚框中的兔子的耳朵以及兔子的一个眼睛，图像对象为兔子。处理装置根据图5中感兴趣区域连接的像素点，从而可以获得图6中的图像对象为图6中的兔子。

本申请实施例中根据感兴趣区域获得完整的图像对象，从而方便处理装置对图像对象进行后续处理。

在执行步骤202c之后，请继续参照图3，处理装置可以执行步骤302，即根据第i帧图像中的图像对象，获取待播放的视频文件中的第(i-K)帧图像至第(i+K)帧图像中的2K个图像对象，K为小于i的正整数；根据2K个图像对象，提取第(i-K)帧图像至第(i+K)帧图像中的背景图像特征，背景图像特征是指每帧图像中与图像对象相邻的图像的图像特征。

具体来说，相邻的图像可以是与图像对象前后左右距离预设尺寸内的图像。预设尺寸可以是处理装置默认设置的。例如，图像对象为一个圆，与该圆距离为1mm内的区域为相邻的图像。

处理装置在获得第i帧图像中的图像对象之后，处理装置以该图像对象为图像特征，从而识别出第i帧前后若干帧中的对应的图像对象。识别包括对图像对象的运动轨迹的识别、光影变动的识别以及大小变化的识别。对前后若干帧图像进行识别，便于处理装置获得图像对象的变化规律。根据2K个图像对象，提取出前后若干帧中与图像对象相邻的图像的图像特征。由于有2K帧图像，那么对应就可以提取出2K个图像特征。处理装置可以对2K个图像特征取均值，从而获得背景图像特征。

处理装置可以直接对2K个图像特征的取值求和，再除以2K，从而获得背景图像特征。处理装置也可以是对2K个图像特征的取值分别赋予权重系数，从而获得2K个图像特征取值与对应的权重系数的乘积，再获得对应的和，从而获得背景图像特征。例如，离第i帧越靠近的图像，该图像的图像特征的取值的权重值可以更大。

例如，处理装置根据图5中的前后若干帧图像进行处理后，获得图5中的图像区域对应的背景图像特征如图7所示。

本申请实施例中，处理装置在获得第i帧图像中的图像对象之后，可以先获得第i帧图像前后若干帧的图像的图像对象，排除多帧图像中的图像对象，从而可以获得更准确的背景图像特征。

应当说明的是，步骤302是可选的步骤，即不是必须执行的步骤。

在执行步骤202c之后，处理装置直接执行步骤203，即，将第i帧图像中需要在第一区域显示的图像对象移动至第i帧图像中的第二区域中。或者，处理装置在执行步骤302之后，再执行步骤203，在此不作限制。

具体来说，处理装置在获得图像对象之后，可以直接将图像对象移动到第二区域中，保存移动后的参数。处理装置将图像区域对应的图像对象移动到需要在异形显示屏110显示的第二区域中。移动可以是沿着水平向右方向移动。水平向右是以终端横屏模式为参照。

例如，处理装置将获得的图6中的图像对象，移动至第二区域中，从而获得如图8所示的图像。用户在观看该帧图像时，由于图6所示的兔子已经移动到第二区域中，因此，终端可以正常显示图6中的图像对象。

本申请实施例中，将视频文件中的落入终端的遮挡部件的图像对象移动到第二区域中。保证即使是具有异形显示屏的终端播放视频文件，也能正常显示的视频文件中的落入终端的遮挡部件的图像对象，从而完整地显示该视频文件中的图像对象，提升了用户观看视频文件的体验。

或者，处理装置在获得图像对象以及背景图像特征之后，处理装置将第i帧图像中的图像对象移动至第i帧图像的第二区域中，再将背景图像特征填充至第i帧图像中的空白区域，空白区域是指第i帧图像中因移动图像对象而形成的空白像素区域。

具体来说，处理装置直接将图像对象移动到第二区域中，会导致第i帧图像出现空白区域。处理装置可以将获得的背景图像特征填充到空白区域，保证视频文件的图像质量。

例如，处理装置在将图5中的兔子移动之后，还将获得的图7所示的背景图像特征填充空白区域，从而得到图9所示的图像。

本申请实施例中，处理装置将背景图像特征填充到第i帧中空白区域，从而避免了视频文件的图像出现空白区域，保证了视频文件的质量。对用户而言，可以获得更好的视频播放效果。

处理装置在执行步骤203之后，保存对视频文件的修改，继续对视频文件中的其它帧图像进行相应的处理，对其它帧图像的处理的过程可以参照前文论述的处理第i帧图像的内容，此处不再赘述。处理视频文件中的N帧图像之后，从而获得处理后的视频文件。

为了本领域技术人员更清楚了解本申请，下面结合图10对本申请实施例中的视频文件的处理方法进行更详细地说明。该视频文件的处理方法的具体流程如下。

步骤1001，获取待播放的视频文件；

具体来说，获取待播放的视频文件的分辨率，调取用于播放该视频文件的异形显示屏110的面积以及第一区域的面积，计算按照该分辨率按比例投影到矩形区域100所占用的面积。比例是指视频文件的分辨率与矩形区域100的面积的比值。

步骤1002，确定第i帧图像中的第一区域对应的图像对象。步骤1002包括四个子步骤，步骤1002a,步骤1002b,步骤1002c以及步骤1002d,下面对各个子步骤进行详细说明。

步骤1002a，确定第i帧图像中第一区域对应的图像区域；

具体来说，计算遮挡部件120会遮盖按比例投影的视频文件的多少像素大小的图像区域image_msk(x1,y1,x2,y2)，预读取视频文件第i个关键帧的图像，分割出会被遮挡部件120遮挡的image_msk(x1,y1,x2,y2)的图像区域。

步骤1002b，确定图像区域的特征值与第三预设值的关系，如果图像区域的特征大于或等于第三预设值，处理装置执行步骤1002c。如果图像区域的特征小于第三预设值，处理装置执行步骤1005。

步骤1003,确定第二区域与图像区域的相似度小于或等于第二预设值A2。步骤1003具体包括步骤1003a、步骤1003b以及步骤1003c。下面对步骤1003的两个子步骤进行详细说明。

步骤1003a,比对图像区域和第二区域中的九宫格图像区域的图像特征的相似度，剔除无关区域。

步骤1003b，求相似度的均值，Similarity_Value＝∑{100％*∑(相邻边区域得分)+50％*∑(对角线区域得分)}，获得相似度的均值。

步骤1003c,确定均值大于或等于第二预设值A2。如果均值大于或等于第二预设值，则执行步骤1002c。如果均值小于第二预设值，则执行步骤1005。

应当说明的是，步骤1002b、步骤1003(步骤1003a、1003b以及1003c)均是可选的步骤，即不是必须执行的步骤。

步骤1002c,对图像区域的图像进行内容识别，获取感兴趣区域。

步骤1002d,根据图像区域，获得图像对象Objects(X)。

步骤1004，将图像对象移动至第二区域。

具体来说步骤1004包括步骤1004a、1004b以及1004c，下面对步骤1004进行详细说明。

步骤1004a、以Objects(x)为图像特征，对前后若干个关键帧进行Objects(x)图像动态识别，以Objects(x)为图像特征，用排除法对前后若干个关键帧进行背景图案特征识别和抽出。

步骤1004b、对第N帧至第N+1关键帧间所有帧编码，将相关帧的图像对象Objects(x)，往image_msk(x1,y1,x2,y2)水平右平移。

步骤1004c、调用此前识别的背景图案特征，对第i帧图像进行编码，对因为Objects(x)移动，而出现空白区域，进行背景图案填充。

应当说明的是，步骤1004a以及步骤1004c是可选的步骤，不是必须执行的步骤。

步骤1005，保存第i帧图像的处理编码结果，对视频文件的下一帧图像进行处理。

在前文论述的一种视频文件的处理方法的基础上，本申请实施例还提供一种视频处理装置。请参照图11，该处理装置包括收发模块1101和处理装置1102。

具体来说，收发模块1101，用于获取待播放的视频文件，待播放的视频文件用于在终端的异形显示屏110上播放，终端还包括遮挡部件120，遮挡部件120与异形显示屏110在终端的第一面上形成矩形区域100；

处理模块1102，用于提取待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，第一区域为矩形区域100中与遮挡部件120对应的区域，第i帧图像为视频文件包括的N帧图像中的任意一帧图像；以及

将第i帧图像中需要在第一区域显示的图像对象移动至第i帧图像中的第二区域中，第二区域中的图像对象在异形显示屏110上显示。

在一种可能的设计中，处理模块1102具体用于：

确定第i帧图像中需要在第一区域显示的图像区域；

从图像区域中获取感兴趣区域；

根据感兴趣区域，获取第i帧图像中需要在第一区域显示的图像对象。

在一种可能的设计中，处理模块1102具体用于：

获取矩形区域100的面积大小，第一区域的面积大小以及第i帧图像的分辨率；

根据矩形区域100的面积大小，第一区域的面积大小以及第i帧图像的分辨率，确定第i帧图像中需要在第一区域显示的图像区域。

在一种可能的设计中，处理模块1102具体用于：

对图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为感兴趣区域。

在一种可能的设计中，处理模块1102还用于：

在从图像区域中获取感兴趣区域之前，获得L个区域中每个区域与图像区域的相似度，以获得L个相似度，L个区域中的每一个区域位于第二区域中，且L个区域中的每一个区域的面积与图像区域的面积相同；

根据L个相似度，获得L个相似度的均值；

确定均值小于或等于第二预设值。

在一种可能的设计中，处理模块1102还用于：

在将第i帧图像中需要在第一区域显示的图像对象移动至第i帧图像中的第二区域之前，根据第i帧图像中的图像对象，获取待播放的视频文件中的第(i-K)帧图像至第(i+K)帧图像中的2K个图像对象，K为小于i的正整数；

根据2K个图像对象，提取第(i-K)帧图像至第(i+K)帧图像中的背景图像特征，背景图像特征是指每帧图像中与图像对象相邻的图像的图像特征。

在一种可能的设计中，处理模块1102还用于：

将第i帧图像中的图像对象移动至第i帧图像的第二区域中；

将背景图像特征填充至第i帧图像中的空白区域，空白区域是指第i帧图像中因移动图像对象而形成的空白像素区域。

在前文论述的一种视频文件的处理方法的基础上，本申请实施例还提供一种家电设备的控制装置，包括：

至少一个处理器1201，以及

与至少一个处理器1201通信连接的存储器1202；

其中，存储器1202存储有可被至少一个处理器1201执行的指令，至少一个处理器1201通过执行存储器1202存储的指令实现如本申请实施例的视频文件的处理方法。

图12是以处理器1201的数量为一个为例，但是实际上不限制处理器1201的数量。

作为一种实施例，图11中的处理模块1102可以通过图12中的处理器1201来实现。

在前文论述的一种视频文件的处理方法的基础上，一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如本申请实施例的视频文件的处理方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种视频文件的处理方法，其特征在于，包括：

获取待播放的视频文件，所述待播放的视频文件用于在终端的异形显示屏上播放，所述终端还包括遮挡部件，所述遮挡部件与所述异形显示屏在所述终端的第一面上形成矩形区域；

提取所述待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，所述第一区域为所述矩形区域中与所述遮挡部件对应的区域，所述第i帧图像为所述视频文件包括的N帧图像中的任意一帧图像；

将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域中，所述第二区域中的图像对象在所述异形显示屏上显示。

2.如权利要求1所述的方法，其特征在于，提取所述待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，包括：

确定所述第i帧图像中需要在所述第一区域显示的图像区域；

从所述图像区域中获取感兴趣区域；

根据所述感兴趣区域，获取所述第i帧图像中需要在所述第一区域显示的图像对象。

3.如权利要求2所述的方法，其特征在于，确定所述第i帧图像中需要在所述第一区域显示的图像区域，包括：

获取所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率；

根据所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率，确定所述第i帧图像中需要在所述第一区域显示的图像区域。

4.如权利要求2所述的方法，其特征在于，从所述图像区域中获取感兴趣区域，包括：

对所述图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为所述感兴趣区域。

5.如权利要求2～4中任一项所述的方法，其特征在于，在从所述图像区域中获取感兴趣区域之前，还包括：

获得L个区域中每个区域与所述图像区域的相似度，以获得L个相似度，所述L个区域中的每一个区域位于所述第二区域中，且所述L个区域中的每一个区域的面积与所述图像区域的面积相同；

根据所述L个相似度，获得所述L个相似度的均值；

确定所述均值小于或等于第二预设值。

6.如权利要求2所述的方法，其特征在于，在将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域之前，还包括：

根据所述第i帧图像中的图像对象，获取所述待播放的视频文件中的第(i-K)帧图像至第(i+K)帧图像中的2K个图像对象，K为小于i的正整数；

根据所述2K个图像对象，提取所述第(i-K)帧图像至所述第(i+K)帧图像中的背景图像特征，所述背景图像特征是指每帧图像中与所述图像对象相邻的图像的图像特征。

7.如权利要求6所述的方法，其特征在于，将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域中，包括：

将所述第i帧图像中的所述图像对象移动至所述第i帧图像的第二区域中；

将所述背景图像特征填充至所述第i帧图像中的空白区域，所述空白区域是指所述第i帧图像中因移动所述图像对象而形成的空白像素区域。

8.一种视频文件的处理装置，其特征在于，所述装置包括：收发模块和处理模块；

所述收发模块，用于获取待播放的视频文件，所述待播放的视频文件用于在终端的异形显示屏上播放，所述终端还包括遮挡部件，所述遮挡部件与所述异形显示屏在所述终端的第一面上形成矩形区域；

所述处理模块，用于提取所述待播放的视频文件的第i帧图像中需要在第一区域显示的图像对象，所述第一区域为所述矩形区域中与所述遮挡部件对应的区域，所述第i帧图像为所述视频文件包括的N帧图像中的任意一帧图像；以及，

将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域中，所述第二区域中的图像对象在所述异形显示屏上显示。

9.如权利要求8所述的装置，其特征在于，所述处理模块具体用于：

确定所述第i帧图像中需要在所述第一区域显示的图像区域；

从所述图像区域中获取感兴趣区域；

根据所述感兴趣区域，获取所述第i帧图像中需要在所述第一区域显示的图像对象。

10.如权利要求9所述的装置，其特征在于，所述处理模块具体用于：

获取所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率；

根据所述矩形区域的面积大小，所述第一区域的面积大小以及所述第i帧图像的分辨率，确定所述第i帧图像中需要在所述第一区域显示的图像区域。

11.如权利要求9所述的装置，其特征在于，所述处理模块具体用于：

对所述图像区域进行特征识别处理，确定图像特征的取值大于或等于第一预设值的子区域为所述感兴趣区域。

12.如权利要求9～11中任一项所述的装置，其特征在于，所述处理模块还用于：

在从所述图像区域中获取感兴趣区域之前，获得L个区域中每个区域与所述图像区域的相似度，以获得L个相似度，所述L个区域中的每一个区域位于所述第二区域中，且所述L个区域中的每一个区域的面积与所述图像区域的面积相同；

根据所述L个相似度，获得所述L个相似度的均值；

确定所述均值小于或等于第二预设值。

13.如权利要求9所述的装置，其特征在于，所述处理模块还用于：

在将所述第i帧图像中需要在所述第一区域显示的图像对象移动至所述第i帧图像中的第二区域之前，根据所述第i帧图像中的图像对象，获取所述待播放的视频文件中的第(i-K)帧图像至第(i+K)帧图像中的2K个图像对象，K为小于i的正整数；

根据所述2K个图像对象，提取所述第(i-K)帧图像至所述第(i+K)帧图像中的背景图像特征，所述背景图像特征是指每帧图像中与所述图像对象相邻的图像的图像特征。

14.如权利要求13所述的装置，其特征在于，所述处理模块还用于：

将所述第i帧图像中的所述图像对象移动至所述第i帧图像的第二区域中；

将所述背景图像特征填充至所述第i帧图像中的空白区域，所述空白区域是指所述第i帧图像中因移动所述图像对象而形成的空白像素区域。

15.一种家电设备的控制装置，其特征在于，包括：

至少一个处理器；

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1～7中任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1～7中任一项所述的方法。

Images