CN111062870B - 一种处理方法及装置 - Google Patents

Abstract

本申请提出了一种处理方法及装置，先从拍摄的待处理视频中的帧图像中确定待处理帧图像，避免对残影帧图像做无用功的图像处理，解决了残影帧图像对整个视频精度的不利影响，提高了图像处理速度。之后，将对各待处理帧图像进行图像分区，得到至少一图像分区，再至少基于每一图像分区的差异信息，对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像处理成更高第二分辨率的目标帧图像，相对于传统方案中对每一个像素点进行计算填充，极大提高了填充效率，进一步提高了图像处理速度。

Description

一种处理方法及装置

技术领域

本申请主要涉及图像处理技术领域，更具体地说是涉及一种处理方法及装置。

背景技术

超分辨率重建技术(Super-Resolution，简称SR)是指从观测到的低质量、低分辨率图像重建出相应的高质量、高分辨率图像。在实际应用中，对于如720P的非高清视频，可以在播放时利用SR技术实时动态处理图像，增加视频分辨率，来达到高清播放视频目的。

目前，由于普通用户使用的电子设备配置不高，在电子设备播放高质量、高分辨率的视频，往往会出现视频播放卡顿、占用系统资源过高等问题。

发明内容

有鉴于此，本申请提供了一种处理方法，包括：

从待处理视频包括的帧图像中确定待处理帧图像；

对所述待处理帧图像进行图像分区，得到至少一图像分区；

至少基于每一所述图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将所述待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像；

其中，所述第一分辨率小于所述第二分辨率，所述差异信息为每一图像分区与自身样本的差异值。

在一些实施例中，所述对所述待处理帧图像进行图像分区，得到至少一图像分区，包括：

获得所述待处理视频的属性信息；

基于所述属性信息，确定所述待处理帧图像的分区粒度；

按照所述分区粒度对所述待处理帧图像进行图像分区，得到至少一个图像分区；

其中，不同的分区粒度对应的图像分区的边缘像素点的数量不同。

在一些实施例中，所述按照所述分区粒度对所述待处理帧图像进行图像分区，得到至少一个图像分区，包括：

获得所述待处理帧图像在不同像素点的图像梯度；

将所述图像梯度大于第一阈值的像素点确定为相应待处理帧图像的边缘像素点；

按照所述分区粒度，从确定的边缘像素点中确定出分区边缘像素点；

由所述分区边缘像素点形成至少一个图像分区。

在一些实施例中，还包括：

获得每一所述图像分区的差异信息；

其中，所述获得每一所述图像分区的差异信息，包括：

获得所述图像分区中各像素点的平均色值；

对所述图像分区中各像素点的颜色值与所述平均色值进行比较，至少将得到的各像素点的颜色值与所述平均色值的差异值确定为所述图像分区的差异信息。

在一些实施例中，检测到一图像分区的所述差异值小于第一阈值，确定该图像分区为符合条件的图像分区；

其中，所述差异值为该图像分区中各像素点的颜色值与平均色值的差值。

在一些实施例中，所述至少基于每一所述图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将所述待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像，包括：

按照所述图像分区中各像素点的平均色值，对符合条件的图像分区的扩展区域进行颜色填充，以将所述符合条件的图像分区从第一分辨率处理成具有第二分辨率的第一目标图像分区，所述目标图像分区包含所述扩展区域；

将不符合条件的图像分区确定为第二目标图像分区；

由所述第一目标图像分区和所述第二目标图像分区构成目标帧图像。在一些实施例中，所述从待处理视频包括的帧图像中确定待处理帧图像，包括：

对待处理视频进行拆分，得到多个帧图像；

从所述多个帧图像中，筛选符合清晰度条件的帧图像作为待处理帧图像；其中，所述清晰度条件至少与所述帧图像的采集参数有关。

在一些实施例中，所述从所述多个帧图像中，筛选符合清晰度条件的帧图像作为待处理帧图像，包括：

获得每一所述帧图像的灰度值，至少基于所述灰度值进行卷积运算和方差计算，得到每一所述帧图像对应的方差；

将所述方差小于第二阈值的帧图像确定为所述待处理帧图像。

在一些实施例中，还包括：

获得目标帧图像的属性信息，至少基于所述属性信息按照确定的处理策略将所述目标帧图像处理成目标视频；

其中，所述处理策略至少与所述目标视频的使用环境有关。

又一方面，本申请还提出了一种处理装置，包括：

待处理帧图像确定模块，用于从待处理视频包括的帧图像中确定待处理帧图像；

图像分区获得模块，用于对所述待处理帧图像进行图像分区，得到至少一图像分区；

填充模块，用于至少基于每一所述图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将所述待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像；

其中，所述第一分辨率小于所述第二分辨率，所述差异信息为每一图像分区与自身样本的差异值。

又一方面，本申请还提出了一种存储介质，其上存储有程序，处理器调用并执行该程序，以实现如上述的处理方法的各步骤；

又一方面，本申请还提出了一种电子设备，该电子设备可以包括：

通信接口；

存储器，用于存储实现如上述的处理方法的程序；

处理器，用于加载并执行所述存储器存储的程序，以实现如上述的处理方法的各步骤。

由此可见，与现有技术相比，本申请提供了一种处理方法及装置，对于视频源录制的视频，在调用处理之前，本申请将其作为待处理视频进行预处理，具体的，从其包含的帧图像中确定待处理帧图像，之后，仅对各待处理帧图像进行图像分区，得到至少一图像分区后，至少基于每一图像分区的差异信息(即该图像分区与自身样本的差异值)，对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像从第一分辨率处理成具有第二分辨率(其大于第一分辨率)的目标帧图像，可见，本申请不需要对残影帧图像(即像素失真且不会影响整个视频播放内容的帧图像，即待处理视频包含的除了待处理帧图像之外的帧图像)做无用功的图像处理，避免了残影帧图像对输出的整个视频精度的不利影响，提高了图像处理速度。并且，在对待处理帧图像进行提高分辨率处理过程中，本申请是利用图像分区的差异信息对符合条件的图像分区的扩展区域进行颜色填充，相对于传统方案中对每一个像素点进行计算填充，极大提高了颜色填充效率，进一步提高了图像处理速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请实施例提出的一种电子设备的硬件结构示意图；

图2示出了本申请提出的处理方法的一可选示例的流程图；

图3示出了本申请提出的处理方法的又一可选示例的流程图；

图4示出了本申请提出的处理方法的又一可选示例的流程图；

图5示出了本申请提出的处理方法中，一种边缘检测方法所涉及到的Sobel卷积因子的示意图；

图6示出了本申请提出的处理方法的又一可选示例的流程图；

图7示出了本申请提出的处理方法的又一可选示例的流程图；

图8示出了本申请提出的处理装置的一可选示例的结构图；

图9示出了本申请提出的处理装置的又一可选示例的结构图；

图10示出了本申请提出的处理装置的又一可选示例的结构图；

图11示出了本申请提出的处理装置的又一可选示例的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

针对背景技术部分提出的技术问题，通过研究得知，视频源在拍摄制作待处理视频过程中，可能会因为拍摄设备抖动、拍摄环境光线不好曝光不足、拍摄对象移动速度太快时曝光过度、电子设备的感光元件质量瑕疵、环境光源复杂、元数据到视频数据转换算法误差等多方面因素，导致是视频源中存在残影等有瑕疵的帧图像，进而导致后续对视频源拍摄得到的待处理视频中的各帧图像进行处理过程中，出现对瑕疵帧图像的无用功处理，且由于该瑕疵帧图像中的残影区域像素失真，这将会降低整个处理所得视频图像的精度。

为了改善上述问题，本申请提出在对待处理视频进行处理之前的预处理阶段，剔除其中的瑕疵的帧图像，避免做无用功处理，并在对剔除后的其他帧图像进行清晰处理过程中，先对其进行图像分区，再至少基于每一图像分区的差异信息，对其扩展区域进行像素填充(其包括颜色、图案的填充)，得到更高分辨率的目标帧图像，相对于传统像素填充方式，即以帧图像中每一像素点为单位实现的方式，本申请这种以一图像分区为单位的像素填充方式，极大提高了图像预处理效率，降低了系统功耗。

参照图1，示出了可以应用于本申请提出的处理方法或处理装置的电子设备的一可选示例的结构图，在实际应用中，该电子设备可以包括但并不局限于智能手机、平板电脑、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、电子书阅读器、台式计算机、服务器等。图1示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图1所示，本实施例提出的电子设备可以包括：通信接口11、存储器12及处理器13，其中，通信接口11、存储器12及处理器13各自数量可以是至少一个，且存储器12和处理器13可以通过通信总线彼此相连，实现相互通信。

通信接口11可以为通信模块的接口，如GSM模块、WIFI模块、GPRS模块等通信模块的接口，可以实现与其他电子设备的数据交互，还可以包括如USB接口、串/并口等接口，用于实现电子设备内部组成部件之间的数据交互，可以根据该电子设备的产品类型确定，本申请不做一一详述

在一些实施例中，存储器12可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器13，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

在一种可能的实现方式中，存储器12可以包括程序存储区和数据存储区，该程序存储区可以存储操作系统、以及至少一个功能(如图像显示功能、图像处理功能)所需的应用程序、实现本申请提出的处理方法的程序等；数据存储区可以存储电子设备使用过程中所产生的数据，如待处理视频、待处理帧图像、目标帧图像等。

本实施例中，上述存储器12可以用于存储实现本申请提出的处理方法的程序，处理器13可以用于加载并执行存储器12存储的该程序，以实现本申请提出的处理方法的各步骤，具体实现过程可以参照但并不局限于下文实施例相应部分的描述。

应该理解的是，图1所示的电子设备的结构并不构成对本申请实施例中电子设备的限定，在实际应用中，电子设备可以包括比图1所示的更多或更少的部件，或者组合某些部件，本申请在此不做一一列举。

参照图2，示出了本申请提出的处理方法的一可选示例的流程图，该方法可以适用于电子设备，本申请对该电子设备的产品类型及结构组成不做限定，如图2所示，本实施例提出的处理方法可以包括但并不局限于以下步骤：

步骤S11，从待处理视频包括的帧图像中确定待处理帧图像；

结合上文对本申请发明构思的分析，为了避免后续对视频中的帧图像做无用功处理，本实施例将对待处理视频中的帧图像进行初步筛选，得到符合筛选条件的帧图像确定为待处理帧图像，后续处理过程可以对这些待处理帧图像继续进行处理，不用再对不符合筛选条件的帧图像进行后续处理，提高了图像处理效率。

本实施例对上述筛选条件包含的内容不做限定，通常情况下，该筛选条件可以依据图像清晰度或者失真情况来确定，也就是说，符合筛选条件的待处理帧图像可以包括清晰的帧图像，或者说是不失真或失真度较小的帧图像，当然，对于非关键区域的失真，本申请可以不作为不符合筛选条件的判断依据，所以，对于背景图(其可以是单颜色的背景)，其失真与否并不影响整个视频的精度，本申请可以将其确定为待处理帧图像。

应该理解，对于不同的筛选条件，确定待处理视频中的待处理帧图像方式不同，可以参照但并不局限于下文相应实施例描述的方法。

步骤S12，对待处理帧图像进行图像分区，得到至少一图像分区；

为了提高图像处理效率，本申请提出将每一个待处理帧图像划分成至少一个图像分区，该图像分区的划分可以依据相应待处理帧图像中包含的对象确定，如将待处理帧图像中的每一个对象作为一个图像分区，根据需要，还可以对每一个对象进行细化，即将一对象包含的各组成部分确定为一个图像分区等等，本申请对步骤S12的具体实现方法不做限定。

需要说明的是，对于不同的待处理帧图像，对其进行图像分区的方式可以相同也可以不同，这可以依据相应待处理帧图像所包含的图像内容确定，本实施例不做一一详述。

步骤S13，至少基于每一图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像。

其中，第一分辨率小于第二分辨率，本实施例对该第一分辨率和第二分辨率的具体数值不做限定，且上述差异信息可以为每一图像分区与自身样本的差异值，该自身样本可以指构成相应图像分区的像素点，也可以指多个像素点构成的小分区，其具体参数可以与相应图像分区的各像素点的平均色值相关，本申请对图像分区的自身样本的内容不做限定。

应该理解的是，在将待处理帧图像从第一分辨率处理成第二分辨率的过程中，通常需要对原始的待处理帧图像进行放大处理，此处的放大并不是单纯将每一个像素点进行放大，可以理解为增大构成待处理帧图像的像素点的数量，因此，本实施例可以将放大处理后的待处理帧图像相对于原始待处理帧图像中，增加的像素点构成的区域即为扩展区域，为了提高扩大处理后的待处理帧图像的清晰度，通常需要对扩展区域进行填充处理。

如上述分析可知，相对于现有技术中，依据图像分区中的每一个像素点的参数，对扩展区域的每一个像素点进行像素填充，包括颜色填充、图案填充等，本申请直接以图像分区作为一个整体，基于其与自身样本的差异值，实现对其扩展区域的像素填充，具体填充过程本实施例不做详述。

在一些实施例中，由于图像中的图案是由各像素点的颜色构成，因此，在对扩展区域进行像素填充过程中，可以基于相应图像分区中的图案，实现对扩展区域的颜色填充，并不局限于这种实现方式。

综上，本实施例中，对于视频源录制的视频，在调用处理之前，先从其包含的帧图像中确定待处理帧图像，避免对残影帧图像(即像素失真且不会影响整个视频播放内容的帧图像，即待处理视频包含的除了待处理帧图像之外的帧图像)做无用功的图像处理，解决了现有技术中残影帧图像对输出的整个视频精度的不利影响，提高了图像处理速度。

而且，本实施例在对待处理帧图像进行扩展填充处理过程中，是先对各待处理帧图像进行图像分区，得到至少一图像分区后，再至少基于每一图像分区的差异信息，对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像处理成更高第二分辨率的目标帧图像，相对于传统方案中对每一个像素点进行计算填充，极大提高了颜色填充效率，进一步提高了图像处理速度。

参照图3，示出了本申请提出的处理方法的又一可选示例的流程图，本实施例可以是对上述实施例描述的处理方法的一种可选细化实现方式，如图3所示，本实施例提出的处理方法可以包括：

步骤S21，从待处理视频包括的帧图像中确定待处理帧图像；

关于步骤S21的实现过程可以参照上述实施例步骤S11相应部分的描述，不做赘述。

步骤S22，获得待处理视频的属性信息；

本实施例中，该待处理视频的属性信息可以包括视频类型、用户自定义属性、系统预设的默认属性等，本申请对该属性信息的具体内容不做限定，其中，用户自定义属性具体可以依据用户对视频预处理的要求输入得到的，如用户希望对本次预处理的待处理视频进行精细化的预处理，得到更加清晰、保真的高分辨率的目标帧图像，用户可以预先配置能够表征这一要求的属性信息，此时该属性信息是用户输入的具体要求，如对后续图像分区的要求等。

步骤S23，基于该属性信息，确定待处理帧图像的分区粒度；

步骤S24，按照分区粒度对待处理帧图像进行图像分区，得到至少一个图像分区；

本实施例中，分区粒度的大小可以表明对相应待处理帧图像的图像分区的分区精细程度，通常情况下，对于同一待处理帧图像，其分区粒度越大，对该待处理帧图像的图像分区的分区精细度越低，从整体来看，所得到的的图像分区的个数较少，图像分区的面积较大；反之，分区粒度越大，对该待处理帧图像的图像分区的分区精细度越高，相应得到的图像分区的个数较多，各图像分区的面积较小。

举例说明，若待处理帧图像是某动画视频的一帧图像，其包含有动画背景以及动画人物，在对其进行图像分区时，若确定的分区粒度较大，可以将整个动画背景作为一个图像分区，将一个动画人物作为一个图像分区；若确定的分区粒度较小，可以将一个动画人物中的不同身体部位、穿着的不同衣服分别作为一个图像分区，但并不局限于这种图像分区方式。

由此可见，对于同一待处理帧图像来说，不同的分区粒度所得到的的图像分区的个数不同、各图像分区的面积不同，因此，构成各图像分区的边缘像素点的数量也是不同的，也就是说，不同的分区粒度对应的图像分区的边缘像素点的数量不同。

步骤S25，获得每一图像分区的差异信息；

步骤S26，至少基于每一图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像。

其中，关于图像分区的差异信息，可以参照上述实施例相应部分的描述，上述符合条件的图像分区可以是指差异值小于第一阈值的图像分区，此处的差异值可以是该图像分区与其自身样本的差异值，具体获得过程可以参照下文实施例相应部分的描述。

由此可见，本实施例对于具有不同属性信息的待处理视频，对其待处理帧图像进行图像分区的分区粒度不同，提高了图像分区的灵活性及针对性，进而使得至少基于每一图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，所得到的具有更高分辨率的目标帧图像的更加清晰、保真。

参照图4，示出了本申请提出的处理方法的又一可选示例的流程图，本实施例可以是对上述实施例描述的处理方法的进一步细化的实现方式，如图4所示，本实施例提出的处理方法可以包括：

步骤S31，从待处理视频包括的帧图像中确定待处理帧图像；

步骤S32，获得待处理视频的属性信息；

步骤S33，基于该属性信息，确定待处理帧图像的分区粒度；

关于步骤S31～步骤S33的实现过程可以参照上述实施例相应部分的描述，不做赘述。

步骤S34，获得待处理帧图像在不同像素点的图像梯度；

步骤S35，将图像梯度大于第一阈值的像素点确定为相应待处理帧图像的边缘像素点；

步骤S36，按照确定的分区粒度，从确定的边缘像素点中确定出分区边缘像素点；

步骤S37，由分区边缘像素点形成至少一个图像分区；

对于每一待处理帧图像，本申请可以采用边缘检测方式，得到其包含的至少一个图像分区，其中，边缘检测的目的是标识数字图像中的亮度变换明显的点，即采用某种算法来提取出图像中对象与背景间的交界线，如图像中灰度发生急剧变化的区域边界，图像灰度的变化情况可以采用图像灰度分布的梯度来反映。当然，本申请也可以通过获取图像像素发生较大变化区域边界，实现待处理帧图像的边缘检测。

在实际应用中，边缘检测方式通常分为基于查找的方式和基于零穿越的方式这两大类，前者边缘检测方式是通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向；后者边缘检测方式是通过寻找图像二阶导数零穿越来寻找边界，可以是Laplacian(拉普拉斯算子)过零点或者非线性差分表示的过零点。本申请可以采用但并不局限于这两种方式实现对待处理帧图像的边缘检测，得到其包含的至少一个图像分区。

在一些实施例中，为了进一步提高图像处理速度，本申请可以将待处理帧图像转换为相应的灰度图像，再按照上述方式对灰度图像进行边缘检测，得到其包含的至少一个图像分区。具体的，本申请在此以Sobel算法这种边缘检测算法为例，来说明对待处理帧图像的图像分区处理过程，但并不局限于这种边缘检测算法。

在本实施例的一种可能的实现方式中，可以采用如图5所示的Sobel卷积因子，即两组3x3的矩阵，图5中Gx对应的矩阵表示横向卷积因子，Gy对应的矩阵表示纵向卷积因子，将这两个卷积因子与待处理帧图像的灰度图像中各像素点的灰度值进行卷积计算，分别得到横向的亮度差分近似值G_x，和纵向的亮度差分近似值G_y，若f(a，b)表示灰度图像中像素点(a，b)的灰度值，该卷积计算过程可以为：

Gx＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)+(-2)*f(x-1,y)+0*f(x,y)+2*f(x+1,y)+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1)

＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

Gy＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)+0*f(x,y)+0*f(x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)

＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

基于上述卷积计算，待处理帧图像的灰度图像的每一像素点的图像梯度G，可以通过以下公式(1)计算得到：

在一些实施例中，为了进一步提高处理效率，对于待处理帧图像的灰度图像的每一像素点的图像梯度G，也可以采用以下公式(2)计算得到：

|G|＝|G_x|+|G_y| (2)

本实施例中，若得到的像素点的图像梯度大于第一阈值，可以认为该像素点为相应待处理帧图像的边缘像素点，本申请对该第一阈值的具体数值不做限定，可以依据待处理帧图像或待处理视频的属性信息等参数确定。

需要说明的，对于上述步骤S34的具体实现方法，并不局限于上文基于待处理帧图像的灰度图像实现，本申请也可以按照上述方式，直接利用待处理帧图像中各像素点的像素值实现，具体计算过程类似，本申请不再详述。

结合上文对不同待处理视频的分区粒度的描述，对于同一待处理帧图像，按照不同的分区粒度，所得到的图像分区的个数及大小往往不同，所以，本实施例按照上述方式确定出待处理帧图像中的边缘像素点后，可以按照确定的待处理帧图像的分区粒度，再从这些边缘像素点中确定出分区边缘像素点。

仍以上文动画视频为例进行说明，若待处理帧图像中包括动画背景和动画人物，按照上文描述的边缘检测方式，可以从该待处理帧图像中，确定出动画背景与动画人物的边界的像素点为边缘像素点，对于动画人物来说，通常还会检测其不同身体部位、不同衣着等多个组成部分的边界，得到构成这些组成部分的边界的边缘像素点等等，若上述确定的分区粒度较大，可以将整个动画人物作为一个图像分区，那么，本实施例还可以从得到的多个边缘像素点中，确定出动画人物的边界所对应的边缘像素点，将其作为分区边缘像素点。

同理，若上述确定的分区粒度较小，甚至需要将待处理帧图像中的每一个组成部分作为一个图像分区，本实施例可以需要将确定出的边缘像素点均作为分区像素点。可见，不同的分区粒度对应的图像分区的边缘像素点的数量不同，即不同的分区粒度对应的分区边缘像素点的数量可能不同，可以依据待处理帧图像包含的具体内容确定。

之后，本实施例可以依据各分区像素点的位置关系，形成至少一个图像分区，如将相邻分区像素点连接，得到待处理帧图像包含的各图像分区。

步骤S38，获得每一图像分区的差异信息；

步骤S39，至少基于每一图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像。

关于步骤S38和步骤S39的实现过程，可以参照上述实施例相应部分的描述。

综上，本实施例提出的处理方法除了具有上述实施例描述的技术效果外，由于采用边缘检测方式，确定各待处理帧图像中的边缘像素点，并按照该待处理帧图像的分区粒度，从中确定出本次对待处理帧图像进行图像分区的分区边缘像素点，从而由这些区边缘像素点形成待处理帧图像包含的至少一个图像分区，提高了图像分区的灵活性及准确性。

参照图6，示出了本申请提出的处理方法的又一可选示例的流程图，本实施例可以是对上述实施例描述的处理方法的进一步细化的实现方式，具体可以是对上述实施例中如何获得图像分区的差异信息的细化方式，关于处理方法中的其他步骤，可以参照上述实施例相应部分的描述，本实施例主要对获得每一图像分区的差异信息的过程进行描述，如图6所示，该方法可以包括但并不局限于以下步骤：

步骤S41，从待处理视频包括的帧图像中确定待处理帧图像；

步骤S42，对待处理帧图像进行图像分区，得到至少一图像分区；

步骤S43，获得图像分区中各像素点的平均色值；

步骤S44，对该图像分区中各像素点的颜色值与平均色值进行比较；

步骤S45，至少将得到的各像素点的颜色值与平均色值的差异值确定为该图像分区的差异信息；

可见，本申请针对各待处理帧图像包含的每一图像分区，均可以按照但并不局限于本实施例提出的方法，获得该图像分区的差异信息。由于一待处理帧图像中可能包括多个图像分区，对于这多个图像分区中的每一个图像分区，均可以按照上述步骤S43～步骤S45描述的方式进行处理，得到相应图像分区的差异信息，本实施例并未对每一个图像分区的差异信息获得过程进行一一描述。

其中，上述平均色度可以通过对该图像分区中各像素点的颜色值进行平均值计算得到，像素点的颜色值Gray可以依据红色R、绿色G、蓝色B的色彩分量计算得到，如Gray＝(R+G+B)/3。

在一些可能的实现方式中，为了提高图像处理精度，本申请可以按照人类对红绿蓝感知程度(绿>红>蓝)，为每一个颜色设置一个权重，本实施例不限定各颜色权重数值，如人类感知程度越大的颜色，其对应的权重可以越大，基于此，图像分区中一像素点的颜色值Gray＝R*0.299+G*0.587+B*0.114，即各颜色的色彩分量与相应权重的乘积的总和，并不局限于该公式中的各权重的数值。

在得到任一图像分区中各像素点的平均色值后，可以将该图像分区中像素点的颜色值与该平均色值进行比较，得到相应的差异值，进而至少将得到的各像素点对应的差异值确定为该图像分区的差异信息。

应该理解，上述差异值越大，说明相应像素点的颜色值与该图像分区的平均色值的差距越大，该平均色值可能无法代表该图像分区中各像素点的颜色值，如该图像分区是包含多个差距较大颜色的图像；反之，说明该图像分区中各像素点的颜色值差距不大，该平均色值可以代表该图像分区中各像素点的颜色值，如该图像分区是颜色单一的图像等。

步骤S46，检测到一图像分区的差异值小于第一阈值，确定该图像分区为符合条件的图像分区；

步骤S47，按照图像分区中各像素点的平均色值，对符合条件的图像分区的扩展区域进行像素填充，以将符合条件的图像分区从第一分辨率处理成具有第二分辨率的第一目标图像分区；

继上述分析，对于上述差异值小于第一阈值的图像分区，可以认为该图像分区中各像素点的颜色值的差距较小，为了提高图像填充效率，可以利用将该图像分区中各像素点的平均色值，对该图像分区的扩展区域进行像素填充，相对于传统方案中，利用每一个像素点的颜色值，对扩展的每一个像素点进行像素填充，本实施例这种以多个像素点构成的区域为单位，直接利用平均色值对整个扩展区域进行填充的方案，对填充后的图像的保真情况影响不大，但会极大提高图像的填充效率。关于图像分区的扩展区域，可以参照上述实施例相应部分的描述，本实施例不再赘述。

在一些实施例中，对于上述确定的符合条件的图像分区，在得到其各像素点的平均色值后，可以利用该平均色值从该图像分区的边界向外进行扩展填充，或者，在对图像分区进行整体放大后，利用该平均色值作为放大后增加的像素点的颜色值，以实现对图像分区的扩展区域的填充，得到更加分辨率的目标图像分区。需要说明的是，本申请对如何利用平均色值，对图像分区的扩展区域进行填充的实现方式，并不局限于本实施例列举的实现方式。

步骤S48，将不符合条件的图像分区确定为第二目标图像分区；

如上述分析，对于不符合条件的图像分区，可以是其各像素点的颜色值差距较大，若利用其平均色值对其扩展区域进行填充，将会导致所得图像分区严重失真，如该图像分区是动画人物，且该动画人物的皮肤、头发、上衣、裤子、鞋子等各组成部分的颜色差距较大，若仍然按照该动画人物的平均色值对其扩展区域进行填充，所得目标图像分区可能无法分辨该动画人物的各组成部分，甚至可能会无法分辨出该动画人物。因此，对于这类不符合条件的图像分区，可以不用进行处理，直接确定为第二目标图像分区，以避免按照上述方式进行填充处理导致所得第二目标图像分区失真。步骤S49，由第一目标图像分区和第二目标图像分区构成目标帧图像。

如上述分析，该目标帧图像与相应的待处理帧图像包含的内容相同，经过上述处理后，从整体来看，该目标帧图像的分辨率要高于相应待处理帧图像的分辨率，也就是说，该目标帧图像的清晰度更高，后续可以直接由该目标帧图像处理成所需的目标视频，满足后续应用对视频的要求，该目标视频与上述待处理视频的内容相同。

综上，本实施例在对待处理视频中的各帧图像进行预处理过程中，为了提高处理效率，将先对其中的待处理帧图像进行图像分区，确定出每一待处理帧图像包含的至少一个图像分区后，通过将每一图像分区的各像素点的颜色值与其平均色值进行比对，从而依据比对结果，有选择性地对所得差异值小于第一阈值的图像分区进行扩展填充处理，而对所得差异值大于第一阈值的图像分区，将不做处理，避免了所得目标图像分区严重失真。

其中，对于差异值小于第一阈值的图像分区，即各像素点的颜色值的差异较小的图像分区，本实施例是直接使用该图像分区的各像素点的平均色值，对该图像分区的扩展区域进行填充，不需要计算扩展区域中每一个像素点的颜色值，由计算得到的颜色值填充相应像素点，极大提出了图像填充效率，进而提高了图像预处理效率。

参照图7，示出了本申请提出的处理方法的又一可选示例的流程图，本实施例可以是对上述实施例描述的处理方法的又一种可选细化实现方式，与上述其他细化实施例不同的是，本实施例主要对如何确定待处理帧图像的过程进行描述，对于该处理方法中的其他步骤，可以参照上述实施例相应部分的描述，如图7所示，该方法可以包括：

步骤S51，对待处理视频进行拆分，得到多个帧图像；

步骤S52，从多个帧图像中，筛选符合清晰度条件的帧图像作为待处理帧图像；

其中，清晰度条件至少与帧图像的采集参数有关。该采集参数可以是用于拍摄待处理视频的电子设备的对焦参数、镜头光学参数、曝光参数、后期处理参数等。因此，该清晰度条件可以包括：对焦是否精确、镜头质量及光学质量是否达到预设质量要求、拍摄参数(如快门速度。被拍摄对象是否移动等)是否配置为预设数值、是否开启图像预处理功能等多个条件中的一个或多个的组合，本申请对该该清晰度条件的具体内容不做限定。

基于上述分析，在本实施例实际应用中，对焦不准的图像往往都是不清晰的，所以，若用于拍摄待处理视频的电子设备的镜头对焦不准，无需再对采集到的图像进行清晰度分析检测，可以直接认为该帧图像不符合清晰度条件。

在又一可能的实现方式中，由于解析度高的镜头成像质量越好，清晰度越高，因此，本实施例可以直接检测该电子设备的镜头质量、光学质量的好坏，来判断本次所得帧图像是否符合清晰度条件。

在又一可能的实现方式中，在图像拍摄过程中，若该电子设备的快门速度太小，又没有固定支持的三脚架、拍摄者经验不足导致手经常抖动、被拍摄对象的移动等都会导致拍摄到的图像模糊，因此，本实施例也可以据此生成相应的清晰度条件。

在又一可能的实现方式中，由于在原始图像不模糊的情况下，可以通过调整对比度、锐化处理等预处理操作，提高图像清晰度，因此，本实施例还可以通过检测该电子设备是否开启该预处理功能，判断所得帧图像是否符合清晰度条件等等，本申请对步骤S52的具体实现方式不做限定，并不局限于上文列举的几种实现方式。

在又一些实施例中，对于上述步骤S52的实现，本申请还可以获得每一帧图像的灰度值，至少基于灰度值进行卷积运算和方差计算，得到每一帧图像对应的方差，将该方差小于第二阈值的帧图像确定为待处理帧图像。

具体的，若假设帧图像具有较高方差，其具有较广的频响范围，说明该帧图像是聚焦准确、清晰度较高的图像；反之，若帧图像具有较小方差，其具有较窄的频响范围，说明该帧图像交模糊，不符合清晰度条件。本申请可以基于此预先定义该方差的一阈值(记为第二阈值)，将其作为判断帧图像是否清晰的临界值，如所得方差小于该第二阈值，可以认为该帧图像是清晰图像，将其确定为待处理帧图像，反之，若所得方差不小于该第二阈值，可以认为该帧图像是模糊图像，后续不需要对其进行分区处理，本申请对该第二阈值的具体数值不做限定。

更具体地，在一种可能的实现方式中，本实施例可以采用拉普拉斯Laplacian算子，对一帧图像的灰度图像的各像素点的灰度值进行卷积运算，再对卷积结果进行方差计算，得到相应帧图像的方差，来表征该帧图像的清晰度。其中，该Laplacian算子可以为：

对于上述卷积运算及方差计算过程，可以利用预设的程序代码实现，该程序代码可以依据该Laplacian算子、卷积及方差运算原理生成，本申请对该Laplacian算子及该程序代码的内容不做限定。

需要说明的，本申请还可以利用每一帧图像的颜色值，按照上述计算方式，得到该帧图像的方差，以判断该帧图像是否可以确定为待处理帧图像，具体实现过程与上述利用每一帧图像的灰度值的实现过程类似，本申请不再赘述。

另外，在待处理视频的实际拍摄过程中，根据实际拍摄要求，可能采用一种或多种拍摄形式，对于如背景模糊等特定的拍摄形式，本实施例可以选取前n个像素点的灰度值或颜色值进行上述运算，得到该帧图像的方差s²，计算公式如下：

其中，上述x_i可以表示一帧图像中第i个像素点的灰度值或颜色值，M可以表示该一帧图像中前n个像素点的灰度值或颜色值的平均值，n为整数，本申请对n的具体数值不做限定。

需要说明，对于不同拍摄形式得到的帧图像，计算其方差的方法可以不同，并不局限于上文描述的方式。

步骤S53，对待处理帧图像进行图像分区，得到至少一图像分区；

步骤S54，至少基于每一所述图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像；

关于步骤S53和步骤S54的实现过程，可以参照上述实施例相应部分的描述，不再赘述。

步骤S55，获得目标帧图像的属性信息；

其中，目标帧图像的属性信息可以包括时间戳、图像内容信息等，本申请对该属性信息的具体内容不做限定，在实际应用中，按照上述处理方法，将待处理视频中的每一待处理帧图像处理为目标帧图像后，可以依据各目标帧图像的属性信息，来确定各目标帧图像在整个视频中的位置，以保证后续生成的视频内容正确。

步骤S56，至少基于该属性信息按照确定的处理策略将目标帧图像处理成目标视频。

其中，上述处理策略可以用于实现对目标视频帧图像的筛选，确定是否生成视频摘要、视频正片等，本申请对该处理策略的具体内容不做限定。

本实施例中，该处理策略至少可以与目标视频的使用环境有关，该使用环境可以依据目标视频的播放速度、网络环境、播放终端、播放时间等信息确定，所以，对于同一目标帧图像，可以具有不同的处理策略，按照不同的处理策略进行处理得到的目标视频的视频内容可以相同，但目标视频的播放速度、网络环境、播放终端、播放时间等信息可以不同，本申请对如何将多个目标帧图像处理成目标视频的具体实现过程不做详述。

综上所述，本实施例通过对待处理视频拆分出的多个帧图像进行筛选，得到符合清晰度条件的帧图像为待处理帧图像，即筛选出较清晰的待处理帧图像后，仅对该待处理帧图像进行图像分区，以及对符合条件的图像分区的扩展图像进行像素填充，不需要对不符合清晰度条件的帧图像进行后续处理操作，避免了对不符合清晰度条件的帧图像的无用功处理，提高了图像预处理效率。

在基于上述对图像填充处理得到目标帧图像后，本实施例将基于各目标帧图像的属性信息，灵活选择合适的处理策略，将同一待处理视频对应的多个目标帧图像处理成目标视频，即将待处理视频处理成清晰度更高的目标视频，满足了后续应用对目标视频的需求，提高了后续应用对目标视频的图像处理效率。

参照图8，示出了本申请提出的处理装置的一可选示例的结构图，该装置可以适用于电子设备，本申请对该电子设备的产品类型及其组成结构不做限定，如图8所示，该装置可以包括：

待处理帧图像确定模块21，用于从待处理视频包括的帧图像中确定待处理帧图像；

图像分区获得模块22，用于对待处理帧图像进行图像分区，得到至少一图像分区；

填充模块23，用于至少基于每一图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像；

其中，第一分辨率小于第二分辨率，差异信息为每一图像分区与自身样本的差异值。

在一些实施例中，如图9所示，上述图像分区获得模块22可以包括：

属性信息获得单元221，用于获得待处理视频的属性信息；

分区粒度确定单元222，用于基于属性信息，确定待处理帧图像的分区粒度；

图像分区单元223，用于按照分区粒度对待处理帧图像进行图像分区，得到至少一个图像分区；

其中，不同的分区粒度对应的图像分区的边缘像素点的数量不同。

在一种可能的实现方式中，上述图像分区单元223可以包括：

图像梯度获得单元，用于获得待处理帧图像在不同像素点的图像梯度；

边缘像素点确定单元，用于将图像梯度大于第一阈值的像素点确定为相应待处理帧图像的边缘像素点；

分区边缘像素点确定单元，用于按照分区粒度，从确定的边缘像素点中确定出分区边缘像素点；

图像分区形成单元，用于由分区边缘像素点形成至少一个图像分区。

在又一些实施例中，如图10所示，上述装置还可以包括：

差异信息获得模块，用于获得每一图像分区的差异信息

在一种可能的实现方式中，该差异信息获得模块可以包括：

平均色值获得单元241，用于获得图像分区中各像素点的平均色值；

比较单元242，用于对图像分区中各像素点的颜色值与平均色值进行比较；

差异信息确定单元243，用于至少将得到的各像素点的颜色值与平均色值的差异值确定为图像分区的差异信息。

相应地，该装置还可以包括：

检测模块25，用于检测到一图像分区的差异值小于第一阈值，确定该图像分区为符合条件的图像分区；

其中，该差异值可以为该图像分区中各像素点的颜色值与平均色值的差值。

在上述实施例的基础上，在一种可能的实现方式中，如图10所示，上述填充模块23可以包括：

填充单元231，用于按照图像分区中各像素点的平均色值，对符合条件的图像分区的扩展区域进行颜色填充，以将符合条件的图像分区从第一分辨率处理成具有第二分辨率的第一目标图像分区，目标图像分区包含扩展区域；

第一确定单元232，用于将不符合条件的图像分区确定为第二目标图像分区；

目标帧图像构成单元233，用于由第一目标图像分区和第二目标图像分区构成目标帧图像。

在一些实施例中，参照图11，上述待处理帧图像确定模块21可以包括：

拆分单元211，用于对待处理视频进行拆分，得到多个帧图像；

筛选单元212，用于从多个帧图像中，筛选符合清晰度条件的帧图像作为待处理帧图像；

其中，清晰度条件至少与帧图像的采集参数有关。

在一种可能的实现方式中，上述筛选单元212可以包括：

方差计算单元，用于获得每一帧图像的灰度值，至少基于灰度值进行卷积运算和方差计算，得到每一帧图像对应的方差；

待处理帧图像图像确定单元，用于将方差小于第二阈值的帧图像确定为待处理帧图像。

在一些实施例中，如图11所示，本申请提出的处理装置还可以包括：

属性信息获得模块26，用于获得目标帧图像的属性信息；

目标视频获得模块27，用于至少基于属性信息按照确定的处理策略将目标帧图像处理成目标视频；

其中，处理策略至少与目标视频的使用环境有关。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的数学表达式输入方法的各个步骤。

参照上图1，本申请还提出了一种电子设备，该电子设备可以包括：通信接口11、存储器12及处理器13，关于该电子设备的组成结构以及各组成部分的功能，可以参照上述实施例相应部分的描述，本实施例不再赘述。

最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种处理方法，包括：

从待处理视频包括的帧图像中得到符合筛选条件的帧图像，确定为待处理帧图像；

对所述待处理帧图像进行图像分区，得到至少一图像分区；

至少基于每一所述图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将所述待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像；

其中，所述第一分辨率小于所述第二分辨率，所述差异信息为每一图像分区与自身样本的差异值。

2.根据权利要求1所述的方法，所述对所述待处理帧图像进行图像分区，得到至少一图像分区，包括：

获得所述待处理视频的属性信息；

基于所述属性信息，确定所述待处理帧图像的分区粒度；

按照所述分区粒度对所述待处理帧图像进行图像分区，得到至少一个图像分区；

其中，不同的分区粒度对应的图像分区的边缘像素点的数量不同。

3.根据权利要求2所述的方法，所述按照所述分区粒度对所述待处理帧图像进行图像分区，得到至少一个图像分区，包括：

获得所述待处理帧图像在不同像素点的图像梯度；

将所述图像梯度大于第一阈值的像素点确定为相应待处理帧图像的边缘像素点；

按照所述分区粒度，从确定的边缘像素点中确定出分区边缘像素点；

由所述分区边缘像素点形成至少一个图像分区。

4.根据权利要求1至3任一项所述的方法，还包括：

获得每一所述图像分区的差异信息；

其中，所述获得每一所述图像分区的差异信息，包括：

获得所述图像分区中各像素点的平均色值；

对所述图像分区中各像素点的颜色值与所述平均色值进行比较，至少将得到的各像素点的颜色值与所述平均色值的差异值确定为所述图像分区的差异信息。

5.根据权利要求4所述的方法，检测到一图像分区的所述差异值小于第一阈值，确定该图像分区为符合条件的图像分区；

其中，所述差异值为该图像分区中各像素点的颜色值与平均色值的差值。

6.根据权利要求4所述的方法，所述至少基于每一所述图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将所述待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像，包括：

按照所述图像分区中各像素点的平均色值，对符合条件的图像分区的扩展区域进行颜色填充，以将所述符合条件的图像分区从第一分辨率处理成具有第二分辨率的第一目标图像分区，所述目标图像分区包含所述扩展区域；

将不符合条件的图像分区确定为第二目标图像分区；

由所述第一目标图像分区和所述第二目标图像分区构成目标帧图像。

7.根据权利要求1所述的方法，所述从待处理视频包括的帧图像中确定待处理帧图像，包括：

对待处理视频进行拆分，得到多个帧图像；

从所述多个帧图像中，筛选符合清晰度条件的帧图像作为待处理帧图像；其中，所述清晰度条件至少与所述帧图像的采集参数有关。

8.根据权利要求7所述的方法，所述从所述多个帧图像中，筛选符合清晰度条件的帧图像作为待处理帧图像，包括：

获得每一所述帧图像的灰度值，至少基于所述灰度值进行卷积运算和方差计算，得到每一所述帧图像对应的方差；

将所述方差小于第二阈值的帧图像确定为所述待处理帧图像。

9.根据权利要求1所述的方法，还包括：

获得目标帧图像的属性信息，至少基于所述属性信息按照确定的处理策略将所述目标帧图像处理成目标视频；

其中，所述处理策略至少与所述目标视频的使用环境有关。

10.一种处理装置，包括：

待处理帧图像确定模块，用于从待处理视频包括的帧图像中得到符合筛选条件的帧图像，确定为待处理帧图像；

图像分区获得模块，用于对所述待处理帧图像进行图像分区，得到至少一图像分区；

填充模块，用于至少基于每一所述图像分区的差异信息对符合条件的图像分区的扩展区域进行像素填充，以将所述待处理帧图像从第一分辨率处理成具有第二分辨率的目标帧图像；

其中，所述第一分辨率小于所述第二分辨率，所述差异信息为每一图像分区与自身样本的差异值。

Images