CN110933428A

CN110933428A - 图像处理方法及装置

Info

Publication number: CN110933428A
Application number: CN201910986217.7A
Authority: CN
Inventors: 赵立立; 范志刚
Original assignee: Xian Wanxiang Electronics Technology Co Ltd
Current assignee: Xian Wanxiang Electronics Technology Co Ltd
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2020-03-27
Anticipated expiration: 2039-10-17
Also published as: WO2021073066A1; CN110933428B

Abstract

本公开提供一种图像处理方法及装置，涉及计算机图像技术领域，所述方法包括获取当前图像帧的多个初始宏块行，识别每个初始宏块行的特征点；其中，所述当前图像帧包括多个初始宏块行；根据所述每个初始宏块行的特征点，确定目标宏块行；其中，所述目标宏块行包括连续N个初始宏块行；根据所述目标宏块行的特征点，计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量。本公开能够解决现有不能保证图像压缩效果的问题。

Description

图像处理方法及装置

技术领域

本公开涉及计算机图像技术领域，尤其涉及图像处理方法及装置。

背景技术

在帧间预测编码中，由于活动图像邻近帧中的景物存在着一定的相关性，因此，可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像中的位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所指的运动矢量，得到运动矢量的过程被称为运动估计。

运动矢量和经过运动匹配后得到的预测误差共同发送到解码端，在解码端按照运动矢量指明的位置，从已经解码的邻近参考帧图像中找到相应的块或宏块，和预测误差相加后就得到了块或宏块在当前帧中的位置。

发明人在研究背景技术时发现了一种运动向量的识别方法，该方法将当前帧分为多个条带，并逐行计算各条带的特征点和特征点对应的特征值，计算各特征点相对于参考帧中对应特征点的偏移向量；并根据该偏移向量确定该偏移向量为主偏移向量，也就是全局运动矢量。

但是上述方案存在一些问题：由于针对每帧图像按照自上而下的顺序进行条带化的特征点检测和特征点的匹配，得到匹配特征点，计算各个匹配特征点的运动矢量，根据预设阈值确定出现次数最多的运动矢量中是否存在全局运动矢量，这种方式不能保证在每帧图像的第一个图像即准确判断出全局运动矢量，也就很容易发生这种情况：比如，在中间或者偏后位置才确定全局运动矢量的话，则只能根据确定的全局运动矢量对当前和后续的条带进行编码，而前面的条带由于已经处理过了，因此，并不会根据后续确定的全局运动矢量进行编码。因此，这种方式，不能保证图像压缩效果。

发明内容

本公开在上述背景技术的方案基础上提出了一种改进技术方案，以期对上述问题进行至少部分改善。

本公开实施例提供一种图像处理方法及装置，能够解决现有图像处理计算全局运动矢量的速度较慢的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：

获取当前图像帧的多个初始宏块行，识别每个初始宏块行的特征点；其中，所述当前图像帧包括多个初始宏块行；

根据所述每个初始宏块行的特征点，确定目标宏块行；其中，所述目标宏块行包括连续N个初始宏块行；

根据所述目标宏块行的特征点，按照预设规则计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量。

在一个实施例中，根据所述每个宏块行的特征点，确定目标宏块行包括：

确定包含特征点最多的连续N个宏块行为目标宏块行。

在一个实施例中，根据所述目标宏块行的特征点，按照预设规则计算所述目标宏块行的运动矢量包括：

计算参考图像帧中多个特征点的特征值；

计算所述当前图像帧目标宏块行中各个特征点的特征值；

将所述当前图像帧目标宏块行中各个特征点的特征值与参考图像帧中多个特征点的特征值进行比对；

将所述当前图像帧目标宏块行中各个特征点的特征值与参考帧中特征点的特征值相同的特征点标识为匹配特征点；

计算所述目标宏块行中各个匹配特征点相对于参考图像帧对应的匹配特征点的运动矢量；

按照预设规则，根据所述匹配特征点的运动矢量确定全局运动向量。

在一个实施例中，按照预设规则，根据所述匹配特征点的运动矢量确定全局运动向量包括：

确定出现次数最多的匹配特征点的运动矢量作为全局运动矢量。

在一个实施例中，上述方法还包括：将所述当前图像帧划分为多个条带；并根据所述全局运动矢量对当前图像帧进行宏块类型识别。

根据本公开实施例的第二方面，提供一种图像处理装置，该装置包括：

获取模块，用于获取当前图像帧的多个初始宏块行，识别每个初始宏块行的特征点；其中，所述当前图像帧包括多个初始宏块行；

第一确定模块，用于根据所述每个宏块行的特征点，确定目标宏块行；其中，所述目标宏块行包括连续N个初始宏块行；

第二确定模块，用于根据所述目标宏块行的特征点，按照预设规则计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量。

在一个实施例中，第一确定模块具体用于：

确定包含特征点最多的连续N个宏块行为目标宏块行。

在一个实施例中，第二确定模块包括：

第一计算子模块，用于计算参考图像帧中多个特征点的特征值；

第二计算子模块，用于计算所述当前图像帧目标宏块行中各个特征点的特征值；

比对子模块，用于将所述当前图像帧目标宏块行中各个特征点的特征值与参考图像帧中多个特征点的特征值进行比对；

标识子模块，用于将所述当前图像帧目标宏块行中各个特征点的特征值与参考帧中特征点的特征值相同的特征点标识为匹配特征点；

第三计算子模块，用于计算所述目标宏块行中各个匹配特征点相对于参考图像帧对应的匹配特征点的运动矢量；

确定子模块，用于按照预设规则，根据所述匹配特征点的运动矢量确定全局运动向量。

在一个实施例中，确定子模块具体用于：

在一个实施例中，上述装置还包括：识别模块，用于将所述当前图像帧划分为多个条带；并根据所述全局运动矢量对当前图像帧进行宏块类型识别。

本公开所提供的图像处理方法，简单快捷，具有较高的准确度，且图像压缩率高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像处理方法的流程图；

图2是本公开实施例提供的一种确定全局运动矢量流程图；

图3是本公开实施例提供的一种图像处理方法的流程图；

图4是本公开实施例提供的一种平移前和平移后的图像示意图；

图5是本公开实施例提供的一种条带划分示意图；

图6是本公开实施例提供的一种应用环境示例图；

图7是本公开实施例提供的一种图像处理装置的结构图；

图8是本公开实施例提供的一种图像处理装置的结构图；

图9是本公开实施例提供的一种图像处理装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开在上述背景技术方案基础上提出了一种改进技术方案，以期对上述问题进行至少部分改善。

下面对本发明所述方案进行详细阐述。

图1是本公开实施例提供的一种图像处理方法的流程图，如图1所示，该图像处理方法包括以下步骤：

步骤101、获取当前图像帧的多个初始宏块行，识别每个初始宏块行的特征点；其中，所述当前图像帧包括多个初始宏块行；

该步骤中，可以通过逐行的方式获取当前图像帧的多个初始行宏块，识别每个初始宏块行的特征点。

该步骤中，首先通过图像采集装置获取当前帧图像，其中，当前帧图像划分为多个宏块；具体的，按照预设的宏块划分方式将当前帧图像划分为多个宏块，其中每一个宏块大小为M×N，其中，M可以等于N。具体的，每个宏块大小可以为16×16、8×8等。

根据所述每个初始宏块行的特征点，确定目标宏块行包括：

确定包含特征点最多的连续N个初始宏块行为目标宏块行。

该步骤中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。

根据连续N个初始宏块行的特征点数量和全局运动矢量出现概率的正相关性，将包含特征点最多的N个初始宏块行作为目标宏块行。

步骤102、根据所述每个初始宏块行的特征点，确定目标宏块行；其中，所述目标宏块行包括连续N个初始宏块行；

目标宏块行需满足的三个条件是：1、包含N个宏块行；2、N个宏块行之间是连续的；3、所述N个连续宏块行包含的特征点最多。

为了找出目标宏块行，需要对所有连续的N个宏块行的特征点数量进行统计，统计数量最多的N个宏块行即为目标宏块行。

N的数据可以根据实际需要进行设置，比如，可以设置为2或3或4等等，这里不做限制。

根据多个连续宏块行中特征点数量和全局运动矢量出现概率的正相关性，我们可以认为：包含特征点最多的连续宏块行可以作为寻找全局运动矢量的目标宏块行。

步骤103、根据所述目标宏块行的特征点，计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量。

如图2所示，根据所述目标宏块行的特征点，计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量包括：

步骤1031、计算参考图像帧中多个特征点的特征值；

该步骤之前，由于参考帧是已经编码过的图像帧，因此，可以获得参考帧中所有的特征点及其特征值。

所述参考帧不仅仅指当前图像帧的前一帧，实际上可以指当前图像之前的任意一帧图像。

具体的，计算特征点的特征值的方案有很多，比如，可以根据如尺度不变特征变换(Scale-invariant feature transform，SIFT)，FAST、MSER、STAR等特征提取算法来计算各个特征点的特征值；也可以计算特征点像素值的哈希值来作为特征值。

步骤1032、计算所述当前图像帧目标宏块行中各个特征点的特征值；

该步骤和步骤1031中计算参考帧的特征值方法一致，不再赘述。

步骤1033、将所述当前图像帧目标宏块行中各个特征点的特征值与参考图像帧中多个特征点的特征值进行比对；

步骤1034、将所述当前图像帧目标宏块行中各个特征点的特征值与参考帧中特征点的特征值相同的特征点标识为匹配特征点；

步骤1035、计算所述目标宏块行中各个匹配特征点相对于参考图像帧对应的匹配特征点的运动矢量；

该步骤中，各个目标特征点相对于其匹配特征点的运动矢量的表示方式为(mv_x，mv_y)，其中，mv_x代表x轴(横向)上的偏移量，mv_y代表y轴(纵向)上的偏移量。

步骤1036、按照预设规则，根据所述匹配特征点的运动矢量确定全局运动向量。

举例来说，假设目标宏块行中各个特征点的特征值取值包括：(mv_x1，mv_y1)、(mv_x2，mv_y2)和(mv_x3，mv_y3)；其中，(mv_x1，mv_y1)出现5次、(mv_x2，mv_y2)出现102次、(mv_x3，mv_y3)11次，因此，可以将出现最多的运动矢量(mv_x2，mv_y2)确定为全局运动矢量。

在一个实施例中，该方法还包括：根据所述全局运动矢量对当前图像帧进行宏块类型识别。

在一个实施例中，如图3所示，该方法还包括：

步骤104、将所述当前图像帧划分为多个条带，并根据确定出的全局运动矢量，逐条带进行宏块类型识别。

该步骤中，可以按照预设方式将当前帧图像划分为多个条带，每一个条带的高度可以等于一个宏块行或者多个连续宏块行的高度。具体的，条带划分方式可以根据实际需要进行设置和调整。通常可以将一帧图像等分为N个条带，N的个数根据需要进行设定。

图4是平移前和平移后的图像示意图。图5是对图4中右图进行条带划分后的示意图，参照图5，将原图像等分为(a)-(f)共六个条带，每一个条带的高度是两个宏块行的高度，长度则等于十七个宏块列的长度。

具体的，根据上一步确定出的全局运动矢量，自上而下逐条带进行宏块类型识别。具体的识别步骤包括：

将当前条带所包含的宏块，分别与参考帧中的宏块进行逐一比对，根据比对结果进行宏块类型识别。

所述根据比对结果进行宏块类型识别具体包括：

如果当前比对宏块与参考帧中相同位置上的宏块完全相同，则确定当前比对宏块为零运动宏块；将当前比对宏块按照全局运动矢量进行反向运动(假设当前比对宏块是按照全局运动矢量运动后的宏块，所谓反向运动是指将当前比对宏块还原至发送运动之前的初始位置)，确定反向运动后当前比对宏块所处的位置(即初始位置)；如果参考帧中对应位置(初始位置)上的宏块与当前比对宏块相同，则确定当前比对宏块为全局运动宏块。除上述两种情况之外的其它宏块，则认为图片内容变化，可以采用其它编码规则进行编码(例如视频可以采用H.264编码)。

具体的，对比过程为将两个宏块的所有像素点的像素值逐一进行对比，当像素点完全相同时，可以确定两个宏块相同；反之，则确定两个宏块不相同。

进一步的，上述方案还包括：

如果当前特征点数量最多的目标宏块行中，对特征点所计算的运动矢量中，出现次数最多的运动矢量超过一个；则继续扩大目标宏块行的位置，比如将目标宏块行向上或者向下扩展一行，再针对扩展后的N+1个连续宏块行进行运动矢量计算，将计算得到的运动矢量中出现次数最多的运动矢量确定为全局运动矢量。如果仍未能确定出一个出现次数最多的全局运动矢量，则可以对当前的N+1个连续宏块行继续向上或者向下扩展一行，以此类推，直到找到出现次数最多的一个运动矢量。在进行扩展时，可以交替进行向上和向下的扩展，比如，可以先向上扩展一行，如果未找到，则再向下扩展一行，如果仍未找到，则再向上扩展一行；在扩展过程中，如果某一个方向上无法再进行扩展，比如，已经向上扩展至第一行，则后续如果还需要进行扩展，就可以只向下扩展。

如图3，在一个实施例中，该方法还可以包括：

步骤105、针对每一个条带，基于宏块识别结果，进行帧间编码。

该方案中，在编码过程中，按照条带顺序进行流水线处理，也就是：编码一个条带，则立即对该条带进行传输，从而降低编解码端的时延。

在本申请中，可以将当前帧划分为多个条带，同时将各条带与当前帧进行匹配和计算偏移矢量，可以提高处理效率，加快全局运动矢量的计算速度，以满足高清视频实时传输对压缩效率的高要求。

下面对本公开所述方案的应用场景进行简单阐述。

本公开主要针对桌面虚拟化和云桌面场景，主要用于计算机图像的运动向量识别和编解码。所谓计算机图像，简单来说就是用户操作计算机所产生的桌面图像。连续变化自然图像形成自然图像视频，而连续变化的计算机图像则形成计算机图像视频。相较于自然视频，计算机图像视频有着比较显著的特点，比如，运动矢量相对于自然视频存在一定规律性。这是由图像的产生方式决定的，由于计算机图像是由用户操作产生的，用户的操作有可能使两帧画面之间产生运动向量，也有可能不产生运动向量，如果产生运动向量，则多数是由用户的鼠标拖动操作产生的，这种情况下，运动矢量的个数通常为一个，这一个运动矢量可以被称为全局运动矢量；而自然图像视频中运动矢量则呈现出不规律性，这是因为自然视频中两帧图像之间可能有多个物体发生不同方向的位移，从而产生多个运动矢量。而本公开主要对情况相对简单的计算机图像进行研究。

图6是本公开图像处理过程中编解码的一种应用环境示例图，参照图1，视频信号在编码端中进行编码，之后，再通过网络传输通道传输至解码端。本领域技术人员能够理解的是，编码端位于服务器端；解码端位于接收设备之上，在云桌面场景下，接收设备可以为个人电脑、移动电话等等，在桌面虚拟化场景下，接收设备可以为零终端。接收设备的数量可以为一个或者多个，本发明对此不做限制。

图7是本公开实施例提供第一种图像处理装置结构图，如图7所示的图像处理装置70包括获取模块701、第一确定模块702和第二确定模块703，其中，获取模块701用于获取当前图像帧的多个初始宏块行，识别每个初始宏块行的特征点；其中，所述当前图像帧包括多个初始宏块行；第一确定模块702用于根据所述每个初始宏块行的特征点，确定目标宏块行；其中，所述目标宏块行包括连续N个初始宏块行；第二确定模块703用于根据所述目标宏块行的特征点，按照预设规则计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量。

在一个实施例中，第一确定模块702具体用于：确定包含特征点最多的连续N个初始宏块行为目标宏块行。

图8是本公开实施例提供第一种图像处理装置结构图，如图8所示的图像处理装置80包括获取模块801、第一确定模块802和第二确定模块803，其中，第二确定模块803包括：

第一计算子模块8031，用于计算参考图像帧中多个特征点的特征值；

第二计算子模块8032，用于计算所述当前图像帧目标宏块行中各个特征点的特征值；

比对子模块8033，用于将所述当前图像帧目标宏块行中各个特征点的特征值与参考图像帧中多个特征点的特征值进行比对；

标识子模块8034，用于将所述当前图像帧目标宏块行中各个特征点的特征值与参考帧中特征点的特征值相同的特征点标识为匹配特征点；

第三计算子模块8035，用于计算所述目标宏块行中各个匹配特征点相对于参考图像帧对应的匹配特征点的运动矢量；

确定子模块8036，用于按照预设规则，根据所述匹配特征点的运动矢量确定全局运动向量。

在一个实施例中，确定子模块8036具体用于：

图9是本公开实施例提供第一种图像处理装置结构图，如图9所示的图像处理装置90包括获取模块901、第一确定模块902、第二确定模块903和识别模块904，其中，识别模块904用于将所述当前图像帧划分为多个条带，并根据所述全局运动矢量对当前图像帧进行宏块类型识别。

基于上述图1对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

根据所述目标宏块行的特征点，计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述每个初始宏块行的特征点，确定目标宏块行包括：

确定包含特征点最多的连续N个初始宏块行为目标宏块行。

3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述目标宏块行的特征点，按照预设规则计算所述目标宏块行的运动矢量，并将所述目标宏块行的运动矢量作为全局运动矢量包括：

计算参考图像帧中多个特征点的特征值；

计算所述当前图像帧目标宏块行中各个特征点的特征值；

4.根据权利要求3所述的图像处理方法，其特征在于，所述按照预设规则，根据所述匹配特征点的运动矢量确定全局运动向量包括：

5.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：

将所述当前图像帧划分为多个条带；

根据所述全局运动矢量对当前图像帧逐条带进行宏块类型识别。

6.一种图像处理装置，其特征在于，所述装置包括：

第一确定模块，用于根据所述每个初始宏块行的特征点，确定目标宏块行；其中，所述目标宏块行包括连续N个初始宏块行；

7.根据权利要求6所述的图像处理装置，其特征在于，所述第一确定模块具体用于：

确定包含特征点最多的连续N个初始宏块行为目标宏块行。

8.根据权利要求6所述的图像处理装置，其特征在于，所述第二确定模块包括：

9.根据权利要求8所述的图像处理装置，其特征在于，所述确定子模块具体用于：

10.根据权利要求9所述的图像处理装置，其特征在于，所述装置还包括：

识别模块，用于将所述当前图像帧划分为多个条带，并根据所述全局运动矢量对当前图像帧进行宏块类型识别。