CN110493599B - 图像识别方法及装置 - Google Patents

Abstract

本公开提供一种方法及装置，涉及计算机图像技术领域，所述方法包括将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量。本公开能够解决现有的运动估计方法中计算全局运动矢量的速度较慢的问题。

Description

图像识别方法及装置

技术领域

本公开涉及计算机图像技术领域，尤其涉及图像识别方法及装置。

背景技术

由于视频信息的数据量非常巨大，若不经过编码压缩，数字图像的传输所需的高传输率和数字图像存储所需的巨大容量将成为视频信息推广应用的最大障碍。为此，提出了针对视频信息压缩编码的运动估计技术。运动估计是现阶段视频信息编码压缩的关键技术，它可以通过帧间编码的方法，利用前后两帧或若干帧之间的时间相关性，去除时间冗余。因为在一般视频序列的两帧之间有很大的空间结构的相似性，所以前后两帧的差帧可以使用很少的比特数来进行编码。

目前，运动估计是基于整帧去实现的，也即将当前帧的整体与参考帧进行匹配，以及计算偏移矢量。但是，现有的运动估计方法中，计算全局运动矢量的速度较慢，无法满足高清视频实时传输对压缩效率的高要求。

发明内容

本公开实施例提供一种图像识别方法及装置，能够解决现有图像识别计算全局运动矢量的速度较慢的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像识别方法，该方法包括：将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量。

在一个实施例中，对所述多个条带进行并行处理，分别识别每个条带中的条带偏移矢量包括：识别参考图像帧的第一特征点并计算对应的第一特征值；识别当前图像帧每个条带的第二特征点并计算对应的第二特征值；将当前条带的第二特征值与参考帧的第一特征值一致的特征点标识为匹配特征点；根据所述匹配特征点对应的第一特征值和第二特征值计算条带偏移矢量。

在一个实施例中，根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量包括：统计每个条带的条带偏移矢量的出现次数，将出现次数最多的条带偏移矢量作为主偏移矢量；若所述主偏移矢量大于预设阈值，则识别所述条带偏移矢量为条带运动向量。

在一个实施例中，上述方法还包括：当完成条带运动向量识别条带的条带运动向量相同的个数符合预设条件时，标识所述条带运动向量为当前图像帧未完成条带运动向量识别条带的条带运动向量。

在一个实施例中，根据所述条带偏移矢量按照预设规则确定每个条带的运动向量包括：将第一条带中的条带偏移矢量用于第二条带的条带偏移矢量识别；其中，完成条带运动向量识别的条带为第一条带，未完成条带运动向量识别的条带为第二条带。

在一个实施例中，将图像帧划分为多个条带包括：按照宏块的一行或多行将当前图像帧划分为所述多个条带。

在一个实施例中，所述方法还包括：如果所述条带所包含的宏块按照所述条带运动向量进行运动之后，与参考帧的宏块完全相同，则确定当前宏块的类型为全局运动宏块。

根据本公开实施例的第二方面，提供一种图像识别装置，该装置包括划分模块、计算模块和确定模块，其中，划分模块，被配置为将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；计算模块，被配置为对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；确定模块，被配置为根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量。

在一个实施例中，计算模块包括第一识别子模块、第二识别子模块、匹配子模块和计算子模块，其中，第一识别子模块被配置为识别参考图像帧的第一特征点并计算对应的第一特征值；第二识别子模块被配置为识别当前图像帧每个条带的第二特征点并计算对应的第二特征值；标识子模块被配置为将当前条带的第二特征值与参考帧的第一特征值一致的特征点标识为匹配特征点；计算子模块被配置为根据所述匹配特征点对应的第一特征值和第二特征值计算条带偏移矢量。

在一个实施例中，确定模块具体被配置为：统计每个条带的条带偏移矢量的出现次数，将出现次数最多的条带偏移矢量作为主偏移矢量；若所述主偏移矢量大于预设阈值，则识别所述条带偏移矢量为条带运动向量。

在一个实施例中，装置还包括标识模块，被配置为当完成条带运动向量识别条带的条带运动向量相同的个数符合预设条件时，标识所述条带运动向量为当前图像帧未完成条带运动向量识别条带的条带运动向量。在一个实施例中，根据所述条带偏移矢量按照预设规则确定每个条带的运动向量包括：将第一条带中的条带偏移矢量用于第二条带的条带偏移矢量识别；其中，完成条带运动向量识别的条带为第一条带，未完成条带运动向量识别的条带为第二条带。

在一个实施例中，划分模块具体被配置为按照宏块的一行或多行将当前图像帧划分为所述多个条带。

在一个实施例中，上述装置方法还包括判断模块，被配置为如果所述条带所包含的宏块按照所述条带运动向量进行运动之后，与参考帧的宏块完全相同，则判断当前宏块的类型为全局运动宏块。

在本申请中，可以将当前帧划分为多个条带，同时将各条带与当前帧进行匹配和计算偏移矢量，可以提高处理效率，加快全局运动矢量的计算速度，以满足高清视频实时传输对压缩效率的高要求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像识别方法的流程图；

图2是本公开实施例提供的一种计算条带偏移矢量流程图；

图3是本公开实施例提供的一种条带划分示意图；

图4是本公开实施例提供的一种特征点示意图；

图5是本公开实施例提供的一种图像识别装置的结构图；

图6是本公开实施例提供的一种图像识别装置的结构图；

图7是本公开实施例提供的一种图像识别装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

基于宏块匹配的运动估计方法的基本思想是先将图像序列的当前帧均分成多个不重叠的宏块，并认为宏块内的所有像素的位移量相同，然后，由当前帧的每个宏块，在参考帧某一给定范围内，根据预设的匹配准则找到与该宏块最相似的宏块，即匹配宏块，可以理解的，匹配宏块为参考帧中，与当前帧中该宏块最相似的宏块，匹配宏块与该宏块的偏移矢量即为全局运动向量，运动估计的目的就是查找全局运动向量。

图1是本公开实施例提供的一种图像识别方法的流程图，如图1所示，该图像识别方法包括以下步骤：

步骤101、将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；

具体的，可以先将当前帧拆分为多个宏块，再将多个宏块分为多个条带，可以将一行宏块作为一个条带，也可以将多行宏块作为一个条带。其中，一个宏块可以为16*16像素点，也可以为8*8像素点。

图3是本公开实施例提供的一种条带划分示意图；如图3所示，将当前帧拆分为条带(a)至(f)共6个条带。

步骤102、对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；

图2是本公开实施例提供的一种计算条带偏移矢量流程图，如图2所示的流程图，所述多个条带进行并行处理，分别识别每个条带中的条带偏移矢量包括以下步骤：

步骤2011、识别参考图像帧的第一特征点并计算对应的第一特征值；

需要说明的是，通常情况下，参考帧可以是当前帧的前一帧，当然，参考帧也可以是当前帧之前处理过的任何一帧，只要在解码端保证使用的参考帧和编码端使用的参考帧相同就可以。

在一个实施例中，对于参考图像帧中的每个像素点，如果某一像素点的邻域四个点的像素值相同，且该像素点与邻域四个点的像素值不同，则可以将该像素点作为特征点，如图4所示，像素点x与相邻的像素点x1，x2，x3，x4的像素值不同，且像素点x1，x2，x3，x4的像素值相同,则将像素点x作为特征点；然后，计算该像素点的像素值以及该像素点之后的31个像素点的像素值的哈希值，并将该哈希值作为该特征点的特征值；在图3中，计算像素点x以及像素点x以后的31个像素点的像素值的哈希值，并将该哈希值作为该特征点x的特征值。

步骤2012、识别当前图像帧每个条带的第二特征点并计算对应的第二特征值；

具体的识别流程筒步骤2011，这里不再赘述。需要说明的是，每个条带的特征点有多个。图3中的空心原点示意为特征点。

步骤2013、将当前条带的第二特征值与参考帧的第一特征值一致的特征点标识为匹配特征点；

利用第二特征值对当前图像帧每个条带中的特第二征点和参考帧中的第一特征点进行特征匹配，将该条带的特征点对应的特征值与参考帧的特征点对应的特征值进行匹配，若该条带的特征点对应的特征值中，存在与参考帧的特征点对应的特征值相同的特征值，则可以将该特征值对应的特征点记为第一匹配特征点。

具体的，将当前图像帧的条带的第二特征点对应的第二特征值与参考帧的第一特征点对应的第一特征值进行匹配，若该条带的第二特征点对应的第二特征值中，存在与参考帧的第一特征点对应的第一特征值相同的第二特征值，则可以将该第二特征值对应的第二特征点记为第一匹配特征点。

具体的，可以比较步骤2012计算出的条带(a)的特征点对应的特征值，与步骤2011计算出的参考帧的特征点对应的特征值是否相同，若有相同，则可以将条带(a)的特征点对应的特征值中，与参考帧的特征点对应的特征值相同的特征点记为第二匹配特征点，以及将参考帧中，与当前帧的特征点对应的特征值相同的特征点记为第一匹配特征点。

步骤2014、根据所述匹配特征点对应的第一特征值和第二特征值计算条带偏移矢量。

其中，条带偏移矢量指的是当前图像帧条带中的特征点，与相同的特征值的参考帧中的特征点之间的位移向量。

步骤103、根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量。

在一个实施例中，根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量包括：统计所有的条带偏移矢量的出现次数，将出现次数最多的条带偏移矢量作为主偏移矢量；若所述主偏移矢量大于预设阈值，则识别所述条带偏移矢量为每个条带的条带运动向量。

其中，预设阈值的大小与特征值的数量有关，特征值越多，预设阈值的大小就越大，比如，特征值为几百个，那么，预设阈值可以为几十，具体可以根据实际情况来确定。在一个实施例中，上述方法还包括：当完成条带运动向量识别条带的条带运动向量相同的个数符合预设条件时，标识所述条带运动向量为当前图像帧未完成条带运动向量识别条带的条带运动向量。

在一个实施例中，根据所述条带运动向量确定每个条带的条带运动向量包括：

当条带运动向量相同的个数符合预设条件时，确定所述条带运动向量为当前帧的全局运动矢量。

具体的，预设条件为大于某一个数量阈值。因为数据量的不同，每个条带的处理速度可能并不相同，该实施例仅仅根据当前条带的特征计算出该条带的运动向量值，可以记录已经得到的条带运动向量的结果，比如当前帧一共划分为6个条带，当发现3条以上的条带运动向量相同，就把该条带运动向量作为当前帧的全局运动向量，这样就可以通知还未完成条带运动向量识别的条带停止进行条带运动向量识别，而直接使用该值，作为未计算条带的条带运动向量，进行宏块分类。在一个实施例中，根据所述条带偏移矢量按照预设规则确定每个条带的运动向量包括：将第一条带中的条带偏移矢量用于第二条带的条带偏移矢量识别；其中，完成条带运动向量识别的条带为第一条带，未完成条带运动向量识别的条带为第二条带。

由于计算的不仅仅是一个条带的偏移矢量，因此使用更多条带的偏移矢量结果用来统计能够提高准确率。首先建立一个当前帧的条带偏移矢量统计值的缓冲，缓冲中存放的是已经完成条带偏移矢量计算的各个条带总结果，即每个条带偏移矢量及出现的频率。然后每当计算完一个条带，就将这个条带的统计结果放入当前帧的条带偏移矢量统计缓冲中，立即计算出一个频率最高的条带偏移矢量，作为当前帧的运动向量。在一个实施例中，将图像帧划分为多个条带包括：按照宏块的一行或多行将当前图像帧划分为所述多个条带。

在一个实施例中，上述述方法还包括：如果所述条带所包含的宏块按照所述条带运动向量进行运动之后，与参考帧的宏块完全相同，则判断当前宏块的类型为全局运动宏块。

本步骤通过该条带所包含的各宏块，分别与参考帧的宏块进行逐一对比，根据对比结果确定宏块的类型信息。具体的，若该条带所包含的宏块，与参考帧的宏块完全相同，且两个宏块的位置相同，则确定当前宏块的类型信息为零运动宏块；若该条带所包含的宏块按照全局运动向量进行运动之后，与参考帧的宏块完全相同，则确定当前宏块的类型信息为全局运动宏块。

具体的，对比过程为将两个宏块的所有像素点的像素值逐一进行对比，当像素点完全相同时，可以确定两个宏块相同。

最后，将当前帧的每个宏块与参考帧的每个宏块进行比较，若相同位置的宏块完全相同，则确定当前宏块的类型信息为零运动宏块；若当前宏块经过全局运动向量运动之后和参考帧相应位置的宏块完全相同，则确定当前宏块的类型信息为全局运动向量块，并确定当前帧的宏块中，除零运动宏块和全局运动向量块以外的其他宏块为帧内块。

对于类型信息为零运动宏块和全局运动向量块的宏块无需进行压缩编码，对于类型信息为帧内块的宏块，可以采用帧内编码的方式进行编码压缩，得到帧内编码码流。

图5是本公开实施例提供的一种图像识别装置的结构图，如图5所示，该图像识别装置50包括划分模块501、计算模块502和确定模块503，其中，划分模501，被配置为将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；计算模块502，被配置为对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；确定模块303，被配置为根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量。

在一个实施例中，确定模块503具体被配置为：

统计每个条带的条带偏移矢量的出现次数，将出现次数最多的条带偏移矢量作为主偏移矢量；若所述主偏移矢量大于预设阈值，则识别所述条带偏移矢量为条带运动向量。

图6是本公开实施例提供的一种图像识别装置的结构图，如图6所示，该图像识别装置60包括划分模块601、计算模块602和确定模块603，其中，划分模601，被配置为将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；计算模块602，被配置为对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；确定模块603，被配置为根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量。

在一个实施例中，计算模块602包括第一识别子模块6021、第二识别子模块6022、匹配子模块6023和计算子模块6024，其中，第一识别子模块6021被配置为识别参考图像帧的第一特征点并计算对应的第一特征值；第二识别子模块6022被配置为识别当前图像帧每个条带的第二特征点并计算对应的第二特征值；标识子模块6023被配置为将当前条带的第二特征值与参考帧的第一特征值一致的特征点标识为匹配特征点；计算子模块6024被配置为根据所述匹配特征点对应的第一特征值和第二特征值计算条带偏移矢量。

图7是本公开实施例提供的一种图像识别装置的结构图，如图7所示，该图像识别装置70包括划分模块701、计算模块702、确定模块703和标识模块704，其中，划分模701，被配置为将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；计算模块702，被配置为对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；确定模块703，被配置为根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量。标识模块704，被配置为当完成条带运动向量识别条带的条带运动向量相同的个数符合预设条件时，标识所述条带运动向量为当前图像帧未完成条带运动向量识别条带的条带运动向量。

在本申请中，可以将当前帧划分为多个条带，同时将各条带与当前帧进行匹配和计算偏移矢量，可以提高处理效率，加快全局运动矢量的计算速度，以满足高清视频实时传输对压缩效率的高要求。

基于上述图1对应的实施例中所描述的图像识别方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的图像识别方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (4)

1.一种图像识别方法，其特征在于，所述方法包括：

将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；

对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；

根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量；

所述对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量包括：

识别参考图像帧的第一特征点并计算对应的第一特征值；

识别当前图像帧每个条带的第二特征点并计算对应的第二特征值；

将当前条带的第二特征值与参考帧的第一特征值一致的特征点标识为匹配特征点；

根据所述匹配特征点对应的第一特征值和第二特征值计算条带偏移矢量；

所述根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量包括：

统计每个条带的条带偏移矢量的出现次数，将出现次数最多的条带偏移矢量作为主偏移矢量；若所述主偏移矢量大于预设阈值，则识别所述条带偏移矢量为条带运动向量；

当完成条带运动向量识别条带的条带运动向量相同的个数符合预设条件时，标识所述条带运动向量为当前图像帧未完成条带运动向量识别条带的条带运动向量。

2.根据权利要求1所述的图像识别方法，其特征在于，所述将当前图像帧划分为多个条带包括：

按照宏块的一行或多行将当前图像帧划分为所述多个条带。

3.根据权利要求1至2任一项所述的图像识别方法，其特征在于，所述方法还包括：

如果所述条带所包含的宏块按照所述条带运动向量进行运动之后，与参考帧的宏块完全相同，则判断当前宏块的类型为全局运动宏块。

4.一种图像识别装置，其特征在于，所述装置包括：

划分模块，被配置为将当前图像帧划分为多个条带；其中，所述条带至少包含一个宏块；

计算模块，被配置为对所述多个条带进行并行处理，分别计算每个条带中的条带偏移矢量；

确定模块，被配置为根据所述条带偏移矢量按照预设规则确定每个条带的条带运动向量；

所述计算模块包括第一识别子模块、第二识别子模块、匹配子模块和计算子模块，其中，

第一识别子模块被配置为识别参考图像帧的第一特征点并计算对应的第一特征值；

第二识别子模块被配置为识别当前图像帧每个条带的第二特征点并计算对应的第二特征值；

标识子模块被配置为将当前条带的第二特征值与参考帧的第一特征值一致的特征点标识为匹配特征点；

计算子模块被配置为根据所述匹配特征点对应的第一特征值和第二特征值计算条带偏移矢量；

所述确定模块具体被配置为：统计每个条带的条带偏移矢量出现次数，将出现次数最多的条带偏移矢量作为主偏移矢量；若所述主偏移矢量大于预设阈值，则确定所述条带偏移矢量为条带运动向量；

所述装置还包括标识模块，被配置为当完成条带运动向量识别条带的条带运动向量相同的个数符合预设条件时，确定所述条带运动向量为当前图像帧未完成条带运动向量识别条带的条带运动向量。

Images