CN109886866A - 一种自适应仿射变换处理方法及装置 - Google Patents

Abstract

本发明公开了一种自适应仿射变换处理方法及装置，属于图像处理技术领域。该方法包括：对第二图像进行分块处理，获得若干个第二图像分块；逐个确定所述若干个第二图像分块每一个像素点与第一图像的像素点的映射关系，计算得到若干个映射关系对应表；读取第一图像的像素数据；根据所述若干个映射关系对应表的映射关系对所述第一图像的像素数据进行插值运算，获得所述第二图像的每一个像素点的数据；所述第一图像为原始图像，第二图像为目标图像。本方法通过对目标图像进行分块处理，可以最大程度的利用映射关系对应表缓存区和原始图像数据缓存区，减小多次读取原始图像重叠区域带来的带宽浪费，从而兼顾性能和面积。

Description

一种自适应仿射变换处理方法及装置

技术领域

本发明涉及图像处理技术，具体涉及一种自适应仿射变换处理方法及装置。

背景技术

仿射变换(Affine Transform)是一种二维坐标到二维坐标的线性变换，是一系列的基本变换的复合变换，这些基本变换包括旋转、缩放、平移、翻转和错切。仿射变换通常用于图像局部变化、图像还原处理，在安防监控、自动驾驶、人脸识别等领域有重要意义。

对于人脸识别，姿态变化是制约其成功率的重要因素。当目标具有倾斜、旋转等较大的姿态变化时，识别率会明显下降甚至无法识别，对图像进行仿射变换预处理可以提高人脸识别的成功率。识别出的目标图像常常形状各异，需要进行仿射变换处理以符合人眼视觉特性。

目前进行仿射变换处理大多是通过软件实现的，例如OpenCV中提供的warpAffine函数，但会占用大量的资源，实时性较差，性能较差，会限制其使用场景及效果。

发明内容

为了解决相关仿射变换处理方法存在占用大量资源的问题，本发明实施例提供了一种自适应仿射变换处理方法及装置。

一方面，本发明实施例提供了一种自适应仿射变换处理方法，包括：

对第二图像进行分块处理，获得若干个第二图像分块；

逐个确定所述若干个第二图像分块每一个像素点与第一图像的像素点的映射关系，计算得到若干个映射关系对应表；

读取第一图像的像素数据；

根据所述若干个映射关系对应表的映射关系对所述第一图像的像素数据进行插值运算，获得所述第二图像的每一个像素点的数据；

所述第一图像为原始图像，第二图像为目标图像。

另一方面，本发明实施例提供了一种自适应仿射变换处理装置，包括：

第二图像分块模块，用于对第二图像进行分块处理，获得若干个第二图像分块；

映射关系对应表模块，用于逐个确定所述若干个第二图像分块每一个像素点与第一图像的像素点的映射关系，计算得到若干个映射关系对应表；

第一图像的像素数据读取模块，用于读取第一图像的像素数据；

插值运算模块，用于根据所述若干个映射关系对应表的映射关系对所述第一图像的像素数据进行插值运算，获得所述第二图像的每一个像素点的数据；

所述第一图像为原始图像，第二图像为目标图像。

本发明与现有技术相比，其有益效果在于：

本方法通过对目标图像进行分块处理，可以最大程度的利用映射关系对应表缓存区和原始图像数据缓存区，减小多次读取原始图像重叠区域带来的带宽浪费，从而兼顾性能和面积。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的自适应仿射变换处理方法的流程图；

图2为本发明实施例的所处理原始图像与目标图像映射关系示意图；

图3是本发明实施例中对目标图像进行分块处理的流程图。

图4是本发明实施例中不同目标图像分块大小对应的原始图像块的示意图。

图5是本发明实施例中目标图像最终的分块方案。

图6是本发明实施例中处理过程各步骤流水线执行流程图；

图7为本发明实施例提供的自适应仿射变换处理装置的结构框图。

具体实施方式

下面结合附图和具体实施方式对本发明的内容做进一步详细说明。

实施例：

在本实施例中，当需要对原始图像进行仿射变换处理时，首先需要获取原始图像的像素点与目标图像像素点之间的映射关系，这映射关系是预先计算得到的，例如由人脸识别算法识别出人脸区域进而得到映射关系。而目标图像是根据像素映射关系对原始图像的像素点进行仿射变换处理之后期望得到的图像。具体地，参见图2，图2为本发明原始图像与目标图像一实施例的示意图，其中左侧虚线框表示完整的原始图像，左侧实线框表示会映射到目标图像的图像区域，右侧是目标图像，原始图像块旋转角度为左旋45度，缩小幅度为50％得到目标图像，根据仿射变换算法可以据此得到目标图像像素点与原始图像像素点之间的像素映射关系。

参阅图1所示，本实施提供的自适应仿射变换处理方法包括：

步骤101、对目标图像进行分块处理，获得若干个目标图像分块；

步骤102、逐个确定所述若干个目标图像分块每一个像素点与原始图像的像素点的映射关系，计算得到若干个映射关系对应表；

步骤103、读取原始图像数据；

步骤104、根据所述若干个映射关系对应表的映射关系对所述原始图像数据进行插值运算，获得所述目标图像的每一个像素点的数据。

由此可知，本方法通过对目标图像进行分块处理，可以最大程度的利用映射关系对应表缓存区和原始图像数据缓存区，减小多次读取原始图像重叠区域带来的带宽浪费，从而兼顾性能和面积。

具体地，在步骤101中，如图3所示，对目标图像按照预设的分块策略尝试多种分块方案，确定最优分块方案；该预设分块策略为分块大小不能超过分块与原始图像的映射关系对应表缓存区，分块方案从大往小尝试。因此，在对目标图像进行分块处理之前，还包括：

步骤100、根据原始图像与目标图像的像素点映射关系对应表来确定第二图像分块的最大像素。

比如，当确定第二图像分块的最大像素为30像素×30像素，此时，将目标图像按照30像素×30像素进行分块处理，然后对所得到的目标图像分块进行计算，计算得到目标图像分块四个顶点的坐标，根据坐标及映射关系得到对应的原始图像四个顶点的坐标，从而计算得到目标图像分块在原始图像中对应的图像块需要占用的存储空间大小，比较此分块方案需要占用的原始图像存储空间与设计限定的原始图像缓存区的大小，如果需占存储空间大于原始图像缓存区，此分块方案会出现溢出，则需要尝试更小的分块方案，例如30像素×20像素分块，直到不会溢出。同时，由于目标图像块大小要考虑输出模块的带宽损耗，分块大小改变的步长为5个像素。可选地，对目标图像进行分块处理可以并行处理，在性能要求高时达到以面积换速度的目的

参见图4，图4为不同大小分块方案实施例，所有方案的映射关系相同，右侧图像表示四种分块方案，左侧实线框表示的是目标图像对应的原始图像块，左侧虚线框表示的是按DDR3Burst对齐方式实际从DDR中读取的数据。可以看出不同的分块方案对应的原始图像的大小和目标图像块的大小并不是程线性关系，因此选择合适的分块方案有助于降低仿射变换占用的数据需要，提高性能。

在本发明另一可选实例中，旋转角度超过180度，不同的分块大小对应的原始图像块的左侧边界并不是对齐的。

参见图5，图5为一个完整的图片分块方案实例。本实施例中图像分块的高度恒定，宽度可变。这样做的一个原因是简化设计难度，另一个是防止出现过小的分块方案导致部分分块效率低下。

具体地，在步骤102中，根据步骤步骤101得到的目标图像分块坐标，可计算每一个像素点对应原始图像的像素点坐标形成映射关系对应表及权重，得到原始图像块的边界，在步骤103中则可以根据步骤102所得到的原始图像块的边界，确定包含原始图像块的内存区域，从内存中读出原始图像数据，并按奇偶行分别存储于两块缓存区中。假设计算得到的原始图像块的边界为min_piexl_x，max_piexl_x，min_piexl_y，max_piexl_y，由于插值算法需要用到计算出来的原始图像坐标(x,y)及相邻的三个坐标(x+1,y)、(x,y+1)、(x+1,y+1)，步骤103需要读取能包含坐标(min_piexl_x,min_piexl_y)及坐标(max_piexl_x+1,max_piexl_y+1)的矩形区域。

对于图像存储介质是DDR而言，DDR的访问是按照Burst进行的。以32bit位宽DDR3而言，访问的最小单位是8个word，为最大限度提高DDR利用率尽量按8word对齐的地址发请求并且请求8word的数据。

在步骤104中，则按顺序从映射关系对应表中读出每个目标图像块像素点对应的原始坐标及权重，根据坐标值计算对应的原始图像数据在缓存中的位置。在具体应用的一个实施例中，目标图像及原始图像均为RGB格式，每个像素由3个byte构成，5个像素点占用16byte空间，最后一个byte留空不用，原始图像缓存的位宽为108bit。假设某个分块对应的的原始图像块的边界为min_piexl_x，max_piexl_x，min_piexl_y，max_piexl_y，可以根据min_piexl_x和max_piexl_x推算出每行像素在缓存中占用的层数，(min_piexl_x/10)*10是缓存中每行像素中的起始像素，((max_piexl_x+1)/10)*10+9是缓存中每行像素中的最后一个像素，每行像素在缓存中占用的层数为((max_piexl_x+1)/10)-(min_piexl_x/10)+1)*2，用row_size_use表示。对于在原始图像相对偏移坐标为(x,y)的像素点，row_size_use*y表示y行第一个像素在缓存中的层数。min_x_alig10表示缓存区中一行像素的起始像素坐标，是以10为对齐系数的对齐坐标，也就是min_x-(min_x％10)。x-min_x_alig10表示当前像素在一行像素中的相对坐标，(x-min_x_alig10)/5表示x在当前行占用的ram中的相对层数，(x-min_x_alig10)％5表示对应层数的相对像素。由于原始图像数据像素按奇偶行分别存放在两个缓存区中，所以坐标(x,y+1)的像素点必然位于另外一块缓存中的相同位置。坐标为(x+1,y)与坐标为(x,y)的两个像素点在缓存区中的相邻位置存放。如果(x-min_x_alig10)％5小于4，则(x+1,y)和(x,y)位于ram中的同一层，如果(x-min_x_alig10)％5为4，则(x+1,y)和(x,y)位于ram中的不同层，因此在检测到数据有效且x％5为4时需要暂停一个周期，等待两个周期把插值运算的原始图像的四个像素点从缓存中读出来，然后进行插值运算得到目标像素点数据。

优选地，本方法还包括：

步骤105,将所获得的目标图像的每一个像素点的数据写入存储介质。

如此，通过执行步骤101-105，执行完全部图像分块之后，整个仿射变换过程结束。

更为优选的是，上述步骤101-105可以通过乒乓操作的方式提高性能。如图6所示，所有需要缓存的数据对应0和1两个缓冲区，轮流使用。步骤102的结果包括原始图像边界及映射关系对应表，其中边界信号没有存入缓存区，二者会被步骤103及步骤104使用，所以只有当边界信息被读原始数据模块锁存之后且步骤103及104最多只有一个块没有处理时，才能执行新的步骤102。步骤103需要等步骤104最多只有一个块没有处理时，才能执行新的处理。步骤104需要等步骤105最多只有一个块没有处理时，才能执行新的处理.

此外，参阅图7所示，本实施例还提供了一种自适应仿射变换处理装置，包括：

第二图像分块模块701，用于对第二图像进行分块处理，获得若干个第二图像分块；

映射关系对应表模块702，用于逐个确定所述若干个第二图像分块每一个像素点与第一图像的像素点的映射关系，计算得到若干个映射关系对应表；

第一图像的像素数据读取模块703，用于读取第一图像的像素数据；

插值运算模块704，用于根据所述若干个映射关系对应表的映射关系对所述第一图像的像素数据进行插值运算，获得所述第二图像的每一个像素点的数据；

写入模块705，用于将所获得的所述第二图像的每一个像素点的数据写入存储介质；

所述第一图像为原始图像，第二图像为目标图像。

作为本装置的一种优选，本装置还包括：

最大像素确定模块，用于根据第一图像与第二图像的像素点映射关系对应表来确定第二图像分块的最大像素。

因此，该第二图像分块模块对第二图像进行分块处理包括：

以最大像素确定模块所确定的第二图像分块的最大像素作为设定的分块方案来对第二图像进行分块处理，获得若干个第二图像分块；

计算所述若干个第二图像分块在原始图像中对应的图像块需要占用的存储空间，获得所述设定的分块方案所需要占用的第一图像存储空间；

比较设定的分块方案所需要占用的第一图像存储空间与设计限定的第一图像存储区的大小，若需占存储空间大于原始图像缓存区，则所述设定的分块方案溢出，则缩小分块方案中的最大像素分块，直到分块方案不会溢出，从而确定最优分块方案。

由于上述其他各个模块的工作原理和上述方法相同，在本实施例中就不再赘述。

上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。

Claims (10)

1.一种自适应仿射变换处理方法，其特征在于，包括

对第二图像进行分块处理，获得若干个第二图像分块；

逐个确定所述若干个第二图像分块每一个像素点与第一图像的像素点的映射关系，计算得到若干个映射关系对应表；

读取第一图像的像素数据；

根据所述若干个映射关系对应表的映射关系对所述第一图像的像素数据进行插值运算，获得所述第二图像的每一个像素点的数据；

所述第一图像为原始图像，第二图像为目标图像。

2.如权利要求1所述的自适应仿射变换处理方法，其特征在于，所述对第二图像进行分块处理包括：对第二图像按照预设的分块策略尝试多种分块方案，确定最优分块方案；该预设分块策略为分块大小不能超过映射关系对应表缓存区，分块方案从大往小尝试；

在对第二图像进行分块处理之前还包括：

根据第一图像与第二图像的像素点映射关系对应表来确定第二图像分块的最大像素。

3.如权利要求2所述的自适应仿射变换处理方法，其特征在于，所述对第二图像进行分块处理包括：

以所确定的第二图像分块的最大像素作为设定的分块方案来对第二图像进行分块处理，获得若干个第二图像分块；

计算所述若干个第二图像分块在原始图像中对应的图像块需要占用的存储空间，获得所述设定的分块方案所需要占用的第一图像存储空间；

比较设定的分块方案所需要占用的第一图像存储空间与设计限定的第一图像存储区的大小，若需占存储空间大于原始图像缓存区，则所述设定的分块方案溢出，则缩小分块方案中的最大像素分块，直到分块方案不会溢出。

4.如权利要求3所述的自适应仿射变换处理方法，其特征在于，所述缩小分块方案中的最大像素分块的步长为5个像素。

5.如权利要求1-4任一所述的自适应仿射变换处理方法，其特征在于，自适应仿射变换处理方法，其特征在于，还包括：

将所获得的所述第二图像的每一个像素点的数据写入存储介质。

6.一种自适应仿射变换处理装置，其特征在于，包括

第二图像分块模块，用于对第二图像进行分块处理，获得若干个第二图像分块；

映射关系对应表模块，用于逐个确定所述若干个第二图像分块每一个像素点与第一图像的像素点的映射关系，计算得到若干个映射关系对应表；

第一图像的像素数据读取模块，用于读取第一图像的像素数据；

插值运算模块，用于根据所述若干个映射关系对应表的映射关系对所述第一图像的像素数据进行插值运算，获得所述第二图像的每一个像素点的数据；

所述第一图像为原始图像，第二图像为目标图像。

7.如权利要求6所述的自适应仿射变换处理装置，其特征在于，还包括

最大像素确定模块，用于根据第一图像与第二图像的像素点映射关系对应表来确定第二图像分块的最大像素。

8.如权利要求7所述的自适应仿射变换处理装置，其特征在于，所述第二图像分块模块对第二图像进行分块处理包括：

以最大像素确定模块所确定的第二图像分块的最大像素作为设定的分块方案来对第二图像进行分块处理，获得若干个第二图像分块；

计算所述若干个第二图像分块在原始图像中对应的图像块需要占用的存储空间，获得所述设定的分块方案所需要占用的第一图像存储空间；

比较设定的分块方案所需要占用的第一图像存储空间与设计限定的第一图像存储区的大小，若需占存储空间大于原始图像缓存区，则所述设定的分块方案溢出，则缩小分块方案中的最大像素分块，直到分块方案不会溢出。

9.如权利要求8所述的自适应仿射变换处理装置，其特征在于，所述缩小分块方案中的最大像素分块的步长为5个像素。

10.如权利要求6-9任一所述的自适应仿射变换处理装置，其特征在于，还包括：

写入模块，用于将所获得的所述第二图像的每一个像素点的数据写入存储介质。