CN111145098A

CN111145098A - 图像处理设备

Info

Publication number: CN111145098A
Application number: CN201911067058.7A
Authority: CN
Inventors: D·尼库拉
Original assignee: Fotonation Ireland Ltd
Current assignee: Fotonation Ltd
Priority date: 2018-11-05
Filing date: 2019-11-04
Publication date: 2020-05-12
Anticipated expiration: 2039-11-04
Also published as: CN111145098B; EP3582176B1; US20200143510A1; EP3582176A1; US10853909B2

Abstract

本发明题为“图像处理设备”。本发明涉及一种图像处理设备，该图像处理设备确定用于计算输出图像像素的顺序，该顺序最大化地重复使用本地存储器中的数据以用于计算所有相关的输出图像像素。因此，重复使用同一数据集，直到不再需要它为止。浏览输出图像像素位置，以确定可用输入数据施加的顺序的像素值，而不是输出图像中由像素位置施加的顺序的像素值。因此，使本地存储器所需的存储量以及从包含输入图像的存储器读取的输入图像读取请求和数据的数量最小化。

Description

图像处理设备

技术领域

本发明涉及用于对输入图像的执行组合采样和旋转的图像处理设备。

背景技术

现在参考图1，如PCT申请WO2017/032468(参考：FN-469-PCT)中所公开的，存在许多应用，其中可能期望处理模块(无论是基于软件还是基于硬件)接收固定大小的图像。例如，神经网络可能需要在像素(宽度和高度)具有固定尺寸的矩形图像上运行，以及可能在给定取向上并且位于图像中心的对象上运行。

原始图像可能无法满足这些约束条件，因为对象可能与相机之间的距离不同，并且对象可以相对于相机旋转。

在图1所示的示例中，期望重新采样和旋转引擎10，以产生具有4×6像素的W×H尺寸的固定大小的图像12，用于后续处理。如果将输出图像12叠加在输入图像14上，其中包括对象的感兴趣区域(ROI)的分辨率比输出图像所需的分辨率高，在这种情况下为10:4，并且角度为α，则可以看出需要对多个输入图像像素进行插值以产生每个输出像素值。因此，例如，对于输入图像ROI与输出图像的比率为2:1并使用双线性插值，需要16个输入图像像素才能产生单个输出像素值。因此，取决于ROI和输出图像12的相对大小以及所使用的插值的类型，在多个输出像素的计算中可以涉及至少一些输入像素。

本发明的一个目的是提供改善的硬件解决方案，用于对输入图像进行重新采样(上采样或下采样)并且在后续处理之前对其进行旋转。

发明内容

根据本发明，提供了一种根据权利要求1所述的图像处理设备。

本发明的实施方案确定用于计算输出图像像素的顺序，该顺序最大化地重复使用本地存储器中的数据以用于计算所有相关的输出图像像素。因此，将重复使用同一数据集，直到不再需要它为止。浏览输出图像像素位置，以确定可用输入数据施加的顺序的像素值，而不是输出图像中由像素位置施加的顺序的像素值。因此，使本地存储器所需的存储量以及从包含输入图像的存储器读取的输入图像读取请求和数据的数量最小化。

实施方案从突发中的输入图像读取有限数量的条带，该条带覆盖输入图像的所需宽度，而不仅是像素周围的区域。

效率的增加来自使用相同的数据集(条带)来计算适合条带之间的所有输出图像像素，即使这些输出图像像素不是相邻像素也是如此。

从存储器读取必要的输入图像数据的任务(在时间上)可能与输出图像像素值的计算重叠，因此与顺序执行相比，系统可以以更快的数据速率执行。

本发明的实施方案既可以用于分数下采样标度[1…2)，也可以用于分数上采样标度[0.5…1)。在下采样的情况下，例如可以使用标度[1…512]进行附加的整数下采样。

附图说明

现在将参考附图以举例的方式来描述本发明的实施方案，在附图中：

图1示出了重新采样和旋转引擎的功能，其中将输入图像内的感兴趣区域(ROI)转换为具有固定尺寸的输出图像；

图2示出了根据本发明的实施方案的包括重新采样和旋转引擎的系统；

图3示出了在本发明的实施方案中采用的用于输出图像的索引方案；

图4示出了本发明的实施方案的下采样示例中的输出图像像素处理的顺序；

图5示出了本发明的实施方案的上采样示例中的输出图像像素处理的顺序；

图6是由图2的重新采样和旋转引擎采用的有限状态机的状态表，以确定用于计算输出图像的像素值的顺序；

图7示出了图6的表的状态过渡；

图8示出了从当前输出图像像素的向上和向下导航；并且

图9示出了本发明的实施方案的另一个下采样示例中的输出图像像素处理的顺序。

具体实施方式

现在参考图2，示出了根据本发明实施方案的包括归一化模块70的系统100，该归一化模块包括采样和旋转引擎76。如PCT申请WO2017/032468(参考：FN-469-PCT)中所述，将包含感兴趣区域(ROI)的输入图像40-1存储在主存储器40中。

输入图像40-1内的ROI可使用例如脸部检测模块60在图像之间检测和跟踪，并且指示图像40-1内任何此类ROI的位置的元数据可以与图像或存储器40的任何其他合适的部分一起存储，其中数据可由其他图像处理模块检索。

在该实施方案中，归一化模块70内的采样模块72横跨系统总线30从主存储器40读取界定ROI的输入图像的至少一部分，同时对输入图像进行整数采样以在本地存储器中提供中间输入图像74。如在PCT申请WO2017/032468(参考：FN-469-PCT)中那样，采样模块72可以采用平均或最近邻采样。

在该实施方案中，中间输入图像74内的ROI在标准化ROI 78所需的标度的[0.5...2)的标度之内。

应当理解，在例示的实施方案的变型中，输入图像40-1可以被预先缩放，以使得ROI在[0.5…2)归一化ROI 78所需的标度的范围内，并且因此可以不需要采样模块72。

此类实施方案不仅有利于使采样和旋转引擎76所需的本地缓冲器的大小最小化，而且还有利于使归一化模块70横跨系统总线30对主存储器40的访问最小化。

无论如何，采样和旋转引擎76采样并且旋转中间输入图像74，以提供包括归一化ROI 78的所需输出图像。该输出图像78可在归一化模块70内进一步处理，以基于归一化ROI78生成各种标测图，诸如梯度直方图(HOG)的标测图、统计图或归一化ROI 78的一个或多个卷积，并且这些图中的任一个连同归一化ROI 78都可以返回到主存储器40并且存储40-2，以通过专用硬件模块诸如模块80或由在通用CPU(未示出)上运行的应用进行后续处理。

本说明书基于输入图像74从上到下存储，并且采样和旋转模块76从上到下以条带读取输入图像74，以产生具有与输入图像40-1中的ROI对应固定尺寸的输出图像78。因此，在该上下文中，顶部和底部以及左侧和右侧的表达应理解为相对术语，并且实际上，如果需要，可以翻转所有描述的处理。

条带是按比例缩放的中间图像帧/平面中的矩形(水平)形状，由图像74的一个或多个连续行构成。条带中的行数量是从中间输入图像74到输出图像78的缩放程度的函数。

术语“标度”定义为中间图像74中的ROI与输出图像78之间的比率。在实施方案中，在采用采样模块72的情况下，标度将是在[0.5…2)范围内的任何实数。Scaleint定义为标度的整数部分；并且Scalefract为分数标度，同样具有[0.5…2)的范围，并且从以下公式推导：标度＝Scaleint*Scalefract。

每个条带中输入图像的行数量等于整数采样标度Scaleint。因此，按比例缩小2，每个条带包含2行，而按比例缩小2以下和0.5以上，每个条带包含1行。列数量是Scaleint的倍数。条带水平延伸以覆盖所有用于确定输出图像中至少一个像素值的输入像素。

应当理解，在不采用采样模块72的情况下，标度可以是任何数字。然而，这将增加每个条带的行数量，并且因此增加采样和旋转模块76所需的本地缓冲器的大小。

采样和旋转模块76采用FIFO本地缓冲器，该FIFO本地缓冲器能够存储来自中间输入图像74的两条信息stripe_idx和(stripe_idx+1)，因此当采用缩放模块72时，可能需要横跨ROI的最大宽度延伸的最多至4行的本地缓冲器存储。需注意，不必将中间输入图像74的任何给定行的整个宽度读取到本地缓冲器中，仅需将输入图像的范围计算出输出图像中的像素值即可。这可以通过了解输出图像78的任何像素的输入图像74内的x、y坐标(通常使用拐角或原点像素)、输入图像内的ROI相对于输出图像78的标度、输入图像内的ROI的倾角α来确定。在从中间输入图像存储器读取每个条带时，可以逐条地确定要从中间输入图像74读取的每个条带的范围，或者这些值可预先计算，使得它们可立即在需要来自存储器的条带的情况下可用。一旦模块76已经完成了本地缓冲器中的输入图像的条带stripe_idx和(stripe_idx+1)的处理，则通过增加stripe_idx并且将stripe_idx+1的信息读取到本地缓冲器中并且将信息替换为先前值stripe_idx来使处理前进。

现在参考图3，用位置(xidx,yidx)索引输出图像78内的每个位置。在该实施方案中，可以例如通过当读取输入图像信息时交换和/或反转x坐标、y坐标来根据需要垂直或水平地翻转输入图像信息，使得输入图像74内的ROI的倾角α为0°≤α≤90°，其中原点索引(0,0)位于右上方。

实施方案通过从位于本地存储器中的条带所覆盖的对应输入图像区域内部的输出图像的一个范围内的初始像素位置朝相反的范围浏览来确定用于确定输出图像78内的像素值的顺序。在下文更详细描述的示例中，浏览是横跨输出图像从左到右执行的，但是如上所述，在另选具体实施中，浏览可以同样地在相反的方向上执行。

参考图4，为了大致示出浏览方式和计算输出像素值的顺序，示出了在这种情况下从对应输入图像映射到条带S0至S7上的归一化ROI 78-A的示例，其中标度＝2。因此，在这种情况下，具有索引S0…S7的每个条带包括两行输入图像。

本实施方案进行操作，使得当条带S0和S1在本地缓冲器中时，最左边计算的初始输出图像像素值用于索引(0,1)。一旦完成了从索引(0,1)朝右侧边界的路径，并且计算了索引(0,1)和(0,0)处的两个像素值，则将条带S2读取到存储器中，并且计算从(0,3)朝右侧边界的输出图像像素值，并且继续执行该过程，直到当条带S6、S7位于本地缓冲器中时才读取仅包含像素(3,5)的最后路径。

可以看出，当按比例缩小时，一旦为存储器中给定的一对条带已经找到了最左侧的初始可用像素位置，将仅计算一个连续像素值路径，直到到达右侧的边界为止。

参考图5，示出了在这种情况下从标度<1(标度＝0.5，Scaleint＝1，Scalefract＝0.5)从对应输入图像映射到条带S0至S3上的归一化ROI 78-B的示例。因此，在这种情况下，具有索引S0…S3的每个条带包括一行输入图像。

在这种情况下，在处理了条带S0和S1之后，可以看出，当条带S1和S2位于本地缓冲器中时，所计算出的最左侧的可用输出图像像素位于索引(0,5)处。在从该位置遍历路径期间，当处理当前索引(0,5)时，从索引(1,5)的第二路径变为可用。在该实施方案中，沿循该上部路径，并且一旦完成了索引(0,5)处的上部路径，则然后完成索引(1,5)处开始的路径。同样，当处理索引(1,3)时，从索引(2,3)的另一路径变为可用。因此，一旦从索引(1,5)的路径在索引(1,1)处完成，便沿循该较低的路径，依此类推，直到该路径在索引(3,0)处完成。无论如何，一旦从索引(0,5)开始到右侧边界的路径完成，就将条带S3读取到存储器中，并且计算(2,5)的输出图像像素。同样，在该路径的处理期间，在当前索引(2,5)处，从索引(3,5)的路径变为可用。同样，当从索引(2,5)的上部路径在索引(2,4)处完成时，该过程可以返回以完成从索引(3,5)朝右侧边界的路径—在这种情况下，将在索引(3,2)处停止。因此，可以看出，在这种情况下，从最左侧的可用像素(0,5)和(2,5)朝右侧边界的路径是不连续的。可以看出，在最大上采样标度大于0.5的实施方案中，存储器中的任两个条带在任何时间最多可有一个不完整路径，并且因此在发现可用路径时存储待返回的路径的过程不需要无限递归。但是，如果允许更大的放大(小于0.5)，则可以相应地扩展该过程。

还应当理解，在该实施方案的变型中，不是首先采取可用上部路径，而是该过程可以存储上部路径的初始点并且当完成下部路径时完成该路径，而不是相反，如上所述。

无论如何，无论放大还是按比例缩小，都从原点开始，在该实施方案中，模块76移动到存储在模块76的本地缓冲器内的条带内的最左侧的像素。这可以通过沿左侧边界从原点索引位置前进来完成，即从(0,0)…(0,5)…(3,5)到索引位置的路径，其中输出ROI像素位于本地存储器中由条带覆盖的对应输入图像区域之外，然后从该索引位置浏览以找到位于本地存储器中由条带覆盖的对应输入图像区域内部的索引位置。如果像在图5中的像素索引(1,5)的情况下那样，该过程到达左侧边界，然后得到位于本地存储器中由条带覆盖的输入图像区域之外的像素，则该过程在边界像素处开始。

然后，该模块从该初始索引位置进行浏览，直到到达无法浏览到本地存储器中由条带覆盖的区域内的其他位置的位置。一旦模块76到达该位置以存储在存储器中的一对条带并且用尽了那些条带的所有可用路径，就将本地缓冲器前进一个条带并且重新开始处理，直到确定了整个输出图像像素值集为止。

从图4和图5的示例中可以看出，确定从初始索引位置朝右侧边界的输出像素值的顺序，即，从最左侧的可用像素朝右侧边界的路径通常不是简单的栅格顺序(除非倾角α＝0)，并且在本实施方案中，特定顺序由模块76内的图6所示的有限状态机(FSM)确定，下文将对其进行更详细的描述。

使用FSM，模块76的操作如下：

·作为输入数据，接收适合于当前条带集之中或之下的最左侧的输出图像边界位置的初始索引位置(xidx0,yidx0)。

·从初始索引位置开始，该模块确定待计算(提交)像素值的输出图像索引位置的序列。该序列从输出图像的最左侧的可用边界位置开始，并且朝右侧浏览(即(0,0)…(3,0)…(3,5)中的任一者，在图3中)。

·例如，通过2×2相邻像素的双线性插值来计算在浏览到存储器中的条带所覆盖的边界处以及边界内的每个索引位置处的像素的值。在本实施方案中，该计算包括围绕输出图像位置的4个输入图像像素的双线性插值—需注意，对于下采样，用于插值的4个输入图像像素值又将是大于4个输入图像像素的函数。需注意，对于放大操作，用于计算相邻输出图像像素的输入图像像素可能不会改变，仅根据基于输出图像像素相对于输入图像像素的相对位置的分数变化的插值而不会改变。

·从条带的任何初始像素(xidx0,yidx0)进行浏览包括检查相邻2个像素是否也适合条带集之间。参考图8，相邻像素的索引如下(在输出图像索引中)：

о像素向上：(xidx0,yidx0-1)

о像素向下：(xidx0+1,yidx0)

·将初始像素之后每个向上像素索引和向下像素索引的y坐标与存储器中的stripe_idx和(stripe_idx+1)条带的坐标进行比较，以确定向上像素和向下像素相对于存储器中条纹集的相对位置。了解输出图像78的原点像素(0,0)的输入图像74内的x、y坐标、输入图像内ROI相对于输出图像78的标度以及输入图像内ROI的倾角α，输入图像空间中向上像素和向下像素的y坐标可以通过简单的乘法计算。一旦确定了这些y坐标，向上相邻像素和向下相邻像素中每个像素的相对位置就有3种可能性：

·“T”(顶部)：y<stripe_idx(以下像素适合上部条带之上)

·“M”(中间)：stripe_idx≤y<(stripe_idx+1)(以下像素适合条带之间)

·“B”(下部)：y≥(stripe_idx+1)(以下像素适合下部条纹之下)

·需注意，在图4、图5和图9中，条带边界被显示为线，仅仅是为了指示输入图像ROI像素是在用于计算输出图像像素值的任何给定条带所提供的像素之上、之内还是之下。

·基于每个向上像素和向下像素(T/M/B)的类型，在图6中呈现的表的FSM以及图7中所示的状态转换向模块76指示：a)是否要将随后的输出图像像素值提交给存储输出图像78的存储器；b)如何从当前输出图像像素索引继续浏览到后续输出图像像素索引/指示；如果处理需要当第一路径完成时返回至第二路径，则包括c)。如果要提交任何输出图像像素值，则还需要计算y坐标以及输入图像空间中的x坐标，然后可以对输入图像中x、y坐标位置周围的输入图像像素值进行插值，以提供输出图像像素值。同样，可以如上文针对y坐标所描述的那样计算。

·如果向上像素或向下像素到达输出图像的右侧边界(yidx＝0或xidx＝width_o-1)，则停止浏览给定路径。在该示例中，输出图像width_o的宽度为4，而输出图像height_o的高度为6。

·如果尚未到达输出图像的端部，则可以从存储器74将另一条带读取到用于采样和旋转引擎76的缓冲器，并且重复以上过程。

更详细地看图6和图7，在本实施方案中，FSM状态可以是以下中的一者：

“沿循”确定在下一个状态期间将下一个像素视为“当前像素”。以下信号编码为：

参考图7，将看出“沿循”值不一定与下一状态值对应。例如，拱形物5，从当前状态＝常规>跟随＝向上，下一个状态＝单向下；由此拱形物9，从当前状态＝常规>跟随＝向下，下一个状态＝单向下。

当存在标记为“M”(中间)的沿循的像素时，提交信号处于活动状态。其编码为：

提交值	功能
		0	当前像素无提交(其适合顶部或底部)
1	根据以下方向提交

·如果跟踪点标记为“M”(中间)，则提交该点。

·如果两个沿循点标记为“M”(中间)，则沿循上部路径，并且存储下部路径的其余部分以供后续处理。在初始路径完成时，将恢复存储的路径。

需注意，本描述是基于双线性插值的，其中使用与输出图像位置相邻的4个输入图像点来确定用于输出图像位置的像素值。但是，应当理解，本发明同样适用于双三次或其他形式的插值。

因此，再次参考图4，我们可以从图6的表内查看状态改变，并且在图7中将其标记为采样和旋转引擎76浏览输出图像78-A，如下所示：

*找到并且提交了正确的点

类似地，参考图5，我们可以从图6的表内查看状态改变，并且在图7中将其标记为采样和旋转引擎76浏览输出图像78-B，如下所示：

*找到并且提交了正确的点

最后，参考图9，显示了以1.99的标度运行的上述实施方案的另一个示例：

*找到并且提交了正确的点

因此，在这种情况下，上文的条带S1和S2的FSM状态如下：

-空闲状态，坐标为(0,4)的像素，转到

-初始状态，当前像素与条带匹配(两者之间都适合)并且将其提交(标记有*)。下一个状态是根据拱形物[1]…

-常规状态，其中提交像素(0,3)并且拱形物[10]转到…

-常规状态，其中提交像素(0,2)并且拱形物[10]转到…

-常规状态，其中像素与设置的条带不匹配(未标记有*)，并且拱形物[5]转到…

-单向下状态，当前像素不适合条带之间(未标记有*)，并且拱形物[14]将FSM带到…

-在拱形物[19]上单向上…

-在拱形物[17]上单向上至结束

需注意，以上状态列表中存在3*，它们对应于上表“节点演替”列中的像素。

需注意，在引擎76横跨输出图像像素位置进行浏览以测试可用路径时，它可以通过比实际为其计算值的像素位置数量更多的状态转换，其中输出图像像素位置位于对应输入图像区域内部，该区域由本地存储器中的条带覆盖。

Claims

1.一种用于在输入图像内对感兴趣区域ROI进行取样和旋转以提供固定尺寸的输出图像的图像处理设备，所述ROI具有相对于所述输入图像的所述轴线的非正交倾角并且具有相对于所述输出图像的所述尺寸的标度，所述设备被配置为：

从存储在第一存储器中的所述输入图像依次读取像素值的条带到所述图像处理设备本地的存储器中，每个条带对应于在所述输入图像中横跨所述感兴趣区域延伸的区域，每个条带包括用于所述输入图像的行数量的像素值，所述数量与所述标度成比例，所述本地存储器包括比所述第一存储器少的存储空间，并且能够存储来自所述输入图像的像素值的有限条带集；

对于所述本地存储器中的给定条带集，通过以下步骤来处理所述条带集：

确定所述输出图像中对应于所述ROI的边界与所述本地存储器中的所述条带提供的所述输入图像区域相交的位置的初始像素位置；

浏览来自所述初始像素位置的横跨输出图像像素位置的至少一条路径，以将每个输出图像像素位置定位在本地存储器中由所述条带提供的所述输入图像的所述区域内，所述浏览包括测试与浏览的输出图像像素位置相邻的至少一些输出图像像素位置是否位于由所述本地存储器中的所述条带提供的所述输入图像区域之外，以确定用于所述浏览的后续路径；以及

对于位于本地存储器中由所述条带提供的所述输入图像的所述区域内的每个输出图像像素位置：

通过在围绕所述输出图像像素位置的所述本地存储器中对来自所述输入图像的多个像素值进行插值来计算所述输出图像像素位置的像素值；以及

将所述像素值写入存储器以存储所述输出图像；以及

响应于完成对所述本地存储器中的给定条带集的浏览，在重复对连续条带集的所述处理之前，直到已经计算出所述输出图像的所有像素位置为止，用随后的输入图像信息条带替换所述条带集内的输入图像信息图像的条带。

2.根据权利要求1所述的图像处理设备，其中所述条带集包括2个条带。

3.根据权利要求1所述的图像处理设备，其中所述标度的范围是对所述输入图像进行上采样的[0.5至1)、以及对所述输入图像进行下采样的[1至2)。

4.根据权利要求1所述的图像处理设备，还包括整数采样器，所述整数采样器被配置为在获取的图像横跨总线从主存储器读取到所述第一存储器中时，对所述获取的图像进行下采样，使得所述输入图像内的所述ROI的标度为所述输出图像的两倍或更小。

5.根据权利要求1所述的图像处理设备，其中所述设备被配置为在信息被读取到所述本地存储器中时翻转信息，使得所述输入图像74内的所述ROI的倾角α为0°≤α≤90°。

6.根据权利要求1所述的图像处理设备，其中所述第一存储器位于从所述图像处理设备横跨总线的位置。

7.根据权利要求1所述的图像处理设备，其中所述本地存储器是FIFO缓冲器。

8.根据权利要求1所述的图像处理设备，其中所述边界包括所述输出图像的两个相邻侧，并且其中所述浏览包括朝相邻所述输出图像的两个相对相邻侧中的一者的像素位置进行浏览。

9.根据权利要求1所述的图像处理设备，其中当所述标度用于对所述输入图像进行下采样时，所述至少一条路径包括单个路径。

10.根据权利要求1所述的图像处理设备，其中当所述标度用于对所述输入图像进行上采样时，所述至少一个路径包括多个不连续路径。

11.根据权利要求1所述的图像处理设备，其中被浏览的所述至少一个路径是根据有限状态机来确定的。