CN114119675A - 像素点的偏移获取方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种像素点的偏移获取方法、装置、电子设备及存储介质，涉及图像处理领域。该方案为：滑动预设滑动窗口，将第一图像帧和第二图像帧中进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中第一图像帧和第二图像帧前后相邻；根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息；根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息；基于第一总像素差异信息，获取第一中心像素点的运动偏移量。本公开通过采用积分图的方式计算像素点的运动偏移量，大大减少了硬件资源的消耗。

Description

像素点的偏移获取方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种像素点的偏移获取方法、装置、电子设备及存储介质。

背景技术

在图像的拍摄中，直接采集的图像可能存在鬼影、畸变之类的问题，为了对图像的问题进行处理，常用基于光流运动估计的方法计算两帧图像对应像素点的运动偏移，但是相关技术中，光流计算的过程涉及大量的作差、乘积、求和等算数运算，会导致消耗太多的硬件乘法器和加法器，对硬件的实现并不友好。

发明内容

本公开提供了一种像素点的偏移获取方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种像素点的偏移获取方法，包括：

滑动预设滑动窗口，将第一图像帧和第二图像帧中进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中第一图像帧和第二图像帧前后相邻；

根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息；

根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息；

基于第一总像素差异信息，获取第一中心像素点的运动偏移量。

本公开实施例中采用了一种基于积分图方式的硬件处理方法，将图像的窗口拆分成行列两个方向，然后针对每一列的像素点计算像素差异信息，最后通过积分求和，获得窗口中心像素点的运动偏移量，减少了硬件资源消耗。

根据本公开的另一方面，提供了一种像素点的偏移获取装置，包括：

第一获取模块，用于滑动预设滑动窗口，将第一图像帧和第二图像帧上进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中第一图像帧和第二图像帧前后相邻；

第二获取模块，用于根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息；

第三获取模块，用于根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息；

第四获取模块，用于基于第一总像素差异信息，确定第一中心像素点的运动偏移量。

根据本公开的另一方面，提供了一种像素点的偏移获取装置，包括：

存储器，用于在滑动预设滑动窗口时，输出第一图像帧和第二图像帧上进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中第一图像帧和第二图像帧前后相邻；

第一运算单元，用于根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息；

加法运算单元，用于根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息；

第二运算单元，用于基于第一总像素差异信息，确定第一中心像素点的运动偏移量。

根据本公开的另一方面，提供了一种电子设备，包括存储器、处理器；

其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本公开第一个方面实施例的像素点的偏移获取方法。

根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一个方面实施例的像素点的偏移获取方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一个方面实施例的像素点的偏移获取方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

图1是根据本公开一个实施例的像素点的偏移获取方法的流程图；

图2是根据目标像素列获取像素差值的示意图；

图3是根据本公开一个实施例的像素点的偏移获取方法的流程图；

图4是窗口积分求和的示意图；

图5是根据本公开一个实施例的像素点的偏移获取方法的流程图；

图6是获取新增像素差异信息的示意图；

图7是根据本公开一个实施例的像素点的偏移获取方法的流程图；

图8是根据本公开一个实施例的像素点的偏移获取装置的结构图；

图9是根据本公开一个实施例的像素点的偏移获取装置的结构图；

图10是根据本公开一个实施例的像素点的偏移获取装置的结构图；

图11是用来实现本公开实施例的像素点的偏移获取方法的电子设备的框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面结合参考附图描述本公开的像素点的偏移获取方法、装置、电子设备及存储介质。

图1是根据本公开一个实施例的像素点的偏移获取方法的流程图，如图1所示，该方法包括以下步骤：

S101，滑动预设滑动窗口，将第一图像帧和第二图像帧中进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中第一图像帧和第二图像帧前后相邻。

图像帧在双倍数据速率(Double Data Rate，DDR)内存中按行缓存的形式进行缓存。本公开中，通过预设滑动窗口从DDR内存中按行读取图像帧，为了获取图像帧之间的差异，需要基于预设滑动窗口分别对前后相邻的两个图像帧进行滑动读取，此处将前后相邻的两个图像帧称为第一图像帧和第二图像帧。

需要说明的是，预先设置一个滑动窗口，该滑动窗口用于从DDR中读取图像帧的像素点，滑动窗口每次滑动后可以包含n*n个像素点，其中n为滑动窗口中像素点的行数和列数。可选地，n的取值可以为3、5、7等。

预设滑动窗口在滑动过程中往往包括n行n列，每滑动一次预设滑动窗口，本公开中，滑动窗口内之前包含的第一列像素列，需要滑出该滑动窗口，为了保证滑动窗口内包括n行n列，则需要从第一图像帧和第二图像帧分别滑入1列的像素点到各自的滑动窗口中，将每次滑动后，第一图像帧和第二图像帧中进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列。

举例说明，以滑动窗口的大小为5*5为例，每滑动一次预设滑动窗口时，滑动窗内已有的第1列的像素列从滑动窗口中移出，后面的第4列至第5列顺序往前移动一列，从第一图像帧和第二图像帧分别读取一列新的像素列，作为滑动窗口的第5列加入到滑动窗口内，本公开中，将滑动完成后滑动窗口内的第5列像素列和相邻的第4列像素列，确定为各自的目标像素列。需要说明的是，图像窗口的大小为5*5，则滑入像素列的行数为5行。

S102，根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息。

获取第一图像帧的两个目标像素列中对应像素点之间的第一像素差值，获取第一图像帧的第一列目标像素列和第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值，根据第一像素差值和第二像素差值，获取滑动窗口在滑动时生成的新增像素差异信息。

举例说明，以滑动窗口的大小为5*5为例，如图2所示，第一图像帧的两个滑入像素列为A0列和A1列，第二图像帧的两个滑入像素列为B0列和B1列，将A0列像素点的值减去A1列对应像素点的值，获取第一像素差值，用Grad表示；将A0列像素点的值减去B0列对应像素点的值，获取第二像素差值，用Delta表示。其中，第一像素差值G和第二像素差值D为5*1的矩阵，根据第一像素差值和第二像素差值，获取滑动窗口在滑动时生成的新增像素差异信息。

需要说明的是，A0列与B0列对应上述实施例中滑动窗口内的第5列，A1列与B1列对应上述实施例中滑动窗口内的第4列。

S103，根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息。

由于中心像素点的偏移实际上与周围像素点相关，本公开中以滑动窗口大小为5*5进行说明，5行5列确定一个中心像素点，滑动窗口每次滑动将得到此时滑动窗口第5列像素列对应的像素差异信息，经过5次滑动，得到此时滑动窗口中5列像素列的像素差异信息。将5次滑动得到的像素差异信息进行求和，则得到中心像素点的总像素差异信息，也就是说，在获取到新增像素差异信息后，可以对滑动窗口内的第一中心像素点进行窗口积分，即将第一中心像素点前面n-1次得到的像素差异信息，与当次滑动生成的新增像素差异信息进行一个求和，就可以获取第一中心像素点的第一总像素差异信息。

可选地，可以将5次滑动得到的像素差异信息相加，得到第一总像素差异信息。可选地，由于前一个滑动窗口对应的中心像素点的总像素差异信息包含由前面的4次的像素差异信息，因此也可以根据第一中心像素点的新增像素差异信息，与前一个滑动窗口对应的中心像素点的总像素差异信息，得到第一总像素差异信息。

S104，基于第一总像素差异信息，获取第一中心像素点的运动偏移量。

基于光流运动估计的方法是一种计算两帧图像对应像素点运动偏移常用的计算方法，通过计算出前后相邻两帧图像对应像素点的偏移位置，从而对图像进行后续的去畸变，去鬼影等功能实现。

本公开中，在获取到第一中心像素点的第一总像素差异信息后，可以基于该第一总像素差异信息进行光流运动估计，以获取第一中心像素点的运动偏移量。可选地，将第一总像素差异信息和光流矩阵进行光流偏移量运算，获取第一中心像素点的运动偏移量，以便于后续的去畸变，去鬼影等功能实现。

本公开实施例中，滑动预设滑动窗口，将第一图像帧和第二图像帧中进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中两个图像帧前后相邻，根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息，根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息，基于第一总像素差异信息，获取第一中心像素点的运动偏移量。本公开实施例中采用了一种基于积分图方式的硬件处理方法，将图像的窗口拆分成行列两个方向，然后针对每一列的像素点计算像素差异信息，最后通过积分求和，获得窗口中心像素点的运动偏移量，减少了硬件资源消耗。

图3是根据本公开一个实施例的像素点的偏移获取方法的流程图，在上述实施例的基础上，进一步结合图3，对根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息的过程进行解释说明，包括以下步骤：

S301，获取前一个滑动窗口内的第二中心像素点的第二总像素差异信息。

获取前一个滑动窗口内的第二中心像素点的第二总像素差异信息，其中，第二中心像素点为第一中心像素点前一个相邻的像素点。

在本公开实施例的实现中，新增像素差异信息缓存在先进先出缓存器中，可以从缓存器中提取第二总像素差异信息。其中，先进先出缓存器的大小根据滑动窗口的大小而决定，若滑动窗口的大小为5*5，则缓存器有5个存储空间，当缓存器的存储空间已满时，删除最早存入的像素差异信息，再将新增像素差异信息缓存至先进先出缓存器中。

需要说明的是，第二总像素差异信息为当前缓存器中所有像素差异信息的和值，如图4所示，即TSUM＝SUM0+SUM1+SUM2+SUM3+SUM4。

S302，获取与新增像素差异信息间隔行滑动距离的像素差异信息，作为被替换像素差异信息。

如图4所示的缓存器的存储空间为5，则行滑动距离为5，获取与新增像素差异信息间隔为5的像素差异信息，作为被替换像素差异信息。

在本公开实施例的实现中，被替换像素差异信息即为缓存器中最先存入的像素差异信息，在图4所示的缓存器中，被替换像素差异信息为SUM0，当生成新增像素差异信息SUM5时，SUM0即将被SUM5替换。

S303，基于新增像素差异信息、被替换像素差异信息和第二总像素差异信息，获取第一总像素差异信息。

获取新增像素差异信息和第二总像素差异信息的和值，获取和值与被替换像素差异信息的差值，作为第一总像素差异信息。在本公开实施例的硬件实现中，和值和差值的计算都是用加法器来实现，所以只需要两个加法器就可以计算出第一总像素差异信息，实现了积分过程，减少了硬件资源消耗。

如图4所示，在本公开实施例的实现中，新增像素差异信息为SUM5，第二总像素差异信息为TSUM＝SUM0+SUM1+SUM2+SUM3+SUM4，被替换像素差异信息为SUM0，即第一总像素差异信息为SUM5+TSUM－SUM0。

在获取第一总像素差异信息后，从缓存器中删除被替换像素差异信息SUM0，存入新增像素差异信息SUM5。

本公开实施例中，获取前一个滑动窗口内的第二中心像素点的第二总像素差异信息，获取与新增像素差异信息间隔行滑动距离的像素差异信息，作为被替换像素差异信息，基于新增像素差异信息、被替换像素差异信息和第二总像素差异信息，获取第一总像素差异信息。本公开实施例中将上一个窗口的部分求和结果，运用于下一个窗口的计算过程中，从而大大的减少了硬件资源消耗。

图5是根据本公开一个实施例的像素点的偏移获取方法的流程图，在上述实施例的基础上，进一步结合图5，对根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息的过程进行解释说明，包括以下步骤：

S501，获取第一图像帧的两个目标像素列中对应像素点之间的第一像素差值。

在图6所示的实现中，第一图像帧的像素点用A表示，第二图像帧的像素点用B表示，如图6所示，将A0列像素点的值减去A1列像素点的值，得到第一像素差值。

S502，获取第一图像帧的第一列目标像素列和第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值。

如图6所示，将A0列像素点的值减去B0列像素点的值，得到第二像素差值。

S503，根据第一像素差值和第二像素差值，获取新增像素差异信息。

如图6所示，对属于同一像素点的第一像素差值和第二像素差值做乘法运算，并将得到的乘法运算结果相加，得到第一像素差异信息。

本公开实施例中，获取第一图像帧的两个目标像素列中对应像素点之间的第一像素差值，获取第一图像帧的第一列目标像素列和第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值，根据第一像素差值和第二像素差值，获取新增像素差异信息。本公开实施例中按列获取到新增像素差异信息，简便了运算，并使本次运算结果可以用于下一个窗口的计算过程中，从而大大的减少了硬件资源消耗。

图7是根据本公开一个实施例的像素点的偏移获取方法的流程图，如图7所示，基于本公开提供的像素点的偏移获取方法，在实际应用场景下像素点的偏移获取的过程包括以下步骤：

S701，从DDR内存的图像存储单元中获取第一图像帧和第二图像帧，其中两个图像帧前后相邻。

S702，预设滑动窗口，从DDR内存中按行读取第一图像帧和第二图像帧。

S703，对滑动窗口内的像素点进行竖直方向上的求和运算。

竖直方向上的求和运算即为上述实施例中根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息的过程。

S704，对滑动窗口内的像素点进行积分图水平方向上的求和运算。

积分图水平方向上的求和运算即为上述实施例中根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息的过程。

S705，根据求和结果和光流矩阵，计算像素点运动偏移量。

S706，将两帧图像对应像素点的偏移量存入DDR内存的光流存储单元。

关于本实施例的具体实现可以参见本公开各实施例中相关介绍，此处不再赘述。

本公开实施例中采用了一种基于积分图方式的硬件处理方法，将图像的窗口拆分成行列两个方向，然后针对每一列的像素点计算像素差异信息，最后通过积分求和，获得窗口中心像素点的运动偏移量，减少了硬件资源消耗。

图8是根据本公开一个实施例的像素点的偏移获取装置的结构图，如图8所示，像素点的偏移获取装置800包括：

第一获取模块810，用于滑动预设滑动窗口，将第一图像帧和第二图像帧上进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中第一图像帧和第二图像帧前后相邻；

第二获取模块820，用于根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息；

第三获取模块830，用于根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息；

第四获取模块840，用于基于第一总像素差异信息，确定第一中心像素点的运动偏移量。

本公开实施例中采用了一种基于积分图方式的硬件处理方法，将图像的窗口拆分成行列两个方向，然后针对每一列的像素点计算像素差异信息，最后通过积分求和，获得窗口中心像素点的运动偏移量，减少了硬件资源消耗。

需要说明的是，前述对像素点的偏移获取方法实施例的解释说明也适用于该实施例的像素点的偏移获取装置，此处不再赘述。

进一步地，在本公开实施例一种可能的实现方式中，第三获取模块830，还用于：获取前一个滑动窗口内的第二中心像素点的第二总像素差异信息；获取与新增像素差异信息间隔行滑动距离的像素差异信息，作为被替换像素差异信息；基于新增像素差异信息、被替换像素差异信息和第二总像素差异信息，获取第一总像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，第三获取模块830，还用于：获取新增像素差异信息和第二总像素差异信息的和值；获取和值与被替换像素差异信息的差值，作为第一总像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，第二获取模块820，还用于：获取第一图像帧的两个目标像素列中对应像素点之间的第一像素差值；获取第一图像帧的第一列目标像素列和第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值；根据第一像素差值和第二像素差值，获取新增像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，第二获取模块820，还用于：对属于同一像素点的第一像素差值和第二像素差值做乘法运算；将滑入像素列中每个像素点的乘法运算结果相加，得到新增像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，第二获取模块820，还用于：将新增像素差异信息缓存至先进先出缓存器中。

进一步地，在本公开实施例一种可能的实现方式中，第四获取模块840，还用于：根据第一总像素差异信息和光流矩阵进行光流偏移量运算，获取第一中心像素点的运动偏移量。

本实施例的像素点偏移获取装置采用了一种基于积分图方式的硬件处理方法，将上一个窗口的部分求和结果，运用于下一个窗口的计算过程中，从而大大的减少了硬件资源消耗。

图9是根据本公开一个实施例的另一种像素点的偏移获取装置的结构图，如图9所示，像素点的偏移获取装置900包括：存储器910、第一运算单元920、加法运算单元930和第二运算单元940，其中，存储器910的输出接口与第一运算单元920的输入端连接，第一运算单元920的输出端与加法运算单元930的输入端连接，加法运算单元930的输出端与第二运算单元940的输入端连接。

存储器910，用于在滑动预设滑动窗口时，输出第一图像帧和第二图像帧上进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中第一图像帧和第二图像帧前后相邻。

可选地，存储器910可以为DDR内存。

第一运算单元920，用于根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息。

加法运算单元930，用于根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息。

第二运算单元940，用于基于第一总像素差异信息，确定第一中心像素点的运动偏移量。

本公开实施例中采用了一种基于积分图方式的硬件处理方法，将图像的窗口拆分成行列两个方向，然后针对每一列的像素点计算像素差异信息，最后通过积分求和，获得窗口中心像素点的运动偏移量，减少了硬件资源消耗。

需要说明的是，前述对像素点的偏移获取方法实施例的解释说明也适用于该实施例的像素点的偏移获取装置，此处不再赘述。

图10是根据本公开一个实施例的另一种像素点的偏移获取装置的结构图，如图10所示，像素点的偏移获取装置100包括：存储器110、第一运算单元120、加法运算单元130和第二运算单元140，其中，存储器110的输出接口与第一运算单元120的输入端连接，第一运算单元120的输出端与加法运算单元130的输入端连接，加法运算单元130的输出端与第二运算单元140的输入端连接。

存储器110，用于在滑动预设滑动窗口时，输出第一图像帧和第二图像帧上进入滑动窗口内的滑入像素列和滑入像素列相邻的像素列，确定为目标像素列，其中两个图像帧前后相邻。

可选地，存储器110可以DDR内存。

第一运算单元120，用于根据第一图像帧的两个目标像素列和第二图像帧的两个目标像素列，获取滑动窗口在滑动时生成的新增像素差异信息。

加法运算单元130，用于根据新增像素差异信息，对滑动窗口内的第一中心像素点进行窗口积分，获取第一中心像素点的第一总像素差异信息。

第二运算单元140，用于基于第一总像素差异信息，确定第一中心像素点的运动偏移量。

进一步地，在本公开实施例一种可能的实现方式中，像素点的偏移获取装置100还包括先进先出缓存器150。其中，先进先出缓存器150的输入端与第一运算单元120的输出端连接，输出端与加法运算单元130的输入端连接。

先进先出缓存器150，用于缓存前一个滑动窗口内的第二中心像素点的第二总像素差异信息和多个像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，加法运算单元130，还用于：从先进先出缓存器中获取第二总像素差异信息；从先进先出缓存器中获取与新增像素差异信息间隔行滑动距离的像素差异信息，作为被替换像素差异信息；基于新增像素差异信息、被替换像素差异信息和第二总像素差异信息，获取第一总像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，加法运算单元130，还包括：第一加法器131和第二加法器132，其中，第一加法器131的输出端与第二加法器132的输入端连接。

第一加法器131，用于获取新增像素差异信息和第二总像素差异信息的和值；

第二加法器132，用于获取和值与被替换像素差异信息的差值，作为第一总像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，第一运算单元120，还包括：第三加法器121和运算子单元122，其中，第三加法器121的输出端与运算子单元122的输入端连接。

第三加法器121，用于获取第一图像帧的两个目标像素列中对应像素点之间的第一像素差值，以及获取第一图像帧的第一列目标像素列和第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值；

运算子单元122，用于根据第一像素差值和第二像素差值，获取新增像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，运算子单元122，还包括：乘法器1221和第四加法器1222，其中，乘法器1221的输出端与第四加法器1222的输入端连接。

乘法器1221，用于对属于同一像素点的第一像素差值和第二像素差值做乘法运算；

第四加法器1222，用于将滑入像素列中每个像素点的乘法运算结果相加，得到新增像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，先进先出缓存器150，还用于：缓存新增像素差异信息。

进一步地，在本公开实施例一种可能的实现方式中，第二运算单元140，还用于：根据第一总像素差异信息和光流矩阵进行光流偏移量运算，获取第一中心像素点的运动偏移量。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序，处理器2执行程序时，实现前述的像素点的偏移获取方法。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (24)

1.一种像素点的偏移获取方法，其特征在于，包括：

滑动预设滑动窗口，将第一图像帧和第二图像帧中进入所述滑动窗口内的滑入像素列和所述滑入像素列相邻的像素列，确定为目标像素列，其中所述第一图像帧和所述第二图像帧前后相邻；

根据所述第一图像帧的两个目标像素列和所述第二图像帧的两个目标像素列，获取所述滑动窗口在滑动时生成的新增像素差异信息；

根据所述新增像素差异信息，对所述滑动窗口内的第一中心像素点进行窗口积分，获取所述第一中心像素点的第一总像素差异信息；

基于所述第一总像素差异信息，获取所述第一中心像素点的运动偏移量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述新增像素差异信息，对所述滑动窗口内的第一中心像素点进行窗口积分，获取所述第一中心像素点的第一总像素差异信息，包括：

获取前一个所述滑动窗口内的第二中心像素点的第二总像素差异信息；

获取与所述新增像素差异信息间隔行滑动距离的像素差异信息，作为被替换像素差异信息；

基于所述新增像素差异信息、所述被替换像素差异信息和所述第二总像素差异信息，获取所述第一总像素差异信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述新增像素差异信息、所述被替换像素差异信息和所述第二总像素差异信息，获取所述第一总像素差异信息，包括：

获取所述新增像素差异信息和所述第二总像素差异信息的和值；

获取所述和值与所述被替换像素差异信息的差值，作为所述第一总像素差异信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一图像帧的两个目标像素列和所述第二图像帧的两个目标像素列，获取所述滑动窗口在滑动时生成的新增像素差异信息，包括：

获取所述第一图像帧的两个目标像素列中对应像素点之间的第一像素差值；

获取所述第一图像帧的第一列目标像素列和所述第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值；

根据所述第一像素差值和所述第二像素差值，获取所述新增像素差异信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一像素差值和所述第二像素差值，获取所述新增像素差异信息，包括：

对属于同一像素点的所述第一像素差值和所述第二像素差值做乘法运算；

将所述滑入像素列中每个像素点的乘法运算结果相加，得到所述新增像素差异信息。

6.根据权利要求1所述的方法，其特征在于，所述获取所述滑动窗口在滑动时生成的新增像素差异信息之后，还包括：

将所述新增像素差异信息缓存至先进先出缓存器中。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述第一总像素差异信息，获取所述第一中心像素点的运动偏移量，包括：

根据所述第一总像素差异信息和光流矩阵进行光流偏移量运算，获取所述第一中心像素点的运动偏移量。

8.一种像素点的偏移获取装置，其特征在于，包括：

第一获取模块，用于滑动预设滑动窗口，将第一图像帧和第二图像帧上进入所述滑动窗口内的滑入像素列和所述滑入像素列相邻的像素列，确定为目标像素列，其中所述第一图像帧和所述第二图像帧前后相邻；

第二获取模块，用于根据所述第一图像帧的两个目标像素列和所述第二图像帧的两个目标像素列，获取所述滑动窗口在滑动时生成的新增像素差异信息；

第三获取模块，用于根据所述新增像素差异信息，对所述滑动窗口内的第一中心像素点进行窗口积分，获取所述第一中心像素点的第一总像素差异信息；

第四获取模块，用于基于所述第一总像素差异信息，确定所述第一中心像素点的运动偏移量。

9.根据权利要求8所述的装置，其特征在于，所述第三获取模块，还用于：

获取前一个所述滑动窗口内的第二中心像素点的第二总像素差异信息；

获取与所述新增像素差异信息间隔行滑动距离的像素差异信息，作为被替换像素差异信息；

基于所述新增像素差异信息、所述被替换像素差异信息和所述第二总像素差异信息，获取所述第一总像素差异信息。

10.根据权利要求9所述的装置，其特征在于，所述第三获取模块，还用于：

获取所述新增像素差异信息和所述第二总像素差异信息的和值；

获取所述和值与所述被替换像素差异信息的差值，作为所述第一总像素差异信息。

11.根据权利要求8-10任一项所述的装置，其特征在于，所述第二获取模块，还用于：

获取所述第一图像帧的两个目标像素列中对应像素点之间的第一像素差值；

获取所述第一图像帧的第一列目标像素列和所述第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值；

根据所述第一像素差值和所述第二像素差值，获取所述新增像素差异信息。

12.根据权利要求11所述的装置，其特征在于，所述第二获取模块，还用于：

对属于同一像素点的所述第一像素差值和所述第二像素差值做乘法运算；

将所述滑入像素列中每个像素点的乘法运算结果相加，得到所述新增像素差异信息。

13.根据权利要求8所述的装置，其特征在于，所述第二获取模块，还用于：

将所述新增像素差异信息缓存至先进先出缓存器中。

14.根据权利要求8-10任一项所述的装置，其特征在于，所述第四获取模块，还用于：

根据所述第一总像素差异信息和光流矩阵进行光流偏移量运算，获取所述第一中心像素点的运动偏移量。

15.一种像素点的偏移获取装置，其特征在于，包括：

存储器，用于在滑动预设滑动窗口时，输出第一图像帧和第二图像帧上进入所述滑动窗口内的滑入像素列和所述滑入像素列相邻的像素列，确定为目标像素列，其中所述第一图像帧和所述第二图像帧前后相邻；

第一运算单元，用于根据所述第一图像帧的两个目标像素列和所述第二图像帧的两个目标像素列，获取所述滑动窗口在滑动时生成的新增像素差异信息；

加法运算单元，用于根据所述新增像素差异信息，对所述滑动窗口内的第一中心像素点进行窗口积分，获取所述第一中心像素点的第一总像素差异信息；

第二运算单元，用于基于所述第一总像素差异信息，确定所述第一中心像素点的运动偏移量。

16.根据权利要求15所述的装置，其特征在于，还包括：先进先出缓存器；

所述先进先出缓存器，用于缓存前一个所述滑动窗口内的第二中心像素点的第二总像素差异信息和多个像素差异信息；

所述加法运算单元，进一步用于：

从所述先进先出缓存器中获取所述第二总像素差异信息；

从所述先进先出缓存器中获取与所述新增像素差异信息间隔行滑动距离的像素差异信息，作为被替换像素差异信息；

基于所述新增像素差异信息、所述被替换像素差异信息和所述第二总像素差异信息，获取所述第一总像素差异信息。

17.根据权利要求16所述的装置，其特征在于，所述加法运算单元，包括：

第一加法器，用于获取所述新增像素差异信息和所述第二总像素差异信息的和值；

第二加法器，用于获取所述和值与所述被替换像素差异信息的差值，作为所述第一总像素差异信息。

18.根据权利要求15-17任一项所述的装置，其特征在于，所述第一运算单元，包括：

第三加法器，用于获取所述第一图像帧的两个目标像素列中对应像素点之间的第一像素差值，以及获取所述第一图像帧的第一列目标像素列和所述第二图像帧的第一列目标像素列中对应像素点之间的第二像素差值；

运算子单元，用于根据所述第一像素差值和所述第二像素差值，获取所述新增像素差异信息。

19.根据权利要求18所述的装置，其特征在于，所述运算子单元，包括：

乘法器，用于对属于同一像素点的所述第一像素差值和所述第二像素差值做乘法运算；

第四加法器，用于将所述滑入像素列中每个像素点的乘法运算结果相加，得到所述新增像素差异信息。

20.根据权利要求16所述的装置，其特征在于，所述先进先出缓存器，还用于缓存所述新增像素差异信息。

21.根据权利要求15-17任一项所述的装置，其特征在于，所述第二运算单元，进一步用于：

根据所述第一总像素差异信息和光流矩阵进行光流偏移量运算，获取所述第一中心像素点的运动偏移量。

22.一种电子设备，其特征在于，包括存储器、处理器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一项所述的方法。

23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

24.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images