CN112001949B - 确定目标点移动速度的方法、装置、可读存储介质及设备 - Google Patents

Abstract

本申请公开了一种确定目标点移动速度的方法，包括：确定当前帧中目标物的第一图像区域以及第一图像区域中的各像素的亮度；依据所述第一图像区域内的各像素亮度，确定所述目标物的角点；依据所述角点，确定环绕所述第一图像区域外侧的第二图像区域以及第二图像区域内除第一图像区域之外的各像素的亮度；依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征；基于当前帧中所述目标物目标点特征，确定所述目标点的移动速度。本申请提供的确定目标点移动速度的方法能够节省计算资源，提高计算效率。

Description

确定目标点移动速度的方法、装置、可读存储介质及设备

技术领域

本申请涉及机器视觉领域，具体的涉及一种确定目标点移动速度的方法、装置、可读存储介质及设备。

背景技术

光流和角点检测算法是机器视觉领域应用广泛的算法，通过提取角点，对角点进行光流计算，即估计角点的运动轨迹。应用场景包括自动驾驶，3D机构重建，运动估计，图像分割，轨迹跟踪等。

角点的计算过程中，通常会采用图像区域获取图像中的部分像素，再通过对该部分像素的亮度的一系列运算来判断该图像区域中是否具有角点。而光流的计算过程中，同样会采用图像区域获取图像中的部分像素，通过对相邻两帧的图像区域中的像素的亮度进行运算，从而检测光流。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例公开了一种确定目标点移动速度的方法、装置、可读存储介质及设备；能够减少在计算目标物角点和计算目标物移动速度时的计算量。

根据本申请的一个方面，提供了一种确定目标点移动速度的方法，包括：

确定当前帧中目标物的第一图像区域以及第一图像区域中的各像素的亮度；

依据所述第一图像区域内的各像素亮度，确定所述目标物的角点；

依据所述角点，确定环绕所述第一图像区域外侧的第二图像区域以及第二图像区域内除第一图像区域之外的各像素的亮度；

依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征；

基于当前帧中所述目标物的目标点特征，确定所述目标点的移动速度。

根据本申请的第二个方面，提供了一种确定目标点移动速度的装置，包括：

第一亮度确定模块，用于确定当前帧中目标物的第一图像区域以及第一图像区域中的各像素的亮度；

角点计算模块，用于依据所述第一图像区域内的各像素亮度，确定所述目标物的角点；

第二亮度确定模块，用于依据所述角点，确定环绕所述第一图像区域外侧的第二图像区域以及第二图像区域内除第一图像区域之外的各像素的亮度；

特征确定模块，用于依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征；

移动速度确定模块，用于基于当前帧中所述目标物的目标点特征，确定所述目标点的移动速度。

根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的确定目标点移动速度的方法。

根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一所述的确定目标点移动速度的方法。

本申请中的实施例中提出的上述技术方案，首先确定第一图像区域，在确定目标物的角点时，对第一图像区域的像素亮度进行计算，然后在确定环绕在第一图像区域外侧的第二图像区域，在计算目标物的相对于成像平面的移动速度时，由于在第一图像区域内的像素亮度计算过程与计算角点过程中具有重合的部分，因此，直接复用第一图像区域内的像素亮度计算过程中的中间值，再对第二图像区域与第一图像区域之间的各像素亮度进行计算，即能够得到目标物相对于成像平面的移动速度；在上述的计算过程中，复用了第一图像区域内的像素亮度部分的计算结果，减少了移动速度计算过程中的计算量，提高了计算效率，能够更加快速的计算出目标物的移动速度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一实施例确定目标物移动速度的方法的流程图。

图2是本申请一示例性实施例提供的确定目标物移动速度的方法中确定移动速度的流程图。

图3是本申请另一示例性实施例提供的确定目标物移动速度的方法中确定角点的流程。

图4是本申请另一示例性实施例提供的确定目标物移动速度的方法中依据第一协方差矩阵确定角点的流程。

图5是本申请另一示例性实施例提供的确定目标物移动速度的方法中确定目标物坐标值的流程。

图6是本申请另一示例性实施例提供的确定目标物移动速度的方法中计算偏移向量的流程。

图7是本申请另一示例性实施例提供的确定目标物移动速度的方法中确定图像差值的流程。

图8是本申请另一示例性实施例提供的确定目标点移动速度的装置的示意图。

图9是本申请另一示例性实施例提供的确定目标点移动速度的装置的中移动速度确定模块示意图。

图10是本申请另一示例性实施例提供的确定目标点移动速度的装置的角点计算模块示意图。

图11是本申请另一示例性实施例提供的确定目标点移动速度的装置的角点计算子模块示意图。

图12是本申请另一示例性实施例提供的确定目标点移动速度的装置的特征确定模块示意图。

图13是本申请另一示例性实施例提供的确定目标点移动速度的装置的偏移向量计算子模块示意图。

图14是本申请另一示例性实施例提供的确定目标点移动速度的装置的差值单元示意图。

图15是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

在机器视觉领域，Lucas–Kanade光流和Harris角点检测算法是应用最为广泛的算法，应用场景包括自动驾驶，3D机构重建，运动估计，图像分割以及轨迹跟踪等。在Lucas–Kanade光流计算的过程中，首先通过对图像的第一图像区域进行计算提取角点，然后在包含有第一图像区域的第二图像区域进行光流计算，即计算目标物相对于成像平面的速度。在计算过程中，由于第一图像区域被包含在第二图像区域内，造成对第一图像区域内的像素的重复计算，计算效率低下。

示例性方法

图1是本申请一示例性实施例提供的确定目标点移动速度的方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：

步骤101，确定当前帧中目标物的第一图像区域以及第一图像区域中的各像素的亮度；

在一些实施例中，当前帧可以指待处理视频中任意一帧图像，待处理视频可以是实时拍摄的视频，也可以是在存储设备中存储的视频。第一图像区域是指在当前帧图像中的采用小于当前帧图像尺寸的图像窗获取的一个图像区域。像素亮度是指对同一像素点的各颜色通道进行加权平均得到的数值，用来表示像素的明亮程度。目标物是指在视频中发生运动的物体，例如车辆、动物或者其他运动的物体。

步骤102，依据所述第一图像区域内的各像素亮度，确定所述目标物的角点；

在一实施例中，角点是指图像中目标物的两个或两个以上的边缘相交的位置，而边缘则是只在相邻的区域内像素亮度发生突变的位置。由于角点的像素亮度变化最为剧烈，基于第一图像区域内的各像素在水平方向和竖直方向的亮度变化，能够得到角点。

步骤103，依据角点，确定环绕所述第一图像区域外侧的第二图像区域以及第二图像区域内除第一图像区域之外的各像素的亮度；

在一实施例中，第二图像区域是采用小于当前帧图像尺寸并且大于第一图像窗的第二图像窗获取的一个图像区域。第二图像区域可以是当前帧图像中可配置大小的图像区域。

步骤104，依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征；

在一实施例中，本步骤将角点计算过程中第一图像区域内的各像素亮度直接进行复用，配合第二图像区域内的其他各像素亮度，通过角点的坐标值以及第二图像区域内各像素在水平方向和竖直方向的亮度变化，确定目标物的目标点特征。目标点特征包括在第二图像区域内各像素亮度、相邻像素之间的亮度梯度变化的剧烈程度等能表示个目标点周围一定范围内像素独特性的特征。

步骤105，基于当前帧中所述目标物的目标点特征，确定所述目标物的移动速度。

在一实施例中，在计算光流过程中，首先得到当前帧的第二图像区域内的目标点特征，还需要用到当前帧第二图像区域内的各像素亮度以及当前帧之后的一帧中的第二图像区域内的各像素亮度，并获得当前帧和之后的一帧中第二图像区域内各像素亮度差值，依据该差值和目标点特征，得到目标点在当前帧和之后一帧中的位置差异关系，利用该位置差异关系以及当前帧和之后一帧的序列关系，计算得到目标点的速度。此处的目标点的移动速度是指视频中的目标点相对于成像平面的移动速度，即光流。

本示例性实施例中提出的确定目标点移动速度的方法，首先确定第一图像区域，在确定目标物的角点时，对第一图像区域的像素亮度进行计算，然后在确定环绕在第一图像区域外侧的第二图像区域，在计算目标物的相对于成像平面的移动速度时，由于在第一图像区域内的像素亮度计算过程与计算角点过程中具有重合的部分，因此，直接复用第一图像区域内的像素亮度计算过程中的中间值，再对第二图像区域与第一图像区域之间的各像素亮度进行计算，即能够得到目标物相对于成像平面的移动速度；在上述的计算过程中，复用了第一图像区域内的像素亮度部分的计算结果，能够减少计算量，提高计算效率，从而快速计算出视频中目标物的移动速度。

如图2所示，在上述图1所示实施例的基础上，步骤105可包括如下步骤：

步骤1051，基于当前帧中所述目标物的目标点特征，确定所述目标物相对于成像平面的偏移向量；

在一些实施例中，偏移向量是指目标点在两帧中的位置不同时，从在前的一帧中目标点在成像平面的位置指向在后的一帧中的目标点在成像平面的位置的向量，由于在计算过程中是计算目标点在成像平面上的移动速度，因此，该向量是在成像平面上的二维向量。上述中的两帧可以是相邻的两帧，也可以是间隔的两帧。例如，取相邻两帧分别为序号为1和2的帧，其中在第1帧中，采用第一图像窗选取多个第一图像区域，当某个第一图像区域内的各像素亮度在水平方向和竖直方向上均具有较大的变化时，该第一图像区域内具有角点，此时即确定角点的位置，即第一图像区域的位置。由于该角点为目标物的特征点，即，该角点能够在一定程度上表示目标物，因此，以该角点位置为目标物的目标点，以该目标点为中心在第一图像区域的外侧围绕第一图像区域确定一个第二图像区域，依据第二图像区域内各像素亮度，计算该目标点特征。随后，在第2帧中以第二图像窗选取多个第二图像区域，当某个第二图像区域计算的目标点特征与与第1帧中的第二图像区域计算出的目标点特征差值在一定的阈值范围内时，以第2帧中第二图像区域的中心位置为目标点的第二位置，该偏移向量是由第一位置指向第二位置的向量。

步骤1052，依据所述偏移向量，确定所述目标点相对于成像平面的移动速度。

在一些实施例中，目标物相对于成像平面的移动速度，即光流，是指单位帧间隔内，目标物相对于成像平面的偏移向量，例如，可以采用当前帧与前一帧中目标物相对于成像平面的偏移向量作为当前帧相对于前一帧的光流，或者，对于计算精度要求不高的且目标物线性移动的情况，可以计算当前帧与在前且具有若干帧间隔的一帧图像的目标物的偏移向量，再将该偏移向量与帧间隔的数量求商值，将该商值作为当前帧与在前的若干帧的平均移动速度。例如，在第1帧中的第一位置为(X₁，Y₁)，在第2帧中的第二位置为(X₂，Y₂)；此时，第1帧和第2帧之间的移动速度为(X₂-X₁，Y₂-Y₁)。再例如，在第1帧中的第一位置为(X₁，Y₁)，在第5帧中的第二位置为(X₂，Y2)；此时，第1帧第2帧之间的移动速度为(X₂-X₁，Y₂-Y₁)/(5-1)。

如图3所示，在上述图1所示实施例的基础上，步骤102可包括如下步骤：

步骤1021，依据所述第一图像区域内的各像素亮度，得到所述第一图像区域内各像素的水平方向和竖直方向的亮度梯度；

水平方向上的亮度梯度是指在同一竖直坐标上的相邻的像素之间亮度的差值，记为I_x，竖直方向上的亮度梯度是指在同一水平坐标上的相邻的像素之间亮度的差值，记为I_y。

步骤1022，依据所述亮度梯度，得到所述第一图像区域内各像素亮度梯度的第一协方差矩阵；

依据上述的水平方向上的亮度梯度和水平方向上的亮度梯度进行计算，得到如下的第一协方差矩阵：

其中，

A11＝sum(Ix*Ix)；

A12＝sum(Ix*Iy)；

A22＝sum(Iy*Iy)；

其中，Ix为水平方向的亮度梯度，Iy为竖直方向上的亮度梯度，A11表示第一图像区域内各像素水平方向亮度梯度乘方之后的的和，A12表示第一图像区域内各像素水平方向亮度梯度与竖直方向亮度梯度相乘之后的和，A22表示第一图像区域内各像素竖直方向亮度梯度乘方之后的的和。

步骤1023，依据所述第一协方差矩阵，确定所述目标物的角点。

依据上述的第一协方差矩阵，计算第一协方差矩阵的特征值，其中一个特征值表示第一图像区域内各像素亮度在水平方向上的亮度变化剧烈程度，另一个特征值表示第一图像区域内各像素亮度在竖直方向上的亮度变化剧烈程度，当第一图像区域内的各像素灰度在两个方向上的变化的剧烈程度都较大时，则该图像区域的中心具有角点。

在本示例性实施例中，在计算过程中，输出一个第一协方差矩阵作为中间输出，该第一协方差矩阵在后续计算目标物的运动速度时，能够进行复用，从而，能够为后续对目标物的运动速度的计算提供一个中间值，减少后续的计算量，节省计算资源。

如图4所示，在上述图3所示实施例的基础上，步骤1023可包括如下步骤：

步骤10231，依据所述第一协方差矩阵，得到所述第一协方差矩阵的特征值；

在上述图3中所示的实施例中，得到了第一协方差矩阵：

其中，A11表示第二图像区域内各像素水平方向亮度梯度乘方之后的的和，A12表示第二图像区域内各像素水平方向亮度梯度与竖直方向亮度梯度相乘之后的和，A22表示第二图像区域内各像素竖直方向亮度梯度乘方之后的的和。

对上述的第一协方差矩阵进行对角化，及可得到上述的第一协方差矩阵的特征值。

步骤10232，依据所述特征值与预定阈值范围的关系，确定所述目标物的角点；

上述的第一协方差矩阵可得到两个特征值，将两个特征值与预定的阈值范围进行比较，当两个特征值均大于预定的阈值范围时，表明在第一图像区域内，在竖直方向和水平方向上的两个方向上的像素的亮度梯度都比较大，此时可以判断在该图像区域中心存在角点。

在本实施例中，将第一协方差矩阵的特征值与预定的阈值进行比较，根据第一协方差矩阵的特征值与预定阈值的范围进行比较及可得到第一图像窗区域内是否存在角点，该方法简单便捷。

如图5所示，在上述图1所示实施例的基础上，步骤104可包括如下步骤：

步骤1041，依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度，得到所述第一图像区域和所述第二图像区域之间各像素的水平方向和竖直方向的亮度梯度；依据所述亮度梯度，得到所述第二图像区域内除所述第一图像区域之外的各像素的亮度梯度的第二协方差矩阵；

其中，A11表示第二图像区域内除第一图像区域的各像素水平方向亮度梯度乘方之后的的和，A12表示第二图像区域内除第一图像区域的各像素水平方向亮度梯度与竖直方向亮度梯度相乘之后的和，A22表示第二图像区域内除第一图像区域的各像素竖直方向亮度梯度乘方之后的的和。

在一些实施例中，依据上述步骤1022中的计算方式，计算第二图像区域中除第一图像区域之外的各像素亮度的第二协方差矩阵。

步骤1042，依据所述第一协方差矩阵和所述第二协方差矩阵，确定所述目标物的目标点特征。

在一些实施例中，将第一协方差矩阵与第二协方差矩阵进行合并，形成新的协方差矩阵，在上述内容中，依据第一协方差矩阵确定了角点的位置，围绕第一图像区域能确定多个第二图像区域，每个第二图像区域内的像素亮度对应于一个新的协方差矩阵，新的协方差矩阵具有两个特征值，该两个特征值分别表征第二图像区域内的像素亮度在水平方向亮度变化剧烈程度和竖直方向上的亮度变化剧烈程度，即该第三协方差矩阵即表征了第二图像区域内目标点特征。

在一些实施例中，由于复用了上述的第一协方差矩阵，从而在计算目标物坐标值的过程中能够减少对于第一协方差矩阵部分对应的计算量，能够节省计算资源。

如图6所示，在上述图2所示实施例的基础上，步骤1051可包括如下步骤：

步骤10511，基于当前帧目标物目标点特征，预测下一帧第二图像区域位置；

预测下一帧的第二图像区域的的位置时，由于光流计算过程中的约束条件，需要以小运动为前提条件，因此，在预测第二图像区域中时，可以依据当前帧第二图像区域的位置作为下一帧的第二图像区域的起始位置，下一帧的第二图像区域从起始位置开始移动，由于小运动的前提条件，下一帧的第二图像区域经过少的运动后即可找到与当前帧第二图像区域具有相同特征的目标点。

步骤10512，基于下一帧的第二图像区域，获取所述下一帧第二图像区域中的像素亮度；

在一些实施例中，下一帧图像区域中各像素亮度的计算法方式可以依据上述图1所示的实施例中计算各像素亮度的方式进行计算。

步骤10513，依据当前帧和下一帧的第二图像区域中的像素亮度，确定当前帧和下一帧的第二图像区域中的图像差值；

在计算当前帧第二图像区域和下一帧图像区域中的差值时，将当前帧第二图像区域的图像与下一帧图像区域的图像进行差值运算得到一个差值图像。

步骤10514，依据所述第一协方差矩阵、第二协方差矩阵和所述图像差值，确定所述目标物的偏移向量；

在一些实施例中，依据第一协方差矩阵、第二协方差矩阵和所述图像差值再依据上述各实施例的内容，通过可计算得到下一帧中第二图像区域的位置，将当前帧第二图像区域的位置和下一帧图像窗的位置进行比较，可得到目标物的偏移向量。

如图7所示，在上述图6所示实施例的基础上，步骤10513可包括如下步骤：

步骤105131，将所述当前帧和所述下一帧的第二图像区域中对应的像素进行差值运算；

在计算当前帧与下一帧第二图像区域的图像差值时，由于两个第二图像区域大小相同，因此，采用将对应的像素进行差值运算的方式，即可以得到各像素的差值。

步骤105132，依据所述差值运算的结果，得到当前帧和下一帧图像区域中的图像差值；

在得到各像素的差值之后，将各像素的差值数据根据当前帧和下一帧第二图像区域中的像素排列方式进行排列，即可得到一个差值图像。

再完成上述步骤后，图6中所示的实施例中，步骤10514可以依据如下的方式进行计算：

其中，

b1＝sum(diff*Ix)；

b2＝sum(diff*Iy)；

其中，diff表示对应I_x或I_y处的两帧图像差值的像素亮度；，b1表示对应I_x处的图像差值的像素亮度与I_x的乘积之和，b2表示对应I_y处的图像差值的像素亮度与I_y的乘积之和。

而偏移向量则可以依据如下的方式进行计算：

其中，delta表示相邻目标物在两帧间的偏移向量。deltax表示该偏移向量在X方向上的分量，deltay表示该偏移向量在Y方向上的分量。D表示上述的第二协方差矩阵。

在本实施例中，通过计算对应的像素向量差值即可得到差值图像，从而，能够方便快捷的计算出两帧之间的差值图像，并且，便于后续的偏移向量的计算。

示例性装置

图8是本申请一示例性实施例提供的确定目标点移动速度的装置的流程示意图。本实施例可应用在电子设备上，如图8所示，包括如下步骤：

第一亮度确定模块801，用于确定当前帧中目标物的第一图像区域以及第一图像区域中的各像素的亮度；

其中，当前帧可以指待处理视频中任意一帧图像，待处理视频可以是实时拍摄的视频，也可以是在存储设备中存储的视频。第一图像区域是指在当前帧图像中的采用小于当前帧图像尺寸的图像窗获取的一个图像区域。像素亮度是指对同一像素点的各颜色通道进行加权平均得到的数值，用来表示像素的明亮程度。目标物是指在视频中发生运动的物体，例如车辆、动物或者其他运动的物体。

角点计算模块802，用于依据所述第一图像区域内的各像素亮度，确定所述目标物的角点；

在一实施例中，角点是指图像中目标物的两个或两个以上的边缘相交的位置，而边缘则是只在相邻的区域内像素亮度发生突变的位置。由于角点的像素亮度变化最为剧烈，基于第一图像区域内的各像素在水平方向和竖直方向的亮度变化，能够根据第一图像区域内的各像素亮度得到角点。

第二亮度确定模块803，用于依据角点，确定环绕所述第一图像区域外侧的第二图像区域以及第二图像区域内除第一图像区域之外的各像素的亮度；

在一些实施例中，第二图像区域是采用小于当前帧图像尺寸并且大于第一图像窗的第二图像窗获取的一个图像区域。第二图像区域可以是当前帧图像中可配置大小的图像区域。

特征确定模块804，用于依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征；

在一实施例中，将角点计算过程中第一图像区域内的各像素亮度直接进行复用，配合第二图像区域内的其他各像素亮度，通过角点的坐标值以及第二图像区域内各像素在水平方向和竖直方向的亮度变化，确定目标物的目标点特征。目标点特征包括在第二图像区域内各像素亮度、相邻像素之间的亮度梯度变化的剧烈程度等能表示个目标点周围一定范围内像素独特性的特征。

移动速度确定模块805，用于基于当前帧中所述目标物的目标点特征，确定所述目标物的移动速度。

在一实施例中，在计算光流过程中，首先得到当前帧的第二图像区域内的目标点特征，还需要用到当前帧第二图像区域内的各像素亮度以及当前帧之后的一帧中的第二图像区域内的各像素亮度，并获得当前帧和之后的一帧中第二图像区域内各像素亮度差值，依据该差值和目标点特征，得到目标点在当前帧和之后一帧中的位置差异关系，利用该位置差异关系以及当前帧和之后一帧的序列关系，计算得到目标点的速度。此处的目标点的移动速度是指视频中的目标点相对于成像平面的移动速度，即光流。

本示例性实施例中提出的确定目标点移动速度的方法，首先确定第一图像区域，在确定目标物的角点时，对第一图像区域的像素亮度进行计算，然后在确定环绕在第一图像区域外侧的第二图像区域，在计算目标物的相对于成像平面的移动速度时，由于在第一图像区域内的像素亮度计算过程与计算角点过程中具有重合的部分，因此，直接复用第一图像区域内的像素亮度计算过程中的中间值，再对第二图像区域与第一图像区域之间的各像素亮度进行计算，即能够得到目标物相对于成像平面的移动速度；在上述的计算过程中，复用了第一图像区域内的像素亮度部分的计算结果，能够减少计算量，提高计算效率，从而快速计算出视频中目标物的移动速度。

如图9所示，在上述图8所示实施例的基础上，移动速度确定模块805可包括如下子模块：

偏移向量计算子模块8051，用于基于当前帧中所述目标物的目标点特征，确定所述目标物相对于成像平面的偏移向量；

在一些实施例中，偏移向量是指目标点在两帧中的位置不同时，从在前的一帧中目标点在成像平面的位置指向在后的一帧中的目标点在成像平面的位置的向量，由于在计算过程中是计算目标点在成像平面上的移动速度，因此，该向量是在成像平面上的二维向量。上述中的两帧可以是相邻的两帧，也可以是间隔的两帧。例如，取相邻两帧分别为序号为1和2的帧，其中在第1帧中，采用第一图像窗选取多个第一图像区域，当某个第一图像区域内的各像素亮度在水平方向和竖直方向上均具有较大的变化时，该第一图像区域内具有角点，此时即确定角点的位置，即第一图像区域的位置。由于该角点为目标物的特征点，即，该角点能够在一定程度上表示目标物，因此，以该角点位置为目标物的目标点，以该目标点为中心在第一图像区域的外侧围绕第一图像区域确定一个第二图像区域，依据第二图像区域内各像素亮度，计算该目标点特征。随后，在第2帧中以第二图像窗选取多个第二图像区域，当某个第二图像区域计算的目标点特征与与第1帧中的第二图像区域计算出的目标点特征差值在一定的阈值范围内时，以第2帧中第二图像区域的中心位置为目标点的第二位置，该偏移向量是由第一位置指向第二位置的向量。

移动速度计算子模块8052，用于依据所述偏移向量，确定所述目标点相对于成像平面的移动速度。

在一些实施例中，目标物相对于成像平面的移动速度，即光流，是指单位帧间隔内，目标物相对于成像平面的偏移向量，例如，可以采用当前帧与前一帧中目标物相对于成像平面的偏移向量作为当前帧相对于前一帧的光流，或者，对于计算精度要求不高的且目标物线性移动的情况，可以计算当前帧与在前且具有若干帧间隔的一帧图像的目标物的偏移向量，再将该偏移向量与帧间隔的数量求商值，将该商值作为当前帧与在前的若干帧的平均移动速度。例如，在第1帧中的第一位置为(X₁，Y₁)，在第2帧中的第二位置为(X₂，Y₂)；此时，第1帧和第2帧之间的移动速度为(X₂-X₁，Y₂-Y₁)。再例如，在第1帧中的第一位置为(X₁，Y₁)，在第5帧中的第二位置为(X₂，Y2)；此时，第1帧第2帧之间的移动速度为(X₂-X₁，Y₂-Y₁)/(5-1)。

本示例性实施例中，采用目标物角点和坐标值计算偏移向量，可以精确的计算相邻两帧间的移动速度，也可以计算多帧之间目标物的平均移动速度，其计算方式灵活多变，可以依据实际情况自由选择。

如图10所示，在上述图8所示实施例的基础上，模块802可包括如下子模块：

第一亮度梯度子模块8021，用于依据所述第一图像区域内的各像素亮度，得到所述第一图像区域内各像素的水平方向和竖直方向的亮度梯度；

水平方向上的亮度梯度是指在同一竖直坐标上的相邻的像素之间亮度的差值，记为I_x，竖直方向上的亮度梯度是指在同一水平坐标上的相邻的像素之间亮度的差值，记为I_y。

第一矩阵子模块8022，用于依据所述亮度梯度，得到所述第一图像区域内各像素亮度梯度的第一协方差矩阵；

依据上述的水平方向上的亮度梯度和水平方向上的亮度梯度进行计算，得到如下的第一协方差矩阵：

其中，

A11＝sum(Ix*Ix)；

A12＝sum(Ix*Iy)；

A22＝sum(Iy*Iy)；

其中，Ix为水平方向的亮度梯度，Iy为竖直方向上的亮度梯度，A11表示第一图像区域内各像素水平方向亮度梯度乘方之后的的和，A12表示第一图像区域内各像素水平方向亮度梯度与竖直方向亮度梯度相乘之后的和，A22表示第一图像区域内各像素竖直方向亮度梯度乘方之后的的和。

角点计算子模块8023，用于依据所述第一协方差矩阵，确定所述目标物的角点。

依据上述的第一协方差矩阵，计算第一协方差矩阵的特征值，其中一个特征值表示第一图像区域内各像素亮度在水平方向上的亮度变化剧烈程度，另一个特征值表示第一图像区域内各像素亮度在竖直方向上的亮度变化剧烈程度，当第一图像区域内的各像素灰度在两个方向上的变化的剧烈程度都较大时，则该图像区域中心具有角点。

在本示例性实施例中，在计算过程中，输出一个第一协方差矩阵作为中间输出，该第一协方差矩阵在后续计算目标物的运动速度时，能够进行复用，从而，能够为后续对目标物的运动速度的计算提供一个中间值，减少后续的计算量，节省计算资源。

如图11所示，在上述图10所示实施例的基础上，角点计算子模块8023可包括如下单元：

特征值单元80231，用于依据所述第一协方差矩阵，得到所述第一协方差矩阵的特征值；

在上述图10中所示的实施例中，得到了第一协方差矩阵：

其中，A11表示第二图像区域内各像素水平方向亮度梯度乘方之后的的和，A12表示第二图像区域内各像素水平方向亮度梯度与竖直方向亮度梯度相乘之后的和，A22表示第二图像区域内各像素竖直方向亮度梯度乘方之后的的和。

对上述的第一协方差矩阵进行对角化，及可得到上述的第一协方差矩阵的特征值。

角点计算单元80232，用于依据所述特征值与预定阈值范围的关系，确定所述目标物的角点；

上述的第一协方差矩阵可得到两个特征值，将两个特征值与预定的阈值范围进行比较，当两个特征值均大于预定的阈值范围时，表面在第一图像区域内，在竖直方向和水平方向上的两个方向上的像素的亮度梯度都比较大，此时可以判断在该图像区域内存在角点。

在本实施例中，将第一协方差矩阵的特征值与预定的阈值进行比较，根据第一协方差矩阵的特征值与预定阈值的范围进行比较及可得到第一图像窗区域内是否存在角点，该方法简单便捷。

如图12所示，在上述图8所示实施例的基础上，特征确定模块804可包括如下子模块：

第二矩阵子模块8041，用于依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度，得到所述第一图像区域和所述第二图像区域之间各像素的水平方向和竖直方向的亮度梯度；依据所述亮度梯度，得到所述第二图像区域内除所述第一图像区域之外的各像素的亮度梯度的第二协方差矩阵；

其中，A11表示第二图像区域内各像素水平方向亮度梯度乘方之后的的和，A12表示第二图像区域内各像素水平方向亮度梯度与竖直方向亮度梯度相乘之后的和，A22表示第二图像区域内各像素竖直方向亮度梯度乘方之后的的和。

计算时，依据上述步骤1022中的计算方式，计算第二图像区域中除第一图像区域之外的各像素亮度的第二协方差矩阵。

特征确定子模块8042，用于依据所述第一协方差矩阵和所述第二协方差矩阵，确定所述目标物的目标点特征。

在一些实施例中，将第一协方差矩阵与第二协方差矩阵进行合并，形成新的协方差矩阵，在上述内容中，依据第一协方差矩阵确定了角点的位置，围绕第一图像区域能确定多个第二图像区域，每个第二图像区域内的像素亮度对应于一个新的协方差矩阵，新的协方差矩阵具有两个特征值，该两个特征值分别表征第二图像区域内的像素亮度在水平方向亮度变化剧烈程度和竖直方向上的亮度变化剧烈程度，即该第三协方差矩阵即表征了第二图像区域内目标点特征。

在计算时，由于复用了上述的第一协方差矩阵，从而在计算目标物坐标值的过程中能够减少对于第一协方差矩阵部分对应的计算量，能够节省计算资源。

如图13所示，在上述图9所示实施例的基础上，偏移向量计算子模块8051可包括如下单元：

预测单元80511，用于基于当前帧目标物的目标点特征，预测下一帧第二图像区域位置；

预测下一帧的第二图像区域的的位置时，由于光流计算过程中的约束条件，需要以小运动为前提条件，因此，在预测第二图像区域中时，可以依据当前帧第二图像区域的位置作为下一帧的第二图像区域的起始位置，下一帧的第二图像区域从起始位置开始移动，由于小运动的前提条件，下一帧的第二图像区域经过少的运动后即可找到与当前帧第二图像区域具有相同特征的目标点。

下一帧亮度单元80512，用于基于下一帧的第二图像区域，获取所述下一帧第二图像区域中的像素亮度；

下一帧图像区域中各像素亮度的计算法方式可以依据上述图1所示的实施例中计算各像素亮度的方式进行计算。

差值单元80513，依据当前帧和下一帧的第二图像区域中的像素亮度，确定当前帧和下一帧的第二图像区域中的图像差值；

在计算当前帧第二图像区域和下一帧图像区域中的差值时，将当前帧第二图像区域的图像与下一帧图像区域的图像进行差值运算得到一个差值图像。

偏移向量单元80514，依据所述第一协方差矩阵、第二协方差矩阵和所述图像差值，确定所述目标物的偏移向量；

在一些实施例中，依据第一协方差矩阵、第二协方差矩阵和所述图像差值再依据上述各实施例的内容，通过可计算得到下一帧中第二图像区域的位置，将当前帧第二图像区域的位置和下一帧图像窗的位置进行比较，可得到目标物的偏移向量。

如图14所示，在上述图13所示实施例的基础上，差值单元80513可包括如下单元：

像素差值子单元805131，将所述当前帧和所述下一帧的第二图像区域中对应的像素进行差值运算；

在计算当前帧与下一帧第二图像区域的图像差值时，由于两个第二图像区域大小相同，因此，采用将对应的像素进行差值运算的方式，即可以得到各像素的差值。

差值图像子单元805132，依据所述差值运算的结果，得到当前帧和下一帧图像区域中的图像差值；

在得到各像素的差值之后，将各像素的差值数据根据当前帧和下一帧第二图像区域中的像素排列方式进行排列，即可得到一个差值图像。

随后可以依据如下的方式进行计算：

其中，

b1＝sum(diff*Ix)；；

b2＝sum(diff*Iy)；

diff表示对应I_x或I_y处的图像差值的像素亮度；

其中，diff表示对应I_x或I_y处的两帧图像差值的像素亮度；，b1表示对应I_x处的图像差值的像素亮度与I_x的乘积之和，b2表示对应I_y处的图像差值的像素亮度与I_y的乘积之和。

而偏移向量则可以依据如下的方式进行计算：

其中，delta表示相邻目标物在两帧间的偏移向量。deltax表示该偏移向量在X方向上的分量，deltay表示该偏移向量在Y方向上的分量。D表示上述的第二协方差矩阵。

在本实施例中，通过计算对应的像素向量差值再进行排序即可得到插值图像，从而，能够方便快捷的计算出两帧之间的插值图像，并且，便于后续的偏移向量的计算。

示例性电子设备

下面，参考图10来描述根据本申请实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图15图示了根据本申请实施例的电子设备的框图。

如图15所示，电子设备11包括一个或多个处理器111和存储器112。

处理器111可以是中央处理子模块(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理子模块，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的目标物移动速度确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备115还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入设备113还可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图15中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标物移动速度确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标物移动速度确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种确定目标点移动速度的方法，包括：

确定当前帧中目标物的第一图像区域以及第一图像区域中的各像素的亮度；

依据所述第一图像区域内的各像素亮度，确定所述目标物的角点；

依据所述角点，确定环绕所述第一图像区域外侧的第二图像区域以及第二图像区域内除第一图像区域之外的各像素的亮度；

依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征；

基于当前帧中所述目标物目标点特征，确定所述目标点的移动速度；

其中，基于当前帧中所述目标物目标点特征，确定所述目标点的移动速度包括：

获取当前帧之后的一帧中第二图像区域与当前帧第二图像区域的像素亮度差值；

依据所述像素亮度差值和所述目标点特征，确定目标点在当前帧和当前帧之后的一帧中的位置差异关系；

依据所述当前帧和当前帧之后的一帧的序列关系以及所述位置差异关系，确定所述目标点的移动速度。

2.根据权利要求1所述的方法，其中，所述基于当前帧中所述目标物的角点以及坐标值，确定所述目标点的移动速度，包括，

基于当前帧中所述目标物的目标点特征，确定所述目标点相对于成像平面的偏移向量；

依据所述偏移向量，确定所述目标点相对于成像平面的移动速度。

3.根据权利要求1所述的方法，其中，所述依据所述第一图像区域内的各像素亮度，确定所述目标物角点包括：

依据所述第一图像区域内的各像素亮度，得到所述第一图像区域内各像素的水平方向和竖直方向的亮度梯度；

依据所述亮度梯度，得到所述第一图像区域内各像素亮度梯度的第一协方差矩阵；

依据所述第一协方差矩阵，确定所述目标物的角点。

4.根据权利要求3所述的方法，其中，所述依据所述第一协方差矩阵，确定所述目标物的角点包括：

依据所述第一协方差矩阵，得到所述第一协方差矩阵的特征值；

依据所述特征值与预定阈值范围的关系，确定所述目标物的角点。

5.根据权利要求3所述的方法，其中，依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征包括：

依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度，得到所述第一图像区域和所述第二图像区域之间各像素的水平方向和竖直方向的亮度梯度；依据所述亮度梯度，得到所述第二图像区域内除所述第一图像区域之外的各像素的亮度梯度的第二协方差矩阵；

依据所述第一协方差矩阵和所述第二协方差矩阵，确定所述目标物的目标点特征。

6.根据权利要求5所述的方法，其中，所述基于当前帧中所述目标物的目标点特征，计算所述目标物的偏移向量包括：

基于当前帧目标物的目标点特征，预测下一帧第二图像区域位置；

基于下一帧的第二图像区域，获取所述下一帧第二图像区域中的像素亮度；

依据当前帧和下一帧的第二图像区域中的像素亮度，确定当前帧和下一帧的第二图像区域中的图像差值；

依据所述第一协方差矩阵、第二协方差矩阵和所述图像差值，确定所述目标点的偏移向量。

7.根据权利要求6所述的方法，其中，所述依据当前帧和下一帧的第二图像区域中的像素亮度，确定当前帧和下一帧的第二图像区域中的图像差值包括：

将所述当前帧和所述下一帧的第二图像区域中对应的像素进行差值运算；

依据所述差值运算的结果，得到当前帧和下一帧图像区域中的图像差值。

8.一种确定目标点移动速度的装置，包括：

第一亮度确定模块，用于确定当前帧中目标物的第一图像区域以及第一图像区域中的各像素的亮度；

角点计算模块，用于依据所述第一图像区域内的各像素亮度，确定所述目标物的角点；

第二亮度确定模块，用于依据所述角点，确定环绕所述第一图像区域外侧的第二图像区域以及第二图像区域内除第一图像区域之外的各像素的亮度；

特征确定模块，用于依据所述第二图像区域内除所述第一图像区域之外的各像素的亮度以及第一图像区域内的各像素的亮度，确定所述目标物的目标点特征；

移动速度确定模块，用于基于当前帧中所述目标点特征，确定所述目标点的移动速度；

其中，基于当前帧中所述目标物目标点特征，确定所述目标点的移动速度包括：

获取当前帧之后的一帧中第二图像区域与当前帧第二图像区域的像素亮度差值；

依据所述像素亮度差值和所述目标点特征，确定目标点在当前帧和当前帧之后的一帧中的位置差异关系；

依据所述当前帧和当前帧之后的一帧的序列关系以及所述位置差异关系，确定所述目标点的移动速度。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的确定目标点移动速度的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的确定目标点移动速度的方法。