CN111415371B - 一种稀疏光流确定方法和装置 - Google Patents

Abstract

本公开涉及一种稀疏光流确定方法和装置。该方法包括：对第一视频帧进行边缘检测，确定所述第一视频帧的边缘区域和非边缘区域；基于第一采样步长在所述第一视频帧的边缘区域中确定采样像素点；基于第二采样步长在所述第一视频帧的非边缘区域中确定采样像素点，其中，所述第二采样步长大于所述第一采样步长；根据任一采样像素点，确定所述第一视频帧对应的稀疏光流。本公开既可以提高稀疏光流确定效率，又可以确保稀疏光流准确度。

Description

一种稀疏光流确定方法和装置

技术领域

本公开涉及视频处理技术领域，尤其涉及一种稀疏光流确定方法和装置。

背景技术

视频帧率提升是一种将低帧率视频转换为高帧率视频的视频后处理方法，在相邻两视频帧之间插入内插视频帧，以达到增加帧率的目的。例如，将视频帧率从30fps(Framesper Second，帧每秒)提升至60fps。

目前常用的视频帧率提升方法为光流插帧方法，通过相邻两视频帧之间的光流，确定相邻两视频帧之间的内插视频帧。为了降低光流计算复杂度，一般采用稀疏采样法确定相邻两视频帧之间的稀疏光流来进行视频插帧。

现有确定稀疏光流的过程：通过设置目标采样步长对视频帧进行采样确定采样像素点，或通过对视频帧进行角点检测来确定采样像素点；根据采样像素点来确定该视频帧与相邻视频帧之间的稀疏光流。

但是，通过设置目标采样步长对视频帧进行采样确定采样像素点时，若目标采样步长设置较大，则确定的采样像素点较少，使得确定的稀疏光流准确度较低；若目标采样步长设置较小，则确定的采样像素点较多，使得采样效率较低，进而影响稀疏光流的确定效率。通过对视频帧进行角点检测来确定采样像素点时，仅将视频帧中的角点确定为采样像素点，采样像素点较少，同样使得确定的稀疏光流准确度较低。

因此，现有的稀疏光流确定方法很难在准确度和效率上达到一个平衡，因此，亟需一种有效的稀疏光流确定方法。

发明内容

有鉴于此，本公开提出了一种稀疏光流确定方法和装置，从而既可以提高稀疏光流确定效率，又可以确保稀疏光流准确度。

根据本公开的第一方面，提供了一种稀疏光流确定方法，包括：对第一视频帧进行边缘检测，确定所述第一视频帧的边缘区域和非边缘区域；基于第一采样步长在所述第一视频帧的边缘区域中确定采样像素点；基于第二采样步长在所述第一视频帧的非边缘区域中确定采样像素点，其中，所述第二采样步长大于所述第一采样步长；根据任一采样像素点，确定所述第一视频帧对应的稀疏光流。

在一种可能的实现方式中，所述第一采样步长为1。

在一种可能的实现方式中，根据任一采样像素点，确定所述第一视频帧对应的稀疏光流，包括：基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，其中，所述第二视频帧和所述第一视频帧为相邻视频帧；根据所述任一采样像素点对应的匹配像素点，确定所述第一视频帧对应的稀疏光流。

在一种可能的实现方式中，基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，包括：基于所述特征点匹配算法，在所述第二视频帧中包含的所有像素点中，查找所述任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，包括：对所述第二视频帧进行边缘检测，确定所述第二视频帧中的边缘区域和非边缘区域；基于第三采样步长在所述第二视频帧的边缘区域中确定目标像素点；基于第四采样步长在所述第二视频帧的非边缘区域中确定目标像素点，其中，所述第四采样步长大于所述第三采样步长；基于所述特征点匹配算法，在所述目标像素点中，查找所述任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，对视频帧进行边缘检测，确定所述视频帧中的边缘区域和非边缘区域，包括：对所述视频帧进行边缘检测，得到边缘检测结果；对所述边缘检测结果进行边缘膨胀，得到所述视频帧的边缘区域；将所述视频帧中边缘区域以外的其它区域确定为所述视频帧的非边缘区域。

在一种可能的实现方式中，所述特征点匹配算法包括下述至少一种：SIFT算法、HOG算法、SURF算法。

在一种可能的实现方式中，所述边缘检测的方式包括下述至少一种：Canny边缘检测算法、滤波算法、深度学习算法。

根据本公开的第二方面，提供了一种稀疏光流确定装置，包括：边缘检测模块，用于对第一视频帧进行边缘检测，确定所述第一视频帧的边缘区域和非边缘区域；采样模块，用于基于第一采样步长在所述第一视频帧的边缘区域中确定采样像素点；所述采样模块，还用于基于第二采样步长在所述第一视频帧的非边缘区域中确定采样像素点，其中，所述第二采样步长大于所述第一采样步长；确定模块，用于根据任一采样像素点，确定所述第一视频帧对应的稀疏光流。

根据本公开的第三方面，提供了一种稀疏光流确定装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行：对第一视频帧进行边缘检测，确定所述第一视频帧的边缘区域和非边缘区域；基于第一采样步长在所述第一视频帧的边缘区域中确定采样像素点；基于第二采样步长在所述第一视频帧的非边缘区域中确定采样像素点，其中，所述第二采样步长大于所述第一采样步长；根据任一采样像素点，确定所述第一视频帧对应的稀疏光流。

在一种可能的实现方式中，所述第一采样步长为1。

在一种可能的实现方式中，所述处理器被具体配置为执行：基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，其中，所述第二视频帧和所述第一视频帧为相邻视频帧；根据所述任一采样像素点对应的匹配像素点，确定所述第一视频帧对应的稀疏光流。

在一种可能的实现方式中，所述处理器被具体配置为执行：基于所述特征点匹配算法，在所述第二视频帧中包含的所有像素点中，查找所述任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，所述处理器被具体配置为执行：对所述第二视频帧进行边缘检测，确定所述第二视频帧中的边缘区域和非边缘区域；基于第三采样步长在所述第二视频帧的边缘区域中确定目标像素点；基于第四采样步长在所述第二视频帧的非边缘区域中确定目标像素点，其中，所述第四采样步长大于所述第三采样步长；基于所述特征点匹配算法，在所述目标像素点中，查找所述任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，所述处理器被具体配置为执行：对所述视频帧进行边缘检测，得到边缘检测结果；对所述边缘检测结果进行边缘膨胀，得到所述视频帧的边缘区域；将所述视频帧中边缘区域以外的其它区域确定为所述视频帧的非边缘区域。

在一种可能的实现方式中，所述特征点匹配算法包括下述至少一种：SIFT算法、HOG算法、SURF算法。

在一种可能的实现方式中，所述边缘检测的方式包括下述至少一种：Canny边缘检测算法、滤波算法、深度学习算法。

根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第一方面所述的稀疏光流确定方法。

对第一视频帧进行边缘检测，确定第一视频帧的边缘区域和非边缘区域；基于第一采样步长在第一视频帧的边缘区域中确定采样像素点；基于第二采样步长在第一视频帧的非边缘区域中确定采样像素点，其中，第二采样步长大于第一采样步长；根据任一采样像素点，确定第一视频帧对应的稀疏光流。通过在视频帧的边缘区域使用较小的第一采样步长进行采样，以及在视频帧的非边缘区域使用较大的第二采样步长进行采样，确保边缘区域中的像素点被全部或大部分采样，而非边缘区域采样速度提高，使得在根据采样像素点确定稀疏光流时，既可以确保稀疏光流准确度较高，又可以提高稀疏光流确定效率。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出本公开一实施例的服务器向客户端提供高帧率视频的场景示意图；

图2示出本公开一实施例的稀疏光流确定方法的流程示意图；

图3示出本公开一实施例的稀疏光流确定装置的结构示意图；

图4示出本公开一实施例的电子设备的结构示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。所属领域技术人员可以理解，和/或表示所连接对象的至少其中之一。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

随着视频处理技术的发展，服务器向客户端提供高帧率视频，以满足用户对视频画面流畅度和清晰度需求的场景越来越多。图1示出本公开一实施例的服务器向客户端提供高帧率视频的场景示意图。如图1所示，服务器可以向客户端提供高帧率视频服务。服务器向客户端提供某一原始视频对应的高帧率视频时，具体地：首先，确定该原始视频中相邻两视频帧之间的稀疏光流；其次，根据相邻两视频帧之间的稀疏光流，确定相邻两视频帧之间的稠密光流；然后，根据相邻两视频帧之间的稠密光流，对该原始视频帧进行光流插帧处理，得到高帧率视频；最后，当服务器接收到客户端发送的获取该原始视频对应的高帧率视频的视频获取请求时，向客户端发送该高帧率视频，以使得客户端向用户播放该高帧率视频。

正如背景技术部分陈述的，现有的稀疏光流确定方法很难在准确度和效率上达到一个平衡，使得服务器通过光流插帧生成高帧率视频时插帧质量和插帧效率均受到影响，进而无法向客户端快速准确地提供插帧质量较高的高帧率视频，降低用户观看体验。

本公开提供的稀疏光流确定方法即应用于图1所示服务器向客户端提供高帧率视频的场景，以提高稀疏光流的准确度和确定效率，进而提高服务器通过光流插帧生成高帧率视频时的插帧质量和插帧效率。下面详细介绍本申请提供的稀疏光流确定方法。

图2示出本公开一实施例的稀疏光流确定方法的流程示意图。如图2所示，该方法可以包括：

步骤S21，对第一视频帧进行边缘检测，确定第一视频帧的边缘区域和非边缘区域。

步骤S22，基于第一采样步长在第一视频帧的边缘区域中确定采样像素点。

步骤S23，基于第二采样步长在第一视频帧的非边缘区域中确定采样像素点，其中，第二采样步长大于第一采样步长。

步骤S24，根据任一采样像素点，确定第一视频帧对应的稀疏光流。

图像的边缘属于图像的高频成分，是图像的基本特征之一。在确定视频帧的稀疏光流时，为了确保稀疏光流准确度，需要确保视频帧的边缘区域的像素点可以全部或大部分被确定为采样像素点来进行特征匹配。

因此，在确定视频帧的稀疏光流时，可以首先对视频帧进行边缘检测，确定视频帧的边缘区域和非边缘区域，进而在边缘区域使用较小的第一采样步长进行采样以确保稀疏光流准确度，以及在非边缘区域使用较大的第二采样步长进行采样以提高稀疏光流确定效率。

在一种可能的实现方式中，第一采样步长为1。

采样步长为相邻采样像素点之间的像素坐标差。设置第一采样步长为1，即相邻采样像素点之间的像素坐标差为1，进而根据第一采样步长对视频帧的边缘区域进行全采样，使得视频帧的边缘区域中包含的全部像素点均被确定为采样像素点。

第一采样步长还可以根据实际需要设置为其他取值，以确保视频帧的边缘区域中的像素点被大部分采样，本公开第一采样步长的具体取值不作限定。

在一种可能的实现方式中，对视频帧进行边缘检测，确定视频帧中的边缘区域和非边缘区域，包括：对视频帧进行边缘检测，得到边缘检测结果；对边缘检测结果进行边缘膨胀，得到视频帧的边缘区域；将视频帧中边缘区域以外的其它区域确定为视频帧的非边缘区域。

对需要确定稀疏光流的第一视频帧进行边缘检测，得到边缘检测结果，其中，边缘检测结果可以包括第一视频帧的初始边缘区域和边缘强度。根据边缘强度的大小确定边缘膨胀程度，进而根据边缘膨胀程度，对初始边缘区域进行边缘膨胀，得到第一视频帧的边缘区域，并将边缘区域以外的其它区域确定为第一视频帧的非边缘区域。

边缘膨胀用于扩展第一视频帧中初始边缘区域的大小，使得初始边缘区域邻近的像素点尽可能确定在第一视频帧的边缘区域中，避免非边缘区域的稀疏采样对边缘区域的密集采样产生影响。

例如，针对初始边缘区域中的边缘像素点A，可以将边缘像素点A的像素值大小确定为其边缘强度，根据边缘像素点A的边缘强度，确定边缘像素点A的边缘膨胀程度，进而根据边缘像素点A的边缘膨胀程度，调整边缘像素点A周围的某些非边缘像素点的像素值，即将边缘像素点A周围的某些非边缘像素点扩展为边缘像素点。

在一种可能的实现方式中，边缘强度的大小与边缘膨胀程度成正比，边缘强度越大，边缘膨胀程度越大。

例如，边缘强度小于第一阈值时，确定边缘膨胀程度为0，即不需要对初始边缘区域进行边缘膨胀，将初始边缘区域确定为第一视频帧的边缘区域。本公开对第一阈值的具体取值不作限定。

在一种可能的实现方式中，边缘检测的方式包括下述至少一种：Canny边缘检测算法、滤波算法、深度学习算法。

对视频帧进行边缘检测的方式除了上述Canny边缘检测算法、滤波算法、深度学习算法之外，还可以采用其它边缘检测算法，本公开对此不作具体限定。

目前，在确定视频帧的稀疏光流时，视频帧中采样像素点的确定方式一般包括：固定步长采样法和角点采样法。

其中，固定步长采样法通过设定目标采样步长，进而对视频帧中的所有区域基于该目标采样步长进行采样以确定采样像素点。但是，若目标采样步长过小，则导致采样效率较低，进而影响稀疏光流确定效率；若目标采样步长较大，则无法确保视频帧中的有效像素点(例如，边缘像素点)被采样，导致确定的稀疏光流准确度较低。

角点采样法通过对视频帧进行角点检测，仅将视频帧中的角点确定为采样像素点，无法对视频帧中的其它有效像素点进行采样，导致确定的稀疏光流准确度较低。

本公开通过对需要确定稀疏光流的第一视频帧进行边缘检测，确定第一视频帧的边缘区域和非边缘区域之后：基于较小的第一采样步长对第一视频帧的边缘区域进行采样，以确保第一视频帧的边缘区域的像素点可以全部或大部分被采样来进行特征匹配，进而可以提高稀疏光流准确度；基于较大的第二采样步长(大于第一采样步长)对第一视频帧的非边缘区域进行采样，以确保可以提高采样效率，进而可以提高稀疏光流确定效率。

例如，第一采样步长为3，即相邻采样像素点之间的像素坐标差为3，则在第一视频帧的边缘区域中，在行方向或/或列方向上，每隔2个像素点确定一个采样像素点；第二采样步长为6，即相邻采样像素点之间的像素坐标差为6，则在第一视频帧的非边缘区域中，在行方向或/或列方向上，每隔5个像素点确定一个采样像素点。

基于不同采样步长对第一视频帧的边缘区域和非边缘区域进行多密度采样之后，得到多个采样像素点，进而根据任一采样像素点，确定第一视频帧对应的稀疏光流。

在一种可能的实现方式中，根据任一采样像素点，确定第一视频帧对应的稀疏光流，包括：基于特征点匹配算法，在第二视频帧中确定任一采样像素点对应的匹配像素点，其中，第二视频帧和第一视频帧为相邻视频帧；根据任一采样像素点对应的匹配像素点，确定第一视频帧对应的稀疏光流。

例如，基于特征点匹配算法，针对第n帧视频帧中的任一采样像素点，确定任一采样像素点在第n+1帧视频帧中对应的匹配像素点，进而可以确定第n帧视频帧对应的前向稀疏光流，其中，该前向稀疏光流中包括任一采样像素点对应的前向光流；

基于特征点匹配算法，针对第n帧视频帧中的任一采样像素点，确定任一采样像素点在第n-1帧视频帧中对应的匹配像素点，进而可以确定第n帧视频帧对应的后向稀疏光流，其中，该后向稀疏光流中包括任一采样像素点对应的后向光流。

在一种可能的实现方式中，特征点匹配算法包括下述至少一种：尺度不变特征变换(SIFT，Scale-invariant feature transform)算法、方向梯度直方图(HOG，Histogramof Oriented Gradient)算法、加速稳健特征(SURF，Speeded-Up Robust Features)算法。

特征点匹配算法除了可以采用上述SIFT算法、HOG算法、SURF算法之外，还可以采用其他特征点匹配算法，本公开对此不作具体限定。

基于特征点匹配算法，在第二视频帧中确定任一采样像素点对应的匹配像素点，包括下述至少两种方式。

第一种：

在一种可能的实现方式中，基于特征点匹配算法，在第二视频帧中确定任一采样像素点对应的匹配像素点，包括：基于特征点匹配算法，在第二视频帧中包含的所有像素点中，查找任一采样像素点对应的匹配像素点。

为了确保特征点匹配精度，可以在第二视频帧中包含的所有像素点中，查找第一视频帧中确定的任一采样像素点对应的匹配像素点。

第二种：

在一种可能的实现方式中，基于特征点匹配算法，在第二视频帧中确定任一采样像素点对应的匹配像素点，包括：对第二视频帧进行边缘检测，确定第二视频帧中的边缘区域和非边缘区域；基于第三采样步长在第二视频帧的边缘区域中确定目标像素点；基于第四采样步长在第二视频帧的非边缘区域中确定目标像素点，其中，第四采样步长大于第三采样步长；基于特征点匹配算法，在目标像素点中，查找任一采样像素点对应的匹配像素点。

为了提高特征点匹配效率，可以通过对第二视频帧进行采样确定目标像素点，进而仅在目标像素点中，查找第一视频帧中确定的任一采样像素点对应的匹配像素点。

对第二视频帧进行采样确定目标像素点的方式可以与对第一视频帧进行采样确定采样像素点的方式相同：首先对第二视频帧进行边缘检测，确定第二视频帧的边缘区域和非边缘区域；然后，基于较小的第三采样步长在第二视频帧的边缘区域进行采样，以在第二视频帧的边缘区域中确定目标像素点，以及基于较大的第四采样步长(大于第三采样步长)在第二视频帧的非边缘区域进行采样，以在第二视频帧的非边缘区域中确定目标像素点。

对第二视频帧进行采样确定目标像素点的方式除了可以采用上述采样方式之外，还可以采用其它采样方式，本公开对此不作具体限定。

对第一视频帧进行边缘检测，确定第一视频帧的边缘区域和非边缘区域；基于第一采样步长在第一视频帧的边缘区域中确定采样像素点；基于第二采样步长在第一视频帧的非边缘区域中确定采样像素点，其中，第二采样步长大于第一采样步长；根据任一采样像素点，确定第一视频帧对应的稀疏光流。通过在视频帧的边缘区域使用较小的第一采样步长进行采样，以及在视频帧的非边缘区域使用较大的第二采样步长进行采样，确保边缘区域中的像素点被全部或大部分采样，而非边缘区域采样速度提高，使得在根据采样像素点确定稀疏光流时，既可以确保稀疏光流准确度较高，又可以提高稀疏光流确定效率。

在一种可能的实现方式中，在确定第一视频帧对应的稀疏光流之后，还包括：根据第一视频帧对应的稀疏光流，通过插值算法，确定第一视频帧对应的稠密光流。

由于确定的第一视频帧的稀疏光流准确度较高且确定效率较高，从而可以确保基于稀疏光流插值之后得到的稠密光流准确度和确定效率也较高，进而可以基于准确度较高的稠密光流，对第一视频帧进行光流插帧，以提高插帧质量和插帧效率。

根据第一视频帧对应的稀疏光流确定第一视频帧对应的稠密光流，除了可以采用插值算法之外，还可以采用其它算法，本公开对此不作具体限定。

图3示出本公开一实施例的稀疏光流确定装置的结构示意图。图3所示的装置30可以用于执行上述图2所述方法实施例的步骤，装置30包括：

边缘检测模块31，用于对第一视频帧进行边缘检测，确定第一视频帧的边缘区域和非边缘区域；

采样模块32，用于基于第一采样步长在第一视频帧的边缘区域中确定采样像素点；

采样模块32，还用于基于第二采样步长在第一视频帧的非边缘区域中确定采样像素点，其中，第二采样步长大于第一采样步长；

确定模块33，用于根据任一采样像素点，确定第一视频帧对应的稀疏光流。

在一种可能的实现方式中，第一采样步长为1。

在一种可能的实现方式中，确定模块33包括：

特征点匹配子模块，用于基于特征点匹配算法，在第二视频帧中确定任一采样像素点对应的匹配像素点，其中，第二视频帧和第一视频帧为相邻视频帧；

第一确定子模块，用于根据任一采样像素点对应的匹配像素点，确定第一视频帧对应的稀疏光流。

在一种可能的实现方式中，特征点匹配子模块包括：

第一查找单元，用于基于特征点匹配算法，在第二视频帧中包含的所有像素点中，查找任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，边缘检测模块31，还用于对第二视频帧进行边缘检测，确定第二视频帧中的边缘区域和非边缘区域；

采样模块32，还用于基于第三采样步长在第二视频帧的边缘区域中确定目标像素点；

采样模块32，还用于基于第四采样步长在第二视频帧的非边缘区域中确定目标像素点，其中，第四采样步长大于第三采样步长；

特征点匹配子模块包括：

第二查找单元，用于基于特征点匹配算法，在目标像素点中，查找任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，边缘检测模块21包括：

边缘检测子模块，用于对视频帧进行边缘检测，得到边缘检测结果；

边缘膨胀子模块，用于对边缘检测结果进行边缘膨胀，得到视频帧的边缘区域；

第二确定子模块，用于将视频帧中边缘区域以外的其它区域确定为视频帧的非边缘区域。

在一种可能的实现方式中，特征点匹配算法包括下述至少一种：

SIFT算法、HOG算法、SURF算法。

在一种可能的实现方式中，边缘检测的方式包括下述至少一种：

Canny边缘检测算法、滤波算法、深度学习算法。

本公开提供的装置30能够实现图2所示方法实施例中的各个步骤，并实现相同的技术效果，为避免重复，这里不再赘述。

图4示出本公开一实施例的电子设备的结构示意图。如图4所示，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成稀疏光流确定装置。处理器，执行存储器所存放的程序，并具体执行：对第一视频帧进行边缘检测，确定第一视频帧的边缘区域和非边缘区域；基于第一采样步长在第一视频帧的边缘区域中确定采样像素点；基于第二采样步长在第一视频帧的非边缘区域中确定采样像素点，其中，第二采样步长大于第一采样步长；根据任一采样像素点，确定第一视频帧对应的稀疏光流。

在一种可能的实现方式中，第一采样步长为1。

在一种可能的实现方式中，处理器被具体配置为执行：基于特征点匹配算法，在第二视频帧中确定任一采样像素点对应的匹配像素点，其中，第二视频帧和第一视频帧为相邻视频帧；根据任一采样像素点对应的匹配像素点，确定第一视频帧对应的稀疏光流。

在一种可能的实现方式中，处理器被具体配置为执行：基于特征点匹配算法，在第二视频帧中包含的所有像素点中，查找任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，处理器被具体配置为执行：对第二视频帧进行边缘检测，确定第二视频帧中的边缘区域和非边缘区域；基于第三采样步长在第二视频帧的边缘区域中确定目标像素点；基于第四采样步长在第二视频帧的非边缘区域中确定目标像素点，其中，第四采样步长大于第三采样步长；基于特征点匹配算法，在目标像素点中，查找任一采样像素点对应的匹配像素点。

在一种可能的实现方式中，处理器被具体配置为执行：对视频帧进行边缘检测，得到边缘检测结果；对边缘检测结果进行边缘膨胀，得到视频帧的边缘区域；将视频帧中边缘区域以外的其它区域确定为视频帧的非边缘区域。

在一种可能的实现方式中，特征点匹配算法包括下述至少一种：SIFT算法、HOG算法、SURF算法。

在一种可能的实现方式中，边缘检测的方式包括下述至少一种：Canny边缘检测算法、滤波算法、深度学习算法。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备可执行图2所示方法实施例执行的方法，并实现上述图2所示方法实施例的功能，本说明书实施例在此不再赘述。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图2所示实施例中的稀疏光流确定方法，并具体执行图2所示方法实施例的步骤。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种稀疏光流确定方法，其特征在于，包括：

对第一视频帧进行边缘检测，确定所述第一视频帧的边缘区域和非边缘区域；

基于第一采样步长在所述第一视频帧的边缘区域中确定采样像素点；

基于第二采样步长在所述第一视频帧的非边缘区域中确定采样像素点，其中，所述第二采样步长大于所述第一采样步长；

根据任一采样像素点，确定所述第一视频帧对应的稀疏光流。

2.根据权利要求1所述的方法，其特征在于，所述第一采样步长为1。

3.根据权利要求1所述的方法，其特征在于，根据任一采样像素点，确定所述第一视频帧对应的稀疏光流，包括：

基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，其中，所述第二视频帧和所述第一视频帧为相邻视频帧；

根据所述任一采样像素点对应的匹配像素点，确定所述第一视频帧对应的稀疏光流。

4.根据权利要求3所述的方法，其特征在于，基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，包括：

基于所述特征点匹配算法，在所述第二视频帧中包含的所有像素点中，查找所述任一采样像素点对应的匹配像素点。

5.根据权利要求3所述的方法，其特征在于，基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，包括：

对所述第二视频帧进行边缘检测，确定所述第二视频帧中的边缘区域和非边缘区域；

基于第三采样步长在所述第二视频帧的边缘区域中确定目标像素点；

基于第四采样步长在所述第二视频帧的非边缘区域中确定目标像素点，其中，所述第四采样步长大于所述第三采样步长；

基于所述特征点匹配算法，在所述目标像素点中，查找所述任一采样像素点对应的匹配像素点。

6.根据权利要求3或5所述的方法，其特征在于，对视频帧进行边缘检测，确定所述视频帧中的边缘区域和非边缘区域，包括：

对所述视频帧进行边缘检测，得到边缘检测结果；

对所述边缘检测结果进行边缘膨胀，得到所述视频帧的边缘区域；

将所述视频帧中边缘区域以外的其它区域确定为所述视频帧的非边缘区域。

7.根据权利要求3-5任一项所述的方法，其特征在于，所述特征点匹配算法包括下述至少一种：

尺度不变特征变换SIFT算法、方向梯度直方图HOG算法、加速稳健特征SURF算法。

8.根据权利要求6所述的方法，其特征在于，所述边缘检测的方式包括下述至少一种：

Canny边缘检测算法、滤波算法、深度学习算法。

9.一种稀疏光流确定装置，其特征在于，包括：

边缘检测模块，用于对第一视频帧进行边缘检测，确定所述第一视频帧的边缘区域和非边缘区域；

采样模块，用于基于第一采样步长在所述第一视频帧的边缘区域中确定采样像素点；

所述采样模块，还用于基于第二采样步长在所述第一视频帧的非边缘区域中确定采样像素点，其中，所述第二采样步长大于所述第一采样步长；

确定模块，用于根据任一采样像素点，确定所述第一视频帧对应的稀疏光流。

10.一种稀疏光流确定装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行：

对第一视频帧进行边缘检测，确定所述第一视频帧的边缘区域和非边缘区域；

基于第一采样步长在所述第一视频帧的边缘区域中确定采样像素点；

基于第二采样步长在所述第一视频帧的非边缘区域中确定采样像素点，其中，所述第二采样步长大于所述第一采样步长；

根据任一采样像素点，确定所述第一视频帧对应的稀疏光流。

11.根据权利要求10所述的装置，其特征在于，所述第一采样步长为1。

12.根据权利要求10所述的装置，其特征在于，所述处理器被具体配置为执行：

基于特征点匹配算法，在第二视频帧中确定所述任一采样像素点对应的匹配像素点，其中，所述第二视频帧和所述第一视频帧为相邻视频帧；

根据所述任一采样像素点对应的匹配像素点，确定所述第一视频帧对应的稀疏光流。

13.根据权利要求12所述的装置，其特征在于，所述处理器被具体配置为执行：

基于所述特征点匹配算法，在所述第二视频帧中包含的所有像素点中，查找所述任一采样像素点对应的匹配像素点。

14.根据权利要求12所述的装置，其特征在于，所述处理器被具体配置为执行：

对所述第二视频帧进行边缘检测，确定所述第二视频帧中的边缘区域和非边缘区域；

基于第三采样步长在所述第二视频帧的边缘区域中确定目标像素点；

基于第四采样步长在所述第二视频帧的非边缘区域中确定目标像素点，其中，所述第四采样步长大于所述第三采样步长；

基于所述特征点匹配算法，在所述目标像素点中，查找所述任一采样像素点对应的匹配像素点。

15.根据权利要求12或14所述的装置，其特征在于，所述处理器被具体配置为执行：

对所述视频帧进行边缘检测，得到边缘检测结果；

对所述边缘检测结果进行边缘膨胀，得到所述视频帧的边缘区域；

将所述视频帧中边缘区域以外的其它区域确定为所述视频帧的非边缘区域。

16.根据权利要求12-14任一项所述的装置，其特征在于，所述特征点匹配算法包括下述至少一种：

SIFT算法、HOG算法、SURF算法。

17.根据权利要求15所述的装置，其特征在于，所述边缘检测的方式包括下述至少一种：

Canny边缘检测算法、滤波算法、深度学习算法。

18.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-8任一项所述的稀疏光流确定方法。

Images