CN114022518A - 图像的光流信息获取方法、装置、设备和介质 - Google Patents
图像的光流信息获取方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN114022518A CN114022518A CN202210003434.1A CN202210003434A CN114022518A CN 114022518 A CN114022518 A CN 114022518A CN 202210003434 A CN202210003434 A CN 202210003434A CN 114022518 A CN114022518 A CN 114022518A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- pixel point
- point
- image
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机视觉技术领域，提供了一种图像的光流信息获取方法、装置、计算机设备、存储介质和计算机程序产品。本申请能够实现在低算力的设备上获取图像的光流信息。该方法包括：获取图像上预设稀疏光流点集对应的第一光流信息集，获取图像上各第一像素点对应的第一位置信息集在图像降采样关系下对应的第二位置信息集，第二位置信息集为图像上各第一像素点在图像降采样关系下对应的各第二像素点对应的位置信息集，根据各第二像素点的近邻稀疏光流点对应的光流信息得到各第二像素点的第二光流信息集，基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行扩展处理，得到图像上各第一像素点对应的第三光流信息集。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种图像的光流信息获取方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机视觉技术的发展，光流法成为了运动图像分析的重要方法。光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
通常情况下，稠密光流的计算量和复杂度远远大于稀疏光流，不同于稀疏光流只针对图像上若干个特征点，稠密光流计算图像上所有的点的偏移量，从而得到图像实时的稠密光流，稠密光流在图像对齐配准领域有广泛的应用。
在如3840x2160的高分辨率图像上要得到图像的光流信息（例如图像实时的稠密光流），传统技术通常是通过先得到图像的稀疏光流，再利用深度学习算法计算出图像的光流信息，但该技术难以在低算力的设备上应用。
发明内容
基于此，有必要针对上述技术问题，提供一种图像的光流信息获取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像的光流信息获取方法。所述方法包括：
获取图像上预设稀疏光流点集对应的第一光流信息集；
获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；第一位置信息集为图像上各第一像素点对应的位置信息集；第二位置信息集为各第二像素点对应的位置信息集；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点；
根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集；
基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
在其中一个实施例中，近邻稀疏光流点的数量为多个；根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集，包括：
根据各第二像素点的各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息，得到各第二像素点对应的第二光流信息集。
在其中一个实施例中，根据各第二像素点的各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息，得到各第二像素点对应的第二光流信息集，包括：
针对每一第二像素点，根据第二像素点与各近邻稀疏光流点之间的距离信息，得到第二像素点的各近邻稀疏光流点的光流信息权重；
根据第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息集。
在其中一个实施例中，根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集之前，方法还包括：
针对每一第二像素点，根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点。
在其中一个实施例中，根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点，包括：
根据各第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，利用距离优先顺序从预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点。
在其中一个实施例中，预设稀疏光流点集包括角点。
第二方面，本申请还提供了一种图像的光流信息获取装置。所述装置包括：
第一光流信息集获取模块，用于获取图像上预设稀疏光流点集对应的第一光流信息集；
第二位置信息集获取模块，用于获取所述图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；所述第一位置信息集为所述图像上各第一像素点对应的位置信息集；所述第二位置信息集为各第二像素点对应的位置信息集；所述各第二像素点为所述图像上各第一像素点在所述图像降采样关系下对应的各像素点；
第二光流信息集得到模块，用于根据所述各第二像素点的近邻稀疏光流点对应的光流信息，得到所述各第二像素点对应的第二光流信息集；
第三光流信息集得到模块，用于基于所述各第二像素点对应的第二光流信息集，利用最近邻插值算法对所述各第二像素点进行与所述图像降采样关系对应的扩展处理，得到所述图像上所述各第一像素点对应的第三光流信息集。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取图像上预设稀疏光流点集对应的第一光流信息集；获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；第一位置信息集为图像上各第一像素点对应的位置信息集；第二位置信息集为各第二像素点对应的位置信息集；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点；根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集；基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取图像上预设稀疏光流点集对应的第一光流信息集；获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；第一位置信息集为图像上各第一像素点对应的位置信息集；第二位置信息集为各第二像素点对应的位置信息集；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点；根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集；基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取图像上预设稀疏光流点集对应的第一光流信息集；获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；第一位置信息集为图像上各第一像素点对应的位置信息集；第二位置信息集为各第二像素点对应的位置信息集；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点；根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集；基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
上述图像的光流信息获取方法、装置、计算机设备、存储介质和计算机程序产品，获取图像上预设稀疏光流点集对应的第一光流信息集，获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集，第一位置信息集为图像上各第一像素点对应的位置信息集，第二位置信息集为各第二像素点对应的位置信息集，各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点，根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集，基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。该方案获取图像上预设稀疏光流点集对应的第一光流信息集，获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集，其中，第一位置信息集为图像上各第一像素点对应的位置信息集，第二位置信息集为各第二像素点对应的位置信息集，各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点，根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集，基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集，从而实现能够在低算力的设备上获取图像的光流信息，在低算力的设备上能对如3840x2160的高分辨率图像通过较简单的算力完成图像的光流信息（例如图像实时的稠密光流）的计算，简化了设备获取图像的光流信息（例如图像实时的稠密光流）的计算量，降低了用于获取图像的光流信息的设备的算力和芯片的要求，用于获取图像的光流信息的设备只需CPU参与计算且无需GPU参与计算，且通用性强，可复用在大部分低端性能及以上的便携性移动设备上。
附图说明
图1为一个实施例中图像的光流信息获取方法的流程示意图；
图2为另一个实施例中图像的光流信息获取方法的流程示意图；
图3为一个实施例中确定第二像素点对应的近邻稀疏光流点步骤的流程示意图；
图4为一个实施例中图像的光流信息获取装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像的光流信息获取方法，本实施例以该方法应用于终端进行举例说明，包括以下步骤：
步骤S101，获取图像上预设稀疏光流点集对应的第一光流信息集。
其中，预设稀疏光流点集包括角点；光流信息集可以是光流值集。
具体的，终端获取图像上预设稀疏光流点集对应的第一光流信息集。示例性的，如图2所示，终端获取3840×2160分辨率的图像上预设稀疏光流点集的坐标集（X，Y）和对应的光流信息集（Fx，Fy）。
步骤S102，获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集。
本步骤中，第一位置信息集为图像上各第一像素点对应的位置信息集，其中，第一位置信息集可以是图像A的分辨率大小；第二位置信息集为各第二像素点对应的位置信息集，其中，第二位置信息集可以是对图像A进行降采样后得到的图像B的分辨率大小；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点。
具体的，终端获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集。示例性的，如图2所示，终端将该3840×2160分辨率的图像A降采样32倍，得到120×68分辨率的图像B，相应的，预设稀疏光流点集的坐标集由（X，Y）转换为（X/32，Y/32）。
步骤S103，根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集。
其中，近邻稀疏光流点是指预设稀疏光流点集中部分稀疏光流点，各第二像素点都有相应的近邻稀疏光流点，例如某个第二像素点的近邻稀疏光流点可以是离该第二像素点距离最近的一个或多个稀疏光流点；光流信息是指近邻稀疏光流点的光流信息，光流信息存储在第一光流信息集中。
具体的，如图2所示，终端通过广度优先搜索确定各第二像素点对应的近邻稀疏光流点，根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集。
步骤S104，基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
具体的，如图2所示，终端基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理（例如，当图像降采样关系为3840×2160分辨率的图像A降采样得到120×68分辨率的图像B，则利用最近邻插值算法对120×68分辨率的图像B扩展处理得到3840×2160分辨率的图像），得到图像上各第一像素点对应的第三光流信息集，可根据第三光流信息集得到如3840×2160分辨率的稠密光流图。
上述图像的光流信息获取方法中，获取图像上预设稀疏光流点集对应的第一光流信息集，获取图像上预设稀疏光流点集对应的第一光流信息集，获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集，第一位置信息集为图像上各第一像素点对应的位置信息集，第二位置信息集为各第二像素点对应的位置信息集，各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点，根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集，基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。该方案获取图像上预设稀疏光流点集对应的第一光流信息集，获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集，其中，第一位置信息集为图像上各第一像素点对应的位置信息集，第二位置信息集为各第二像素点对应的位置信息集，各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点，根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集，基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集，从而实现能够在低算力的设备上获取图像的光流信息，在低算力的设备上能对如3840x2160的高分辨率图像通过较简单的算力完成图像的光流信息（例如图像实时的稠密光流）的计算，简化了设备获取图像的光流信息（例如图像实时的稠密光流）的计算量，降低了用于获取图像的光流信息的设备的算力和芯片的要求，用于获取图像的光流信息的设备只需CPU参与计算且无需GPU参与计算，且通用性强，可复用在大部分低端性能及以上的便携性移动设备上。
在一个实施例中，上述步骤S103的根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集具体包括：根据各第二像素点的各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息，得到各第二像素点对应的第二光流信息集。
本实施例中，近邻稀疏光流点的数量为多个；距离信息可以是曼哈顿距离。
具体的，终端根据各第二像素点的各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息，得到各第二像素点对应的第二光流信息集。
本实施例的技术方案，通过根据各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息得到各第二像素点对应的第二光流信息集，有利于得到更准确的各第二像素点对应的第二光流信息集，从而有利于后续得到更准确的各第一像素点对应的第三光流信息集。
在一个实施例中，上述方法还可以通过如下步骤得到第二像素点对应的第二光流信息集，具体包括：针对每一第二像素点，根据第二像素点与各近邻稀疏光流点之间的距离信息，得到第二像素点的各近邻稀疏光流点的光流信息权重；根据第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息集。
本实施例中，光流信息权重可以是计算第二像素点对应的第二光流信息集时的权重。
具体的，如图2所示，针对每一第二像素点，终端根据第二像素点与各近邻稀疏光流点之间的距离信息，得到第二像素点的各近邻稀疏光流点的光流信息权重，根据第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息集（如稠密光流）。
示例性的，如图2所示，终端针对每一第二像素点，如第二像素点的坐标为（x，y），则最近3个近邻稀疏光流点坐标为（x1，y1）、（x2，y2）和（x3，y3），得到对应的曼哈顿距离（距离信息）分别为h1=|x-x1|+|y-y1|、h2=|x-x2|+|y-y2|和h3=|x-x3|+|y-y3|，得到第二像素点的各近邻稀疏光流点的光流信息权重分别为w1=（h2+h3）/（2*（h1+h2+h3））、w2=（h1+h3）/（2*（h1+h2+h3））和w3=（h1+h2）/（2*（h1+h2+h3）），光流信息权重w1、w2和w3之和为1，根据第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息（光流值）为
，其中，Fi为近邻稀疏光流点对应的光流信息，从而得到第二光流信息集。
本实施例的技术方案，通过第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息集，有利于得到更准确的各第二像素点对应的第二光流信息集，从而有利于后续得到更准确的各第一像素点对应的第三光流信息集。
在一个实施例中，上述方法还可以通过如下步骤确定第二像素点对应的近邻稀疏光流点，具体包括：针对每一第二像素点，根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点。
具体的，针对每一第二像素点，终端根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点。
本实施例的技术方案，通过根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点，有利于准确确定与各第二像素点距离最近的一个或多个近邻稀疏光流点，从而有利于后续得到更准确的第二光流信息集和第三光流信息集。
在一个实施例中，上述方法还可以通过如下步骤选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点，具体包括：根据各第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，利用距离优先顺序从预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点。
本实施例中，距离优先顺序可以是距离从近到远优先顺序。
具体的，终端根据各第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，通过广度优先搜索，利用距离优先顺序从预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点。
示例性的，如图3所示，终端构建一个表格（如120×68×3的表格，该表格用于记录各第二像素点对应的如3个最近的近邻稀疏光流点，序号分别为id1、id2和id3），利用优先队列先进先出方式，构建一个队列，其中，初始入队列的元素为降采样后的稀疏光流点的坐标和序号组成的三元集（X/32，Y/32，k），其中k代表序号，弹出队列首元素（x0，y0，k0），得到坐标如（x0，y0），序号为id，以使首元素分别往上下左右四个方向移动，若四个方向移动都已循环结束则新的首元素出队列，若四个方向移动尚未循环结束，则根据方向生成得到新的坐标如（nx，ny），判断（nx，ny）是否在第二位置信息集内（如120×68范围内），若否则返回判断四个方向移动是否已循环结束，若是则查表格得到（nx，ny）对应的近邻稀疏光流点序号id1、id2和id3，判断是否id≠id1且id≠id2且id3为空，若否则返回判断四个方向移动是否已循环结束，若是则判断id1是否为空，若id1为空则id填入id1位置且（nx，ny，id）入队列，若id1不为空则判断id2是否为空，若id2为空则id填入id2位置且（nx，ny，id）入队列，若id2不为空则判断id3是否为空，若id3为空则id填入id3位置且（nx，ny，id）入队列，当表格中各第二像素点都已记录对应的如3个近邻稀疏光流点时，队列为空，已完成预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点。
本实施例的技术方案，通过利用距离优先顺序从预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点，有利于距离由近到远逐个确认各第二像素点对应的近邻稀疏光流点，从而有利于后续得到更准确的第二光流信息集和第三光流信息集，并通过广度优先搜索取代传统的kd树方法寻找各第二像素点对应的近邻稀疏光流点，大大简化了计算复杂度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像的光流信息获取方法的图像的光流信息获取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像的光流信息获取装置实施例中的具体限定可以参见上文中对于图像的光流信息获取方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种图像的光流信息获取装置，该装置400可以包括：
第一光流信息集获取模块401，用于获取图像上预设稀疏光流点集对应的第一光流信息集；
第二位置信息集获取模块402，用于获取所述图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；所述第一位置信息集为所述图像上各第一像素点对应的位置信息集；所述第二位置信息集为各第二像素点对应的位置信息集；所述各第二像素点为所述图像上各第一像素点在所述图像降采样关系下对应的各像素点；
第二光流信息集得到模块403，用于根据所述各第二像素点的近邻稀疏光流点对应的光流信息，得到所述各第二像素点对应的第二光流信息集；
第三光流信息集得到模块404，用于基于所述各第二像素点对应的第二光流信息集，利用最近邻插值算法对所述各第二像素点进行与所述图像降采样关系对应的扩展处理，得到所述图像上所述各第一像素点对应的第三光流信息集。
在一个实施例中，所述近邻稀疏光流点的数量为多个；第二光流信息集得到模块403，还用于根据所述各第二像素点的各近邻稀疏光流点对应的光流信息以及所述各第二像素点与各近邻稀疏光流点之间的距离信息，得到所述各第二像素点对应的第二光流信息集。
在一个实施例中，第二光流信息集得到模块403，还用于针对每一第二像素点，根据所述第二像素点与各近邻稀疏光流点之间的距离信息，得到所述第二像素点的各近邻稀疏光流点的光流信息权重；根据所述第二像素点的各近邻稀疏光流点对应的光流信息以及所述光流信息权重，得到所述第二像素点对应的第二光流信息集。
在一个实施例中，该装置400还包括：近邻稀疏光流点确定模块，用于针对每一第二像素点，根据所述第二像素点与所述预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定所述第二像素点对应的近邻稀疏光流点。
在一个实施例中，近邻稀疏光流点确定模块，还用于根据所述各第二像素点与所述预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，利用距离优先顺序从所述预设稀疏光流点集中选取部分稀疏光流点作为所述各第二像素点对应的近邻稀疏光流点。
在一个实施例中，所述预设稀疏光流点集包括角点。
上述图像的光流信息获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像的光流信息获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取图像上预设稀疏光流点集对应的第一光流信息集；获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；第一位置信息集为图像上各第一像素点对应的位置信息集；第二位置信息集为各第二像素点对应的位置信息集；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点；根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集；基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
在一个实施例中，近邻稀疏光流点的数量为多个；处理器执行计算机程序时还实现以下步骤：
根据各第二像素点的各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息，得到各第二像素点对应的第二光流信息集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对每一第二像素点，根据第二像素点与各近邻稀疏光流点之间的距离信息，得到第二像素点的各近邻稀疏光流点的光流信息权重；根据第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对每一第二像素点，根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据各第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，利用距离优先顺序从预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点。
在一个实施例中，预设稀疏光流点集包括角点。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取图像上预设稀疏光流点集对应的第一光流信息集；获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；第一位置信息集为图像上各第一像素点对应的位置信息集；第二位置信息集为各第二像素点对应的位置信息集；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点；根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集；基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
在一个实施例中，近邻稀疏光流点的数量为多个；计算机程序被处理器执行时还实现以下步骤：
根据各第二像素点的各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息，得到各第二像素点对应的第二光流信息集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每一第二像素点，根据第二像素点与各近邻稀疏光流点之间的距离信息，得到第二像素点的各近邻稀疏光流点的光流信息权重；根据第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每一第二像素点，根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，利用距离优先顺序从预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点。
在一个实施例中，预设稀疏光流点集包括角点。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取图像上预设稀疏光流点集对应的第一光流信息集；获取图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；第一位置信息集为图像上各第一像素点对应的位置信息集；第二位置信息集为各第二像素点对应的位置信息集；各第二像素点为图像上各第一像素点在图像降采样关系下对应的各像素点；根据各第二像素点的近邻稀疏光流点对应的光流信息，得到各第二像素点对应的第二光流信息集；基于各第二像素点对应的第二光流信息集，利用最近邻插值算法对各第二像素点进行与图像降采样关系对应的扩展处理，得到图像上各第一像素点对应的第三光流信息集。
在一个实施例中，近邻稀疏光流点的数量为多个；计算机程序被处理器执行时还实现以下步骤：
根据各第二像素点的各近邻稀疏光流点对应的光流信息以及各第二像素点与各近邻稀疏光流点之间的距离信息，得到各第二像素点对应的第二光流信息集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每一第二像素点，根据第二像素点与各近邻稀疏光流点之间的距离信息，得到第二像素点的各近邻稀疏光流点的光流信息权重；根据第二像素点的各近邻稀疏光流点对应的光流信息以及光流信息权重，得到第二像素点对应的第二光流信息集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每一第二像素点，根据第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定第二像素点对应的近邻稀疏光流点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第二像素点与预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，利用距离优先顺序从预设稀疏光流点集中选取部分稀疏光流点作为各第二像素点对应的近邻稀疏光流点。
在一个实施例中，预设稀疏光流点集包括角点。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像的光流信息获取方法，其特征在于，所述方法包括：
获取图像上预设稀疏光流点集对应的第一光流信息集；
获取所述图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；所述第一位置信息集为所述图像上各第一像素点对应的位置信息集；所述第二位置信息集为各第二像素点对应的位置信息集；所述各第二像素点为所述图像上各第一像素点在所述图像降采样关系下对应的各像素点；
根据所述各第二像素点的近邻稀疏光流点对应的光流信息，得到所述各第二像素点对应的第二光流信息集；
基于所述各第二像素点对应的第二光流信息集，利用最近邻插值算法对所述各第二像素点进行与所述图像降采样关系对应的扩展处理，得到所述图像上所述各第一像素点对应的第三光流信息集。
2.根据权利要求1所述的方法，其特征在于，所述近邻稀疏光流点的数量为多个；所述根据所述各第二像素点的近邻稀疏光流点对应的光流信息，得到所述各第二像素点对应的第二光流信息集，包括：
根据所述各第二像素点的各近邻稀疏光流点对应的光流信息以及所述各第二像素点与各近邻稀疏光流点之间的距离信息，得到所述各第二像素点对应的第二光流信息集。
3.根据权利要求2所述的方法，其特征在于，所述根据所述各第二像素点的各近邻稀疏光流点对应的光流信息以及所述各第二像素点与各近邻稀疏光流点之间的距离信息，得到所述各第二像素点对应的第二光流信息集，包括：
针对每一第二像素点，根据所述第二像素点与各近邻稀疏光流点之间的距离信息，得到所述第二像素点的各近邻稀疏光流点的光流信息权重；
根据所述第二像素点的各近邻稀疏光流点对应的光流信息以及所述光流信息权重，得到所述第二像素点对应的第二光流信息集。
4.根据权利要求1所述的方法，其特征在于，所述根据所述各第二像素点的近邻稀疏光流点对应的光流信息，得到所述各第二像素点对应的第二光流信息集之前，所述方法还包括：
针对每一第二像素点，根据所述第二像素点与所述预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定所述第二像素点对应的近邻稀疏光流点。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第二像素点与所述预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，确定所述第二像素点对应的近邻稀疏光流点，包括：
根据所述各第二像素点与所述预设稀疏光流点集中各稀疏光流点之间的曼哈顿距离，利用距离优先顺序从所述预设稀疏光流点集中选取部分稀疏光流点作为所述各第二像素点对应的近邻稀疏光流点。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述预设稀疏光流点集包括角点。
7.一种图像的光流信息获取装置，其特征在于，所述装置包括：
第一光流信息集获取模块，用于获取图像上预设稀疏光流点集对应的第一光流信息集；
第二位置信息集获取模块，用于获取所述图像的第一位置信息集在图像降采样关系下对应的第二位置信息集；所述第一位置信息集为所述图像上各第一像素点对应的位置信息集；所述第二位置信息集为各第二像素点对应的位置信息集；所述各第二像素点为所述图像上各第一像素点在所述图像降采样关系下对应的各像素点；
第二光流信息集得到模块，用于根据所述各第二像素点的近邻稀疏光流点对应的光流信息，得到所述各第二像素点对应的第二光流信息集；
第三光流信息集得到模块，用于基于所述各第二像素点对应的第二光流信息集，利用最近邻插值算法对所述各第二像素点进行与所述图像降采样关系对应的扩展处理，得到所述图像上所述各第一像素点对应的第三光流信息集。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210003434.1A CN114022518B (zh) | 2022-01-05 | 2022-01-05 | 图像的光流信息获取方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210003434.1A CN114022518B (zh) | 2022-01-05 | 2022-01-05 | 图像的光流信息获取方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022518A true CN114022518A (zh) | 2022-02-08 |
| CN114022518B CN114022518B (zh) | 2022-04-12 |
Family
ID=80069673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210003434.1A Active CN114022518B (zh) | 2022-01-05 | 2022-01-05 | 图像的光流信息获取方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022518B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115151A (zh) * | 2023-10-23 | 2023-11-24 | 深圳市德海威实业有限公司 | 基于机器视觉的sim卡座缺陷识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150125091A1 (en) * | 2013-11-01 | 2015-05-07 | Nvidia Corporation | System, method, and computer program product for performing fast, non-rigid registration for high dynamic range image stacks |
| CN107527358A (zh) * | 2017-08-23 | 2017-12-29 | 北京图森未来科技有限公司 | 一种稠密光流估计方法及装置 |
| CN110536142A (zh) * | 2019-08-30 | 2019-12-03 | 天津大学 | 一种针对非刚性图像序列的帧间插值方法 |
| CN111415371A (zh) * | 2019-01-07 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
| CN112464833A (zh) * | 2020-12-01 | 2021-03-09 | 平安科技（深圳）有限公司 | 基于光流的动态手势识别方法、装置、设备及存储介质 |
| CN112884817A (zh) * | 2019-11-29 | 2021-06-01 | 中移物联网有限公司 | 稠密光流计算方法、装置、电子设备以及存储介质 |
| CN113554035A (zh) * | 2021-06-04 | 2021-10-26 | 广州图匠数据科技有限公司 | 基于光流的特征匹配方法、智能终端及计算机存储介质 |
-
2022
- 2022-01-05 CN CN202210003434.1A patent/CN114022518B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150125091A1 (en) * | 2013-11-01 | 2015-05-07 | Nvidia Corporation | System, method, and computer program product for performing fast, non-rigid registration for high dynamic range image stacks |
| CN107527358A (zh) * | 2017-08-23 | 2017-12-29 | 北京图森未来科技有限公司 | 一种稠密光流估计方法及装置 |
| CN111415371A (zh) * | 2019-01-07 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
| CN110536142A (zh) * | 2019-08-30 | 2019-12-03 | 天津大学 | 一种针对非刚性图像序列的帧间插值方法 |
| CN112884817A (zh) * | 2019-11-29 | 2021-06-01 | 中移物联网有限公司 | 稠密光流计算方法、装置、电子设备以及存储介质 |
| CN112464833A (zh) * | 2020-12-01 | 2021-03-09 | 平安科技（深圳）有限公司 | 基于光流的动态手势识别方法、装置、设备及存储介质 |
| CN113554035A (zh) * | 2021-06-04 | 2021-10-26 | 广州图匠数据科技有限公司 | 基于光流的特征匹配方法、智能终端及计算机存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JACOB WALKER ET AL: "dense optical flow prediction from a static image", 《ARXIV:1505.00295V2》 * |
| 杨昕欣 等: "基于近似最近邻搜索的并行光流计算", 《计算机工程与应用》 * |
| 陈震 等: "基于深度匹配的由稀疏到稠密大位移运动光流估计", 《自动化学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115151A (zh) * | 2023-10-23 | 2023-11-24 | 深圳市德海威实业有限公司 | 基于机器视觉的sim卡座缺陷识别方法 |
| CN117115151B (zh) * | 2023-10-23 | 2024-02-02 | 深圳市德海威实业有限公司 | 基于机器视觉的sim卡座缺陷识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022518B (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021218037A1 (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN114022518B (zh) | 图像的光流信息获取方法、装置、设备和介质 | |
| CN116109765A (zh) | 标注对象的三维渲染方法、装置、计算机设备、存储介质 | |
| CN114387289B (zh) | 输配电架空线路三维点云语义分割方法和装置 | |
| CN116824092A (zh) | 三维模型生成方法、装置、计算机设备和存储介质 | |
| CN116758206A (zh) | 矢量数据的融合渲染方法、装置、计算机设备、存储介质 | |
| CN116481517A (zh) | 扩展建图方法、装置、计算机设备和存储介质 | |
| CN114344894B (zh) | 场景元素处理方法、装置、设备和介质 | |
| CN116051345A (zh) | 图像数据处理方法、装置、计算机设备及可读存储介质 | |
| CN115294280A (zh) | 三维重建方法、装置、设备、存储介质和程序产品 | |
| CN115424038A (zh) | 多尺度图像处理方法、系统、装置和计算机设备 | |
| CN115482152A (zh) | 栅格地图导入设计软件方法、装置及计算机设备 | |
| CN116883563B (zh) | 标注点渲染方法、装置、计算机设备、存储介质 | |
| CN116527908B (zh) | 运动场估计方法、装置、计算机设备和存储介质 | |
| CN117576645B (zh) | 基于bev视角的车位检测方法、装置和计算机设备 | |
| CN114511448B (zh) | 拼接图像的方法、装置、设备和介质 | |
| CN114750147B (zh) | 机器人的空间位姿确定方法、装置和机器人 | |
| CN116758144A (zh) | 反光球的球心坐标获取方法、装置、设备和存储介质 | |
| CN116977386A (zh) | 房屋点云数据的处理方法和装置 | |
| CN114998380A (zh) | 点云数据的分割方法、装置、计算机设备和存储介质 | |
| CN118229585A (zh) | 深度图像修复方法、装置、计算机设备和存储介质 | |
| CN117392203A (zh) | 类道路双线的中线提取方法、装置和计算机设备 | |
| CN116991921A (zh) | 地图数据加载方法、装置、计算机设备和存储介质 | |
| CN115601512A (zh) | 交互式三维重建方法、装置、计算机设备及存储介质 | |
| CN114742704A (zh) | 图像扩增方法和基于图像扩增的模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |