CN116188521A - 基于光流估计的图像处理方法、装置以及计算机设备 - Google Patents
基于光流估计的图像处理方法、装置以及计算机设备 Download PDFInfo
- Publication number
- CN116188521A CN116188521A CN202211676856.1A CN202211676856A CN116188521A CN 116188521 A CN116188521 A CN 116188521A CN 202211676856 A CN202211676856 A CN 202211676856A CN 116188521 A CN116188521 A CN 116188521A
- Authority
- CN
- China
- Prior art keywords
- image
- optical flow
- layer
- flow data
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 191
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000036961 partial effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 101100425597 Solanum lycopersicum Tm-1 gene Proteins 0.000 description 1
- 101100425598 Solanum lycopersicum tm-1 gene Proteins 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种基于光流估计的图像处理方法、装置以及存储介质，包括：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔，并将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系，并根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，以及基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作，能够在利用部分光流数据进行目标处理操作的同时计算另一部分区域的光流数据，从而可以缩短图像处理整体时间。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种基于光流估计的图像处理方法、装置以及存储介质。
背景技术
在计算机视觉中，光流(optical flow)运动估计算法是计算相邻两帧图像对应像素点运动偏移常用的计算方法，其通过计算出两帧图像对应像素点的偏移位置得到像素点光流数据，即：光流偏移数据，其中，在计算光流数据中，可以将图像进行下采样构建金字塔，首先计算图像较小的金字塔层的光流数据，然后融合到上一个金字塔层的光流偏移上，从上到下依次融合，得到最终的光流数据；进一步地，基于该光流数据对图像进行后续的防抖、3D降噪、目标分割、识别、跟踪、机器人导航以及形状信息恢复等处理。
相关技术在图像防抖、降噪等处理过程中，需要计算相邻两幅图像完整的光流数据，在得到完整光流数据的情况下进行后续的防抖、降噪等处理，因此光流计算与后续图像处理是顺序进行的，所需的计算时长是两个步骤计算时长累加之和。因此在高速计算的场景下，会有一定的时间延迟，不利于图像实时处理。
发明内容
本公开提出了一种基于光流估计的图像处理方法、装置以及存储介质，旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种基于光流估计的图像处理方法，包括：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据；基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作。
本公开第二方面实施例提出了一种基于光流估计的图像处理装置，包括：构建模块，用于获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；分块模块，用于将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；计算模块，用于根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据；处理模块，用于基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作。
本公开第三方面实施例提出了一种权值缓存器，包括：静态随机存取存储器和锁存器。
本公开第四方面实施例提出了一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例的基于光流估计的图像处理方法。
本公开第五方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的基于光流估计的图像处理方法。
本实施例中，通过获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔，并将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系，并根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，以及基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作，能够计算两帧图像的部分区域的光流数据，在利用部分光流数据进行目标处理操作的同时计算另一部分区域的光流数据，实现光流计算与处理操作并行的技术效果，从而可以缩短图像处理整体的时间，降低延迟，进而能够满足图像实时处理的需求。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本公开一实施例提供的基于光流估计的图像处理方法的流程示意图；
图2是根据本公开实施例提供的图像金字塔的结构示意图；
图3A是根据本公开实施例提供的图像金字塔每一层图像多个图像块一种排列结构示意图；
图3B是根据本公开实施例提供的图像金字塔每一层图像多个图像块另一种排列结构示意图；
图4是根据本公开另一实施例提供的基于光流估计的图像处理方法的流程示意图；
图5是根据本公开另一实施例提供的基于光流估计的图像处理装置的示意图；
图6示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
其中，需要说明的是，本实施例的基于光流估计的图像处理方法的执行主体可以为基于光流估计的图像处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
图1是根据本公开一实施例提供的基于光流估计的图像处理方法的流程示意图，如图1所示，该方法包括：
S101：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔。
其中，本实施例的两帧图像可以是任意的图像处理场景下连续时间采集的两帧图像，例如，在防抖、降噪过程中，本实施例可以获取相邻的两帧图像，对此不作限制。可以理解的是，本实施例中两帧图像的尺寸和分辨率相同。
其中，本实施例采集的两帧图像可以为高分辨率图像，即：像素点较多，为了准确计算光流数据，本实施例可以分别对每帧图像的像素点进行下采样以构建图像金字塔。
图2是根据本公开实施例提供的图像金字塔的结构示意图，如图2所示，本实施例针对每帧图像可以构建m层(例如3层)的图像金字塔，其中，第一层为原始每帧图像，其宽高(像素点数量)可以分别用w1和h1表示，第二层图像的宽高用w2*h2表示，....，第m层为最顶层，其宽高(像素点数量)可以分别用wm和hm表示。
一些实施例，m-1层图像宽高例如是m层图像的2倍，同理，m-2层图像宽高是m-1层图像的2倍，依次类推，第一层图像的宽高是第二层图像的2倍，也即是说，wp＝2*wp+1,hp＝2*hp+1,其中，p表示图像金字塔的层号，属于1～m-1。
S102：将图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系。
也即是说，本公开实施例将图像金字塔的第一层图像、第二层图像、...、第m层图像分别划分为N个图像块(block)，例如，平均划分为N个图像块，则每个图像块为原图像层的1/N。其中，本实施例相邻层图像的每个图像块具有对应关系，也即是说，第m层图像的每个图像块在第m-1层图像有对应的图像块，第m-1层图像的每个图像块在第m-2层图像有对应的图像块，即：每一层图像的每个图像块对应。
一些实施例，图3A是根据本公开实施例提供的图像金字塔每一层图像多个图像块一种排列结构示意图，如图3A所示，本实施例可以将图像金字塔的每一层图像划分为与当前层图像宽度相等的N个图像块(block1、block2、....、blockN)，也即是说，第一层图像划分的N个图像块与第一层图像的宽度相等，即：第一层图像的每个图像块的宽度为w1，高度为
同理，第二层图像划分的N个图像块与第二层图像的宽度相等，即：第二层图像的每个图像块的宽度为w2，高度为/>
...，第m层图像划分的N个图像块与第m层图像的宽度相等，即：第m层图像的每个图像块的宽度为wm，高度为/>
其中，每一层图像的每个图像块具有对应关系，即：第一层图像至第m层图像的block1具有对应关系，block2具有对应关系，...，blockN具有对应关系。
另一些实施例，图3B是根据本公开实施例提供的图像金字塔每一层图像多个图像块另一种排列结构示意图，如图3B所示，本实施例可以将图像金字塔的每一层图像划分为与当前层图像高度相等的N个图像块(block1、block2、....、blockN)，也即是说，第一层图像划分的N个图像块与第一层图像的高度相等，即：第一层图像的每个图像块的高度为h1，宽度为
同理，第二层图像划分的N个图像块与第二层图像的高度相等，即：第二层图像的每个图像块的高度为h2，宽度为/>
...，第m层图像划分的N个图像块与第m层图像的高度相等，即：第m层图像的每个图像块的高度为hm，宽度为/>
可以理解的是，上述实施例只是对划分N个图像块进行示例性说明，在实际应用中，还可以有其它任意可能的划分方式，对此不作限制。
S103：根据每一层图像的N个图像块中的第一图像块，计算第一光流数据。
其中，每一层图像中N个图像块中的任意一个图像块都可以被作为第一图像块，例如，block1被作为第一图像块，block2被作为第一图像块，对此不作限制。
而根据每一层图像的第一图像块(即，m个第一图像块)内像素点计算得到的光流数据(即，光流偏移)可以被称为第一光流数据，即：第一光流数据为第一层图像(原始每帧图像)的第一图像块区域的光流数据。
具体地，本公开实施例首先确定每一层图像具有对应关系的第一图像块，第一图像块例如每一层图像的block1，也即是说，确定第一层图像至第m层图像的m个block1；进一步地，基于m个block1计算第一光流数据。
一些实施例，按照从最顶层(第m层图像)到最底层(第一层图像)的顺序，依次计算每一层图像的第一图像块的光流数据，并将最底层图像的第一图像块的光流数据作为第一光流数据。具体地，本实施例首先计算第m层图像block1的光流数据分量，并将该光流数据分量融合到上一个图像层(即，m-1层图像)block1的光流数据分量，并将融合后的光流数据分量作为m-1层图像的输出，以融合到m-2层图像block1的光流数据分量，依次迭代融合，直至输出第一层图像的第一图像块block1的总光流数据，该总光流数据作为第一光流数据。其中，关于计算光流数据的过程，本实施例不作具体限制。
在实际应用中，在图像块数量较多的情况下，为了兼顾图像实时处理速度以及计算次数，本公开实施例可以确定N个图像块中的多个图像块作为第一图像块，并根据第一图像块计算第一光流数据。例如，将block1和block2共同作为第一图像块，也即是说，本实施例计算block1和block2区域的光流数据作为第一光流数据。
S104：基于第一光流数据对两帧图像进行目标处理操作，同时根据每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，第二光流数据用于目标处理操作。
上述计算第一光流数据后，本公开实施例可以先基于第一光流数据对两帧图像进行目标处理操作，也即是说，可以对两帧图像的第一图像块区域进行目标处理操作，其中，目标处理操作例如可以是防抖处理、降噪处理、目标跟踪以及其它任意可能的处理，对此不作限制。
并且，本实施例在基于第一光流数据对两帧图像进行目标处理操作的同时，可以根据每一层图像的N个图像块中的第二图像块，计算第二光流数据。
其中，每一层图像的N个图像块中除了第一图像块的其它任意一个图像块可以被作为第二图像块，第二图像块例如block2，而对每一层图像的第二图像块block2计算得到的光流数据可以被称为第二光流数据，该第二光流数据用于目标处理操作，例如用于对两帧图像的第二图像块区域进行防抖、降噪等目标处理操作。其中，第二光流数据计算方式同理于第一光流数据的计算，此处不在赘述。
也即是说，本公开实施例首先计算前一个图像块(第一图像块)的第一光流数据，在利用第一光流数据对两帧图像进行目标处理操作的同时计算其它图像块(第二图像块)的第二光流数据，进一步地利用第二光流数据对两帧图像进行目标处理操作，依次类推，计算图像部分区域的光流数据的同时利用图像另一部分的光流数据对图像进行处理操作，因此可以使光流计算与处理操作并行进行。
在实际应用中，假设整帧第m层计算出光流需要的时间为Tm,整帧第m-1层计算出光流需要的时间为Tm-1，依次类推，整帧第2层光流计算出光流需要的时间为T2，第1层光流的输出结果是我们最终需要光流信息，第2～m层的光流信息为中间结果，第m-1层的光流计算需要第m层的光流计算结果，第1层的光流计算需要第2层的光流输出结果，按传统的光流计算方法，获得第1层光流的结果所需的时间Ta＝Tm+Tm-1+…+T1；可以理解的是，对图像进行目标处理操作也是对多个图像块区域依次处理，假设对整帧图像进行目标处理操作的时间为Tb，则图像处理的总用时为Ta+Tb。相比于传统方式，本方案计算每个图像块的光流数据，则每个图像块所需的时间为
同理，对每个图像块区域进行目标处理操作的时间为
而本实施例在利用一个图像块的光流数据进行目标处理操作的同时计算其它图像块的光流数据，因此目标处理时间与光流计算时间会重合，即：/>
和/>
会存在重合，因此时间不需要累计。从而，可以减少图像处理的总用时。
本实施例中，通过获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔，并将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系，并根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，以及基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作，能够计算两帧图像的部分区域的光流数据，在利用部分光流数据进行目标处理操作的同时计算另一部分区域的光流数据，实现光流计算与处理操作并行的技术效果，从而可以缩短图像处理整体的时间，降低延迟，进而能够满足图像实时处理的需求。
图4是根据本公开另一实施例提供的基于光流估计的图像处理方法的流程示意图，如图4所示，该方法包括：
S401：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔。
S401的具体说明参见上述实施例，此处不再赘述。
S402：根据每帧图像的像素点数量，确定划分的N个图像块的数量。
也即是说，本实施例可以根据每帧图像的宽高的像素点数量，确定N的具体数值，例如，在每帧图像的像素点数量较多的情况下，可以增加划分图像块的数量，在每帧图像的像素点数量较少的情况下，可以减少图像块的数量。
一些实施例，可以预先配置图像块数量(N)与像素点数量的关系表，在获取两帧图像后，可以基于该关系表查询该图像的像素点数量对应的图像块数量；或者，还可以根据预设公式计算每帧图像的像素点数量对应的图像块的数量，例如，像素点数量除以设定值得到的整数部分作为图像块的数量N，对此不作限制。
另一些实施例，还可以根据每帧图像宽高像素点数量(即，w和h)确定图像块的划分方式，例如，宽像素点数量大于高像素点数量(w大于h)，则采用纵向划分方式(即，图3B)；如果宽像素点数量小于高像素点数量(w小于h)，则采用纵向划分方式(即，图3A)。从而，可以根据图像的像素点数量划分图像块，因此可以对不同尺寸的图像灵活处理，适用范围更广。
S403：将图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系。
S404：根据每一层图像的N个图像块中的第一图像块，计算第一光流数据。
S403-S404的具体说明参见上述实施例，此处不再赘述。
S405：将第一光流数据写入内存。
本公开实施例在计算第一光流数据后，可以将该第一光流数据写入内存(DoubleData Rate，DDR)中。
S406：从内存读取第一光流数据，并基于第一光流数据对两帧图像进行目标处理操作。
进一步地，在进行目标处理操作时，首先从DDR读取该第一光流数据，然后基于第一光流数据对两帧图像进行目标处理操作。本实施例由于从内存读取第一光流数据，因此可以提升数据读取速度，进一步提升图像处理效率。
本实施例中，通过获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔，并将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系，并根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，以及基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作，能够计算两帧图像的部分区域的光流数据，在利用部分光流数据进行目标处理操作的同时计算另一部分区域的光流数据，实现光流计算与处理操作并行的技术效果，从而可以缩短图像处理整体的时间，降低延迟，进而能够满足图像实时处理的需求。此外，本实施例可以根据图像的像素点数量划分图像块，因此可以对不同尺寸的图像灵活处理，适用范围更广。并且，本实施例从内存读取第一光流数据，因此可以提升数据读取速度，进一步提升图像处理效率。
图5是根据本公开另一实施例提供的基于光流估计的图像处理装置的示意图。如图5所示，该基于光流估计的图像处理装置50包括：
构建模块501，用于获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；
分块模块502，用于将图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；
计算模块503，用于根据每一层图像的N个图像块中的第一图像块，计算第一光流数据；
处理模块504，用于基于第一光流数据对两帧图像进行目标处理操作，同时根据每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，第二光流数据用于目标处理操作。
一些实施例中，装置50还包括：存储模块，用于将第一光流数据写入内存；并且，处理模块504，具体用于：从内存读取第一光流数据，并基于第一光流数据对两帧图像进行目标处理操作。
一些实施例中，装置还包括：确定模块，用于根据每帧图像的像素点数量，确定划分的N个图像块的数量。
一些实施例中，分块模块502，具体用于：将图像金字塔的每一层图像划分为与当前层图像宽度相等的N个图像块；或者将图像金字塔的每一层图像划分为与当前层图像高度相等的N个图像块。
一些实施例中，计算模块503，具体用于：按照从最顶层到最底层的顺序，依次计算每一层图像的第一图像块的光流数据，并将最底层图像的第一图像块的光流数据作为第一光流数据。
一些实施例，计算模块503，具体用于：确定每一层图像的N个图像块中的多个图像块作为第一图像块；以及根据第一图像块，计算第一光流数据。
本实施例中，通过获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔，并将图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系，并根据每一层图像的N个图像块中的第一图像块，计算第一光流数据，以及基于第一光流数据对两帧图像进行目标处理操作，同时根据每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，第二光流数据用于目标处理操作，能够计算两帧图像的部分区域的光流数据，在利用部分光流数据进行目标处理操作的同时计算另一部分区域的光流数据，实现光流计算与处理操作并行的技术效果，从而可以缩短图像处理时间，降低延迟，进而能够满足图像实时处理的需求。
根据本公开的实施例，本公开还提供了一种计算机设备、一种可读存储介质和一种计算机程序产品。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的基于光流估计的图像处理方法。
图6示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图6显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。
尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用，例如实现前述实施例中提及的基于光流估计的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种基于光流估计的图像处理方法，其特征在于，所述方法包括：
获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；
将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；
根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据；
基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作。
2.如权利要求1所述的方法，其特征在于，所述计算第一光流数据之后，还包括：
将所述第一光流数据写入内存；
并且，所述基于所述第一光流数据对所述两帧图像进行目标处理操作，包括：
从所述内存读取所述第一光流数据，并基于所述第一光流数据对所述两帧图像进行目标处理操作。
3.如权利要求1所述的方法，其特征在于，所述将所述图像金字塔的每一层图像划分为N个图像块之前，包括：
根据所述每帧图像的像素点数量，确定划分的N个图像块的数量。
4.如权利要求1所述的方法，其特征在于，所述将所述图像金字塔的每一层图像划分为N个图像块，包括：
将所述图像金字塔的每一层图像划分为与当前层图像宽度相等的N个图像块；或者
将所述图像金字塔的每一层图像划分为与当前层图像高度相等的N个图像块。
5.如权利要求1所述的方法，其特征在于，所述根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，包括：
按照从最顶层到最底层的顺序，依次计算所述每一层图像的第一图像块的光流数据，并将最底层图像的第一图像块的光流数据作为所述第一光流数据。
6.如权利要求1所述的方法，其特征在于，所述根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，包括：
确定所述每一层图像的N个图像块中的多个图像块作为所述第一图像块；以及
根据所述第一图像块，计算所述第一光流数据。
7.一种基于光流估计的图像处理装置，其特征在于，包括：
构建模块，用于获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；
分块模块，用于将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；
计算模块，用于根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据；
处理模块，用于基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
存储模块，用于将所述第一光流数据写入内存；
并且，所述处理模块，具体用于：从所述内存读取所述第一光流数据，并基于所述第一光流数据对所述两帧图像进行目标处理操作。
9.如权利要求7所述的装置，其特征在于，所述装置还包括：
确定模块，用于根据所述每帧图像的像素点数量，确定划分的N个图像块的数量。
10.如权利要求7所述的装置，其特征在于，所述分块模块，具体用于：
将所述图像金字塔的每一层图像划分为与当前层图像宽度相等的N个图像块；或者
将所述图像金字塔的每一层图像划分为与当前层图像高度相等的N个图像块。
11.如权利要求7所述的装置，其特征在于，所述计算模块，具体用于：
按照从最顶层到最底层的顺序，依次计算所述每一层图像的第一图像块的光流数据，并将最底层图像的第一图像块的光流数据作为所述第一光流数据。
12.如权利要求7所述的装置，其特征在于，所述计算模块，具体用于：
确定所述每一层图像的N个图像块中的多个图像块作为所述第一图像块；以及
根据所述第一图像块，计算所述第一光流数据。
13.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-6中任一所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211676856.1A CN116188521A (zh) | 2022-12-26 | 2022-12-26 | 基于光流估计的图像处理方法、装置以及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211676856.1A CN116188521A (zh) | 2022-12-26 | 2022-12-26 | 基于光流估计的图像处理方法、装置以及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188521A true CN116188521A (zh) | 2023-05-30 |
Family
ID=86439425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211676856.1A Pending CN116188521A (zh) | 2022-12-26 | 2022-12-26 | 基于光流估计的图像处理方法、装置以及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188521A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523951A (zh) * | 2023-07-03 | 2023-08-01 | 瀚博半导体(上海)有限公司 | 多层并行光流估计方法和装置 |
-
2022
- 2022-12-26 CN CN202211676856.1A patent/CN116188521A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523951A (zh) * | 2023-07-03 | 2023-08-01 | 瀚博半导体(上海)有限公司 | 多层并行光流估计方法和装置 |
| CN116523951B (zh) * | 2023-07-03 | 2023-09-05 | 瀚博半导体(上海)有限公司 | 多层并行光流估计方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8326069B2 (en) | Computing higher resolution images from multiple lower resolution images | |
| US7730406B2 (en) | Image processing system and method | |
| US9661228B1 (en) | Robust image feature based video stabilization and smoothing | |
| US10356385B2 (en) | Method and device for stereo images processing | |
| JP5160640B2 (ja) | 画像のステレオ・マッチングのためのシステム及び方法 | |
| JP5425897B2 (ja) | 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法 | |
| US10055674B2 (en) | Confidence estimation for optical flow | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2011525657A (ja) | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 | |
| CN105635588A (zh) | 一种稳像方法及装置 | |
| Zhao et al. | Real-time stereo on GPGPU using progressive multi-resolution adaptive windows | |
| US20160307321A1 (en) | Method and apparatus for estimating image optical flow | |
| US10142613B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| JP2000306108A (ja) | オプティカルフロー推定方法 | |
| EP3251086A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
| CN116188521A (zh) | 基于光流估计的图像处理方法、装置以及计算机设备 | |
| US9171227B2 (en) | Apparatus and method extracting feature information of a source image | |
| Akin et al. | Dynamically adaptive real-time disparity estimation hardware using iterative refinement | |
| US10341683B1 (en) | Apparatus and method to reduce an amount of coordinate data representing an object taken by an imaging device in a three dimensional space | |
| US20210035317A1 (en) | Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras | |
| JP2000214992A (ja) | 方向指示装置および方向推定方法、並びにその方法にかかるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 | |
| Kravchonok | Region-growing detection of moving objects in video sequences based on optical flow | |
| CN113496509B (zh) | 深度图像帧的生成方法、装置、计算机设备及存储介质 | |
| JP6563964B2 (ja) | 映像生成装置、映像生成方法、プログラム | |
| CN118134944A (zh) | 图像处理方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315200 Applicant after: Aixin Yuanzhi Semiconductor Co.,Ltd. Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200 Applicant before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd. Country or region before: China Country or region after: China Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200 Applicant after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd. Address before: 201702 room 1190, zone B, floor 11, building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai Applicant before: Aisin Yuanzhi semiconductor (Shanghai) Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information |