CN112884818B - 稠密光流计算方法、装置、电子设备以及存储介质 - Google Patents

稠密光流计算方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112884818B
CN112884818B CN201911201543.9A CN201911201543A CN112884818B CN 112884818 B CN112884818 B CN 112884818B CN 201911201543 A CN201911201543 A CN 201911201543A CN 112884818 B CN112884818 B CN 112884818B
Authority
CN
China
Prior art keywords
image
optical flow
area
pixel
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911201543.9A
Other languages
English (en)
Other versions
CN112884818A (zh
Inventor
樊辉
史冰清
张文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile IoT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile IoT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile IoT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911201543.9A priority Critical patent/CN112884818B/zh
Publication of CN112884818A publication Critical patent/CN112884818A/zh
Application granted granted Critical
Publication of CN112884818B publication Critical patent/CN112884818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种稠密光流计算方法、装置、电子设备以及计算机可读存储介质。该方法包括：确定第一图像中的第一目标区域和第一细节区域；针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流。本发明实施例可以在保证准确性的基础上，解决细节区域光流扭曲异常的问题，提高细节区域的光流精度。

Description

稠密光流计算方法、装置、电子设备以及存储介质
技术领域
本发明实施例涉及双目匹配技术领域，尤其涉及一种稠密光流计算方法、装置、电子设备以及计算机可读存储介质。
背景技术
双目视觉系统广泛应用于机器人导航、探测车导航、工业测量、车辆预警系统、3D场景绘制与重建、位姿感知和军事等领域，成为了当前研究的热门。而双目图像的匹配是双目视觉系统运用的关键所在。
根据约束条件的不同，常用的双目图像匹配算法总体上可以分为局部匹配算法和全局匹配算法两种。局部匹配算法主要是利用对应点本身以及其邻近的局部区域的约束信息的匹配算法；全局匹配算法主要是利用图像的全局约束信息，是一种对整幅图像进行约束的匹配算法。局部匹配算法因局部寻优，对一些由于遮挡和纹理单一等造成的模糊比较敏感，易造成误匹配，而全局匹配算法对局部图像的模糊不敏感，匹配准确度较高，因此，全局匹配算法在双目匹配技术领域中受到了广泛使用。
然而，全局匹配算法比如基于金字塔图层的稠密光流计算方法，在计算每层图层的稠密光流时，由于该层图层中每个像元的光流数据都是基于下一层图层中的像元的光流数据进行迭代计算的，这样，对于该层图层中的细节区域，由于细节区域中像元之间有较大的差异的特性，如此该细节区域中每个像元通过迭代计算获得的光流数据可能会存在误差，因此，现有技术中可能会存在细节区域的光流扭曲异常问题。
发明内容
本发明实施例提供一种稠密光流计算方法、装置、电子设备以及计算机可读存储介质，以解决现有技术中由于稠密光流计算获得的细节区域存在光流误差而导致光流扭曲异常的问题。
第一方面，本发明实施例提供一种稠密光流计算方法，所述方法包括：
确定第一图像中的第一目标区域和第一细节区域；其中，所述第一图像为第一金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，所述第一金字塔图层为双目图像中任一图像按照分辨率进行分解获得的图层，所述双目图像包括针对同一对象在同一场景下拍摄的两张图像；所述第一目标区域为所述第一图像中像元的灰度梯度小于或等于第一预设阈值的区域，所述第一细节区域为所述第一图像中除所述第一目标区域之外的区域；
针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；其中，所述所述第二图像为第二金字塔图层中与所述第一图像的图层对应的图像，所述第二金字塔图层为所述双目图像中另一图像按照分辨率进行分解获得的图层；
基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；其中，所述第三图像为所述第一金字塔图层中处于所述第一图像的上一层图层对应的图像；
基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流。
第二方面，本发明实施例提供一种稠密光流计算装置，所述装置包括：
第一确定模块，用于确定第一图像中的第一目标区域和第一细节区域；其中，所述第一图像为第一金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，所述第一金字塔图层为双目图像中任一图像按照分辨率进行分解获得的图层，所述双目图像包括针对同一对象在同一场景下拍摄的两张图像；所述第一目标区域为所述第一图像中像元的灰度梯度小于或等于第一预设阈值的区域，所述第一细节区域为所述第一图像中除所述第一目标区域之外的区域；
匹配模块，用于针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；其中，所述所述第二图像为第二金字塔图层中与所述第一图像的图层对应的图像，所述第二金字塔图层为所述双目图像中另一图像按照分辨率进行分解获得的图层；
第二确定模块，用于基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；其中，所述第三图像为所述第一金字塔图层中处于所述第一图像的上一层图层对应的图像；
计算模块，用于基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流。
第三方面，本发明实施例提供一种电子设备，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述稠密光流计算方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述稠密光流计算方法的步骤。
本发明实施例提供的稠密光流计算方法、装置、电子设备以及计算机可读存储介质，首先，确定第一图像中的第一目标区域和第一细节区域；然后，针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；最后，基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流。
本发明实施例中，通过对第一图像的细节区域中每个像元与第二图像中像元进行匹配，以逐一计算所述第一图像中的细节区域中每个像元的光流数据，而基于第三图像中像元的光流数据，确定第一图像的目标区域中每个像元的光流数据，从而确定所述第一图像中每个像元的光流数据，最终基于第一图像中每个像元的光流数据，迭代计算双目图像的稠密光流。
相对于传统的稠密光流计算方法，本发明实施例无需逐一计算双目图像中每个像元的光流数据，从而能够大大缩减稠密光流场的计算时间。并且，由于目标区域中各像元的平坦特性和细节区域中各像元的差异特性，因此，通过本发明实施例的方法确定第一图像的目标区域中每个像元的光流数据，以基于第一图像的目标区域中每个像元的光流数据迭代计算双目图像的稠密光流，可以在保证准确性的基础上，解决细节区域光流扭曲异常的问题，提高细节区域的光流精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的稠密光流计算方法的流程示意图之一；
图2是本发明实施例提供的稠密光流计算方法的流程示意图之二；
图3是本发明实施例提供的稠密光流计算装置的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
基于此，本发明实施例提出一种新的稠密光流计算方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
下面首先对本发明实施例提供的稠密光流计算方法进行说明。
需要说明的是，本发明实施例提供的稠密光流计算方法可以应用于双目视觉系统中，所述双目视觉系统可以包括用于对双目图像进行稠密光流计算的电子设备。这里，所述电子设备可以为终端设备(如双目摄像头)，所述电子设备用于对双目摄像头拍摄的双目图像进行稠密光流场的计算。以下实施例中，所述电子设备将以双目摄像头为例进行详细说明。
另外，在进行本发明实施例提供的稠密光流计算方法介绍之前，可以首先介绍本发明实施例所涉及的技术名词，有利于理解本发明。
1)稠密光流的介绍
稠密光流是针对图像进行逐点匹配的图像配准方法，稠密光流计算图像上所有像元的偏移量，最终形成一个稠密的光流场，对双目图像进行稠密光流场建立的过程，即为双目图像匹配的过程。
2)金字塔图层的介绍
金字塔图层是一系列以金字塔形状排列的分辨率逐步降低的图像集合。金字塔最底层因图片分辨率低，相较于原始图像建立稠密光流场需要的时间要少的多。
3)基于金字塔图层计算双目图像的稠密光流
利用金字塔图层计算双目图像的稠密光流，需要先获得最底层图层的稠密光流场，对其进行缩放可得到上一图层的光流场初始值，再利用该初始值计算该图层的精确光流场，利用此方法进行层层迭代，最终可得到双目图像的稠密光流。
参见图1，图中示出了本发明实施例提供的稠密光流计算方法的流程示意图之一。如图1所示，该方法可以包括如下步骤：
步骤101，确定第一图像中的第一目标区域和第一细节区域；其中，所述第一图像为第一金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，所述第一金字塔图层为双目图像中任一图像按照分辨率进行分解获得的图层，所述双目图像包括针对同一对象在同一场景下拍摄的两张图像；所述第一目标区域为所述第一图像中像元的灰度梯度小于或等于第一预设阈值的区域，所述第一细节区域为所述第一图像中除所述第一目标区域之外的区域。
步骤102，针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；其中，所述所述第二图像为第二金字塔图层中与所述第一图像的图层对应的图像，所述第二金字塔图层为所述双目图像中另一图像按照分辨率进行分解获得的图层。
步骤103，基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；其中，所述第三图像为所述第一金字塔图层中处于所述第一图像的上一层图层对应的图像。
步骤104，基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流。
本发明实施例中，基于金字塔图层计算双目图像稠密光流的原理，需要首先计算处于金字塔图层中最小尺寸层即即分辨率最小的图像即第三图像中每个像元的光流数据。并将第三图像中每个像元的光流数据作为初始值，迭代计算第一图像中每个像元的光流数据，最终，基于第一图像中每个像元的光流数据，迭代计算获得双目图像的稠密光流。
因此，确定第一图像中的第一目标区域和第一细节区域之前，需要首先确定第三图像中每个像元的光流数据。
具体的，双目摄像头获取拍摄的双目图像，所述双目图像包括待匹配左目图像和待匹配右目图像，分别可以标记为I和J，所述待匹配左目图像I和待匹配右目图像J为对同一对象在同一场景下拍摄的两张图像。可以对所述双目图像进行快速双边滤波和亮度归一化处理，以此增强的图像匹配特征。
所述第一金字塔图层可以为待匹配左目图像按照分辨率进行分解获得的图层，相应的，所述第二金字塔图层可以为待匹配右目图像按照分辨率进行分解获得的图层。所述第一金字塔图层可以为待匹配右目图像按照分辨率进行分解获得的图层，相应的，所述第二金字塔图层可以为待匹配左目图像按照分辨率进行分解获得的图层。以下实施例中，将以所述第一金字塔图层为待匹配左目图像按照分辨率进行分解获得的图层，相应的，所述第二金字塔图层为待匹配右目图像按照分辨率进行分解获得的图层为例进行详细说明。
对所述待匹配左目图像I按照分辨率大小进行图层分解，获得第一金字塔图层，所述第一金字塔图层包括至少两个图层，且其图层对应的图像按照分辨率从小到大的顺序进行排序，记各个图层为{IL}L＝1，...，M。也就是说，排在第一金字塔图层中的最低层图层即第M层对应的图像为分辨率最小的图像，即尺寸最小的图像，该图像即为目标左目图像，记为IM，排在第一金字塔图层中的最高层图层即第1层对应的图像为分辨率最大的图像，即尺寸最大的图像，该图像即为待匹配左目图像I。
同样，对所述待匹配右目图像J按照分辨率大小进行图层分解，获得第二金字塔图层，所述第二金字塔图层包括至少两个图层，且其图层对应的图像按照分辨率从小到大的顺序进行排序，{JL}L＝1，...，M。也就是说，排在第二金字塔图层中的最底层图层第M层对应的图像为分辨率最小的图像，即尺寸最小的图像，该图像即为目标右目图像，记为JM，排在第二金字塔图层中的最高层图层第1层对应的图像为分辨率最大的图像，即尺寸最大的图像，该图像即为待匹配右目图像J。
应当说明的是，需要基于相同的分解方式，对所述待匹配左目图像I按照分辨率大小进行图层分解和对所述待匹配右目图像J按照分辨率大小进行图层分解，也就是说，分解获得的第一金字塔图层和第二金字塔图层中图层数量相等，且同层图层对应的图像中分辨率对应。
如此，可以基于第一金字塔图层获取待匹配左目图像对应的各分辨率的图像，同时，可以基于第二金字塔图层获取待匹配右目图像对应的各分辨率的图像。相应的，第一图像可以为第一金字塔图层中处于最大分辨率和最小分辨率之间的图层中任一图层对应的图像，第二图像可以为第二金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，且所述第二图像和第一图像在金字塔图层中对应的图层相同，第三图像可以为第一金字塔图层中分辨率最小的图层对应的图像，所述第四图像可以为第二金字塔图层中分辨率最小的图层对应的图像。
进一步的，对所述第三图像进行区域划分，确定所述第三图像中的第二平坦区域和第二细节区域，其中，所述第二平坦区域为所述第三图像中像元的灰度梯度小于或等于第三预设阈值的区域，所述第二细节区域为所述第三图像中除所述第二平坦区域之外的区域。
首先，计算所述第三图像中每个像元的灰度梯度，可以通过如下式(1)所示的公式来计算。
Figure BDA0002296010860000071
其中，(x,y)为像元基于灰度的坐标点，Laplace(E)为像元的灰度梯度。
基于上述公式，可以得到第三图像的梯度图，对梯度图做s窗大小的均值滤波，如此获得梯度均值滤波图，该梯度均值滤波图可以指示s区域内图像的梯度变化情况。
然后，基于得到的梯度均值滤波图进行区域划分，得到区域图像，其中，所述区域图像中包括平坦区域和细节区域，优选的，还可以对所述区域图像进行二值化，得到二值化的区域图像。
比如，若像元的灰度梯度小于或等于第三预设阈值，则将该像元划分为平坦区域中的像元，该像元设置为0；同时，若像元的灰度梯度大于所述第三预设阈值，则将该像元划分为细节区域中的像元，该像元设置为1。
需要说明的是，为了保证第二平坦区域划分的准确性，所述第三预设阈值可以设置相对比较小。
接着，从划分的平坦区域中确定目标平坦区域，该目标平坦区域即为第三图像中的第二平坦区域，所述目标平坦区域可以为形状满足预设形状，且面积大于预设面积的平坦区域，比如形状不能为狭长的形状。
具体的，通过形态学和滤波处理，对平坦区域进行区域整形。其过程可以为：将二值化的区域图像进行腐蚀，去掉其中的零星小点，并断开狭长的连接；对经过腐蚀的二值化的区域图像进行中值滤波，对二值化的区域图像的杂散点进一步整形；最后对二值化的区域图像进行膨胀，恢复区域。
之后，计算平坦区域连通程度，保留达到一定面积的平坦区域。其过程可以为：对进行区域整形后的区域图像进行连通域计算，对连通域面积大于阈值的区域，确定为目标平坦区域，目标平坦区域可以标记为Fi，其中，i代表第几个目标平坦区域。否则，不将该平坦区域作为目标平坦区域处理。
在确定出目标平坦区域之后，将确定的目标平坦区域确定为所述第三图像中的第二平坦区域。
最后，将除第二平坦区域之外的区域即除所述目标平坦区域之外的平坦区域和细节区域确定为所述第二细节区域。
针对所述第三图像中每个第二平坦区域，可以获取所述第二平坦区域的区域边沿中像元的光流数据，将所述区域边沿中像元的光流数据的均值确定为所述第二平坦区域中每个像元的光流数据。
针对所述第三图像中第二细节区域，将所述第二细节区域中每个像元与第四图像中的像元进行匹配，获得所述第二细节区域中每个像元的光流数据。
将所述第三图像和第四图像中所有像元的光流数据整合成双目图像的稠密光流的迭代初始值。
在步骤101中，确定第一图像中的第一目标区域和第一细节区域。
其中，所述第一目标区域可以包括第一平坦区域和第一准平坦区域，所述第一平坦区域可以为所述第一图像中像元的灰度梯度小于或等于第二预设阈值的区域，所述第一准平坦区域为所述第一图像中像元的灰度梯度大于所述第二预设阈值且小于或等于所述第一预设阈值的区域，所述第一预设阈值大于所述第二预设阈值，而所述第一细节区域可以为所述第一图像中除所述第一目标区域之外的区域。
所述将第一图像进行区域划分的方式与所述第三图像进行区域划分的方式可以相同，而且对第一平坦区域和第一细节区域的处理与第二平坦区域和第二细节区域的处理方式可以相同，同时，对第一准平坦区域和第一细节区域的处理与第二平坦区域和第二细节区域的处理方式也可以相同，因此，这里将不再对其赘述。
需要说明的是，在确定第一平坦区域和第一准平坦区域时，可以对其进行区域整形，将不连通的零星小点或者比较狭长的连通域划分至第一细节区域，保证第一平坦区域和第一准平坦区域的平坦性和连通性。
在步骤102中，针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；也就是说，将第一细节区域中像元逐一做光流计算。
在步骤103中，基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据，包括：
确定所述第三图像中与所述第一目标区域中像元对应的第一目标像元；
将所述第一目标像元的光流数据乘以缩放值，获得所述第一目标像元的光流放大数据；其中，所述缩放值用于指示所述第一图像在所述第三图像的基础上放大的倍数；
将所述第一目标像元的光流放大数据加上偏移矢量获得的数据确定为所述第一目标区域中第二目标像元的光流数据；其中，所述第二目标像元为与所述第一目标像元对应的像元，所述偏移矢量用于指示所述第一图像在所述第三图像基础上的缩放而导致的光流偏差；
基于所述第二目标像元的光流数据，确定所述第一目标区域中除所述第二目标像元之外的像元的光流数据。
具体的，所述第一目标区域包括第一平坦区域和第一准平坦区域。
针对所述第一平坦区域，确定所述第三图像中与所述第一平坦区域中像元对应的第一匹配像元集，其中，所述第一目标像元包括所述第一匹配像元集，所述第一匹配像元集为所述第三图像中与所述第一平坦区域中像元对应的所有像元的集合。
针对第一匹配像元集中的每个像元，将所述像元的光流数据乘以缩放值，获得所述像元的光流放大数据，然后再加上偏移矢量，得到的数据即为第一平坦区域中第一子目标像元的光流数据。所述第一子目标像元即是所述第一图像的第一平坦区域中与第三图像对应的像元。
而对于所述第一平坦区域中除第一子目标像元之外的像元，也就是说，由于图像放大而出现在第一图像的第一平坦区域中，但未出现在第三图像中的像元，可以基于所述第一子目标像元的光流数据，采用邻域插值方式，计算所述第一平坦区域中除所述第一子目标像元之外的像元的光流数据。具体的，针对所述第一平坦区域中除所述第一子目标像元之外的每个像元，可以确定与之距离最近的且已确定光流数据的邻域像元，将所述像元的光流数据确定为与所述邻域像元的光流数据相等。
这样，通过首先确定第一平坦区域中第一子目标像元的光流数据，然后基于第一平坦区域中第一子目标像元的光流数据，确定所述第一平坦区域中除第一子目标像元之外的像元的光流数据，从而确定所述第一平坦区域中每个像元的光流数据。
针对所述第一准平坦区域，确定所述第三图像中与所述第一准平坦区域中像元对应的第二匹配像元集，其中，所述第一目标像元包括所述第二匹配像元集，所述第二匹配像元集为所述第三图像中与所述第一准平坦区域中像元对应的所有像元的集合。
针对第二匹配像元集中的每个像元，将所述像元的光流数据乘以缩放值，获得所述像元的光流放大数据，然后再加上偏移矢量，得到的数据即为第一准平坦区域中第二子目标像元的光流数据。所述第二子目标像元即是所述第一图像的第一准平坦区域中与第三图像对应的像元。
而对于所述第一准平坦区域中除第二子目标像元之外的像元，也就是说，由于图像放大而出现在第一图像的第一准平坦区域中，但未出现在第三图像中的像元，可以基于所述第二子目标像元的光流数据，采用双线性插值方式，计算所述第一准平坦区域中除所述第二子目标像元之外的像元的光流数据。具体的，针对所述第一准平坦区域中除所述第二子目标像元之外的每个像元，可以确定与之相邻的且已确定光流数据的两个相邻像元，基于这两个相邻像元的光流数据，对所述像元进行插值计算，获得所述像元的光流数据。
这样，通过首先确定第一准平坦区域中第二子目标像元的光流数据，然后基于第一准平坦区域中第二子目标像元的光流数据，确定所述第一准平坦区域中除第二子目标像元之外的像元的光流数据，从而确定所述第一准平坦区域中每个像元的光流数据。
如此，通过计算第一平坦区域、第一准平坦区域和第一细节区域中每个像元的光流数据，即可以确定所述第一图像中每个像元的光流数据。
在步骤104中，将所述第一图像中每个像元的光流数据作为计算金字塔图层中下一层图层对应图像中像元的光流数据的初始值，进行层层迭代，直至计算获得双目图像的稠密光流。
在迭代至金字塔图层中分辨率最大的那一层图层时，可以不对其进行区域划分，可以将与之相邻的上一层图层对应图像中像元的光流数据作为初始值，逐点计算双目图像中每个像元的光流数据。此时，由于上一层图层对应图像中像元的光流数据已经接近真实值，因此，虽然该层图层对应图像尺寸较大，但是少量迭代次数即可达到较高精度的稠密光流。
参见图2，图中示出了本发明实施例提供的稠密光流计算方法的流程示意图之二。如图2所示，流程如下：
步骤201，获取双目图像；
步骤202，对双目图像按照分辨率进行图层分解，获得金字塔图层；
步骤203，对金字塔图层中最小分辨率图层对应的图像进行区域划分；
步骤204，判断所划分的区域是否为目标平坦区域；若是，执行步骤205；若否，执行步骤206；
步骤205，基于目标平坦区域中区域边沿的像元的光流数据均值，确定目标平坦区域中每个像元的光流数据；执行步骤207；
步骤206，对不是目标平坦区域的区域中每个像元逐一计算光流；
步骤207，对金字塔图层中处于最大分辨率和最小分辨率之间的任一图层对应的图像进行区域划分；
步骤208，确定所划分的区域是否为目标平坦区域；若否，执行步骤209；若是；执行步骤211；
步骤209，确定所划分的区域是否为目标准平坦区域，若否，执行步骤210；若是，执行步骤212；
步骤210，对不是目标平坦区域且不是目标准平坦区域的区域中每个像元逐一计算光流；执行步骤213；
步骤211，基于上一层图层中与目标平坦区域中像元对应的像元的光流数据，确定目标平坦区域中每个像元的光流数据；执行步骤213；
步骤212，基于上一层图层中与目标准平坦区域中像元对应的像元的光流数据，确定目标准平坦区域中每个像元的光流数据；
步骤213，基于获取的上一层图层对应图像的光流数据，迭代计算双目图像的稠密光流；
返回执行步骤201。
本发明实施例中，通过对第一图像的细节区域中每个像元与第二图像中像元进行匹配，以逐一计算所述第一图像中的细节区域中每个像元的光流数据，而基于第三图像中像元的光流数据，确定第一图像的目标区域中每个像元的光流数据，从而确定所述第一图像中每个像元的光流数据，最终基于第一图像中每个像元的光流数据，迭代计算双目图像的稠密光流。
相对于传统的稠密光流计算方法，本发明实施例无需逐一计算双目图像中每个像元的光流数据，从而能够大大缩减稠密光流场的计算时间。并且，由于目标区域中各像元的平坦特性和细节区域中各像元的差异特性，因此，通过本发明实施例的方法确定第一图像的目标区域中每个像元的光流数据，以基于第一图像的目标区域中每个像元的光流数据迭代计算双目图像的稠密光流，可以在保证准确性的基础上，解决细节区域光流扭曲异常的问题，提高细节区域的光流精度。
下面对本发明实施例提供的稠密光流计算装置进行说明。
参见图3，图中示出了本发明实施例提供的稠密光流计算装置的结构示意图。如图3所示，稠密光流计算装置300包括：
第一确定模块301，用于确定第一图像中的第一目标区域和第一细节区域；其中，所述第一图像为第一金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，所述第一金字塔图层为双目图像中任一图像按照分辨率进行分解获得的图层，所述双目图像包括针对同一对象在同一场景下拍摄的两张图像；所述第一目标区域为所述第一图像中像元的灰度梯度小于或等于第一预设阈值的区域，所述第一细节区域为所述第一图像中除所述第一目标区域之外的区域；
匹配模块302，用于针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；其中，所述所述第二图像为第二金字塔图层中与所述第一图像的图层对应的图像，所述第二金字塔图层为所述双目图像中另一图像按照分辨率进行分解获得的图层；
第二确定模块303，用于基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；其中，所述第三图像为所述第一金字塔图层中处于所述第一图像的上一层图层对应的图像；
计算模块304，用于基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流。
可选的，所述第二确定模块303包括：
第一确定单元，用于确定所述第三图像中与所述第一目标区域中像元对应的第一目标像元；
获取单元，用于将所述第一目标像元的光流数据乘以缩放值，获得所述第一目标像元的光流放大数据；其中，所述缩放值用于指示所述第一图像在所述第三图像的基础上放大的倍数；
第二确定单元，用于将所述第一目标像元的光流放大数据加上偏移矢量获得的数据确定为所述第一目标区域中第二目标像元的光流数据；其中，所述第二目标像元为与所述第一目标像元对应的像元，所述偏移矢量用于指示所述第一图像在所述第三图像基础上的缩放而导致的光流偏差；
第三确定单元，用于基于所述第二目标像元的光流数据，确定所述第一目标区域中除所述第二目标像元之外的像元的光流数据。
可选的，所述第一目标区域包括第一平坦区域和第一准平坦区域，所述第一平坦区域为所述第一图像中像元的灰度梯度小于或等于第二预设阈值的区域，所述第一准平坦区域为所述第一图像中像元的灰度梯度大于所述第二预设阈值且小于或等于所述第一预设阈值的区域，所述第一预设阈值大于所述第二预设阈值，所述第二目标像元包括所述第一平坦区域中的第一子目标像元和第一准平坦区域中的第二子目标像元；
所述第三确定单元，具体用于基于所述第一子目标像元的光流数据，采用邻域插值方式，计算所述第一平坦区域中除所述第一子目标像元之外的像元的光流数据；基于所述第二子目标像元的光流数据，采用双线性插值方式，计算所述第一准平坦区域中除所述第二子目标像元的光流数据。
可选的，所述装置还包括：
第三确定模块，用于确定所述第三图像中每个像元的光流数据。
可选的，所述第三确定模块包括：
第四确定单元，用于确定所述第三图像中的第二平坦区域和第二细节区域；其中，所述第二平坦区域为所述第三图像中像元的灰度梯度小于或等于第三预设阈值的区域，所述第二细节区域为所述第三图像中除所述第二平坦区域之外的区域；
匹配单元，用于针对所述第三图像中的第二细节区域中每个像元，将所述像元与第四图像中的像元进行匹配，获得所述第二细节区域中每个像元的光流数据；其中，所述第四图像为所述第二金字塔图层中分辨率最小的图层对应的图像；
第五确定单元，用于确定所述第三图像中的第二平坦区域的区域边沿中像元的光流数据；将所述区域边沿中像元的光流数据的均值确定为所述第二平坦区域中每个像元的光流数据。
需要说明的是，本发明实施例中装置能够实现上述方法实施例中实现的各个过程，并能达到相同的有益效果，为避免重复，这里不再赘述。
参见图4，图中示出了本发明实施例提供的电子设备的结构示意图。如图4所示，电子设备400包括：处理器401、存储器402、用户接口403和总线接口404。
处理器401，用于读取存储器402中的程序，执行下列过程：
确定第一图像中的第一目标区域和第一细节区域；其中，所述第一图像为第一金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，所述第一金字塔图层为双目图像中任一图像按照分辨率进行分解获得的图层，所述双目图像包括针对同一对象在同一场景下拍摄的两张图像；所述第一目标区域为所述第一图像中像元的灰度梯度小于或等于第一预设阈值的区域，所述第一细节区域为所述第一图像中除所述第一目标区域之外的区域；
针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；其中，所述所述第二图像为第二金字塔图层中与所述第一图像的图层对应的图像，所述第二金字塔图层为所述双目图像中另一图像按照分辨率进行分解获得的图层；
基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；其中，所述第三图像为所述第一金字塔图层中处于所述第一图像的上一层图层对应的图像；
基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流。
在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器401代表的一个或多个处理器和存储器402代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口404提供接口。针对不同的用户设备，用户接口403还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器401负责管理总线架构和通常的处理，存储器402可以存储处理器401在执行操作时所使用的数据。
可选的，处理器401，具体用于：
确定所述第三图像中与所述第一目标区域中像元对应的第一目标像元；
将所述第一目标像元的光流数据乘以缩放值，获得所述第一目标像元的光流放大数据；其中，所述缩放值用于指示所述第一图像在所述第三图像的基础上放大的倍数；
将所述第一目标像元的光流放大数据加上偏移矢量获得的数据确定为所述第一目标区域中第二目标像元的光流数据；其中，所述第二目标像元为与所述第一目标像元对应的像元，所述偏移矢量用于指示所述第一图像在所述第三图像基础上的缩放而导致的光流偏差；
基于所述第二目标像元的光流数据，确定所述第一目标区域中除所述第二目标像元之外的像元的光流数据。
可选的，所述第一目标区域包括第一平坦区域和第一准平坦区域，所述第一平坦区域为所述第一图像中像元的灰度梯度小于或等于第二预设阈值的区域，所述第一准平坦区域为所述第一图像中像元的灰度梯度大于所述第二预设阈值且小于或等于所述第一预设阈值的区域，所述第一预设阈值大于所述第二预设阈值，所述第二目标像元包括所述第一平坦区域中的第一子目标像元和第一准平坦区域中的第二子目标像元；处理器401，具体用于：
基于所述第一子目标像元的光流数据，采用邻域插值方式，计算所述第一平坦区域中除所述第一子目标像元之外的像元的光流数据；
基于所述第二子目标像元的光流数据，采用双线性插值方式，计算所述第一准平坦区域中除所述第二子目标像元之外的像元的光流数据。
可选的，处理器401，还用于：
确定所述第三图像中每个像元的光流数据。
可选的，若所述第三图像为所述第一金字塔图层中分辨率最小的图层对应的图像，处理器401，具体用于：
确定所述第三图像中的第二平坦区域和第二细节区域；其中，所述第二平坦区域为所述第三图像中像元的灰度梯度小于或等于第三预设阈值的区域，所述第二细节区域为所述第三图像中除所述第二平坦区域之外的区域；
针对所述第三图像中的第二细节区域中每个像元，将所述像元与第四图像中的像元进行匹配，获得所述第二细节区域中每个像元的光流数据；其中，所述第四图像为所述第二金字塔图层中分辨率最小的图层对应的图像；
确定所述第三图像中的第二平坦区域的区域边沿中像元的光流数据；将所述区域边沿中像元的光流数据的均值确定为所述第二平坦区域中每个像元的光流数据。
优选的，本发明实施例还提供一种电子设备，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的计算机程序，该计算机程序被处理器401执行时实现上述稠密光流计算方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述稠密光流计算方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种稠密光流计算方法，其特征在于，所述方法包括：
确定第一图像中的第一目标区域和第一细节区域；其中，所述第一图像为第一金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，所述第一金字塔图层为双目图像中任一图像按照分辨率进行分解获得的图层，所述双目图像包括针对同一对象在同一场景下拍摄的两张图像；所述第一目标区域为所述第一图像中像元的灰度梯度小于或等于第一预设阈值的区域，所述第一细节区域为所述第一图像中除所述第一目标区域之外的区域；
针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；其中，所述第二图像为第二金字塔图层中与所述第一图像的图层对应的图像，所述第二金字塔图层为所述双目图像中另一图像按照分辨率进行分解获得的图层；
基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；其中，所述第三图像为所述第一金字塔图层中处于所述第一图像的上一层图层对应的图像；
基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流；
所述基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流，包括：
将所述第一目标区域和第一细节区域中每个像元的光流数据作为计算金字塔图层中下一层图层对应图像中像元的光流数据的初始值，进行层层迭代，直至计算获得双目图像的稠密光流；
所述确定第一图像中的第一目标区域和第一细节区域之前，所述方法还包括：
确定所述第三图像中每个像元的光流数据；
若所述第三图像为所述第一金字塔图层中分辨率最小的图层对应的图像，所述确定所述第三图像中每个像元的光流数据，包括：
确定所述第三图像中的第二平坦区域和第二细节区域；其中，所述第二平坦区域为所述第三图像中像元的灰度梯度小于或等于第三预设阈值的区域，所述第二细节区域为所述第三图像中除所述第二平坦区域之外的区域；
针对所述第三图像中的第二细节区域中每个像元，将所述像元与第四图像中的像元进行匹配，获得所述第二细节区域中每个像元的光流数据；其中，所述第四图像为所述第二金字塔图层中分辨率最小的图层对应的图像；
确定所述第三图像中的第二平坦区域的区域边沿中像元的光流数据；将所述区域边沿中像元的光流数据的均值确定为所述第二平坦区域中每个像元的光流数据。
2.根据权利要求1所述的方法，其特征在于，所述基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据，包括：
确定所述第三图像中与所述第一目标区域中像元对应的第一目标像元；
将所述第一目标像元的光流数据乘以缩放值，获得所述第一目标像元的光流放大数据；其中，所述缩放值用于指示所述第一图像在所述第三图像的基础上放大的倍数；
将所述第一目标像元的光流放大数据加上偏移矢量获得的数据确定为所述第一目标区域中第二目标像元的光流数据；其中，所述第二目标像元为与所述第一目标像元对应的像元，所述偏移矢量用于指示所述第一图像在所述第三图像基础上的缩放而导致的光流偏差；
基于所述第二目标像元的光流数据，确定所述第一目标区域中除所述第二目标像元之外的像元的光流数据。
3.根据权利要求2所述的方法，其特征在于，所述第一目标区域包括第一平坦区域和第一准平坦区域，所述第一平坦区域为所述第一图像中像元的灰度梯度小于或等于第二预设阈值的区域，所述第一准平坦区域为所述第一图像中像元的灰度梯度大于所述第二预设阈值且小于或等于所述第一预设阈值的区域，所述第一预设阈值大于所述第二预设阈值，所述第二目标像元包括所述第一平坦区域中的第一子目标像元和第一准平坦区域中的第二子目标像元；
所述基于所述第二目标像元的光流数据，确定所述第一目标区域中除所述第二目标像元之外的像元的光流数据，包括：
基于所述第一子目标像元的光流数据，采用邻域插值方式，计算所述第一平坦区域中除所述第一子目标像元之外的像元的光流数据；
基于所述第二子目标像元的光流数据，采用双线性插值方式，计算所述第一准平坦区域中除所述第二子目标像元之外的像元的光流数据。
4.一种稠密光流计算装置，其特征在于，所述装置包括：
第一确定模块，用于确定第一图像中的第一目标区域和第一细节区域；其中，所述第一图像为第一金字塔图层中分辨率处于最大分辨率和最小分辨率之间的图层对应的图像，所述第一金字塔图层为双目图像中任一图像按照分辨率进行分解获得的图层，所述双目图像包括针对同一对象在同一场景下拍摄的两张图像；所述第一目标区域为所述第一图像中像元的灰度梯度小于或等于第一预设阈值的区域，所述第一细节区域为所述第一图像中除所述第一目标区域之外的区域；
匹配模块，用于针对所述第一图像中的第一细节区域中每个像元，将所述像元与第二图像中的像元进行匹配，获得所述第一细节区域中每个像元的光流数据；其中，所述第二图像为第二金字塔图层中与所述第一图像的图层对应的图像，所述第二金字塔图层为所述双目图像中另一图像按照分辨率进行分解获得的图层；
第二确定模块，用于基于第三图像中像元的光流数据，确定所述第一目标区域中每个像元的光流数据；其中，所述第三图像为所述第一金字塔图层中处于所述第一图像的上一层图层对应的图像；
计算模块，用于基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流；
所述基于所述第一目标区域和第一细节区域中每个像元的光流数据，计算所述双目图像的稠密光流，包括：
将所述第一目标区域和第一细节区域中每个像元的光流数据作为计算金字塔图层中下一层图层对应图像中像元的光流数据的初始值，进行层层迭代，直至计算获得双目图像的稠密光流；
所述装置还包括：
第三确定模块，用于确定所述第三图像中每个像元的光流数据；
所述第三确定模块包括：
第四确定单元，用于在所述第三图像为所述第一金字塔图层中分辨率最小的图层对应的图像的情况下，确定所述第三图像中的第二平坦区域和第二细节区域；其中，所述第二平坦区域为所述第三图像中像元的灰度梯度小于或等于第三预设阈值的区域，所述第二细节区域为所述第三图像中除所述第二平坦区域之外的区域；
匹配单元，用于针对所述第三图像中的第二细节区域中每个像元，将所述像元与第四图像中的像元进行匹配，获得所述第二细节区域中每个像元的光流数据；其中，所述第四图像为所述第二金字塔图层中分辨率最小的图层对应的图像；
第五确定单元，用于确定所述第三图像中的第二平坦区域的区域边沿中像元的光流数据；将所述区域边沿中像元的光流数据的均值确定为所述第二平坦区域中每个像元的光流数据。
5.根据权利要求4所述的装置，其特征在于，所述第二确定模块包括：
第一确定单元，用于确定所述第三图像中与所述第一目标区域中像元对应的第一目标像元；
获取单元，用于将所述第一目标像元的光流数据乘以缩放值，获得所述第一目标像元的光流放大数据；其中，所述缩放值用于指示所述第一图像在所述第三图像的基础上放大的倍数；
第二确定单元，用于将所述第一目标像元的光流放大数据加上偏移矢量获得的数据确定为所述第一目标区域中第二目标像元的光流数据；其中，所述第二目标像元为与所述第一目标像元对应的像元，所述偏移矢量用于指示所述第一图像在所述第三图像基础上的缩放而导致的光流偏差；
第三确定单元，用于基于所述第二目标像元的光流数据，确定所述第一目标区域中除所述第二目标像元之外的像元的光流数据。
6.根据权利要求5所述的装置，其特征在于，所述第一目标区域包括第一平坦区域和第一准平坦区域，所述第一平坦区域为所述第一图像中像元的灰度梯度小于或等于第二预设阈值的区域，所述第一准平坦区域为所述第一图像中像元的灰度梯度大于所述第二预设阈值且小于或等于所述第一预设阈值的区域，所述第一预设阈值大于所述第二预设阈值，所述第二目标像元包括所述第一平坦区域中的第一子目标像元和第一准平坦区域中的第二子目标像元；
所述第三确定单元，具体用于基于所述第一子目标像元的光流数据，采用邻域插值方式，计算所述第一平坦区域中除所述第一子目标像元之外的像元的光流数据；基于所述第二子目标像元的光流数据，采用双线性插值方式，计算所述第一准平坦区域中除所述第二子目标像元之外的像元的光流数据。
7.一种电子设备，其特征在于，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的稠密光流计算方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的稠密光流计算方法的步骤。
CN201911201543.9A 2019-11-29 2019-11-29 稠密光流计算方法、装置、电子设备以及存储介质 Active CN112884818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911201543.9A CN112884818B (zh) 2019-11-29 2019-11-29 稠密光流计算方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911201543.9A CN112884818B (zh) 2019-11-29 2019-11-29 稠密光流计算方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112884818A CN112884818A (zh) 2021-06-01
CN112884818B true CN112884818B (zh) 2023-04-14

Family

ID=76038585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911201543.9A Active CN112884818B (zh) 2019-11-29 2019-11-29 稠密光流计算方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112884818B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818572A (zh) * 2017-10-16 2018-03-20 大连大学 基于物理学的改善粒子图像测速稳健性光流方法
CN109543672A (zh) * 2018-10-15 2019-03-29 天津大学 基于稠密特征金字塔网络的物体检测方法
CN110176023A (zh) * 2019-04-29 2019-08-27 同济大学 一种基于金字塔结构的光流估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265315B1 (ko) * 2015-04-17 2021-06-15 삼성전자주식회사 영상 광류를 추정하는 방법 및 이를 위한 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818572A (zh) * 2017-10-16 2018-03-20 大连大学 基于物理学的改善粒子图像测速稳健性光流方法
CN109543672A (zh) * 2018-10-15 2019-03-29 天津大学 基于稠密特征金字塔网络的物体检测方法
CN110176023A (zh) * 2019-04-29 2019-08-27 同济大学 一种基于金字塔结构的光流估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pyramidal Gradient Matching for Optical Flow Estimation;Yuanwei Li;《Computer Science》;20170411;第1-13页 *
袁建英;序列图像光流计算关键技术研究及其在三维重建中的应用;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20160815;I138-104 *

Also Published As

Publication number Publication date
CN112884818A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
AU2017324923B2 (en) Predicting depth from image data using a statistical model
CN109064428B (zh) 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN107230225B (zh) 三维重建的方法和装置
CN107220997B (zh) 一种立体匹配方法及系统
WO2018119889A1 (zh) 三维场景定位方法和装置
US20120127275A1 (en) Image processing method for determining depth information from at least two input images recorded with the aid of a stereo camera system
CN107980138A (zh) 一种虚警障碍物检测方法及装置
CN108986197B (zh) 3d骨架线构建方法及装置
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN110070610B (zh) 特征点匹配方法、三维重构过程的特征点匹配方法及装置
CN108122280A (zh) 一种三维点云的重建方法及装置
CN108519631B (zh) 降水强度预测方法
CN111798505A (zh) 一种基于单目视觉的三角化测量深度的稠密点云重建方法及系统
CN113610918A (zh) 位姿计算方法和装置、电子设备、可读存储介质
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
JP6581359B2 (ja) 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN112884818B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN116434303A (zh) 基于多尺度特征融合的人脸表情捕捉方法、装置及介质
EP3605463B1 (en) Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant