CN115170826A - 基于局部搜索的运动小目标快速光流估计方法及存储介质 - Google Patents

基于局部搜索的运动小目标快速光流估计方法及存储介质 Download PDF

Info

Publication number
CN115170826A
CN115170826A CN202210797411.2A CN202210797411A CN115170826A CN 115170826 A CN115170826 A CN 115170826A CN 202210797411 A CN202210797411 A CN 202210797411A CN 115170826 A CN115170826 A CN 115170826A
Authority
CN
China
Prior art keywords
optical flow
feature
flow estimation
information
local search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210797411.2A
Other languages
English (en)
Inventor
陈军松
徐瑞东
曹福国
许琮擎
陈华杰
郭云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chitic Control Engineering Co ltd
Hangzhou Dianzi University
Original Assignee
Chitic Control Engineering Co ltd
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chitic Control Engineering Co ltd, Hangzhou Dianzi University filed Critical Chitic Control Engineering Co ltd
Priority to CN202210797411.2A priority Critical patent/CN115170826A/zh
Publication of CN115170826A publication Critical patent/CN115170826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度学习领域，尤其涉及一种基于局部搜索的运动小目标快速光流估计方法及储存介质，首先获取两帧相邻图像并通过特征提取分别获取相应的特征图
Figure 100004_DEST_PATH_IMAGE001
、
Figure 845715DEST_PATH_IMAGE002
和上下文信息，并对第一帧图像单独编码获取上下文信息；然后为特征图
Figure 167106DEST_PATH_IMAGE001
中每个特征向量在特征图
Figure 501135DEST_PATH_IMAGE002
中匹配出对应的局部搜索区域，并依次根据特征图
Figure 233468DEST_PATH_IMAGE001
中每个特征向量从对应的局部搜索区域中匹配中相应的相似信息，并将所有的相似信息集合成匹配信息；最后利用上下文信息和匹配信息通过预设循环网络进行迭代光流估计。通过将特征搜索匹配由全局搜索改为在一个适当合理的局部范围内进行搜索，减少了搜索耗时和计算量，一定程度避免了因下采样导致计算量增大的问题，同时在保证运动小目标光流估计的精度下，提升了光流估计的速度。

Description

基于局部搜索的运动小目标快速光流估计方法及存储介质
技术领域
本申请涉及深度学习领域，尤其是涉及一种基于局部搜索的运动小目标快速光流估计方法及存储介质。
背景技术
光流估计是计算机视觉研究中的一个重要方向，所谓光流即为图像中的每一个像素提供一个运动矢量，即x轴的运动速度和y轴的运动速度，这个运动矢量矩阵表征了整幅图像的运动场，包含了潜在的动态信息，分析运动矢量矩阵的信息即可准确得到运动小目标的位置， 有助于计算机视觉领域中对于小目标的检测识别。
目前，基于深度学习的光流估计网络在速度和精度上都超过了传统光流算法，这极大地推动了光流估计在各工程领域中的实际应用。但现有的基于深度学习的光流估计网络在特征搜索阶段通常采用全局搜索，一般而言，为了加快网络的推理速度，需要对原图进行至少3次下采样，这样一些运动小目标的信息会丢失，为了得到运动小目标准确的光流估计，需要减少网络下采样的次数，但每当减少一次下采样，特征提取和迭代估计光流模块的计算量将会扩大4倍，特征搜索模块的计算量将会扩大16倍，这会导致光流估计时间大大增加，因此，现有的基于深度学习的光流估计网络在保证小目标光流估计精度的情况下，通常需要以增加搜索耗时和计算量来作为代价，降低了光流估计的实时性。
发明内容
本申请的目的是提供一种基于局部搜索的运动小目标快速光流估计方法及存储介质，在保证运动小目标光流估计的精度下，提升光流估计的速度。
第一方面，本申请提供一种基于局部搜索的运动小目标快速光流估计方法，采用如下的技术方案：
一种基于局部搜索的运动小目标快速光流估计方法，包括以下步骤：
获取两帧相邻的图像，对两帧图像进行特征提取，获得分别与两帧图像相应的特征图
Figure 608135DEST_PATH_IMAGE001
和
Figure 761161DEST_PATH_IMAGE002
，并对第一帧图像单独编码获取上下文信息；
为特征图
Figure 9740DEST_PATH_IMAGE001
中每个特征向量在特征图
Figure 873791DEST_PATH_IMAGE002
中匹配出对应的局部搜索区域；
依次根据特征图
Figure 157005DEST_PATH_IMAGE001
中每个特征向量从对应的局部搜索区域中匹配出相应的相似信息，并将所有的相似信息集合成匹配信息；
利用所述上下文信息和所述匹配信息，通过预设的循环网络进行迭代光流估计，并输出光流估计结果；
通过上述技术方案，将特征搜索匹配由全局搜索改为在一个适当合理的局部范围内进行搜索，局部搜索相较于全局搜索大大减少了搜索匹配阶段的耗时和计算量，一定程度避免了因下采样导致计算量增大的问题，同时在保证运动小目标光流估计的精度下，提升了光流估计的速度，进一步提升了光流估计网络的实时性。
可选的，对第一帧图像单独编码获取上下文信息，包括：
根据预设的上下文网络对第一帧图像进行多尺度特征提取分别获取局部特征和全局特征。
对局部特征和全局特征进行融合以得到上下文信息。
可选的，为特征图
Figure 448309DEST_PATH_IMAGE001
中每个特征向量在特征图
Figure 387446DEST_PATH_IMAGE002
中匹配出对应的局部搜索区域，包括：
对特征图
Figure 55188DEST_PATH_IMAGE001
进行划分以形成多个连续区域
Figure 691443DEST_PATH_IMAGE003
,其中
Figure 153648DEST_PATH_IMAGE004
为正整数；
对任意一块区域
Figure 376819DEST_PATH_IMAGE005
在特征图
Figure 848252DEST_PATH_IMAGE002
中找到相同位置的映射区域
Figure 840479DEST_PATH_IMAGE006
；
对映射区域
Figure 739165DEST_PATH_IMAGE006
进行扩充以得到扩充后的区域
Figure 449632DEST_PATH_IMAGE007
，区域
Figure 898324DEST_PATH_IMAGE007
即为特征图
Figure 10637DEST_PATH_IMAGE001
中
Figure 814644DEST_PATH_IMAGE005
区域内所有特征向量在特征图
Figure 12408DEST_PATH_IMAGE002
中的局部搜索区域。
可选的，对映射区域
Figure 560064DEST_PATH_IMAGE006
进行扩充以得到扩充后的区域
Figure 792462DEST_PATH_IMAGE007
，包括：
获取运动小目标的尺寸、在两帧图像之间的位移量；
根据运动小目标的尺寸、在两帧图像之间的位移量，计算出扩充边长；
获取映射区域
Figure 32950DEST_PATH_IMAGE006
在特征图
Figure 452430DEST_PATH_IMAGE002
中的位置信息；
根据映射区域
Figure 302312DEST_PATH_IMAGE006
在特征图
Figure 326900DEST_PATH_IMAGE002
中的位置信息以及扩充边长，得到扩充后的区域
Figure 738290DEST_PATH_IMAGE007
。
可选的，根据映射区域
Figure 645066DEST_PATH_IMAGE006
在特征图
Figure 534525DEST_PATH_IMAGE002
中的位置信息以及扩充边长，得到扩充后的区域
Figure 741515DEST_PATH_IMAGE007
，包括：
根据映射区域
Figure 323806DEST_PATH_IMAGE006
在特征图
Figure 207624DEST_PATH_IMAGE002
的位置信息以及扩充边长，获取扩充后的区域
Figure 900774DEST_PATH_IMAGE007
在特征图
Figure 431112DEST_PATH_IMAGE002
的位置信息；
根据扩充后的区域
Figure 387567DEST_PATH_IMAGE007
在特征图
Figure 268936DEST_PATH_IMAGE002
的位置信息，判断扩充后的区域
Figure 765776DEST_PATH_IMAGE007
是否有超出特征图
Figure 416200DEST_PATH_IMAGE002
的范围，若有超出部分，则重新调整扩充后的区域
Figure 838829DEST_PATH_IMAGE007
的位置信息。
可选的，根据特征图
Figure 207493DEST_PATH_IMAGE001
中每个特征向量从对应的局部搜索区域中匹配出相应的相似信息，包括：
根据特征图
Figure 914549DEST_PATH_IMAGE001
中的特征向量
Figure 685059DEST_PATH_IMAGE008
，获取其对应的局部搜索区域内所有特征向量,并形成特征向量集
Figure 514475DEST_PATH_IMAGE009
；
从特征向量集
Figure 370436DEST_PATH_IMAGE009
中匹配出与特征向量
Figure 976123DEST_PATH_IMAGE008
相似度最高的k个特征向量，并获取所匹配的k个特征向量的位置信息和相似度；
将匹配出的k个特征向量的位置信息和相似度整合，以形成特征图
Figure 335560DEST_PATH_IMAGE001
中特征向量
Figure 601456DEST_PATH_IMAGE008
的相似信息。
可选的，从特征向量集
Figure 679133DEST_PATH_IMAGE009
中匹配出与特征向量
Figure 321467DEST_PATH_IMAGE008
相似度最高的k个特征向量，并获取所匹配的k个特征向量的位置信息和相似度,包括：
对特征向量集
Figure 4253DEST_PATH_IMAGE009
构建索引；
对特征向量
Figure 441050DEST_PATH_IMAGE008
和特征向量集
Figure 504559DEST_PATH_IMAGE009
进行k近邻搜索，获取与特征向量
Figure 685004DEST_PATH_IMAGE008
相似度最高的k个特征向量的区域索引值和相似度；
将区域的索引值转换为全图的索引值；
根据全图索引值，从特征图
Figure 284613DEST_PATH_IMAGE002
中获取与特征向量
Figure 892312DEST_PATH_IMAGE008
匹配的k个特征向量的位置信息。
可选的，利用上下文信息和匹配信息，通过预设的循环网络进行迭代光流估计，包括：
获取光流估计初始值；
根据光流估计初始值、匹配信息和上下文信息，获取输入信息；
根据输入信息，通过循环网络进行迭代得到光流估计。
可选的，通过循环网络进行迭代得到光流估计，包括：
获取上一次迭代的光流估计；
根据上一次迭代的光流估计、匹配信息和上下文信息，获取当前迭代的输入
Figure 147844DEST_PATH_IMAGE010
和历史隐藏层状态
Figure 866401DEST_PATH_IMAGE011
；
根据当前迭代的输入
Figure 586096DEST_PATH_IMAGE010
和历史隐藏层状态
Figure 866161DEST_PATH_IMAGE011
，通过循环网络获取更新后的隐藏层状态
Figure 405726DEST_PATH_IMAGE012
；
对更新后的隐藏层状态
Figure 131237DEST_PATH_IMAGE012
经过数次卷积得到残差光流，根据残差光流对上一次迭代的光流估计进行更新，得到当前迭代的光流估计。
第二方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行上述基于局部搜索的运动小目标快速光流估计方法的计算机程序。
综上所述，本申请通过将特征搜索匹配由全局搜索改为在一个适当合理的局部范围内进行搜索，减少了搜索耗时和计算量，有效解决了因下采样导致计算量增大的问题，并且通过局部搜索得到的匹配信息能够对光流估计的迭代进行约束，再结合上下文信息的语境光联，一定程度避免了因缩小搜索范围可能导致部分有效信息遗失带来的影响，在保证运动小目标光流估计的精度下，提升了光流估计的速度。
附图说明
图1是本申请实施例的流程图；
图2是局部搜索的示意图；
图3是局部搜索中对于区域有效范围限定的示意图；
图4通过循环网络进行迭代得到光流估计示意图。
具体实施方式
以下结合附图1-附图4，对本申请作进一步详细说明。
本申请提供一种基于局部搜索的运动小目标快速光流估计方法，参见图1，包括以下步骤：
S100、获取两帧相邻的图像，对两帧图像进行特征提取，获得分别与两帧图像相应的特征图
Figure 439858DEST_PATH_IMAGE001
和
Figure 389360DEST_PATH_IMAGE002
，并对第一帧图像单独编码获取上下文信息。
其中，两帧相邻图像从图像序列中获取，图像序列为一组连续排列的图像，通常为经过对视频或者动态图像按照设定帧数转换得到的多帧连续图像，特征图
Figure 416222DEST_PATH_IMAGE001
和
Figure 742161DEST_PATH_IMAGE002
为输入的两帧图像经过同一个预设的多层卷积神经网络提取到的深层特征，上下文信息为目标所在的环境信息，包括目标所在图像的位置信息和目标与周围其他对象的相互关联信息。
在本申请实施例中，图像序列为无人机采集的动态背景图像序列，原始图像的分辨率为1080P，经过适当的裁剪和缩小后其图像大小为700*980，对第一帧图像单独编码获取上下文信息，具体包括以下步骤：
S110、根据预设的上下文网络对第一帧图像进行多尺度特征提取分别获取局部特征和全局特征。
在本申请实施例中，通过对第一帧图像采用空洞卷积来捕获不同尺度特征信息，通过大的感受野获取的特征信息为全局信息，侧重的是对目标所包括的像素点所在图像的位置信息的描述，小的感受野为局部信息，侧重的是对目标所包括像素点与周围其它像素点的关联信息的描述，通过对全局信息和局部信息的结合，构成目标的上下文信息，为后面迭代光流估计提供信息支撑。
S120、对局部特征和全局特征进行融合以得到上下文信息。
S200、为特征图
Figure 403824DEST_PATH_IMAGE001
中每个特征向量在特征图
Figure 727489DEST_PATH_IMAGE002
中匹配出对应的局部搜索区域。
其中，局部搜索区域为特征搜索匹配过程中的搜素范围，目的是为了缩小搜索范围，减少搜索耗时和计算量，因为在实际场景中，特别是视频类场景中，运动小目标的尺寸本身就比较小，两帧图像之间的相对运动也非常小，那么特征向量的搜索范围其实可以限定在一个较小的区域内，而不必去进行全图搜索，这样可以提升网络的推理速度，使得光流估计的实时性得到提升。
在本申请实施例中，为特征图
Figure 241647DEST_PATH_IMAGE001
中每个特征向量在特征图
Figure 105698DEST_PATH_IMAGE002
中匹配出对应的局部搜索区域，参见图2，具体包括以下步骤：
S210、对特征图
Figure 388912DEST_PATH_IMAGE001
进行划分以形成多个连续区域
Figure 945795DEST_PATH_IMAGE003
,其中
Figure 681670DEST_PATH_IMAGE004
为正整数。
其中，划分后的区域
Figure 54139DEST_PATH_IMAGE003
要求是连续的，是因为要确保对特征图
Figure 926280DEST_PATH_IMAGE001
中任意一个特征向量处于划分后的区域
Figure 654064DEST_PATH_IMAGE003
之内，也就是划分后的区域
Figure 877235DEST_PATH_IMAGE003
能够完整拼凑成特征图
Figure 83089DEST_PATH_IMAGE001
。
S220、对任意一块区域
Figure 340895DEST_PATH_IMAGE005
在特征图
Figure 239581DEST_PATH_IMAGE002
中找到相同位置的映射区域
Figure 183003DEST_PATH_IMAGE006
。
其中，
Figure 192548DEST_PATH_IMAGE013
，
Figure 508123DEST_PATH_IMAGE004
为对特征图
Figure 312131DEST_PATH_IMAGE001
进行划分后得到区域数，
Figure 509894DEST_PATH_IMAGE004
的取值可以为4、16、64等。 因为特征图
Figure 57550DEST_PATH_IMAGE001
和
Figure 24369DEST_PATH_IMAGE002
是由同一个卷积网络提取得到的特征，所以分辨率是相同的，所以根据区域
Figure 778041DEST_PATH_IMAGE005
在特征图
Figure 463100DEST_PATH_IMAGE001
的相对位置，可以在特征图
Figure 17709DEST_PATH_IMAGE002
中找到相同位置的映射区域
Figure 839035DEST_PATH_IMAGE006
。
S230、对映射区域
Figure 516004DEST_PATH_IMAGE006
进行扩充以得到扩充后的区域
Figure 422780DEST_PATH_IMAGE007
，区域
Figure 312238DEST_PATH_IMAGE007
即为特征图
Figure 955447DEST_PATH_IMAGE001
中
Figure 272159DEST_PATH_IMAGE005
区域内所有特征向量在特征图
Figure 931810DEST_PATH_IMAGE002
中的局部搜索区域。
其中，对映射区域
Figure 624960DEST_PATH_IMAGE006
进行扩充，目的在于保证特征图
Figure 420878DEST_PATH_IMAGE001
中区域
Figure 377332DEST_PATH_IMAGE005
的边缘部分也有足够的搜索的范围，因为目标在两帧之间是有一个位移变化的，因此需要考虑目标在移动之后，目标所包括的特征向量所对应的位置也会发生变化，因此对映射区域
Figure 760166DEST_PATH_IMAGE006
进行扩充，能尽量保证目标经过两帧的位移变化之后，其对应的特征向量仍能在匹配范围之内。
对映射区域
Figure 991427DEST_PATH_IMAGE006
进行扩充以得到扩充后的区域
Figure 907430DEST_PATH_IMAGE007
，具体包括以下步骤：
S231、获取运动小目标的尺寸、在两帧图像之间的位移量。
在一个实施例中，运动小目标的尺寸小于30*30，运动小目标在两帧之间的位移量极少有超过其尺寸的，故运动小目标的尺寸
Figure 831524DEST_PATH_IMAGE014
估计为30，运动小目标的位移量
Figure 200188DEST_PATH_IMAGE015
估计为10。
S232、根据运动小目标的尺寸、在两帧图像之间的位移量，计算出扩充边长。
在本申请实施例中，扩充边长
Figure 438403DEST_PATH_IMAGE016
的计算方式为：
Figure 943333DEST_PATH_IMAGE017
其中，
Figure 536863DEST_PATH_IMAGE018
为多层特征提取网络中下采样的次数。
S233、获取映射区域
Figure 392824DEST_PATH_IMAGE006
在特征图
Figure 231467DEST_PATH_IMAGE002
中的位置信息。
在本申请实施例中，位置信息为左上角坐标和宽度，以特征图
Figure 856483DEST_PATH_IMAGE002
左上角为坐标原点，根据映射区域
Figure 325642DEST_PATH_IMAGE006
在特征图
Figure 403319DEST_PATH_IMAGE002
中的位置信息，可以得到映射区域
Figure 45653DEST_PATH_IMAGE006
的左上角坐标(
Figure 292220DEST_PATH_IMAGE019
)，根据特征图的宽和划分的区域数
Figure 729018DEST_PATH_IMAGE004
，可以计算出映射区域
Figure 293991DEST_PATH_IMAGE006
的宽度
Figure 208858DEST_PATH_IMAGE020
。
S234、根据映射区域
Figure 11729DEST_PATH_IMAGE006
在特征图
Figure 619428DEST_PATH_IMAGE002
中的位置信息以及扩充边长，得到扩充后的区域
Figure 671697DEST_PATH_IMAGE007
。
在本申请实施例中，根据映射区域
Figure 888790DEST_PATH_IMAGE006
在特征图
Figure 342905DEST_PATH_IMAGE002
中的位置信息以及扩充边长，得到扩充后的区域
Figure 387084DEST_PATH_IMAGE007
，具体包括：
S2341、根据映射区域
Figure 926650DEST_PATH_IMAGE006
在特征图
Figure 448898DEST_PATH_IMAGE002
的位置信息以及扩充边长，获取扩充后的区域
Figure 757520DEST_PATH_IMAGE007
在特征图
Figure 707021DEST_PATH_IMAGE002
的位置信息。
根据映射区域
Figure 173031DEST_PATH_IMAGE006
的左上角坐标（
Figure 498970DEST_PATH_IMAGE019
）、宽度
Figure 662098DEST_PATH_IMAGE020
以及扩充边长
Figure 782501DEST_PATH_IMAGE016
，可得到扩充后的区域
Figure 562238DEST_PATH_IMAGE007
的左上角坐标为（
Figure 426289DEST_PATH_IMAGE021
）,宽度为
Figure 443923DEST_PATH_IMAGE022
，从而确定扩充后的区域
Figure 807DEST_PATH_IMAGE007
在特征图
Figure 438479DEST_PATH_IMAGE002
中的位置。
S2342、根据扩充后的区域
Figure 840641DEST_PATH_IMAGE007
在特征图
Figure 978362DEST_PATH_IMAGE002
的位置信息，判断扩充后的区域
Figure 706146DEST_PATH_IMAGE007
是否有超出特征图
Figure 663738DEST_PATH_IMAGE002
的范围，若有超出部分，则重新调整扩充后的区域
Figure 400750DEST_PATH_IMAGE007
的位置信息。
在本申请实施例中，参见图3，因为对特征图
Figure 392977DEST_PATH_IMAGE001
进行区域划分时，会有部分区域是处于特征图
Figure 515829DEST_PATH_IMAGE001
边界位置或是与特征图
Figure 226296DEST_PATH_IMAGE001
边界位置有重叠的，当对这些区域进行扩充时，会出现扩充后的区域超出特征图
Figure 439103DEST_PATH_IMAGE002
的范围这种情况，因此需要重新调整扩充后的区域
Figure 285836DEST_PATH_IMAGE007
的位置信息，在保证扩充后的区域
Figure 355424DEST_PATH_IMAGE007
宽度不变的情况下，调整扩充后的区域
Figure 287607DEST_PATH_IMAGE007
的左上角坐标。
如图3中第一种情况，原先计算得到的扩充后的区域
Figure 366422DEST_PATH_IMAGE007
的左上角坐标为（
Figure 831776DEST_PATH_IMAGE021
），调整之后得到扩充后的区域
Figure 806685DEST_PATH_IMAGE007
的左上角坐标为（
Figure 695007DEST_PATH_IMAGE023
），如第二种情况，调整之后得到扩充后的区域
Figure 46354DEST_PATH_IMAGE007
的左上角坐标为（
Figure 867679DEST_PATH_IMAGE024
）。
具体的判断计算方式为，首先根据左上角坐标判断坐标值是否为负值，若只有x轴为负值，则将x轴坐标置为0，再判断y轴坐标加上扩充后的区域
Figure 13490DEST_PATH_IMAGE007
宽度
Figure 920266DEST_PATH_IMAGE022
是否大于特征图
Figure 842348DEST_PATH_IMAGE002
的宽
Figure 518180DEST_PATH_IMAGE025
,若否，则y轴坐标不变，若是，则y轴坐标在原有的基础上减去一个
Figure 100471DEST_PATH_IMAGE016
宽度。
若只有y轴为负值，则将y轴坐标置为0，再判断x轴坐标加上扩充后的区域
Figure 494543DEST_PATH_IMAGE007
宽度
Figure 390955DEST_PATH_IMAGE022
是否大于特征图
Figure 186873DEST_PATH_IMAGE002
的宽
Figure 940065DEST_PATH_IMAGE025
,若否，则x轴坐标不变，若是，则x轴坐标在原有的基础上减去一个
Figure 54389DEST_PATH_IMAGE016
宽度。
若x轴坐标和y轴坐标都为负值，则将x轴坐标和y轴坐标都置为0。
若x轴坐标和y轴坐标分别加上扩充后的区域
Figure 551230DEST_PATH_IMAGE007
宽度
Figure 467233DEST_PATH_IMAGE022
后，都大于大于特征图
Figure 391327DEST_PATH_IMAGE002
的宽
Figure 759991DEST_PATH_IMAGE025
，则将x轴坐标和y轴坐标在原有的基础上均减去一个
Figure 998206DEST_PATH_IMAGE016
宽度。
对区域
Figure 503136DEST_PATH_IMAGE003
依次进行上述操作，可以得到与区域
Figure 99596DEST_PATH_IMAGE003
一一对应的局部搜索区域
Figure 689977DEST_PATH_IMAGE026
。
S300、根据特征图
Figure 528620DEST_PATH_IMAGE001
中每个特征向量从对应的局部搜索区域中匹配出相应的相似信息，并将所有的相似信息集合成匹配信息。
其中，相似信息包括相似度和位置信息，相似度即为两个特征向量的相似程度，位置信息则为特征向量在特征图中的位置索引，相似信息反映了像素点在两帧之间的变化状态，通过关联像素运动矢量矩阵，有助于对光流进行更精确估计。
在本申请实施例中，用欧式距离来表示两个特征向量的相似程度，相似度计算的是特征图
Figure 419216DEST_PATH_IMAGE001
中待匹配特征向量与对应局部搜索区域中的特征向量的相似程度， 位置信息指的是局部搜索区域中与特征图
Figure 685112DEST_PATH_IMAGE001
中待匹配特征向量相似度高的特征向量在特征图
Figure 762790DEST_PATH_IMAGE002
中的位置索引。
具体的，根据特征图
Figure 342807DEST_PATH_IMAGE001
中每个特征向量从对应的局部搜索区域中匹配出相应的相似信息，包括以下步骤：
S310、根据特征图
Figure 320865DEST_PATH_IMAGE001
中的特征向量
Figure 757662DEST_PATH_IMAGE008
，获取其对应的局部搜索区域内所有特征向量,并形成特征向量集
Figure 322636DEST_PATH_IMAGE009
。
S320、对特征向量
Figure 768661DEST_PATH_IMAGE008
和特征向量集
Figure 368269DEST_PATH_IMAGE009
进行k近邻搜索，获取与
Figure 975968DEST_PATH_IMAGE008
相似度最高的k个特征向量的位置信息和相似度。
其中，特征向量集
Figure 762659DEST_PATH_IMAGE009
相当于匹配信息库，根据特征向量
Figure 451522DEST_PATH_IMAGE008
搜索匹配出与之相似的信息。
在一个实施例中，对特征向量
Figure 905637DEST_PATH_IMAGE008
和特征向量集
Figure 684238DEST_PATH_IMAGE009
进行k近邻搜索，获取与
Figure 223803DEST_PATH_IMAGE008
相似度最高的k个特征向量的位置信息和相似度,具体包括以下步骤：
S321、对特征向量集
Figure 746052DEST_PATH_IMAGE009
构建索引。
其中，索引采用的是Faiss库中的IndexFlatL2，对特征向量集
Figure 257935DEST_PATH_IMAGE009
构建索引，具体包括：根据特征向量集
Figure 207437DEST_PATH_IMAGE009
的容量建立索引，将特征向量集
Figure 732834DEST_PATH_IMAGE009
添加进索引。
S322、对特征向量
Figure 793194DEST_PATH_IMAGE008
和特征向量集
Figure 221901DEST_PATH_IMAGE009
进行k近邻搜索，获取与
Figure 607883DEST_PATH_IMAGE008
相似度最高的k个特征向量的区域索引值和相似度。
其中，对特征向量
Figure 856462DEST_PATH_IMAGE008
和特征向量集
Figure 923775DEST_PATH_IMAGE009
进行k近邻搜索是通过建立的索引来进行，返回的信息为k个与特征向量
Figure 206989DEST_PATH_IMAGE008
相似度最高的特征向量的区域索引值以及两者之间的相似度。
S323、将区域的索引值转换为全图的索引值。
在本申请实施例情况下，由于是在特征图
Figure 11476DEST_PATH_IMAGE002
的局部搜索区域中进行k近邻搜索，返回的索引值是区域索引值，因此还需要对索引值进行转换，将其转换为全图索引值，具体转换过程包括：根据局部搜索区域在整个特征图
Figure 747351DEST_PATH_IMAGE002
中左上角坐标 (
Figure 415093DEST_PATH_IMAGE027
,
Figure 818392DEST_PATH_IMAGE028
)、局部搜索区域的宽
Figure 280598DEST_PATH_IMAGE029
和整个特征图
Figure 503769DEST_PATH_IMAGE002
的宽
Figure 975201DEST_PATH_IMAGE025
以及经过k近邻搜索返回的区域索引值
Figure 669226DEST_PATH_IMAGE030
，获取全图索引值
Figure 302332DEST_PATH_IMAGE031
，具体计算方式为：
Figure 12799DEST_PATH_IMAGE032
S324、根据全图索引值，从特征图
Figure 22344DEST_PATH_IMAGE002
中获取对应特征向量的位置信息。
S330、将位置信息和相似度整合，以形成特征图
Figure 134656DEST_PATH_IMAGE001
中特征向量
Figure 204243DEST_PATH_IMAGE008
的相似信息。
在本申请实施例中，对特征图
Figure 136427DEST_PATH_IMAGE001
中所有的特征向量都进行上述操作，可以获取与所有特征向量一一对应的相似信息，将所有相似信息集合形成匹配信息，为后续迭代估计光流提供支持。
S400、利用上下文信息和匹配信息，通过预设的循环网络进行迭代光流估计，并输出光流估计结果。
在本实施申请中，上下文信息包括每个像素点经过特征提取得到的深层特征信息以及像素点本身所处的环境信息，环境信息包括像素点所在图像中的位置信息和像素点之间的关联信息；匹配信息是通过局部搜索匹配得到的相似信息的集合，可以帮助光流估计偏向匹配程度最高的位置，也就是与像素运动矢量矩阵变化状态更接近的位置；预设的循环网络采用的是GRU（门控循环单元），GRU通过对历史节点信息的选择性保留，可以更好地帮助网络去进行迭代，通过循环网络进行迭代光流估计，具体包括以下步骤：
S410、获取光流估计初始值。
在本申请实施例子，获取光流估计初始值，也就是对光流估计进行初始化赋值，因为每一次迭代的光流估计会作为下一次迭代的输入，所以需要对光流估计进行初始化赋值，这样，第一次迭代时，光流估计初始化值可以作为输入信息，同时经过循环网络得到的残差光流结合光流估计初始化值，即为第一次迭代的光流估计，通过循环网络不断迭代的过程，其实也就是将光流估计初始值向真实光流逼近的过程。
S420、根据光流估计初始值、匹配信息和上下文信息，获取初次迭代的输入信息。
在本申请实施例中，光流估计初始值
Figure 949662DEST_PATH_IMAGE033
赋为0，光流估计初始值
Figure 355629DEST_PATH_IMAGE033
表示的是像素运动矢量矩阵，初始赋值为0，即矩阵中每个元素赋值为 0。
S430、根据输入信息，通过循环网络进行迭代得到光流估计。
在本申请实施例中，通过循环网络进行迭代得到光流估计，参见图4，具体包括以下步骤：
S431、获取上一次迭代的光流估计。
若是第一次迭代，上一次迭代的光流估计即为光流估计初始值。
S432、根据上一次迭代的光流估计、匹配信息和上下文信息，获取当前迭代的输入
Figure 596118DEST_PATH_IMAGE010
和历史隐藏层状态
Figure 15598DEST_PATH_IMAGE011
；
其中，
Figure 366945DEST_PATH_IMAGE010
是上次光流估计的结果
Figure 188270DEST_PATH_IMAGE034
、匹配信息
Figure 865239DEST_PATH_IMAGE035
和上下文信息
Figure 772015DEST_PATH_IMAGE036
的融合，具体表现为：
Figure 425588DEST_PATH_IMAGE037
Figure 101420DEST_PATH_IMAGE038
Figure 886974DEST_PATH_IMAGE011
为前几次迭代后积累信息，若是第一次迭代，则
Figure 281046DEST_PATH_IMAGE011
初始值为上下文信息
Figure 974195DEST_PATH_IMAGE036
。
S433、根据当前迭代的输入
Figure 35692DEST_PATH_IMAGE010
和历史隐藏层状态
Figure 523306DEST_PATH_IMAGE011
，通过循环网络获取更新后的隐藏层状态
Figure 906139DEST_PATH_IMAGE012
。
在本申请实施例中，通过循环网络获取更新后的隐藏层状态
Figure 402979DEST_PATH_IMAGE012
，具体包括：
根据
Figure 256666DEST_PATH_IMAGE010
和
Figure 180759DEST_PATH_IMAGE011
，分别获取更新门状态
Figure 283845DEST_PATH_IMAGE039
和重置门状态
Figure 584376DEST_PATH_IMAGE040
，具体表现为：
Figure 354886DEST_PATH_IMAGE041
Figure 948416DEST_PATH_IMAGE042
根据
Figure 538797DEST_PATH_IMAGE010
、
Figure 580703DEST_PATH_IMAGE011
和重置门状态
Figure 205719DEST_PATH_IMAGE043
获取候选隐藏层状态
Figure 471615DEST_PATH_IMAGE044
，候选隐藏层状态
Figure 549293DEST_PATH_IMAGE044
包括当前输入信息
Figure 926047DEST_PATH_IMAGE010
和有针对性地对上一个节点隐藏层状态
Figure 172614DEST_PATH_IMAGE011
的保留信息，重置门的状态
Figure 609412DEST_PATH_IMAGE043
决定了保留信息的量，具体表现为：
Figure 174385DEST_PATH_IMAGE045
根据候选隐藏层状态
Figure 354831DEST_PATH_IMAGE044
、上一个节点的隐藏层状态
Figure 688860DEST_PATH_IMAGE011
以及更新门状态
Figure 499822DEST_PATH_IMAGE039
，获取更新后的隐藏层状态
Figure 552091DEST_PATH_IMAGE012
，更新后的隐藏层状态
Figure 34763DEST_PATH_IMAGE012
包括对上一个节点的隐藏层状态
Figure 223299DEST_PATH_IMAGE011
和当前节点候选隐藏层状态
Figure 267478DEST_PATH_IMAGE044
的选择性保留，具体表现为：
Figure 807044DEST_PATH_IMAGE046
S434、对更新后的隐藏层状态
Figure 976295DEST_PATH_IMAGE012
经过数次卷积得到残差光流，根据残差光流对上一次迭代的光流估计进行更新，得到当前迭代的光流估计。
其中，残差光流
Figure 455556DEST_PATH_IMAGE047
，可理解为更新的方向，对上一次迭代光流估计值
Figure 873899DEST_PATH_IMAGE034
进行更新，得到当前迭代的光流估计值，具体表现为：
Figure 166340DEST_PATH_IMAGE048
为了更好地说明本发明的技术效果，发明人还进行了下列实验：
实验用到的数据集包括：公开的规模较大的数据集，如FlyingChairs、Sintel、MPI-Sintel等。
实验用到的评测指标为EPE(Endpoint error),表示的是所有像素点的估计光流和真实光流之间欧氏距离的平均值。
实验1：在GRU网络循环2次，top_k设置为2的条件下，将局部搜索区域大小依次定义为原图的1/4、1/16和1/64，然后分别进行实验，各实验组的耗时情况如下所示：
表1：
Figure 226700DEST_PATH_IMAGE050
实验2：在GRU网络循环2次，top_k分别设置2和8的条件下，将局部搜索区域大小依次定义为原图的1/4、1/16和1/64，然后分别进行实验，各实验组的光流估计精度情况如下所示：
表2：
Figure 389828DEST_PATH_IMAGE051
从以上两组实验不难看出，在不改变网络结构，不改变网络权重，仅仅改变搜索方式的情况下，局部搜索的搜索耗时相较于全局搜索大大减少。其中，当搜索范围为原图的1/16时，其搜索耗时仅为全局搜索的16.1%，其光流估计整体耗时为全局搜索的78.6%。且在局部搜索的情况下，光流估计精度并没有明显下降，反而在一些情况下还有提升。其中，top_k=2时，搜索范围为原图1/16时的光流估计精度明显好于全图搜索，这表明局部搜索策略可以提升光流估计的实时性，同时光流估计的精度并没有显著降低。
本申请实施例还提供一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种基于局部搜索的运动小目标快速光流估计方法的计算机程序。
本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种基于局部搜索的运动小目标快速光流估计方法，其特征
在于，包括：
获取两帧相邻的图像，对两帧图像进行特征提取，获得分别与两帧图像相应的特征图
Figure DEST_PATH_IMAGE001
和
Figure 711791DEST_PATH_IMAGE002
，并对第一帧图像单独编码获取上下文信息；
为特征图
Figure 294082DEST_PATH_IMAGE001
中每个特征向量在特征图
Figure 62056DEST_PATH_IMAGE002
中匹配出对应的局部搜索区域；
依次根据特征图
Figure 755205DEST_PATH_IMAGE001
中每个特征向量从对应的局部搜索区域中匹配出相应的相似信息，并将所有的相似信息集合成匹配信息；
利用所述上下文信息和所述匹配信息，通过预设的循环网络进行迭代光流估计，并输出光流估计结果。
2.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法，其特征在于，对第一帧图像单独编码获取上下文信息，包括：
根据预设的上下文网络对第一帧图像进行多尺度特征提取分别获取局部特征和全局特征；
对局部特征和全局特征进行融合以得到上下文信息。
3.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法，其特征在于，为特征图
Figure 613440DEST_PATH_IMAGE001
中每个特征向量在特征图
Figure 710840DEST_PATH_IMAGE002
中匹配出对应的局部搜索区域，包括：
对特征图
Figure 716842DEST_PATH_IMAGE001
进行划分以形成多个连续区域
Figure DEST_PATH_IMAGE003
,其中
Figure 324934DEST_PATH_IMAGE004
为正整数；
对任意一块区域
Figure DEST_PATH_IMAGE005
在特征图
Figure 568834DEST_PATH_IMAGE002
中找到相同位置的映射区域
Figure 227348DEST_PATH_IMAGE006
；
对映射区域
Figure 471379DEST_PATH_IMAGE006
进行扩充以得到扩充后的区域
Figure DEST_PATH_IMAGE007
，区域
Figure 145812DEST_PATH_IMAGE007
即为特征图
Figure 916321DEST_PATH_IMAGE001
中
Figure 870371DEST_PATH_IMAGE005
区域内所有特征向量在特征图
Figure 991911DEST_PATH_IMAGE002
中的局部搜索区域。
4.根据权利要求3所述的一种基于局部搜索的运动小目标快速光流估计方法，其特征在于，对映射区域
Figure 705920DEST_PATH_IMAGE006
进行扩充以得到扩充后的区域
Figure 65357DEST_PATH_IMAGE007
，包括：
获取运动小目标的尺寸、在两帧图像之间的位移量；
根据运动小目标的尺寸、在两帧图像之间的位移量，计算出扩充边长；
获取映射区域
Figure 455887DEST_PATH_IMAGE006
在特征图
Figure 533565DEST_PATH_IMAGE002
中的位置信息；
根据映射区域
Figure 552730DEST_PATH_IMAGE006
在特征图
Figure 360149DEST_PATH_IMAGE002
中的位置信息以及扩充边长，得到扩充后的区域
Figure 796946DEST_PATH_IMAGE007
。
5.根据权利要求4所述的一种基于局部搜索的运动小目标快速光流估计方法，其特征在于，根据映射区域
Figure 237286DEST_PATH_IMAGE006
在特征图
Figure 417732DEST_PATH_IMAGE002
中的位置信息以及扩充边长，得到扩充后的区域
Figure 876395DEST_PATH_IMAGE007
，包括：
根据映射区域
Figure 749673DEST_PATH_IMAGE006
在特征图
Figure 175844DEST_PATH_IMAGE002
的位置信息以及扩充边长，获取扩充后的区域
Figure 894401DEST_PATH_IMAGE007
在特征图
Figure 473150DEST_PATH_IMAGE002
的位置信息；
根据扩充后的区域
Figure 251750DEST_PATH_IMAGE007
在特征图
Figure 135524DEST_PATH_IMAGE002
的位置信息，判断扩充后的区域
Figure 782406DEST_PATH_IMAGE007
是否有超出特征图
Figure 659402DEST_PATH_IMAGE002
的范围，若有超出部分，则重新调整扩充后的区域
Figure 608903DEST_PATH_IMAGE007
的位置信息。
6.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法，其特征在于，根据特征图
Figure 494820DEST_PATH_IMAGE001
中每个特征向量从对应的局部搜索区域中匹配出相应的相似信息，包括：
根据特征图
Figure 820759DEST_PATH_IMAGE001
中的特征向量
Figure 859253DEST_PATH_IMAGE008
，获取其对应的局部搜索区域内所有特征向量,并形成特征向量集
Figure DEST_PATH_IMAGE009
；
从特征向量集
Figure 838710DEST_PATH_IMAGE009
中匹配出与特征向量
Figure 352868DEST_PATH_IMAGE008
相似度最高的k个特征向量，并获取所匹配的k个特征向量的位置信息和相似度；
将匹配出的k个特征向量的位置信息和相似度整合，以形成特征图
Figure 590821DEST_PATH_IMAGE001
中特征向量
Figure 936351DEST_PATH_IMAGE008
的相似信息。
7.根据权利要求6所述的一种基于局部搜索的运动小目标快光流估计方法，其特征在于，从特征向量集
Figure 493235DEST_PATH_IMAGE009
中匹配出与特征向量
Figure 104476DEST_PATH_IMAGE008
相似度最高的k个特征向量，并获取所匹配的k个特征向量的位置信息和相似度,包括：
对特征向量集
Figure 772217DEST_PATH_IMAGE009
构建索引；
对特征向量
Figure 34571DEST_PATH_IMAGE008
和特征向量集
Figure 762356DEST_PATH_IMAGE009
进行k近邻搜索，获取与特征向量
Figure 565620DEST_PATH_IMAGE008
相似度最高的k个特征向量的区域索引值和相似度；
将区域的索引值转换为全图的索引值；
根据全图索引值，从特征图
Figure 896107DEST_PATH_IMAGE002
中获取与特征向量
Figure 888334DEST_PATH_IMAGE008
匹配的k个特征向量的位置信息。
8.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法，其特征在于，利用所述上下文信息和所述匹配信息，通过预设的循环网络进行迭代光流估计，包括：
获取光流估计初始值；
根据光流估计初始值、匹配信息和上下文信息，获取输入信息；
根据输入信息，通过循环网络进行迭代得到光流估计。
9.根据权利要求8所述的一种基于局部搜索的运动小目标快速光流估计方法，其特征在于，通过循环网络进行迭代得到光流估计，包括：
获取上一次迭代的光流估计；
根据上一次迭代的光流估计、匹配信息和上下文信息，获取当前迭代的输入
Figure 662386DEST_PATH_IMAGE010
和历史隐藏层状态
Figure DEST_PATH_IMAGE011
；
根据当前迭代的输入
Figure 966329DEST_PATH_IMAGE010
和历史隐藏层状态
Figure 975873DEST_PATH_IMAGE011
，通过循环网络获取更新后的隐藏层状态
Figure 462087DEST_PATH_IMAGE012
；
对更新后的隐藏层状态
Figure 266095DEST_PATH_IMAGE012
经过数次卷积得到残差光流，根据残差光流对上一次迭代的光流估计进行更新，得到当前迭代的光流估计。
10.一种可读存储介质，其特征在于, 存储有能够被处理器加载并执行如权利要求1至9任一项所述的基于局部搜索的运动小目标快速光流估计方法的计算机程序。
CN202210797411.2A 2022-07-08 2022-07-08 基于局部搜索的运动小目标快速光流估计方法及存储介质 Pending CN115170826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210797411.2A CN115170826A (zh) 2022-07-08 2022-07-08 基于局部搜索的运动小目标快速光流估计方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210797411.2A CN115170826A (zh) 2022-07-08 2022-07-08 基于局部搜索的运动小目标快速光流估计方法及存储介质

Publications (1)

Publication Number Publication Date
CN115170826A true CN115170826A (zh) 2022-10-11

Family

ID=83490420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210797411.2A Pending CN115170826A (zh) 2022-07-08 2022-07-08 基于局部搜索的运动小目标快速光流估计方法及存储介质

Country Status (1)

Country Link
CN (1) CN115170826A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486107A (zh) * 2023-06-21 2023-07-25 南昌航空大学 一种光流计算方法、系统、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486107A (zh) * 2023-06-21 2023-07-25 南昌航空大学 一种光流计算方法、系统、设备及介质
CN116486107B (zh) * 2023-06-21 2023-09-05 南昌航空大学 一种光流计算方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN107563313B (zh) 基于深度学习的多目标行人检测与跟踪方法
CN108154118B (zh) 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN111060115B (zh) 一种基于图像边缘特征的视觉slam方法及系统
CN113516664B (zh) 一种基于语义分割动态点的视觉slam方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN112132897A (zh) 一种基于深度学习之语义分割的视觉slam方法
CN110223348A (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
WO2019057179A1 (zh) 一种基于点线特征的视觉slam方法和装置
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN114708293A (zh) 基于深度学习点线特征和imu紧耦合的机器人运动估计方法
CN112270694B (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
CN114299405A (zh) 一种无人机图像实时目标检测方法
US20230020713A1 (en) Image processing system and method
CN114707611B (zh) 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质
CN115170826A (zh) 基于局部搜索的运动小目标快速光流估计方法及存储介质
CN110598711A (zh) 一种结合分类任务的目标分割方法
CN112509014B (zh) 金字塔遮挡检测块匹配的鲁棒插值光流计算方法
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN117152470A (zh) 基于深度特征点匹配的空天非合作目标位姿估计方法及装置
Qiao et al. Objects matter: Learning object relation graph for robust absolute pose regression
CN111950599A (zh) 一种动态环境下融合边缘信息的稠密视觉里程计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination