CN113421302A - 一种光流标注方法及装置 - Google Patents

一种光流标注方法及装置 Download PDF

Info

Publication number
CN113421302A
CN113421302A CN202110643327.0A CN202110643327A CN113421302A CN 113421302 A CN113421302 A CN 113421302A CN 202110643327 A CN202110643327 A CN 202110643327A CN 113421302 A CN113421302 A CN 113421302A
Authority
CN
China
Prior art keywords
frame image
target
rigid
area
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110643327.0A
Other languages
English (en)
Inventor
王文超
陈庆
章合群
郑春煌
周祥明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110643327.0A priority Critical patent/CN113421302A/zh
Publication of CN113421302A publication Critical patent/CN113421302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种光流标注方法及装置，用于在实际场景中获取大量光流标注数据。该方法包括：从待处理视频中确定第一帧图像和第二帧图像；确定所述第一帧图像上的第一刚体目标；确定所述第二帧图像上与所述第一刚性目标对应的第二刚体目标；根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流，所述第二特征点与所述第一特征点对应。

Description

一种光流标注方法及装置
技术领域
本发明涉及深度光流技术领域，尤其涉及一种光流标注方法及装置。
背景技术
光流(optical flow)是空间运动的物体在成像平面上的像素运动的瞬时速度。所谓光流估计(或光流预测)就是通过挖掘图像序列相邻两帧间像素的对应关系来估算像素的位移矢量，即光流。光流估计在目标跟踪、运动目标检测、深度估计等领域有着重要应用。
随着深度学习的发展，利用神经网络预测两幅图像光流图的深度光流方法应运而生。深度光流与传统光流计算方法相比，无论在精度还是速度上都有着明显的优势。
通常情况下，训练深度光流网络需要大量的光流标注数据，然而光流标注数据的获取是一件极为困难的事情，现有技术中获取实际场景中的光流标注数据，实施困难较大且成本昂贵，成为亟待解决的技术问题。
发明内容
本发明针对光流标注数据获取难的问题，提出基于实例分割算法的刚体运动目标的光流标注方法，采用真实应用场景视频作为输入，实施过程的自动化程度较高且附加依赖较少，可以实现在低成本的情况下生成大量光流标注数据。
第一方面，本发明实施例提供一种光流标注方法，包括：
从待处理视频中确定第一帧图像和第二帧图像；
确定所述第一帧图像中第一刚体目标；
确定所述第二帧图像上与所述第一刚性目标对应的第二刚体目标；
根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流，所述第二特征点与所述第一特征点对应。
可选的，确定所述第二帧图像上与所述第一刚性目标对应的第二刚体目标，包括：在所述第二帧图像上确定第二区域；
如果所述第二区域与第一区域之间的交并比满足条件，确定所述第二区域内的目标为所述第二刚性目标；其中，所述第一区域为所述第一刚性目标在所述第一帧图像上的所在区域。
可选的，所述第二区域与第一区域之间的交并比满足条件，包括：所述交并比大于阈值。
可选的，在所述第二帧图像上确定出多个第二区域的情况下，所述多个第二区域中与第一区域交并比最大的第二区域中所包括的刚性目标为所述第二刚性目标。
可选的，所述方法还包括：确定所述第一帧图像上非刚性目标所在的第三区域，以及所述第二帧图像上所述非刚性目标所在的第四区域；
将所述第三区域和所述第四区域像素点填充为0，或者，将所述第一帧图像和所述第二帧图像上第三区域和第四区域的并集区域的像素点填充为0。
可选的，根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流，包括：
所述第一特征点和所述第二特征点均包含多个点，计算所述第一特征点和所述第二特征点中互相对应的一对点之间的位置偏移量；
根据多对互相对应点之间的位置偏移量的平均值，生成光流标注数据。
可选的，所述方法还包括：将所述第一帧图像和所述第二帧图像以及所述光流标注数据对应保存。
可选的，所述第一帧图像和所述第二帧图像是相邻图像，或者，间隔预设帧图像数量的图像。
第二方面，本发明实施例提供一种光流标注装置，包括：
获取模块，用于从待处理视频中确定第一帧图像和第二帧图像；
处理模块，用于确定所述第一帧图像上的第一刚体目标；以及确定所述第二帧图像上与所述第一刚性目标对应的第二刚体目标；根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流，其中，所述第二特征点与所述第一特征点对应。
可选的，所述处理模块具体用于：
在所述第二帧图像上确定第二区域；
如果所述第二区域与第一区域之间的交并比满足条件，确定所述第二区域内的目标为所述第二刚性目标；其中，所述第一区域为所述第一刚性目标在所述第一帧图像上的所在区域。
可选的，所述第二区域与第一区域之间的交并比满足条件，包括：所述交并比大于阈值。
可选的，在所述第二帧图像上确定出多个第二区域的情况下，所述多个第二区域中与第一区域交并比最大的第二区域中所包括的刚性目标为所述第二刚性目标。
可选的，所述处理模块还用于：确定所述第一帧图像上非刚性目标所在的第三区域，以及所述第二帧图像上所述非刚性目标所在的第四区域；
将所述第三区域和所述第四区域像素点填充为0，或者，将所述第一帧图像和所述第二帧图像上第三区域和第四区域的并集区域的像素点填充为0。
可选的，所述处理模块具体用于：所述第一特征点和所述第二特征点均包含多个点，计算所述第一特征点和所述第二特征点中互相对应的一对点之间的位置偏移量；
根据多对互相对应点之间的位置偏移量的平均值，生成光流标注数据。
可选的，所述处理模块还用于：将所述第一帧图像和所述第二帧图像以及所述光流标注数据对应保存。
可选的，所述第一帧图像和所述第二帧图像是相邻图像，或者，间隔预设帧图像数量的图像。
第三方面，本发明实施例提供一种光流标注装置，所述光流标注装置中包括存储器和处理器，所述存储器中存储有计算机指令，当所述计算机指令在所述处理器上运行时，使得所述处理器执行如上述第一方面提供的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如上述第一方面提供的方法。
第五方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述第一方面提供的方法。
在本申请实施例中，光流标注装置从待处理视频中获取第一帧图像和第二帧图像；然后对所述第一帧图像与所述第二帧图像进行处理，确定所述第一帧图像中第一刚体目标上的第一特征点，以及所述第二帧图中所述第一刚体目标上的第二特征点，所述第二特征点与所述第一特征点对应；根据所述第一特征点和所述第二特征点之间的位置偏移量生成光流。通过这种方式生成待处理视频中相邻图像序列之间的光流标注数据，克服了现有技术中光流标注由于激光雷达等专业设备使用成本高而难以利用实际场景数据生成光流的困难，在直接利用本申请实施例中所述方法对实际应用场景进行处理时，可以方便地获取大量光流标注数据。
附图说明
图1为本发明实施例提供的一种光流标注方法的场景示意图；
图2为本发明实施例提供的一种光流标注方法的流程示意图；
图3为本发明实施例提供的一种光流标注方法的具体示例图；
图4为本发明实施例提供的一种光流标注方法的特征点匹配示意图；
图5为本发明实施例提供的一种光流标注方法的区域合并示意图；
图6为本发明实施例提供的一种光流标注装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。
如前文所述，在进行深度光流网络训练时，需要大量光流标注数据作为训练样本，获取光流标注数据是一件很困难的事情，而目前的光流标注技术在一般情况下只能通过计算机三维模型人工合成光流标注数据或者通过昂贵又复杂的激光雷达等专业设备获取实际场景中的光流标注数据。
鉴于此，本发明实施例提供了一种光流标注方法，该方法可应用于光流标注装置，具体而言，所述光流标注方法包括：从待处理视频中确定第一帧图像和第二帧图像，所述第一帧图像和第二帧图像是相邻的两帧图像；确定所述第一帧图像中刚体目标上的第一特征点，以及所述第二帧图中所述刚体目标上的第二特征点，所述第二特征点与所述第一特征点对应；根据所述第一特征点和所述第二特征点之间的位置偏移量生成光流。通过这种方法可以从待处理视频中确定光流，如果待处理视频中包括图像较多，可以获取大量光流标注数据，降低获取光流数据的难度，而且成本也较低。
下面结合附图介绍本发明实施例提供的技术方案。
图1为本发明实施例提供的一种光流标注方法的场景示意图。如图1所示，待处理视频中包含若干帧图像，构成所述图像序列。因此，通常情况下，所述图像序列中任意相邻两帧图像之间的相似度很高，如图1中所示的从所述图像序列中选取的相邻的第一帧图像与第二帧图像。确定所述第一帧图像中第一刚体目标(比如目标C1)上的第一特征点，以及所述第二帧图中所述第一刚体目标(比如目标C2)上的第二特征点，所述第二特征点与所述第一特征点对应；根据所述第一特征点和所述第二特征点之间的位置偏移量生成光流。通过这样的方法，可以生成大量用于训练深度光流网络的光流标注数据。
可以理解的是，除上述应用场景之外，本申请所述光流标注装置还可以处理更多数量的相邻帧图像和更多数量的目标，相应的，所述光流标注装置可以标注超过两幅相邻帧图像的目标的光流。需要注意的是，上文提及的应用场景仅是为了便于理解本发明的精神和原理而示出，本发明示例在此方面不受任何限制。相反，本发明实施例可以应用于适用的任何场景。
参考图2为本发明实施例提供的一种光流标注方法的流程示意图，该方法可以适用于图1所示的场景，具体而言，该方法包括以下步骤：
步骤201：从待处理视频中确定第一帧图像和第二帧图像。
示例性的，所述第一帧图像和所述第二帧图像可以是相邻的两帧图像，或者，是相隔一定图像数量的图像。如图1所示，所述第一帧图像与所述第二帧图像是从所述待处理转换而成的图像序列中选取的两帧图像，并且所述第一帧图像与所述第二帧图像的选取顺序是按照所述待处理视频的播放顺序进行选取的。
比如，若所述待处理视频转换的图像序列中共含20帧图像，分别将这20帧图像标号为1、2、3…20，则先选取1、2分别作为所述第一帧图像与所述第二帧图像进行处理，待这两帧图像处理完之后，再选取2、3分别作为所述第一帧图像与所述第二帧图像进行相同的处理，待这两帧图像处理完之后，选取3、4…依次类推，直到将所述20帧图像全部处理完为止。
步骤202：确定所述第一帧图像中第一刚体目标。
可以理解为，在所述第一帧图像上寻找第一刚体目标。所谓刚体目标指的是在运动中和受力作用后形状和大小不变并且内部各点的相对位置不变的目标，如图1所示，其中第一帧图像上的目标C1和目标D1(图中车辆状区域)为第一刚体目标。可选的，第一刚体目标可以是所述第一帧图像上的运动目标。
步骤203：确定所述第二帧图像上与所述第一刚性目标对应的第二刚性目标。
可以理解为，在所述第二帧图像上寻找与第一帧图像上第一刚性目标所对应的第二刚体目标。如图1所示，其中第二帧图像上的目标C2和目标D2为第二刚体目标。可选的，第二刚体目标可以是所述第二帧图像上的运动目标。
一种可实现方式为，在所述第二帧图像上确定第二区域；如果所述第二区域与第一区域之间的交并比满足条件，确定所述第二区域内的目标为所述第二刚性目标；其中，所述第一区域为所述第一刚性目标在所述第一帧图像上的所在区域。其中，所述第二区域与第一区域之间的交并比满足条件，包括：所述交并比大于阈值。本申请对所述阈值的具体取值不作限定。
可选的，在所述第二帧图像上确定出多个第二区域的情况下，所述多个第二区域中与第一区域交并比最大的第二区域中所包括的刚性目标为所述第二刚性目标。
示例性的，以第一帧图像上的刚性目标C1为例，将刚体目标C1所在区域分别与所述第二帧图像中的每个刚体目标(C2和D2)所在区域(多个第二区域)求交并比，具体如下：
第一帧图像上目标C1与第二帧图像上目标C2的交并比X1＝目标C1所在区域与目标C2所在区域之间的交集/目标C1所在区域与目标C2所在区域之间的并集。第一帧图像上目标C1与第二帧图像上目标D2的交并比X2＝目标C1所在区域与目标D2所在区域之间的交集/目标C1所在区域与目标D2所在区域之间的并集。比较X1与X2的值的大小，确定其中较大的值所对应的所述第二帧图像中的刚体目标为目标C1对应的刚体目标。例如，若X1>X2，则确定目标C2与目标C1相对应，即所述第一帧图像上的目标C1与所述第二帧图像上的目标C2为同一个刚体目标。同样的，所述第一帧图像上分别目标D1与所述第二帧图像中每个刚体目标(C2和D2)所在区域的交并比也可通过上述计算方法求得，并通过比较交并比的大小得到与目标D1所对应的刚体目标，在此不再赘述。
可选的，所述目标C1所在区域的面积可以大于目标C1边缘轮廓所围区域的面积，如图1所示。或者，所述目标C1所在区域也可以为目标C1的边缘轮廓所围区域。同样的，其它目标(如目标C2、D1、D2)所在区域的面积也可以大于此目标的边缘轮廓所围区域的面积，或者是此目标的边缘轮廓所围区域。
可选的，在步骤202之前，还可以包括步骤，在第一帧图像上寻找非刚体目标。非刚体目标指的是在运动中和受力作用后形状或大小发生改变或者内部各点的相对位置发生改变的目标，如图1所示，其中所述第一帧图像上的目标A1和目标B1(图中人状区域)为非刚体目标。可选的，非刚体目标可以是所述第一帧图像上的运动目标。
可选的，在步骤202之前，还可以包括步骤，在第一帧图像上寻找非刚体目标。非刚体目标指的是在运动中和受力作用后形状或大小发生改变或者内部各点的相对位置发生改变的目标，如图1所示，其中所述第一帧图像上的目标A1和目标B1(图中人状区域)为非刚体目标。可选的，非刚体目标可以是所述第一帧图像上的运动目标。
在所述确定所述第一帧图像中的第一特征点以及所述第二帧图像中的第二特征点之前，还可以包括：确定第三区域和第四区域，所述第三区域是非刚体目标在所述第一帧图像中的区域，所述第四区域是非刚体目标在所述第二帧图像中的区域；确定第五区域，所述第五区域是所述第三区域与所述第四区域的并集；分别将所述第一帧图像中和所述第二帧图像中的所述第五区域的像素值填充为0。确定第一区域与第二区域，所述第一区域是第一刚体目标在所述第一帧图像中的区域，所述第二区域是第二刚体目标在所述第二帧图像中的区域；如果所述第一区域和所述第二区域的交并比大于阈值，确定所述第一刚体目标与所述第二刚体目标是同一目标，其中，所述交并比是指所述第一区域与所述第二区域的交集与所述第一区域与所述第二区域的并集的比值。
在一种可能的实施例中，如图1所示，所述第一帧图像与所述第二帧图像中存在多个不同的刚体目标与非刚体目标，所述第三区域与所述第四区域分别指的是所述第一帧图像上与所述第二帧图像上所有的非刚体目标所在区域的并集，例如，图1中所述第一帧图像上的目标A1与目标B1所在区域的并集即为所述第三区域，图1中所述第二帧图像上的目标A2与目标B2所在区域的并集即为所述第四区域，所述第五区域即为所述第三区域与所述第四区域的并集，也就是说，所述第五区域包含了所述第一帧图像与所述第二帧图像上所确定的全部非刚体目标。
在一种可能的实施例中，如图1所示，所述第一帧图像与所述第二帧图像中存在多个不同的刚体目标与非刚体目标，在通过交并比确定所述第一帧图像与所述第二帧图像上刚体目标的对应关系之后，例如目标C1对应目标C2、目标D1对应目标D2，取其中一对目标，例如取目标C1与目标C2，则所述第一区域为目标C1所在的区域，所述第二区域为目标C2所在的区域；当对目标C1与目标C2处理完之后，再选取下一对目标分别作为所述第一区域与所述第二区域，直至处理完全部目标对。
在一种可能的实施例中，获取所述第一区域与所述第二区域的位置信息，也就是同一刚体目标分别在所述第一帧图像与所述第二帧图像上的位置信息，将所述第一区域与所述第二区域的位置信息记为匹配序列list，list＝{(obj11,obj12),(obj21,obj22),…,(obji1,obji2),…(objk1,objk2)}，其中obji1代表第i个刚体目标在所述第一帧图像中的位置信息，obji2代表第i个刚体目标在所述第二帧图像中的位置信息，list中一共有k对位置信息，代表所述第一帧图像与所述第二帧图像中存在k个刚体目标。对于其中第i个刚体目标的位置信息(obji1,obji2)，i∈[1,k]，通过特征点匹配算法获取若干对特征点，即所述第一特征点与所述第二特征点。如图4所示，选取一对相互对应的目标，如目标C1与目标C2，通过特征匹配算法确定目标C1与目标C2的若干对特征点，每一对特征点代表目标C1和目标C2上对应的位置，例如，所述第一帧图像上目标C1的车轮上的点对应所述第二帧图像上目标C2车轮上相同位置的点，所述第一特征点为目标C1上的全部特征点的集合，所述第二特征点为所述目标C2上的全部特征点的集合，所述第一特征点与所述第二特征点中的特征点一一对应。
步骤204：根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流标注数据。
其中，若所述第一特征点与所述第二特征点为包含多个点的集合，计算其中每一对互相对应的点之间的位置偏移量；根据所有对互相对应点之间的位置偏移量的平均值，生成光流标注数据。可选的，将所述第一帧图像和所述第二帧图像以及所述光流标注数据对应保存。即完成了所述光流标注数据的获取。
下面介绍一个示例，请参见图3，所述流程包括：
步骤301：输入待处理视频。
步骤302：将待处理视频转换为图像序列。
步骤303：对图像序列进行实例分割。
所述对图像序列进行实例分割是通过实例分割算法实现的，通过所述实例分割算法，将所述图像序列中的刚体目标、非刚体目标和背景三者分割开来，可选的，所述刚体目标和所述非刚体目标可以是运动目标。如图1所示，所述第一帧图像上的刚体目标为目标C1和目标D1(图中车辆状区域)，非刚体目标为目标A1和目标B1(图中人状区域)。
步骤304：取相邻两帧图像。
所述取相邻两帧图像是按照所述待处理视频的播放顺序进行选取的，得到所述第一帧图像与所述第二帧图像，若所述图像序列中存在20帧图像，则需按照顺序进行总共19次处理。
步骤305：将非刚体目标区域合并，得到合并区域。
所述合并区域即为所述第五区域，所述第五区域由所述第三区域与所述第四区域取并集得到，如图5所示，所述第一帧图像中两个非刚体目标的并集区域为所述第三区域，所述第二帧图像中两个非刚体目标的并集区域为所述第四区域，则所述第五区域中包含了所述第一帧图像和所述第二帧图像上所确定的全部非刚体目标。
步骤306：零像素填充合并区域。
该步骤将所述第一帧图像与所述第二帧图像中的非刚体目标区域的像素值填充为0，以屏蔽非刚体目标的影响，使得本申请实施例得到的光流标注数据更加准确。如图5所示，图中所述第五区域即为所述合并区域，需要填充零像素的区域分别是所述第一帧图像上和所述第二帧图像上所对应的第五区域所在的区域，可选的，所述第五区域大于或等于所述第三区域和所述第四区域中任一个。
步骤307：确定两帧图像中刚体目标对应关系，得到匹配序列list。
当所述第一帧图像与所述第二帧图像中存在多个刚体目标时，通过交并比来确定两帧图像中多个刚体目标之间的对应关系，所述交并比的计算方式为：两个区域的交集除以两个区域的并集。由于同一目标在相邻两帧图像中的位置不会发生太大改变，因此交并比越大代表重合程度越高，也就越可能是同一个目标。
可选的，所述确定两帧图像中刚体目标对应关系的方法包括：第一种方法，假设存在k个刚体目标，先选择所述第一帧图像中的第1个刚体目标作为参照，所述第一区域则为所述第一帧图像中的第1个刚体目标区域，分别求出所述第一帧图像中的第1个刚体目标与所述第二帧图像中的k个刚体目标的交并比r11、r12、…r1k，将其中与所述第一帧图像中的第1个刚体目标的交并比大于预设阈值的刚体目标视为所述第一帧图像中的第1个刚体目标的同一刚体目标。假设r15大于所述预设阈值，则说明所述第一帧图像中的第1个刚体目标与所述第二帧图像中的第5个刚体目标是同一个刚体目标，所述第二区域即为所述第二帧图像中的第5个刚体目标区域，将所述第一区域和所述第二区域的位置信息记入所述匹配序列list中的(obj11,obj12)；可选的，再选择所述第一帧图像中的第2个刚体目标作为参照，所述第一区域则为所述第一帧图像中的第2个刚体目标区域，经过与上述相同方法的处理，得到所述匹配序列中的(obj21,obj22)，依次处理完所述k个刚体目标，得到所述匹配序列list＝{(obj11,obj12),(obj21,obj22),…,(obji1,obji2),…(objk1,objk2)}。
可选的，所述确定两帧图像中刚体目标对应关系的方法还包括：第二种方法，当以所述第一帧图像中的第i个刚体目标作为参照时，分别求出所述第i个刚体目标与所述第二帧图像中k个刚体目标的交并比ri1、ri2…rik，将ri1、ri2…rik分别按照从大到小的顺序进行排列，确定其中交并比最大的一项，确定所述交并比最大的一项所对应的所述第二帧图像上的刚体目标为与所述第一帧图像上第i个刚体目标对应的刚体目标。当确定完所述第一帧图像与所述第二帧图像上全部刚体目标的对应关系之后，得到所述匹配序列list＝{(obj11,obj12),(obj21,obj22),…,(obji1,obji2),…(objk1,objk2)}，所述得到所述匹配序列的过程与前述第一种方法中的步骤相同，在此不再赘述。
步骤308：取匹配序列list中的一对位置信息。
按照所述匹配序列中位置信息的排列顺序进行选取，假设存在k个刚体目标，则所述k个刚体目标的位置信息所对应的匹配序列list＝{(obj11,obj12),(obj21,obj22),…,(obji1,obji2),…(objk1,objk2)}，先选取其中第一对位置信息(obj11,obj12)进行步骤309到步骤312的处理，再选取第二对位置信息(obj21,obj22)进行相同的处理，直至处理完整个list序列。
步骤309：获取第一特征点和第二特征点。
对于步骤308中选取的第i对位置信息(obji1,obji2)，其中i∈[1,k]，进行特征点匹配，可以得到若干对匹配点，即所述第一特征点与所述第二特征点，所述第一特征点与所述第二特征点分别为若干匹配点的集合，且所述第一特征点与所述第二特征点中的匹配点是一一对应的。得到了所述第i个刚体目标在所述第一帧图像与所述第二帧图像上对应的若干匹配点。
步骤310：计算平均位置偏移量。
对于步骤309中得到的(obji1,obji2)对应的所述第一特征点与所述第二特征点中的若干匹配点，分别计算其中每一对匹配点的位置偏移量，求出所述位置偏移量的平均值，所述平均值即代表了所述第i个刚体目标在所述第一帧图像与所述第二帧图像的位置偏移量。
步骤311：生成光流标注数据。
通过所述第i个刚体目标在所述第一帧图像与所述第二帧图像的位置偏移量确定所述第i个刚体目标在所述第一帧图像与所述第二帧图像上的光流标注数据。刚体目标的短时运动可近似认为每个部分位移量相同，因此本发明将步骤310中计算得到的平均位移作为目标每个像素的位移量。
步骤312：判断是否处理完所有目标，是则进入步骤313，否则进入步骤308。
步骤313：保存图片及光流标注数据。
步骤314：判断是否处理完所有图像，是则结束，否则进入步骤304。
图4为本发明实施例提供的一种光流标注方法的特征点匹配示意图。图中第一帧图像与第二帧图像上分别存在一个刚体目标：目标C1、目标C2，所述目标C1与所述目标C2是已经确定了对应关系的一对刚体目标，示例性的，所述第一帧图像上的目标C1上有五个特征点，分别对应所述第二帧图像上目标C2上相应位置的五个特征点，例如，目标C1车轮上的特征点对应目标C2车轮上相同位置的特征点、目标C1车顶位置的特征点对应目标C2车顶相同位置的特征点，所述第一特征点即为目标C1上五个特征点的集合，所述第二特征点即为所述目标C2上五个特征点的集合，且所述第一特征点中的点与所述第二特征点中点是一一对应的。
图5为本发明实施例提供的一种光流标注方法的区域合并示意图。取所述第一帧图像中非刚体目标所在区域为所述第三区域，取所述第二帧图像中所述非刚体目标所在区域为所述第四区域，由于所述第一帧图像中与所述第二帧图像中同一目标可能存在位置偏移，即同一目标分别在两帧图像中的位置不完全重合，通过将两帧图像中的非刚体目标区域合并，得到所述第五区域。图5中所述第三区域和所述第四区域分别为所述非刚体目标的轮廓范围所限定的区域，则得到的第五区域也为非刚体目标的轮廓范围所限定的区域；可选的，所述第三区域与所述第四区域也可以取大于所述非刚体目标的轮廓范围的区域，如步骤202中所述，此处不再赘述。
所述第五区域包含了两帧图像中所确定的全部非刚体目标，分别将所述第一帧图像和所述第二帧图像上所述第五区域对应的区域进行零像素填充，即可充分排除两帧图像中非刚体目标的影响，使得后续获取的刚体目标流光标注数据更加精确。
前述的光流标注方法的实施例涉及的个步骤的所有相关内容可援引到本申请实施例中的光流标注装置对应的功能模块的功能描述，在此不再赘述。
本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参见图6，基于同一发明构思，本发明实施例提供一种光流标注装置，该装置包括至少一个处理器601，处理器601用于执行存储器中存储的计算机程序，实现本发明实施例提供的如图3或图2所示的光流标注方法的步骤。
可选的，处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的光流标注方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
可选的，该光流标注装置还可以包括与至少一个处理器601连接的存储器602，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前述的光流标注方法中所包括的步骤。
本发明实施例中不限定处理器601与存储器602之间的具体连接介质，存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random AccessMemory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器601进行设计编程，可以将前述实施例中介绍的光流标注方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的光流标注方法的步骤，如何对处理器601进行设计编程为本领域技术人员所公知的技术，这里不再赘述。该光流标注装置可以用于执行图2或图3所示的实施例所提供的方法。因此关于该设备中各功能模块所能够实现的功能，可参考图2或图3所示的实施例中的相应描述，不多赘述。
基于同一发明构思，本发明实施例还提供一种计算可读存储介质，该计算可读存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的光流标注方法的步骤。
在一些可能的实施方式中，本申请提供的光流标注方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该检测设备执行本说明书上述描述的根据本申请各种示例性实施方式的光流标注方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (17)

1.一种光流标注方法，其特征在于，包括：
从待处理视频中确定第一帧图像和第二帧图像；
确定所述第一帧图像上的第一刚体目标；
确定所述第二帧图像上与所述第一刚性目标对应的第二刚体目标；
根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流，所述第二特征点与所述第一特征点对应。
2.根据权利要求1所述的方法，其特征在于，确定所述第二帧图像上与所述第一刚性目标对应的第二刚体目标，包括：
在所述第二帧图像上确定第二区域；
如果所述第二区域与第一区域之间的交并比满足条件，确定所述第二区域内的目标为所述第二刚性目标；其中，所述第一区域为所述第一刚性目标在所述第一帧图像上的所在区域。
3.根据权利要求2所述的方法，其特征在于，所述第二区域与第一区域之间的交并比满足条件，包括：所述交并比大于阈值。
4.根据权利要求2所述的方法，其特征在于，在所述第二帧图像上确定出多个第二区域的情况下，所述多个第二区域中与第一区域交并比最大的第二区域中所包括的刚性目标为所述第二刚性目标。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述第一帧图像上非刚性目标所在的第三区域，以及所述第二帧图像上所述非刚性目标所在的第四区域；
将所述第三区域和所述第四区域像素点填充为0，或者，将所述第一帧图像和所述第二帧图像上第三区域和第四区域的并集区域的像素点填充为0。
6.根据权利要求1所述的方法，其特征在于，根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流，包括：
所述第一特征点和所述第二特征点均包含多个点，计算所述第一特征点和所述第二特征点中互相对应的一对点之间的位置偏移量；
根据多对互相对应点之间的位置偏移量的平均值，生成光流标注数据。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第一帧图像和所述第二帧图像以及所述光流标注数据对应保存。
8.根据权利要求1所述的方法，其特征在于，所述第一帧图像和所述第二帧图像是相邻图像，或者，间隔预设帧图像数量的图像。
9.一种光流标注装置，其特征在于，所述装置包括：
获取模块，用于从待处理视频中确定第一帧图像和第二帧图像；
处理模块，用于确定所述第一帧图像上的第一刚体目标；以及确定所述第二帧图像上与所述第一刚性目标对应的第二刚体目标；根据所述第一刚性目标上的第一特征点和所述第二刚性目标上的第二特征点之间的位置偏移量生成光流，其中，所述第二特征点与所述第一特征点对应。
10.根据权利要求9所述的装置，其特征在于，所述处理模块具体用于：
在所述第二帧图像上确定第二区域；
如果所述第二区域与第一区域之间的交并比满足条件，确定所述第二区域内的目标为所述第二刚性目标；其中，所述第一区域为所述第一刚性目标在所述第一帧图像上的所在区域。
11.根据权利要求10所述的装置，其特征在于，所述第二区域与第一区域之间的交并比满足条件，包括：所述交并比大于阈值。
12.根据权利要求10所述的装置，其特征在于，在所述第二帧图像上确定出多个第二区域的情况下，所述多个第二区域中与第一区域交并比最大的第二区域中所包括的刚性目标为所述第二刚性目标。
13.根据权利要求9所述的装置，其特征在于，所述处理模块还用于：
确定所述第一帧图像上非刚性目标所在的第三区域，以及所述第二帧图像上所述非刚性目标所在的第四区域；
将所述第三区域和所述第四区域像素点填充为0，或者，将所述第一帧图像和所述第二帧图像上第三区域和第四区域的并集区域的像素点填充为0。
14.根据权利要求9所述的装置，其特征在于，所述处理模块具体用于：
所述第一特征点和所述第二特征点均包含多个点，计算所述第一特征点和所述第二特征点中互相对应的一对点之间的位置偏移量；
根据多对互相对应点之间的位置偏移量的平均值，生成光流标注数据。
15.根据权利要求9所述的装置，其特征在于，所述处理模块还用于：
将所述第一帧图像和所述第二帧图像以及所述光流标注数据对应保存。
16.根据权利要求9所述的装置，其特征在于，所述第一帧图像和所述第二帧图像是相邻图像，或者，间隔预设帧图像数量的图像。
17.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-8中任一项所述的方法。
CN202110643327.0A 2021-06-09 2021-06-09 一种光流标注方法及装置 Pending CN113421302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110643327.0A CN113421302A (zh) 2021-06-09 2021-06-09 一种光流标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110643327.0A CN113421302A (zh) 2021-06-09 2021-06-09 一种光流标注方法及装置

Publications (1)

Publication Number Publication Date
CN113421302A true CN113421302A (zh) 2021-09-21

Family

ID=77788168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110643327.0A Pending CN113421302A (zh) 2021-06-09 2021-06-09 一种光流标注方法及装置

Country Status (1)

Country Link
CN (1) CN113421302A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986150A (zh) * 2018-07-17 2018-12-11 南昌航空大学 一种基于非刚性稠密匹配的图像光流估计方法及系统
CN110415276A (zh) * 2019-07-30 2019-11-05 北京字节跳动网络技术有限公司 运动信息计算方法、装置及电子设备
CN110866936A (zh) * 2018-08-07 2020-03-06 阿里巴巴集团控股有限公司 视频标注方法、跟踪方法、装置、计算机设备及存储介质
CN111882583A (zh) * 2020-07-29 2020-11-03 成都英飞睿技术有限公司 一种运动目标检测方法、装置、设备及介质
CN112184767A (zh) * 2020-09-22 2021-01-05 深研人工智能技术(深圳)有限公司 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986150A (zh) * 2018-07-17 2018-12-11 南昌航空大学 一种基于非刚性稠密匹配的图像光流估计方法及系统
CN110866936A (zh) * 2018-08-07 2020-03-06 阿里巴巴集团控股有限公司 视频标注方法、跟踪方法、装置、计算机设备及存储介质
CN110415276A (zh) * 2019-07-30 2019-11-05 北京字节跳动网络技术有限公司 运动信息计算方法、装置及电子设备
CN111882583A (zh) * 2020-07-29 2020-11-03 成都英飞睿技术有限公司 一种运动目标检测方法、装置、设备及介质
CN112184767A (zh) * 2020-09-22 2021-01-05 深研人工智能技术(深圳)有限公司 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Kristan et al. A novel performance evaluation methodology for single-target trackers
Yang et al. Learning to segment rigid motions from two frames
Sun et al. Simultaneous detection and tracking with motion modelling for multiple object tracking
JP4467838B2 (ja) 画像認識装置および画像認識方法
WO2020104423A1 (en) Method and apparatus for data fusion of lidar data and image data
CN104820996A (zh) 一种基于视频的自适应分块的目标跟踪方法
EP3182370A1 (en) Method and device for generating binary descriptors in video frames
CN114022799A (zh) 一种自监督单目深度估计方法和装置
Feng et al. A simple and efficient multi-task network for 3d object detection and road understanding
CN116433903A (zh) 实例分割模型构建方法、系统、电子设备及存储介质
CN115661767A (zh) 一种基于卷积神经网络的图像前方车辆目标识别方法
Kim et al. Boosting monocular 3D object detection with object-centric auxiliary depth supervision
Jung et al. Moving object detection with single moving camera and IMU sensor using mask R-CNN instance image segmentation
Wu et al. Direct sparse odometry with planes
Xi et al. Multi-motion segmentation: Combining geometric model-fitting and optical flow for RGB sensors
Haggui et al. Centroid human tracking via oriented detection in overhead fisheye sequences
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
Long et al. Detail preserving residual feature pyramid modules for optical flow
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN113421302A (zh) 一种光流标注方法及装置
Rozsa et al. Immediate vehicle movement estimation and 3D reconstruction for Mono cameras by utilizing epipolar geometry and direction prior
CN110610184B (zh) 图像的显著目标的检测方法、装置及设备
CN115239902A (zh) 移动设备的周边地图建立方法、装置、设备及存储介质
US11657506B2 (en) Systems and methods for autonomous robot navigation
CN112149674A (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210921

RJ01 Rejection of invention patent application after publication