CN113870307A - 一种基于帧间信息的目标检测方法及装置 - Google Patents

一种基于帧间信息的目标检测方法及装置 Download PDF

Info

Publication number
CN113870307A
CN113870307A CN202111018575.2A CN202111018575A CN113870307A CN 113870307 A CN113870307 A CN 113870307A CN 202111018575 A CN202111018575 A CN 202111018575A CN 113870307 A CN113870307 A CN 113870307A
Authority
CN
China
Prior art keywords
vector
current frame
optical flow
relative light
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111018575.2A
Other languages
English (en)
Inventor
曹璨
井世丽
张响云
陈延真
郝肖冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Hanguang Heavy Industry Ltd
Original Assignee
Hebei Hanguang Heavy Industry Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Hanguang Heavy Industry Ltd filed Critical Hebei Hanguang Heavy Industry Ltd
Priority to CN202111018575.2A priority Critical patent/CN113870307A/zh
Publication of CN113870307A publication Critical patent/CN113870307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于帧间信息的目标检测方法及装置，所述方法包括提取当前帧的关键点特征及上一帧图像的关键点特征，得到若干匹配对；获取背景运动向量、绝对光流向量；计算所述摄像装置的运动参数；计算所述绝对光流向量的补偿向量；对所述绝对光流向量进行补偿，得到关键点相对光流向量；获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图；将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络；所述目标检测网络输出当前帧的目标检测结果。该方法能够目标检测速度，达到了实时目标检测效果。

Description

一种基于帧间信息的目标检测方法及装置
技术领域
本发明属于计算机视觉领域，尤其涉及一种基于帧间信息的目标检测方法及装置。
背景技术
目标检测是一种与计算机视觉和图像处理有关的计算机技术,用于检测数字图像和视频中特定类别的语义对象(例如人、建筑物或汽车等)，其在视频安防、自动驾驶、交通监控、无人机场景分析和机器人视觉等领域有广阔的应用前景。
近些年，由于卷积神经网络的发展和硬件算力提升,基于深度学习的目标检测取得了突破性的进展。目前,深度学习算法已在计算机视觉的整个领域得到广泛采用。目前主流的目标检测方法大致可分为两类：一类是基于区域的方法，一类是基于回归的方法。
基于区域的方法，也被称为两阶段算法，2014年Grishick等人使用候选区域网络替代滑动窗口及手工设计特征，设计了RCNN框架，为目标检测提供了新的解决思路。随后，在RCNN基础上，Fast-RCNN、Faster-RCNN、SPP-Net等算法相继出现，在速度和精度上均得到提升。然而，由于算法仍分为两个阶段，难以实时性检测。
基于回归的方法，也称一阶段算法。2016年Redmon等人提出YOLO算法，其借助了回归的思想，大大加快了检测速度。Liu等人提出SSD，在YOLO中融合了Faster-RCNN中的anchor框思想，解决了YOLO定位精准性问题。在此基础上，后又相继出现了YOLOV2、YOLOV3等算法，在保持速度优势的同时，提升了一阶段算法的检测精度。
因此，两阶段算法更追求目标的检测精度，一阶段算法则在精度和速度之间做出了有效地权衡。对于实时目标检测，对检测速度的要求往往更高，所以优先选择一阶段算法作为基础算法。但常见目标检测算法仅利用单帧信息，当目标与背景相似时则无法准确定位目标。
发明内容
为解决上述技术问题，本发明提出了一种基于帧间信息的目标检测方法及装置，所述方法及装置，用于解决现有技术的目标检测方法仅使用单帧图像信息，无法准确检测难正例的技术问题。
根据本发明的第一方面，提供一种基于帧间信息的目标检测方法，所述方法包括以下步骤：
步骤S101：获取视频的当前帧及当前帧的上一帧图像，分别提取所述当前帧的关键点特征及上一帧图像的关键点特征，将两帧图像的关键点特征进行匹配，得到若干匹配对；所述关键点为图像中表征特征的像素点；
步骤S102：基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量；
步骤S103：基于所述背景运动向量，计算所述摄像装置的运动参数；
步骤S104：基于所述运动参数，计算所述绝对光流向量的补偿向量；
步骤S105：基于所述补偿向量对所述绝对光流向量进行补偿，得到关键点相对光流向量；所述相对光流向量为所述目标相对于自身的运动向量；
步骤S106：基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图；
步骤S107：将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络；
步骤S108：所述目标检测网络输出当前帧的目标检测结果；
步骤S109：若当前帧为所述视频的最后一帧，方法结束；否则，将当前帧的下一帧置为当前帧，进入步骤S101。
根据本发明第二方面，提供一种基于帧间信息的目标检测装置，所述装置包括：
匹配模块：配置为获取视频的当前帧及当前帧的上一帧图像，分别提取所述当前帧的关键点特征及上一帧图像的关键点特征，将两帧图像的关键点特征进行匹配，得到若干匹配对；所述关键点为图像中表征特征的像素点；
绝对光流向量获取模块：配置为基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量；
运动参数获取模块：配置为基于所述背景运动向量，计算所述摄像装置的运动参数；
补偿向量获取模块：配置为基于所述运动参数，计算所述绝对光流向量的补偿向量；
运动向量获取模块：配置为基于所述补偿向量对所述绝对光流向量进行补偿，得到关键点相对光流向量；所述相对光流向量为所述目标相对于自身的运动向量；
拆分模块：配置为基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图；
叠加模块：配置为将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络；
检测模块：配置为所述目标检测网络输出当前帧的目标检测结果；
判断模块：配置为判断当前帧是否为所述视频的最后一帧。
根据本发明第三方面，提供一种基于帧间信息的目标检测系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于帧间信息的目标检测方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于帧间信息的目标检测方法。
根据本发明的上述方案，是一种通过当前帧和上一帧图像关键点特征匹配获取光流向量，并通过计算相机模型参数得到运动补偿向量，两者叠加后得到的相对运动光流场作为运动特征与当前帧图像共同作为轻量级目标检测模型输入，通过结合帧间目标运动信息，提高检测网络对运动物体的注意力，从而有效提高与背景相似的难正例检测的准确率。通过计算相机运动参数得到运动补偿向量，对光流向量进行补偿，获得更准确的具有相对运动的目标运动信息；通过将运动信息与图片叠加的方式，在图片特征中融入目标运动特征，结合运动信息进行目标检测有效提高检测准确率；通过使用轻量级目标检测模型作为检测模型，提升目标检测速度，达到了实时目标检测效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明一个实施方式的基于帧间信息的目标检测方法流程图；
图2为本发明一个实施方式的基于帧间信息的目标检测方法细节实现流程图；
图3为本发明一个实施方式的目标检测网络结构示意图；
图4为本发明一个实施方式基于帧间信息的目标检测装置结构框图；
具体实施方式
首先结合图1-2说明本发明一个实施方式的基于帧间信息的目标检测方法流程，所述方法包括以下步骤：
步骤S101：获取视频的当前帧及当前帧的上一帧图像，分别提取所述当前帧的关键点特征及上一帧图像的关键点特征，将两帧图像的关键点特征进行匹配，得到若干匹配对；所述关键点为图像中表征特征的像素点；
本实施例中，所述关键点为图像中的具有明显特征的点，例如图像中的边缘点、角点等。
步骤S102：基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量；
步骤S103：基于所述背景运动向量，计算所述摄像装置的运动参数；
步骤S104：基于所述运动参数，计算所述绝对光流向量的补偿向量；
步骤S105：基于所述补偿向量对所述绝对光流向量进行补偿，得到关键点相对光流向量；所述相对光流向量为所述目标相对于自身的运动向量；
即所述摄像装置不动时，所述目标的运动向量。
步骤S106：基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图；
步骤S107：将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络；
步骤S108：所述目标检测网络输出当前帧的目标检测结果；
步骤S109：若当前帧为所述视频的最后一帧，方法结束；否则，将当前帧的下一帧置为当前帧，进入步骤S101。
所述步骤S101：获取视频的当前帧及当前帧的上一帧图像，分别提取所述当前帧的关键点特征及上一帧图像的关键点特征，将两帧图像的关键点特征进行匹配，得到若干匹配对，其中：
本实施例中，使用ORB算法提取关键点，关键点特征匹配以汉明距离作为特征点相似性度量的依据。本实施例中，提取的关键点的数量上限为500，金字塔图像之间的尺度参数为1.2，高斯金字塔的层数为8。
进一步地，所述关键点还包括如下像素点基于图像灰度值，选择图像中的每个像素点作为候选特征点，检测候选特征点周围领域的像素值，确定关键点；所述关键点为以某候选特征点为中心点的周围邻域内的候选特征点，所述关键点的像素灰度值大于预设第一阈值，且关键点与该中心点的灰度值差别大于预设第二阈值。
所述步骤S102：基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量，包括：
使用RANSAC算法剔除关键点，即在所有匹配对中，采用迭代的方法，寻找最优参数模型，将不符合最优参数模型的匹配对对应的关键点剔除。通过预先设置第三阈值，剔除匹配对中处于运动目标上的点，得到背景运动向量，所述背景运动向量是在当前帧和上一帧所有关键点匹配向量的基础上，剔除运动目标关键点匹配向量后剩余的匹配向量，所述背景运动向量用于描述随着拍摄视频的摄像装置的运动而发生的背景移动；预先设置第四阈值，剔除误匹配的关键点，得到绝对光流向量，所述绝对光流向量是指在当前帧和上一帧所有关键点匹配向量的基础上，仅剔误匹配关键点后剩余的匹配向量，所述绝对运动向量用于表征随着拍摄视频的摄像装置运动时，背景和运动目标在相机中产生的运动向量。
所述步骤S103：基于所述背景运动向量，计算所述摄像装置的运动参数，其中：
根据所述背景运动向量能够计算出所述摄像装置的模型参数，所述摄像装置的模型为六参数仿射变换模型，所述六参数仿射变换模型能够处理摄像装置的平移、旋转及缩放等运动，所述六参数仿射变换模型表示为：
Figure BDA0003240888610000071
其中，xk，yk为变换后目标成像坐标，xk-1，yk-1为变换后目标成像坐标，a、b、c、d为相机旋转参数，e、f为相机位移参数，θ为摄像装置旋转角度，γ为摄像装置缩放系数，(e,f)T为摄像装置在X轴、Y轴方向的平移量。使用最小二乘法求矩阵矢量的最优解能够估计出六参数仿射变换中需要求解的运动参数。
所述步骤S104：基于所述运动参数，计算所述绝对光流向量的补偿向量，其中：
本实施例中，通过所述运动参数，求出上一帧关键点坐标分别对应的当前帧坐标，获得运动补偿向量；基于当前帧中每个运动补偿向量所对应的关键点坐标，将运动补偿向量中关键点与绝对光流向量关键点一一对应，得到所述绝对光流对应的向量补偿向量。
所述步骤S105：基于所述补偿向量对所述绝对光流向量进行补偿，得到关键点相对光流向量；所述相对光流向量为所述目标相对于自身的运动向量，其中：
将所述补偿向量与实际相邻帧帧产生的所述绝对光流向量逐一叠加，计算公式如下：
Figure BDA0003240888610000081
Figure BDA0003240888610000082
其中，
Figure BDA0003240888610000083
为关键点pi的相对光流向量在坐标系的X轴方向投影，
Figure BDA0003240888610000084
为关键点pi的绝对光流向量在X轴方向投影，
Figure BDA0003240888610000085
为关键点pi的运动补偿向量在坐标系的X轴方向投影，
Figure BDA0003240888610000086
为关键点pi的相对光流向量在坐标系的Y轴方向投影，
Figure BDA0003240888610000087
为关键点pi的绝对光流向量在坐标系的Y轴方向方向投影，
Figure BDA0003240888610000088
为关键点pi的运动补偿向量在Y轴方向投影。
所述步骤S106：基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图，其中：
对当前帧图像，使用双线性插值求得非关键点区域的相对光流向量，计算公式如下：
Figure BDA0003240888610000089
其中，(x,y)为非关键点坐标，(x1,y1)为离(x,y)最近左下角关键点坐标，(x1,y2)为离(x,y)最近左上角关键点坐标，(x2,y1)为离(x,y)最近右下角关键点坐标，(x2,y2)为离(x,y)最近右上角关键点坐标，f()表示该坐标点上相对光流向量值。
所有像素点的相对光流向量表示为：T＝(Txi,Tyi),i∈N,其中，N为当前帧像素数总和；Tx为该向量在坐标系的X轴方向的投影值，Ty为该向量在坐标系的Y轴方向上的投影值，Txi为像素i的相对光流向量在坐标系的X轴的投影，Tyi为像素i的相对光流向量在坐标系的Y轴的投影；
将其拆分为两张相对光流场图，包括：X轴方向光流场图表示为IX,IX中各个位置像素值为当前位置对应的相对光流向量在X轴方向的投影值；Y轴方向光流场图表示为IY,IY中各个位置像素值为当前位置对应的相对光流向量在Y轴方向的投影值。
所述步骤S107：将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络，其中：
所述IX和IY与当前帧图像尺寸相同，且能够表示目标的运动特征，因此将其作为运动注意力图，叠加在三通道图像后的第四和第五通道，与实际图像一起输入到检测模型中，作为目标检测模型输入。
步骤S108：所述目标检测网络输出当前帧的目标检测结果，其中：
通过卷积神经网络模型回归算法，输出当前帧的目标检测结果。如图3所示，本实施例使用轻量级目标检测模型yolov3-tiny进行目标检测，主干网络采用一个7层网络提取特征，网络结构简单，计算量较小。
本发明实施例进一步给出一种基于帧间信息的目标检测装置，如图4所示，所述装置包括：
匹配模块：配置为获取视频的当前帧及当前帧的上一帧图像，分别提取所述当前帧的关键点特征及上一帧图像的关键点特征，将两帧图像的关键点特征进行匹配，得到若干匹配对；所述关键点为图像中表征特征的像素点；
绝对光流向量获取模块：配置为基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量；
运动参数获取模块：配置为基于所述背景运动向量，计算所述摄像装置的运动参数；
补偿向量获取模块：配置为基于所述运动参数，计算所述绝对光流向量的补偿向量；
运动向量获取模块：配置为基于所述补偿向量对所述绝对光流向量进行补偿，得到关键点相对光流向量；所述相对光流向量为所述目标相对于自身的运动向量；
拆分模块：配置为基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图；
叠加模块：配置为将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络；
检测模块：配置为所述目标检测网络输出当前帧的目标检测结果；
判断模块：配置为判断当前帧是否为所述视频的最后一帧。
本发明实施例进一步给出一种基于帧间信息的目标检测系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于帧间信息的目标检测方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于帧间信息的目标检测方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于帧间信息的目标检测方法，其特征在于，所述方法包括以下步骤：
步骤S101：获取视频的当前帧及当前帧的上一帧图像，分别提取所述当前帧的关键点特征及上一帧图像的关键点特征，将两帧图像的关键点特征进行匹配，得到若干匹配对；所述关键点为图像中表征特征的像素点；
步骤S102：基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量；
步骤S103：基于所述背景运动向量，计算所述摄像装置的运动参数；
步骤S104：基于所述运动参数，计算所述绝对光流向量的补偿向量；
步骤S105：基于所述补偿向量对所述绝对光流向量进行补偿，得到关键点相对光流向量；所述相对光流向量为所述目标相对于自身的运动向量；
步骤S106：基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图；
步骤S107：将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络；
步骤S108：所述目标检测网络输出当前帧的目标检测结果；
步骤S109：若当前帧为所述视频的最后一帧，方法结束；否则，将当前帧的下一帧置为当前帧，进入步骤S101。
2.如权利要求1所述的基于帧间信息的目标检测方法，其特征在于，所述步骤S102：基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量，包括：
在所有匹配对中，采用迭代的方法，寻找最优参数模型，将不符合最优参数模型的匹配对对应的关键点剔除；通过预先设置第三阈值，剔除匹配对中处于运动目标上的点，得到背景运动向量，所述背景运动向量用于描述随着拍摄视频的摄像装置的运动而发生的背景移动；得到绝对光流向量，所述绝对光流向量是指在当前帧和上一帧所有关键点匹配向量的基础上，仅剔误匹配关键点后剩余的匹配向量，所述绝对运动向量用于表征随着拍摄视频的摄像装置运动时，背景和运动目标在相机中产生的运动向量。
3.如权利要求2所述的基于帧间信息的目标检测方法，其特征在于，所述步骤S103：基于所述背景运动向量，计算所述摄像装置的运动参数，其中：
根据所述背景运动向量计算出所述摄像装置的模型参数，所述摄像装置的模型为六参数仿射变换模型，所述六参数仿射变换模型能够处理摄像装置的平移、旋转及缩放运动，所述六参数仿射变换模型表示为：
Figure FDA0003240888600000021
其中，xk，yk为变换后目标成像坐标，xk-1，yk-1为变换后目标成像坐标，a、b、c、d为相机旋转参数，e、f为相机位移参数，θ为摄像装置旋转角度，γ为摄像装置缩放系数，(e,f)T为摄像装置在X轴、Y轴方向的平移量。
4.如权利要求3所述的基于帧间信息的目标检测方法，其特征在于，所述步骤S104：基于所述运动参数，计算所述绝对光流向量的补偿向量，其中：
通过所述运动参数，求出上一帧关键点坐标分别对应的当前帧坐标，获得运动补偿向量；基于关键点坐标，将运动补偿向量中关键点与绝对光流向量关键点一一对应，得到所述绝对光流对应的向量补偿向量。
5.如权利要求4所述的基于帧间信息的目标检测方法，其特征在于，所述步骤S105，其中：
将所述补偿向量与实际相邻帧帧产生的所述绝对光流向量逐一叠加，计算公式如下：
Figure FDA0003240888600000031
Figure FDA0003240888600000032
其中，
Figure FDA0003240888600000033
为关键点pi的相对光流向量在坐标系的X轴方向投影，
Figure FDA0003240888600000034
为关键点pi的绝对光流向量在X轴方向投影，
Figure FDA0003240888600000035
为关键点pi的运动补偿向量在坐标系的X轴方向投影，
Figure FDA0003240888600000036
为关键点pi的相对光流向量在坐标系的Y轴方向投影，
Figure FDA0003240888600000037
为关键点pi的绝对光流向量在坐标系的Y轴方向方向投影，
Figure FDA0003240888600000038
为关键点pi的运动补偿向量在Y轴方向投影。
6.如权利要求5所述的基于帧间信息的目标检测方法，其特征在于，所述步骤S106：基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图，其中：
对当前帧图像，使用双线性插值求得非关键点区域的相对光流向量，计算公式如下：
Figure FDA0003240888600000039
其中，(x,y)为非关键点坐标，(x1,y1)为离(x,y)最近左下角关键点坐标，(x1,y2)为离(x,y)最近左上角关键点坐标，(x2,y1)为离(x,y)最近右下角关键点坐标，(x2,y2)为离(x,y)最近右上角关键点坐标，f()表示该坐标点上相对光流向量值；
所有像素点的相对光流向量表示为：T＝(Txi,Tyi),i∈N,其中，N为当前帧像素数总和；Tx为该向量在坐标系的X轴方向的投影值，Ty为该向量在坐标系的Y轴方向上的投影值，Txi为像素i的相对光流向量在坐标系的X轴的投影，Tyi为像素i的相对光流向量在坐标系的Y轴的投影；
将其拆分为两张相对光流场图，包括：X轴方向光流场图和Y轴方向光流场图；X轴方向光流场图表示为IX,IX中各个位置像素值为当前位置对应的相对光流向量在X轴方向的投影值；Y轴方向光流场图表示为IY,IY中各个位置像素值为当前位置对应的相对光流向量在Y轴方向的投影值。
7.如权利要求6所述的基于帧间信息的目标检测方法，其特征在于，将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络，其中：
所述IX和IY与当前帧图像尺寸相同，将其作为运动注意力图，叠加在三通道图像后的第四和第五通道，与实际图像一起输入到检测模型中，作为目标检测模型输入。
8.一种基于帧间信息的目标检测装置，其特征在于，所述装置包括：
匹配模块：配置为获取视频的当前帧及当前帧的上一帧图像，分别提取所述当前帧的关键点特征及上一帧图像的关键点特征，将两帧图像的关键点特征进行匹配，得到若干匹配对；所述关键点为图像中表征特征的像素点；
绝对光流向量获取模块：配置为基于所述若干匹配对，获取背景运动向量、绝对光流向量；所述绝对光流向量是指目标和拍摄视频的摄像装置均发生运动时，所述目标在所述摄像装置中产生的运动向量；
运动参数获取模块：配置为基于所述背景运动向量，计算所述摄像装置的运动参数；
补偿向量获取模块：配置为基于所述运动参数，计算所述绝对光流向量的补偿向量；
运动向量获取模块：配置为基于所述补偿向量对所述绝对光流向量进行补偿，得到关键点相对光流向量；所述相对光流向量为所述目标相对于自身的运动向量；
拆分模块：配置为基于所述关键点相对光流向量，获取所有像素点的相对光流向量，并将所述所有像素点的相对光流向量拆分为两张相对光流场图；
叠加模块：配置为将所述两张相对光流场图叠加在当前帧上，将叠加后的当前帧输入目标检测网络；
检测模块：配置为所述目标检测网络输出当前帧的目标检测结果；
判断模块：配置为判断当前帧是否为所述视频的最后一帧。
9.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-7中任一项所述的基于帧间信息的目标检测方法。
10.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-7中任一项所述的基于帧间信息的目标检测方法。
CN202111018575.2A 2021-09-01 2021-09-01 一种基于帧间信息的目标检测方法及装置 Pending CN113870307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111018575.2A CN113870307A (zh) 2021-09-01 2021-09-01 一种基于帧间信息的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111018575.2A CN113870307A (zh) 2021-09-01 2021-09-01 一种基于帧间信息的目标检测方法及装置

Publications (1)

Publication Number Publication Date
CN113870307A true CN113870307A (zh) 2021-12-31

Family

ID=78989097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111018575.2A Pending CN113870307A (zh) 2021-09-01 2021-09-01 一种基于帧间信息的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN113870307A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511919A (zh) * 2022-09-23 2022-12-23 北京乾图科技有限公司 视频处理方法、图像检测方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074247A (zh) * 2016-11-11 2018-05-25 财团法人工业技术研究院 视频帧产生方法及其系统
CN111160229A (zh) * 2019-12-26 2020-05-15 北京工业大学 基于ssd网络的视频目标检测方法及装置
CN111914756A (zh) * 2020-08-03 2020-11-10 北京环境特性研究所 一种视频数据处理方法和装置
WO2021035807A1 (zh) * 2019-08-23 2021-03-04 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074247A (zh) * 2016-11-11 2018-05-25 财团法人工业技术研究院 视频帧产生方法及其系统
WO2021035807A1 (zh) * 2019-08-23 2021-03-04 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置
CN111160229A (zh) * 2019-12-26 2020-05-15 北京工业大学 基于ssd网络的视频目标检测方法及装置
CN111914756A (zh) * 2020-08-03 2020-11-10 北京环境特性研究所 一种视频数据处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张秋佳: "光流向量补偿模型的运动目标检测", 《激光与红外》, vol. 2011, no. 11, 30 November 2011 (2011-11-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511919A (zh) * 2022-09-23 2022-12-23 北京乾图科技有限公司 视频处理方法、图像检测方法以及装置
CN115511919B (zh) * 2022-09-23 2023-09-19 北京乾图科技有限公司 视频处理方法、图像检测方法以及装置

Similar Documents

Publication Publication Date Title
Ding et al. Spatio-temporal recurrent networks for event-based optical flow estimation
CN109313799B (zh) 图像处理方法及设备
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
Huang et al. Efficient image stitching of continuous image sequence with image and seam selections
US20110074927A1 (en) Method for determining ego-motion of moving platform and detection system
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN115619826A (zh) 一种基于重投影误差和深度估计的动态slam方法
Ye et al. Deepmeshflow: Content adaptive mesh deformation for robust image registration
TWI496115B (zh) 移動攝影機之畫面穩定方法
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
CN113870307A (zh) 一种基于帧间信息的目标检测方法及装置
Pan et al. A new moving objects detection method based on improved SURF algorithm
Monari et al. A real-time image-to-panorama registration approach for background subtraction using pan-tilt-cameras
Revaud et al. Robust automatic monocular vehicle speed estimation for traffic surveillance
Zheng et al. Deep learning algorithm for picture frame detection on social media videos
Zhou et al. Video stabilization and completion using two cameras
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
Walha et al. Moving object detection system in aerial video surveillance
Zhou et al. Speeded-up robust features based moving object detection on shaky video
Hu et al. Digital video stabilization based on multilayer gray projection
Tian et al. High confidence detection for moving target in aerial video
Ji et al. View-Centric Multi-Object Tracking with Homographic Matching in Moving UAV
Li et al. Research on Container Panorama Image Stitching Method
KR102629213B1 (ko) 경사 촬영 동영상 이동물체 탐지 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination