CN114581482A - 一种动平台下运动目标检测方法、装置和检测设备 - Google Patents

一种动平台下运动目标检测方法、装置和检测设备 Download PDF

Info

Publication number
CN114581482A
CN114581482A CN202210231978.3A CN202210231978A CN114581482A CN 114581482 A CN114581482 A CN 114581482A CN 202210231978 A CN202210231978 A CN 202210231978A CN 114581482 A CN114581482 A CN 114581482A
Authority
CN
China
Prior art keywords
image
obtaining
region
local
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210231978.3A
Other languages
English (en)
Other versions
CN114581482B (zh
Inventor
谢剑斌
谌钟毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
National University of Defense Technology
Original Assignee
Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd filed Critical Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Priority to CN202210231978.3A priority Critical patent/CN114581482B/zh
Publication of CN114581482A publication Critical patent/CN114581482A/zh
Application granted granted Critical
Publication of CN114581482B publication Critical patent/CN114581482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种动平台下运动目标检测方法、装置和检测设备。通过将目标场景下的全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景，然后训练好的位置预测网络得到的待检测图像序列中图像帧在全景图中的位置，根据图像帧及其对应位置处的局部窗口得到得到初始前景图，将初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选二值图中的区域块，得到外接圆区域，再根据外接圆区域确定正确区域，对正确区域逐一进行分割，得到精细化前景图，最后根据精细化前景图进行运动目标检测。采用本方法在面对多变场景时鲁棒性更高。

Description

一种动平台下运动目标检测方法、装置和检测设备
技术领域
本申请涉及目标检测技术领域，特别是涉及一种动平台下运动目标检测方法、装置和检测设备。
背景技术
随着计算机信息技术的迅猛发展，运动目标检测技术已经渗透到生活中的方方面面中，这给人们的生活带来了极大的便利，尤其是在视频监控中，运动目标检测技术为海量视频分析处理提供了技术支持，是智能安防监控视频中重要内容，为后续的跟踪和识别等技术提供强有力的支持，是目前视觉研究的热门领域。
目前大多数运动目标检测技术应用于静态摄像机拍摄的视频，而在移动相机下应用较少。主要原因是摄像头的运动使得图像背景变得复杂多变，针对不同场景的动平台下运动目标检测技术也不尽相同，很难有一个统一的技术手段应对多变的场景条件。有研究人员利用视频中特征点的运动轨迹来估计背景运动。通过分析较长的运动轨迹，可以推断出背景运动，这类方法往往需要较多的计算时间，因为每个特征点都需要通过很长的连续帧来得到相应的信息。
发明内容
基于此，有必要针对上述技术问题，提供一种面对多变场景时鲁棒性更高的动平台下运动目标检测方法、装置和检测设备。
一种动平台下运动目标检测方法，所述方法包括：
获取目标场景下的全景图，将所述全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景；
采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部窗口得到初始前景图；
将所述初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选所述二值图中的区域块，得到外接圆区域，根据所述外接圆区域确定正确区域，对所述正确区域逐一进行分割，得到精细化前景图；
根据所述精细化前景图进行运动目标检测。
在其中一个实施例中，采用RPCA算法得到每个局部窗口对应的局部背景，包括：
根据训练图像序列的绝对变换矩阵将所述训练图像序列扭曲融入全景图中，得到所述训练图像序列在所述全景图中对应的位置；
根据对应位置得到所述训练图像序列中的训练图像帧在所述全景图中对应的局部窗口，计算所述训练图像帧与对应局部窗口的重叠区域面积占所述对应局部窗口面积的百分比；
若所述百分比超过预设阈值，对所述重叠区域采用RPCA算法计算得到所述局部窗口对应的局部背景。
在其中一个实施例中，采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部背景图，得到初始前景图，包括：
将待检测图像序列输入训练好的位置预测网络，得到所述待检测图像序列中图像帧在所述全景图中的对应位置；
在所述对应位置的预设像素区域内，将所述图像帧与对应位置的局部窗口进行局部背景的减除，计算所述图像帧像素值与所述局部背景像素值的最小差值和：
Figure BDA0003538749700000021
其中，D′为图像帧扭曲融入到全景图的位置所在的区域，i表示全景图中某一像素点的位置，区域与局部窗口有重叠时，wi为1，区域与局部窗口没有重叠时，wi为0，xi为图像帧中某一像素点的像素值，c为像素点x的偏移距离，bi为局部背景图中某一像素点的像素值；
预先设置c的取值范围，通过c取值的变化确定最小差值和所对应的位置，将所述最小差值和所对应的位置作为所述图像帧在所述全景图中的精确位置i-c，根据所述精确位置得到初始前景图。
在其中一个实施例中，所述二值图包括二值化光流场图和二值化初始前景图；所述外接圆区域包括所述二值化光流场图的外接圆区域和二值化初始前景图的外接圆区域；
根据所述外接圆区域确定正确区域，包括：对所述二值化光流场图的外接圆区域和二值化初始前景图中对应的外接圆区域进行IOU值计算，当所得IOU值小于预设阈值时，剔除对应的二值化初始前景图中的外接圆区域，得到正确区域。
在其中一个实施例中，对所述正确区域逐一进行分割，得到精细化前景图，包括：
通过连接所述正确区域的的圆心和二值点得到多条矢量，根据所述矢量采用图像分割算法对所述正确区域逐一进行分割，得到精细化前景图。
在其中一个实施例中，在采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置之前，包括：
获取训练图像序列中图像帧间的匹配点集；所述匹配点集是根据所述训练图像序列中相邻图像帧间的特征点关系计算得到的；
根据所述匹配点集计算得到初始相对变换矩阵，采用后端优化框架优化所述初始相对变换矩阵，得到初始绝对变换矩阵；
采用空间变换器网络优化所述初始绝对变换矩阵，得到所述训练图像序列的绝对变换矩阵；
将训练图像序列中的图像帧和对应的绝对变换矩阵输入构建的位置预测网络中，完成所述位置预测网络的训练。
一种动平台下运动目标检测装置，所述装置包括：
局部背景计算模块，用于获取目标场景下的全景图，将所述全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景；
初始前景获取模块，用于采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部窗口得到初始前景图；
前景精细化模块，用于将所述初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选所述二值图中的区域块，得到外接圆区域，根据所述外接圆区域确定正确区域，对所述正确区域逐一进行分割，得到精细化前景图；
检测模块，用于根据所述精细化前景图进行运动目标检测。
一种检测设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标场景下的全景图，将所述全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景；
采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部窗口得到初始前景图；
将所述初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选所述二值图中的区域块，得到外接圆区域，根据所述外接圆区域确定正确区域，对所述正确区域逐一进行分割，得到精细化前景图；
根据所述精细化前景图进行运动目标检测。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标场景下的全景图，将所述全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景；
采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部窗口得到初始前景图；
将所述初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选所述二值图中的区域块，得到外接圆区域，根据所述外接圆区域确定正确区域，对所述正确区域逐一进行分割，得到精细化前景图；
根据所述精细化前景图进行运动目标检测。
上述一种动平台下运动目标检测方法、装置和检测设备，通过将目标场景下的全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景，此处将全景图分割为一个个窗口对后续运动物体的识别有更好的鲁棒性，然后训练好的位置预测网络得到的待检测图像序列中图像帧在全景图中的位置，根据图像帧及其对应位置处的局部窗口得到得到初始前景图，将初始前景图和光流场图分别进行二值化分割得到二值图，此处采用光流法无须了解场景的信息,就可以准确地检测识别运动目标位置，且在摄像机处于运动的情况下仍然适用，使用最小外接圆圈选二值图中的区域块，得到外接圆区域，再根据外接圆区域确定正确区域，对正确区域逐一进行分割，得到精细化前景图，最后根据精细化前景图进行运动目标检测。
附图说明
图1为一个实施例中动平台下运动目标检测方法的流程示意图；
图2为一个实施例中图像帧间匹配关系的示意图；
图3为一个实施例中粗略全景图的示意图；
图4为一个实施例中精细全景图的示意图；
图5为一个实施例中局部滑动窗口的示意图；
图6为一个实施例中初始前景图的示意图；
图7为一个实施例中二值化处理结果的示意图；
图8为一个实施例中区域划分结果的示意图；
图9为一个实施例中精细化前景图的示意图；
图10为一个实施例中动平台下运动目标检测装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下采用附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种动平台下运动目标检测方法的流程图，包括以下步骤：
步骤102，获取目标场景下的全景图，将全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景。
全景图是指通过训练用的图像序列中每一图像帧的初始绝对变换矩阵和中间参考帧计算处理得到，绝对变换矩阵是指图像序列中某一图像帧相对于中间参考帧的位置变换矩阵，中间参考帧是指位于图像序列中间的图像帧，每个图像帧均以中间帧为参考坐标进行绝对变换，全景图的作用主要在于获得其形状大小，便于局部窗口位置的确定。
具体的是根据得到的每一个图像帧的初始绝对变换矩阵变换向中间参考帧扭曲对应图像帧，得到变换图像帧，对图像扭曲到中间参考帧后两者的重叠区域中的像素点取其像素均值，得到全景图，也就是说全景图是通过图像配准使得同一成像设备在不同时间和不同视角获取的同一场景的多幅重叠图像变换到同一坐标系下以及将重叠区域的图像数据进行融合而得到的，此处不同视角仍需保持同一个水平或竖直方位。
局部背景是指图像帧在对全景图分割得到的若干局部窗口中所对应的局部窗口拼接而得，具体如何拼接是根据图像帧在全景图中的位置情况而定，此外可以采用RPCA算法将对应局部窗口中的图像帧矩阵分解为低秩矩阵(背景图)和稀疏矩阵(前景图)。与在全景图中直接使用RPCA算法相比，本实施例在全景图的分割窗口中使用RPCA算法，在建立大场景图或者长视频时可以有效捕捉到动态场景的变化以及减少内存的使用，同时，将全景图划分为一个个窗口对后续运动物体的识别有更好的鲁棒性。
步骤104，采用训练好的位置预测网络得到待检测图像序列中图像帧在全景图中的位置，根据图像帧在全景图中的位置和对应的局部窗口得到初始前景图。
图像序列是指在不同时间、不同视角下对目标依序连续获取的一系列图像，其中包括若干按时间排序的图像帧。
采用训练好的位置预测网络得到待检测图像序列在全景图中的位置后即可得到对应的局部窗口，将图像帧在对应位置的预设像素区域内与对应局部窗口中的局部背景进行减除可以进一步得到图像帧在全景图中的精确位置，从而确定初始前景图。
步骤106，将初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选二值图中的区域块，得到外接圆区域，根据外接圆区域确定正确区域，对正确区域逐一进行分割，得到精细化前景图。
光流是由于场景中前景目标本身的移动、相机的运动或者两者的共同运动所产生的，是空间运动物体在观察成像平面上的像素点运动的瞬时速度，光流表达了图像帧的变化，包含了目标运动的信息，可以用来确定目标的运动情况。光流场图是利用图像序列中图像帧的像素在时间域上的变化以及相邻帧之间的相关性找到上一帧跟当前帧之间存在的对应关系，从而计算并处理得到的。
二值化分割的程度由二值图中区域块数量增减变化情况确定，区域块的数量会随二值化分割程度的加深而变多，统计不同分割程度下的区域块数量，选取其中相同区域块数最多的分割程度，即使得区域块变化最为稳定的二值化分割程度进行前景精细化处理。
本实施例中的二值图包括待检测图像序列中图像帧的二值化初始前景图和对应二值化光流场图，确定二值图之后，使用最小外接圆将二值图中每一个区域块进行圈选，确定二值图上每个二值点对应的外接圆区域，计算图像帧二值化初始前景图和对应的二值化光流场图中相互对应的外接圆区域的IOU值，当IOU值小于阈值时，将对应的外接圆区域视为初始前景图的前景干扰部分，予以剔除，当IOU值小于阈值时，保存对应的外接圆区域，最终得到二值图中的正确区域。
步骤110，根据精细化前景图进行运动目标检测。
上述一种动平台下运动目标检测方法，通过将目标场景下的全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景，此处将全景图分割为一个个窗口对后续运动物体的识别有更好的鲁棒性，然后训练好的位置预测网络得到的待检测图像序列中图像帧在全景图中的位置，根据图像帧及其对应位置处的局部窗口得到得到初始前景图，将初始前景图和光流场图分别进行二值化分割得到二值图，此处采用光流法无须了解场景的信息，就可以准确地检测识别运动目标位置，且在摄像机处于运动的情况下仍然适用，使用最小外接圆圈选二值图中的区域块，得到外接圆区域，再根据外接圆区域确定正确区域，对正确区域逐一进行分割，得到精细化前景图，最后根据精细化前景图进行运动目标检测。
在一个实施例中，采用RPCA算法得到每个局部窗口对应的局部背景，包括：
根据训练图像序列的绝对变换矩阵将训练图像序列扭曲融入全景图中，得到训练图像序列在全景图中对应的位置，根据对应位置得到训练图像序列中的训练图像帧在全景图中对应的局部窗口，计算训练图像帧与对应局部窗口的重叠区域面积占对应局部窗口面积的百分比，若百分比超过预设阈值，对重叠区域采用RPCA算法计算得到局部窗口对应的局部背景。
在一个实施例中，采用训练好的位置预测网络得到待检测图像序列中图像帧在全景图中的位置，根据图像帧在全景图中的位置和对应的局部背景图，得到初始前景图，包括：
将待检测图像序列输入训练好的位置预测网络，得到待检测图像序列中图像帧在全景图中的对应位置，在对应位置的预设像素区域内，将图像帧与对应位置的局部窗口进行局部背景的减除，计算图像帧像素值与局部背景像素值的最小差值和：
Figure BDA0003538749700000081
其中，D′为图像帧扭曲融入到全景图的位置所在的区域，i表示全景图中某一像素点的位置，区域与局部窗口有重叠时，wi为1，区域与局部窗口没有重叠时，wi为0，xi为图像帧中某一像素点的像素值，c为像素点x的偏移距离，bi为局部背景图中某一像素点的像素值。
预先设置c的取值范围，通过c取值的变化确定最小差值和所对应的位置，将最小差值和所对应的位置作为图像帧在全景图中的精确位置i-c，根据精确位置得到初始前景图。
在一个实施例中，在采用训练好的位置预测网络得到待检测图像序列中图像帧在全景图中的位置之前，包括：
获取训练图像序列中图像帧间的匹配点集。匹配点集是根据训练图像序列中相邻图像帧间的特征点关系计算得到的。具体的，可以使用SIFT特征检测器依次检测得到图像序列中每一图像帧的特征点，计算相邻图像帧特征点的Hamming距离对图像帧间进行特征点匹配，并采用RANSAC算法剔除其中错误的匹配点，得到最终的匹配点集。
根据匹配点集计算得到初始相对变换矩阵，采用后端优化框架优化初始相对变换矩阵，得到初始绝对变换矩阵。可以采用SE-Sync优化框架，根据得到的初始绝对变换矩阵对训练图像序列中所有图像帧以中间帧为参考进行变换，可以得到变换图像帧。
采用空间变换器网络优化初始绝对变换矩阵，得到训练图像序列的绝对变换矩阵。空间变换器网络能够自主在空间上转化特征映射，学习平移、缩放、旋转和更一般的扭曲。将全景图和原图像帧在全景图中的位置矩阵输入空间变换器网络进行优化，可以得到训练图像序列的绝对变换矩阵。
将训练图像序列中的图像帧和对应的绝对变换矩阵输入构建的位置预测网络中，完成位置预测网络的训练。训练位置预测网络的目的是使任意输入到网络中的原图(未经过扭曲处理的图片)，都能通过该网络预测得到其对应于中间帧的绝对变换矩阵，此处的原图是指与训练时所使用的图像序列拍摄于同一区域场景下的视频中的图像帧。
在一个实施例中，采用RPCA算法得到每个局部窗口对应的局部背景，包括：
根据训练图像序列的绝对变换矩阵将训练图像序列扭曲融入全景图中，得到训练图像序列在全景图中对应的位置，根据对应位置得到训练图像序列中的训练图像帧在全景图中对应的局部窗口，计算训练图像帧与对应局部窗口的重叠区域面积占对应局部窗口面积的百分比，若百分比超过预设阈值，对重叠区域采用RPCA算法计算得到局部窗口对应的局部背景。
每一个窗口使用RPCA算法是计算所有满足条件的图像帧的区域，而非一张图像帧，区域需要叠加才能使用RPCA，进而得到稳定的局部背景图。
在一个实施例中，采用训练好的位置预测网络得到待检测图像序列中图像帧在全景图中的位置，包括：
将待检测图像序列输入训练好的位置预测网络得到待检测图像序列的预测绝对变换矩阵，根据对应的预测绝对变换矩阵得到待检测图像序列中图像帧在全景图中的位置。
在又一实施例中，采用训练好的位置预测网络得到待检测图像序列中图像帧在全景图中的位置，根据图像帧在全景图中的位置和对应的局部背景图，得到初始前景图，包括：
将待检测图像序列输入训练好的位置预测网络，得到待检测图像序列中图像帧在全景图中的对应位置，在对应位置的预设像素区域内，将图像帧与对应位置的局部窗口进行局部背景的减除，计算图像帧像素值与局部背景像素值的最小差值和：
Figure BDA0003538749700000101
其中，D′为图像帧扭曲融入到全景图的位置所在的区域，i表示全景图中某一像素点的位置，区域与窗口有重叠时，wi为1，区域与窗口没有重叠时，wi为0，xi为图像帧中某一像素点的像素值，c为像素点x的偏移距离，bi为局部背景图中某一像素点的像素值。
图像帧通过网络预测得到的绝对变换矩阵得到的在全景图中的位置是一个大概的位置，预先设置c的取值范围，通过c取值的变化，图像帧在该大概位置的预设像素区域内浮动，即图像帧在全景图中的位置发生偏移，选取其中最小差值和所对应的位置，将最小差值和所对应的位置作为图像帧在全景图中的精确位置i-c，根据精确位置得到初始前景图。通过上述过程得到初始的粗略前景图，粗略前景图可能存在生成运动目标不清晰、轮廓不完整和运行目标与背景颜色相似所产生的空洞问题，后续需要对此粗略前景图进行精细化。
在一个实施例中，二值图包括二值化光流场图和二值化初始前景图。
外接圆区域包括二值化光流场图的外接圆区域和二值化初始前景图的外接圆区域。
根据外接圆区域确定正确区域，包括：
在二值化光流场图的外接圆区域和二值化初始前景图中对应的外接圆区域进行IOU值计算，当所得IOU值小于预设阈值时，剔除对应的二值化粗略前景图中的外接圆区域，得到正确区域。比如当IOU阈值设置为0.8时，若IOU值大于0.8，对对应的外接圆区域予以保存，否则将对应区域视为前景干扰予以剔除，最终得到正确区域。
在一个实施例中，对正确区域逐一进行分割，得到精细化前景图，包括：
通过连接正确区域的圆心和对应区域内的二值点得到多条矢量，根据矢量采用图像分割算法对正确区域逐一进行分割，得到精细化前景图，其中图像分割算法可以选择onecut图像分割算法。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
具体的，在此以一个实施例进行详细说明：
选取VIVID数据集进行训练，使用SIFT检测器依次检测图片帧中特征点和对应描述子，其中描述子为128位二进制编码，计算相邻图像帧特征点的Hamming距离对图像帧间进行特征点匹配，为了增加鲁棒性，图像帧间的匹配可以延伸到每个图像帧与其后三帧，如图2所示，提供了图像帧间匹配关系的示意图。
采用RANSAC算法剔除其中错误的匹配点，得到最终的匹配点集后，随机选取匹配点集中十分之一的匹配点进行6参数仿射变换，以相邻两个图像帧为例，初始相对仿射变换矩阵求解公式(1)如下：
Figure BDA0003538749700000121
其中，(x′，y′)表示相邻图像帧中第I+1个图像帧中某个特征点的坐标，(x，y)表示相邻图像帧中第I个图像帧中对应特征点的坐标，(tx，ty)表示平移量，而参数ai反映了图像旋转、缩放等变化，求解参数tx，ty，ai，可得到相邻两个图像帧的坐标变换关系，即图像帧间的初始相对仿射变换矩阵。
得到图像帧间初始相对仿射变换矩阵之后，使用后端优化框架SE-Sync对其进行优化，根据得到的初始绝对仿射变换矩阵，将对应的图像帧进行变换得到变换图像帧，由此可得到粗略全景图，如图3所示。
选取得到的其中连续88张图像帧输入空间变换器网络，输入原图像帧及其对应扭曲在大小为(532，586，3)全景图上的图像、(532，586，w)二进制数据和初始绝对仿射变换矩阵，其中(532，586，w)为变换图像帧在全景图中的位置，w用0或1表示，0表示变换图像帧不在全景图的某一像素点上，1表示变换图像帧在全景图的某一像素点上，输出为网络自己学习的变换图像(532，586，3)，通过网络自己学习的变换图像与原变换图像进行对比损失，网络将不断学习优化，得到最终的绝对仿射变换矩阵，公式(2)、(3)如下：
Figure BDA0003538749700000122
Figure BDA0003538749700000123
其中，N表示第N个图像帧，D为全景图区域，w为二进制数据，判断变换图像帧在全景图的位置，
Figure BDA0003538749700000124
为网络扭曲变换图像第j帧的第i个位置的像素值，f为Huber损失，如公式(4)所示，ui为所有变换图像在全景图i点处的平均像素值，λ＞0，用来控制一个新的从空间变换器网络计算的绝对仿射变换矩阵Tj到原输入的初始绝对仿射变换矩阵θ正则化惩罚的偏差仿射。
Figure BDA0003538749700000125
优化完成之后，最终得到一个较为完善的绝对仿射变换矩阵，由此可以得到精细的绝对变换图像帧，并可以得到精细全景图，如图4所示。
将大小为(532，586，3)的全景图划分为多个较小的滑动窗口，滑动窗口的大小可以设置为(250，400)，每30个像素进行水平或者竖直位移，输入图像帧大小为(250，420，3)，根据绝对变换矩阵将待检测图像序列的图像帧扭曲融合到全景图中，如图5所示，提供局部滑动窗口的示意图，计算图像帧与对应滑动窗口之间重叠区域占滑动窗口的面积比，若百分比超过预设阈值，对重叠区域采用RPCA算法计算得到图像帧在全景图中对应的局部背景图。
在此，阈值可以预先设置为85％，此时，当面积比超过85％时，对重叠部分采用RPCA算法进行计算，对于滑动窗口内未重叠区域(图中滑动窗口黑色区域)和图像帧位于滑动窗口外的区域不予以计算，最终得到图像序列中图像帧在全景图中对应的局部背景图。
在实际操作阶段，通过训练好的GoogLeNet网络预测图像帧的绝对仿射变换矩阵，从而得到图像帧在全景图中的位置，并在该位置的5像素范围内与对应的局部背景像素值进行减除，计算最小差值和对应的位置作为图像帧在全景图中的精确位置，公式如下：
Figure BDA0003538749700000131
其中，D′为图像帧扭曲融入到全景图的区域，i表示全景图中某一像素点的位置，wi判断区域与窗口是否有重叠，区域与窗口有重叠时，wi为1，区域与窗口没有重叠时，wi为0，xi为图像帧中某一像素点的像素值，c为像素点x的偏移距离，取值范围为[0，5]，bi为局部背景图中某一像素点的像素值。
根据图像帧的精确位置得到初始前景图，如图6所示。
将初始前景图和光流场图进行二值化分割，分割程度依据二值图中区域块增减情况确定，区域块的数量会随二值化分割程度的加深而变多，统计不同分割程度下的区域块数量，选取其中相同区域块数最多的分割程度，即使得区域块变化最为稳定的二值化分割程度进行前景精细化处理。用外接圆将每一个区域块包围，划分区域。二值化处理结果如图7所示，其中原图指的是初始前景图，二值化粗略前景图即二值化初始前景图，区域划分结果如图8所示。
在可视化光流场和粗略全景图的二值区域被圈选之后，对两个图片相互对应区域的二值区域进行IOU值计算，满足IOU大于0.8予以保存其他情况将对应区域予以剔除。确定正确区域之后，针对粗略前景图所生成运动目标不清晰、轮廓不完整和运行目标与背景颜色相似所产生的空洞问题，通过圈选的每一区域的圆心与区域内二值点进行连接产生多条矢量，采用onecut图像分割算法对圈选的区域进行逐一分割，最终得到精细化前景图，如图9所示，最后根据精细化前景图进行运动目标的检测。
在又一个实施例中，如图10所示，提供了一种动平台下运动目标检测装置的结构框图，包括：局部背景计算模块、初始前景获取模块、前景精细化模块和检测模块，其中：
局部背景计算模块，用于获取目标场景下的全景图，将全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景；
初始前景获取模块，用于采用训练好的位置预测网络得到待检测图像序列中图像帧在全景图中的位置，根据图像帧在全景图中的位置和对应的局部窗口得到初始前景图；
前景精细化模块，用于将初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选二值图中的区域块，得到外接圆区域，根据外接圆区域确定正确区域，对正确区域逐一进行分割，得到精细化前景图；
检测模块，用于根据精细化前景图进行运动目标检测。
在一个实施例中，局部背景计算模块还用于根据训练图像序列的绝对变换矩阵将训练图像序列扭曲融入全景图中，得到训练图像序列在全景图中对应的位置，根据对应位置得到训练图像序列中的训练图像帧在全景图中对应的局部窗口，计算训练图像帧与对应局部窗口的重叠区域面积占对应局部窗口面积的百分比，若百分比超过预设阈值，对重叠区域采用RPCA算法计算得到局部窗口对应的局部背景。
在一个实施例中，初始前景获取模块还用于将待检测图像序列输入训练好的位置预测网络，得到待检测图像序列中图像帧在全景图中的对应位置；
在对应位置的预设像素区域内，将图像帧与对应位置的局部窗口进行局部背景的减除，计算图像帧像素值与局部背景像素值的最小差值和：
Figure BDA0003538749700000151
其中，D′为图像帧扭曲融入到全景图的区域，i表示全景图中某一像素点的位置，wi判断区域与窗口是否有重叠，区域与窗口有重叠时，wi为1，区域与窗口没有重叠时，wi为0，xi为图像帧中某一像素点的像素值，c为像素点x的偏移距离，取值范围为[0，5]，bi为局部背景图中某一像素点的像素值，预先设置c的取值范围，通过c取值的变化确定最小差值和所对应的位置，将最小差值和所对应的位置作为图像帧在全景图中的精确位置i-c，根据精确位置得到初始前景图。
在一个实施例中，前景精细化模块还用于对二值化光流场图的外接圆区域和二值化初始前景图中对应的外接圆区域进行IOU值计算，当所得IOU值小于预设阈值时，剔除对应的二值化初始前景图中的外接圆区域，得到正确区域。
在一个实施例中，前景精细化模块还用于通过连接述正确区域的圆心和对应区域内的二值点得到多条矢量，根据矢量采用图像分割算法对正确区域逐一进行分割，得到精细化前景图。
关于一种动平台下运动目标检测装置的具体限定可以参见上文中对于一种动平台下运动目标检测方法的限定，在此不再赘述。上述一种动平台下运动目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种动平台下运动目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种检测设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synch link)DRAM(SLDRAM)、存储器总线(Ram bus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种动平台下运动目标检测方法，其特征在于，所述方法包括：
获取目标场景下的全景图，将所述全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景；
采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部窗口得到初始前景图；
将所述初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选所述二值图中的区域块，得到外接圆区域，根据所述外接圆区域确定正确区域，对所述正确区域逐一进行分割，得到精细化前景图；
根据所述精细化前景图进行运动目标检测。
2.根据权利要求1所述的方法，其特征在于，所述采用RPCA算法得到每个局部窗口对应的局部背景，包括：
根据训练图像序列的绝对变换矩阵将所述训练图像序列扭曲融入全景图中，得到所述训练图像序列在所述全景图中对应的位置；
根据对应位置得到所述训练图像序列中的训练图像帧在所述全景图中对应的局部窗口，计算所述训练图像帧与对应局部窗口的重叠区域面积占所述对应局部窗口面积的百分比；
若所述百分比超过预设阈值，对所述重叠区域采用RPCA算法计算得到所述局部窗口对应的局部背景。
3.根据权利要求2所述的方法，其特征在于，采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部背景图，得到初始前景图，包括：
将待检测图像序列输入训练好的位置预测网络，得到所述待检测图像序列中图像帧在所述全景图中的对应位置；
在所述对应位置的预设像素区域内，将所述图像帧与对应位置的局部窗口进行局部背景的减除，计算所述图像帧像素值与所述局部背景像素值的最小差值和：
Figure FDA0003538749690000021
其中，D′为图像帧扭曲融入到全景图的位置所在的区域，i表示全景图中某一像素点的位置，区域与局部窗口有重叠时，wi为1，区域与局部窗口没有重叠时，wi为0，xi为图像帧中某一像素点的像素值，c为像素点x的偏移距离，bi为局部背景图中某一像素点的像素值；
预先设置c的取值范围，通过c取值的变化确定最小差值和所对应的位置，将所述最小差值和所对应的位置作为所述图像帧在所述全景图中的精确位置i-c，根据所述精确位置得到初始前景图。
4.根据权利要求3所述的方法，其特征在于，所述二值图包括二值化光流场图和二值化初始前景图；
所述外接圆区域包括所述二值化光流场图的外接圆区域和二值化初始前景图的外接圆区域；
根据所述外接圆区域确定正确区域，包括：
对所述二值化光流场图的外接圆区域和二值化初始前景图中对应的外接圆区域进行IOU值计算，当所得IOU值小于预设阈值时，剔除对应的二值化初始前景图中的外接圆区域，得到正确区域。
5.根据权利要求4所述的方法，其特征在于，对所述正确区域逐一进行分割，得到精细化前景图，包括：
通过连接所述正确区域的的圆心和二值点得到多条矢量，根据所述矢量采用图像分割算法对所述正确区域逐一进行分割，得到精细化前景图。
6.根据权利要求1至5任一项所述的方法，其特征在于，在采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置之前，包括：
获取训练图像序列中图像帧间的匹配点集；所述匹配点集是根据所述训练图像序列中相邻图像帧间的特征点关系计算得到的；
根据所述匹配点集计算得到初始相对变换矩阵，采用后端优化框架优化所述初始相对变换矩阵，得到初始绝对变换矩阵；
采用空间变换器网络优化所述初始绝对变换矩阵，得到所述训练图像序列的绝对变换矩阵；
将训练图像序列中的图像帧和对应的绝对变换矩阵输入构建的位置预测网络中，完成所述位置预测网络的训练。
7.根据权利要求6所述的方法，其特征在于，所述采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，包括：
将所述待检测图像序列输入训练好的位置预测网络得到所述待检测图像序列的预测绝对变换矩阵，根据对应的预测绝对变换矩阵得到所述待检测图像序列中图像帧在全景图中的位置。
8.一种动平台下运动目标检测装置，其特征在于，所述装置包括：
局部背景计算模块，用于获取目标场景下的全景图，将所述全景图划分为若干个局部窗口，采用RPCA算法得到每个局部窗口对应的局部背景；
初始前景获取模块，用于采用训练好的位置预测网络得到所述待检测图像序列中图像帧在全景图中的位置，根据所述图像帧在所述全景图中的位置和对应的局部窗口得到初始前景图；
前景精细化模块，用于将所述初始前景图和光流场图分别进行二值化分割得到二值图，使用最小外接圆圈选所述二值图中的区域块，得到外接圆区域，根据所述外接圆区域确定正确区域，对所述正确区域逐一进行分割，得到精细化前景图；
检测模块，用于根据所述精细化前景图进行运动目标检测。
9.一种检测设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210231978.3A 2022-03-09 2022-03-09 一种动平台下运动目标检测方法、装置和检测设备 Active CN114581482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210231978.3A CN114581482B (zh) 2022-03-09 2022-03-09 一种动平台下运动目标检测方法、装置和检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210231978.3A CN114581482B (zh) 2022-03-09 2022-03-09 一种动平台下运动目标检测方法、装置和检测设备

Publications (2)

Publication Number Publication Date
CN114581482A true CN114581482A (zh) 2022-06-03
CN114581482B CN114581482B (zh) 2023-05-02

Family

ID=81774468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210231978.3A Active CN114581482B (zh) 2022-03-09 2022-03-09 一种动平台下运动目标检测方法、装置和检测设备

Country Status (1)

Country Link
CN (1) CN114581482B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325112A (zh) * 2013-06-07 2013-09-25 中国民航大学 动态场景中运动目标快速检测方法
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放军火箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法
CN108648211A (zh) * 2018-05-16 2018-10-12 思百达物联网科技(北京)有限公司 一种基于深度学习的小目标检测方法、装置、设备和介质
CN111179302A (zh) * 2019-12-27 2020-05-19 普联国际有限公司 一种运动目标检测方法、装置、存储介质及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325112A (zh) * 2013-06-07 2013-09-25 中国民航大学 动态场景中运动目标快速检测方法
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放军火箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法
CN108648211A (zh) * 2018-05-16 2018-10-12 思百达物联网科技(北京)有限公司 一种基于深度学习的小目标检测方法、装置、设备和介质
CN111179302A (zh) * 2019-12-27 2020-05-19 普联国际有限公司 一种运动目标检测方法、装置、存储介质及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘亚,艾海舟,徐光佑: "基于主运动分析的野外视觉侦察系统――运动目标检测、跟踪及全景图的生成" *
刘亚,艾海舟,徐光佑: "基于主运动分析的野外视觉侦察系统――运动目标检测、跟踪及全景图的生成", 机器人 *

Also Published As

Publication number Publication date
CN114581482B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US10753881B2 (en) Methods and systems for crack detection
CN108446585B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN110334569B (zh) 客流量进出识别方法、装置、设备及存储介质
CN110490902B (zh) 应用于智慧城市的目标跟踪方法、装置、计算机设备
CN110097586B (zh) 一种人脸检测追踪方法及装置
CN110634153A (zh) 目标跟踪模板更新方法、装置、计算机设备和存储介质
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN109035295B (zh) 多目标跟踪方法、装置、计算机设备和存储介质
CN110610150B (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
US11900676B2 (en) Method and apparatus for detecting target in video, computing device, and storage medium
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
US9082019B2 (en) Method of establishing adjustable-block background model for detecting real-time image object
CN110930434A (zh) 目标对象跟踪方法、装置、存储介质和计算机设备
CN111915483A (zh) 图像拼接方法、装置、计算机设备和存储介质
WO2022206680A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN112989910A (zh) 电力目标检测方法、装置、计算机设备和存储介质
CN111275743A (zh) 目标追踪方法、装置、计算机可读存储介质和计算机设备
Gao Performance evaluation of automatic object detection with post-processing schemes under enhanced measures in wide-area aerial imagery
CN110516559B (zh) 适用于精准监控的目标跟踪方法及装置、计算机设备
CN114581482B (zh) 一种动平台下运动目标检测方法、装置和检测设备
Zhang et al. Moving object detection algorithm based on pixel spatial sample difference consensus
CN113129227A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113592876A (zh) 分割网络的训练方法、装置、计算机设备和存储介质
Xiao et al. Robust model adaption for colour-based particle filter tracking with contextual information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Chen Zhongyu

Inventor before: Xie Jianbin

Inventor before: Chen Zhongyu

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231224

Address after: 410000 No. 96, tongzipo Road, Yuelu District, Changsha City, Hunan Province

Patentee after: Hunan Zhongke Zhuying Intelligent Technology Research Institute Co.,Ltd.

Patentee after: National University of Defense Technology

Address before: 410000 No. 96, tongzipo Road, Yuelu District, Changsha City, Hunan Province

Patentee before: Hunan Zhongke Zhuying Intelligent Technology Research Institute Co.,Ltd.