CN107330922A - 基于运动信息和区域特征的航拍视频运动目标检测方法 - Google Patents

基于运动信息和区域特征的航拍视频运动目标检测方法 Download PDF

Info

Publication number
CN107330922A
CN107330922A CN201710535578.0A CN201710535578A CN107330922A CN 107330922 A CN107330922 A CN 107330922A CN 201710535578 A CN201710535578 A CN 201710535578A CN 107330922 A CN107330922 A CN 107330922A
Authority
CN
China
Prior art keywords
mrow
msubsup
image
mover
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710535578.0A
Other languages
English (en)
Inventor
杨涛
段文成
张艳宁
李治
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Shenzhen Institute of Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Shenzhen Institute of Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University, Shenzhen Institute of Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710535578.0A priority Critical patent/CN107330922A/zh
Publication of CN107330922A publication Critical patent/CN107330922A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于运动信息和区域特征的航拍视频运动目标检测方法，用于解决现有运动目标检测方法目标检测完整性差的技术问题。技术方案是首先使用背景差分方法进行运动像素检测，得到图像中的候选运动区域。接着，采用基于局部极值的分水岭算法对图像进行斑点检测，得到所有的静态候选目标。最后，通过结合运动信息及区域特征进行运动目标提取，得到了完整的运动目标检测框且降低了虚警率。

Description

基于运动信息和区域特征的航拍视频运动目标检测方法
技术领域
本发明涉及一种运动目标检测方法，特别是涉及一种基于运动信息和区域特征的航拍视频运动目标检测方法。
背景技术
文献“Detection of moving objects with non-stationary cameras in5.8ms:Bringing motion detection to your mobile device,Proceedings of the IEEEConference on Computer Vision and Pattern Recognition Workshops.2013:27-34.”提出了一种基于双模态高斯背景建模的移动平台运动目标检测方法。该方法在对图像进行分块的基础上，对每个图像块中的多个像素使用同一双模态高斯背景模型进行建模。为了减小运动补偿的误差，通过加权融合前一帧多个图像块的背景模型，对当前图像进行运动补偿。最后，采用背景差分法对当前图像进行运动目标检测。由于对图像块进行背景建模，降低了运算量，较好地解决了移动平台运动目标检测的实时性问题。文献方法通过背景差分仅分割了图像中的运动像素，无法得到完整的运动目标检测框，且存在较多虚警，对后续的运动目标跟踪等工作造成了很大的困难。
发明内容
为了克服现有运动目标检测方法目标检测完整性差的不足，本发明提供一种基于运动信息和区域特征的航拍视频运动目标检测方法。该方法首先使用背景差分方法进行运动像素检测，得到图像中的候选运动区域。接着，采用基于局部极值的分水岭算法对图像进行斑点检测，得到所有的静态候选目标。最后，通过结合运动信息及区域特征进行运动目标提取，得到了完整的运动目标检测框且降低了虚警率。
本发明解决其技术问题所采用的技术方案是：一种基于运动信息和区域特征的航拍视频运动目标检测方法，其特点是包括以下步骤：
步骤一、将输入的图像划分N×N的图像块，对每个图像块中的所有像素使用两个单高斯模型进行背景建模，分别作为现用背景模型和候选背景模型。当满足式(1)时更新现用模型；满足式(2)时更新备用模型。若两公式都不满足，则使用当前观测值初始化备用模型。
式中，分别表示图像块i在t时刻的现用模型的均值，方差和生存期。令表示图像块i在t时刻的候选模型的对应参数。
θs为规定的阈值，取值为2。使用如下公式计算。
经过上述判断后，对满足更新条件的模型进行更新。模型的均值方差及生存周期的更新方法如下：
其中，表示图像块i时刻t的背景模型向t-1时刻模型补偿后的均值、方差和生存期。式(5)中的Vi (t)的含义为，
若候选模型在某时刻的生存周期超过了现用模型，则将两模型的功能交换，激活候选模型作为有效模型。
将输入图像分成H*W大小的块，取分块的角点作为特征点，在每一个图像分块上通过KLT算法对特征点进行匹配，使用RANSAC算法求解出符合大部分特征点匹配情况的变换矩阵。将图像块Gi根据变换矩阵变换后，其位置与相邻图像块发生重叠。此时，根据重叠面积大小对相邻图像块前一帧的模型参数加权求和得到图像块Gi前一帧的背景模型，实现当前帧图像的运动补偿。
得到当前图像的背景建模结果后，与传统的背景差分方法不同，通过比较图像像素值和背景模型均值差值的平方与背景模型方差之间的差异，确定前景像素。具体使用式(8)计算，
式中，θd为人为设置的阈值，取值为4。通过形态学滤波去除前景中的虚警，检测连通域提取候选运动目标的检测框。
步骤二、将输入的三通道彩色图像转化为灰度图像，在灰度图像上进行斑点检测。阈值步长t设置为10，阈值范围设置为T1＝50，T2＝220。使用阈值集合[T1,T1+t,T1+2t,...,T2]对灰度图进行二值化，得到对应于每个阈值的二值图像。检测二值图像集合中每幅图像的边界，提取该二值图像的连通区域。由边界围成的不同的连通区域即为该二值图像的斑点。然后，对二值图像斑点进行分类，斑点中心坐标间的距离小于阈值Tb＝2的二值图像斑点的集合即为灰度图像的斑点。
求得第t帧灰度图像的斑点后，根据每个斑点的面积和圆度对斑点进行筛选。当斑点的面积在阈值范围内时，将其加入候选斑点集合B(t)中，即：
式中，a_l和a_h分别为面积阈值下限和上限，取值分别为200和1000。使用圆度对面积筛选过后的斑点集合进一步进行筛选。当斑点的圆度满足下述条件时，将该斑点加入该图像最终的候选斑点集合。
式中，c_l和c_h分别为圆度阈值下限和上限，取值分别为0.3和10.0。
对斑点进行筛选后，需要确定每个最终候选斑点的位置和尺寸。斑点位置的计算为构成该斑点的所有二值图像斑点的位置加权和，权值为该二值图像斑点的惯性率的平方。斑点尺寸为组成该灰度图斑点的所有二值图像斑点中，面积大小居中的斑点的半径长度。
步骤三、经过上述步骤，得到了当前图像的两组独立的候选目标集合canO(t)和canB(t)。循环遍历候选运动目标集合canO(t)中的所有的候选目标，计算每个候选目标的置信度对运动检测集合中的候选目标计算其与候选斑点集合中的每个斑点的重叠率
式中，表示两个区域的重叠面积，表示候选目标的面积。对于候选目标选择重叠率中的最大值作为该目标的重叠率若重叠率大于阈值th_r，取值为0.8，则将重叠率作为该候选目标的置信度。若重叠率小于阈值th_r，则将目标加入候选漏检目标集合中。同时，将canB(t)集合中未与canO(t)集合的任一元素匹配的元素加入候选漏检目标集合canl(t)中。计算该集合中目标与前一帧图像每个有效运动目标的重叠率及的置信度
设置置信度阈值下限thre_c，取值为0.8。根据置信度大小选择最终的有效运动目标。若候选目标的置信度为与的重叠率，达到了置信度下限。则运动目标的尺寸(w,h)和位置(x,y)计算如下：
式中，为的矩形框宽度，为的矩形框宽度。目标检测框的最终高度h，横坐标x和纵坐标y的计算方式与宽度w的计算方式相同，为相应属性的加权求和。至此，得到当前图像所有运动目标的完整检测框。
本发明的有益效果是：该方法首先使用背景差分方法进行运动像素检测，得到图像中的候选运动区域。接着，采用基于局部极值的分水岭算法对图像进行斑点检测，得到所有的静态候选目标。最后，通过结合运动信息及区域特征进行运动目标提取，得到了完整的运动目标检测框且降低了虚警率。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明基于运动信息和区域特征的航拍视频运动目标检测方法具体步骤如下：
步骤一、基于背景建模的运动信息检测。
将输入的图像划分为4×4大小的图像块，对每个图像块中的所有像素使用两个单高斯模型进行背景建模，分别作为现用背景模型和候选背景模型。若当前图像满足下述式(1)或式(2)时，选取对应的背景模型进行更新，即：当满足式(1)时更新现用模型；满足式(2)时更新备用模型。若两公式都不满足，则使用当前观测值初始化备用模型。
式中，分别表示图像块i在t时刻的现用模型的均值，方差和生存期。令表示图像块i在t时刻的候选模型的对应参数。
θs为规定的阈值，本实施例取值为2。使用如下公式计算。
经过上述判断后，对满足更新条件的模型进行更新。模型的均值方差及生存周期的更新策略如下：
其中，表示图像块i时刻t的背景模型向t-1时刻模型补偿后的均值、方差和生存期。上式中的的含义为，
若候选模型在某时刻的生存周期超过了现用模型，则将两模型的功能交换，激活候选模型作为有效模型。
为了减小运动补偿的误差，对前一帧图像中多个图像块的模型参数加权来实现当前帧模型的运动补偿。将输入图像分成32*24大小的块，取分块的角点作为特征点，在每一个图像分块上通过KLT算法对特征点进行匹配，使用RANSAC算法求解出符合大部分特征点匹配情况的变换矩阵。将图像块Gi根据变换矩阵变换后，其位置与相邻图像块发生重叠。此时，根据重叠面积大小对相邻图像块前一帧的模型参数加权求和得到图像块Gi前一帧的背景模型，从而实现当前帧图像的运动补偿。
得到当前图像的背景建模结果后，与传统的背景差分方法不同，通过比较图像像素值和背景模型均值差值的平方与背景模型方差之间的差异，确定前景像素。具体使用如下公式计算，
式中，θd为人为设置的阈值，本实施例取值为4。最后，通过形态学滤波去除前景中的虚警，检测连通域提取候选运动目标的检测框。
步骤二、图像斑点检测。
将输入的三通道彩色图像转化为灰度图像，在灰度图像上进行斑点检测。阈值步长t设置为10，阈值范围设置为T1＝50，T2＝220。使用阈值集合[T1,T1+t,T1+2t,...,T2]对灰度图进行二值化，得到对应于每个阈值的二值图像。检测二值图像集合中每幅图像的边界，提取该二值图像的连通区域。由边界围成的不同的连通区域即为该二值图像的斑点。然后，对二值图像斑点进行分类，斑点中心坐标间的距离小于阈值Tb＝2的二值图像斑点的集合即为灰度图像的斑点。
求得第t帧灰度图像的斑点后，根据每个斑点的面积和圆度对斑点进行筛选。当斑点的面积在阈值范围内时，将其加入候选斑点集合B(t)中，即：
式中，a_l和a_h分别为面积阈值下限和上限，本实施例取值分别为200和1000。使用圆度对面积筛选过后的斑点集合进一步进行筛选。当斑点的圆度满足下述条件时，将该斑点加入该图像最终的候选斑点集合。
式中，c_l和c_h分别为圆度阈值下限和上限，取值分别为0.3和10.0。
对斑点进行筛选后，需要确定每个最终候选斑点的位置和尺寸。斑点位置的计算为构成该斑点的所有二值图像斑点的位置加权和，权值为该二值图像斑点的惯性率的平方。斑点尺寸为组成该灰度图斑点的所有二值图像斑点中，面积大小居中的斑点的半径长度。
步骤三、有效运动目标提取。
经过上述步骤，得到了当前图像的两组独立的候选目标集合canO(t)和canB(t)。循环遍历候选运动目标集合canO(t)中的所有的候选目标，计算每个候选目标的置信度对运动检测集合中的候选目标计算其与候选斑点集合中的每个斑点的重叠率
式中，表示两个区域的重叠面积，表示候选目标的面积。对于候选目标选择重叠率中的最大值作为该目标的重叠率若重叠率大于阈值th_r，本实施例取值为0.8，则将重叠率作为该候选目标的置信度。若重叠率小于阈值th_r，则将目标加入候选漏检目标集合中。同时，将canB(t)集合中未与canO(t)集合的任一元素匹配的元素加入候选漏检目标集合canl(t)中。计算该集合中目标与前一帧图像每个有效运动目标的重叠率及的置信度计算方法及步骤与上文所述相同。
设置置信度阈值下限thre_c，取值为0.8。根据置信度大小选择最终的有效运动目标。若候选目标的置信度为与的重叠率，达到了置信度下限。则运动目标的尺寸(w,h)和位置(x,y)计算如下：
式中，为的矩形框宽度，为的矩形框宽度。目标检测框的最终高度h，横坐标x和纵坐标y的计算方式与宽度w的计算方式相同，为相应属性的加权求和。至此，得到了当前图像所有运动目标的完整检测框。

Claims (1)

1.一种基于运动信息和区域特征的航拍视频运动目标检测方法，其特征在于包括以下步骤：
步骤一、将输入的图像划分N×N的图像块，对每个图像块中的所有像素使用两个单高斯模型进行背景建模，分别作为现用背景模型和候选背景模型；当满足式(1)时更新现用模型；满足式(2)时更新备用模型；若两公式都不满足，则使用当前观测值初始化备用模型；
<mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>M</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mrow> <mi>A</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&lt;</mo> <msub> <mi>&amp;theta;</mi> <mi>s</mi> </msub> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>A</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>M</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mrow> <mi>C</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&lt;</mo> <msub> <mi>&amp;theta;</mi> <mi>s</mi> </msub> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>C</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
式中，和分别表示图像块i在t时刻的现用模型的均值，方差和生存期；令和表示图像块i在t时刻的候选模型的对应参数；
θs为规定的阈值，取值为2；使用如下公式计算；
<mrow> <msubsup> <mi>M</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msub> <mi>G</mi> <mi>i</mi> </msub> <mo>|</mo> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>G</mi> <mi>i</mi> </msub> </mrow> </munder> <msubsup> <mi>I</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
经过上述判断后，对满足更新条件的模型进行更新；模型的均值方差及生存周期的更新方法如下：
<mrow> <msubsup> <mi>&amp;mu;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mfrac> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mover> <mi>&amp;mu;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mfrac> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mi>M</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mover> <mi>&amp;sigma;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mfrac> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mover> <mi>&amp;sigma;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mfrac> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mi>V</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>~</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mn>1</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，和表示图像块i时刻t的背景模型向t-1时刻模型补偿后的均值、方差和生存期；式(5)中的Vi (t)的含义为，
<mrow> <msubsup> <mi>V</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;mu;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>I</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
若候选模型在某时刻的生存周期超过了现用模型，则将两模型的功能交换，激活候选模型作为有效模型；
将输入图像分成H*W大小的块，取分块的角点作为特征点，在每一个图像分块上通过KLT算法对特征点进行匹配，使用RANSAC算法求解出符合大部分特征点匹配情况的变换矩阵；将图像块Gi根据变换矩阵变换后，其位置与相邻图像块发生重叠；此时，根据重叠面积大小对相邻图像块前一帧的模型参数加权求和得到图像块Gi前一帧的背景模型，实现当前帧图像的运动补偿；
得到当前图像的背景建模结果后，与传统的背景差分方法不同，通过比较图像像素值和背景模型均值差值的平方与背景模型方差之间的差异，确定前景像素；具体使用式(8)计算，
<mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mrow> <mi>A</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&gt;</mo> <msub> <mi>&amp;theta;</mi> <mi>d</mi> </msub> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>A</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
式中，θd为人为设置的阈值，取值为4；通过形态学滤波去除前景中的虚警，检测连通域提取候选运动目标的检测框；
步骤二、将输入的三通道彩色图像转化为灰度图像，在灰度图像上进行斑点检测；阈值步长t设置为10，阈值范围设置为T1＝50，T2＝220；使用阈值集合[T1,T1+t,T1+2t,...,T2]对灰度图进行二值化，得到对应于每个阈值的二值图像；检测二值图像集合中每幅图像的边界，提取该二值图像的连通区域；由边界围成的不同的连通区域即为该二值图像的斑点；然后，对二值图像斑点进行分类，斑点中心坐标间的距离小于阈值Tb＝2的二值图像斑点的集合即为灰度图像的斑点；
求得第t帧灰度图像的斑点后，根据每个斑点的面积和圆度对斑点进行筛选；当斑点的面积在阈值范围内时，将其加入候选斑点集合B(t)中，即：
<mrow> <msup> <mi>B</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mo>{</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mi>a</mi> <mo>_</mo> <mi>l</mi> <mo>&lt;</mo> <mi>a</mi> <mrow> <mo>(</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>&lt;</mo> <mi>a</mi> <mo>_</mo> <mi>h</mi> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
式中，a_l和a_h分别为面积阈值下限和上限，取值分别为200和1000；使用圆度对面积筛选过后的斑点集合进一步进行筛选；当斑点的圆度满足下述条件时，将该斑点加入该图像最终的候选斑点集合；
<mrow> <msup> <mi>canB</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mo>{</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mi>c</mi> <mo>_</mo> <mi>l</mi> <mo>&lt;</mo> <mi>c</mi> <mrow> <mo>(</mo> <msubsup> <mi>B</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>&lt;</mo> <mi>c</mi> <mo>_</mo> <mi>h</mi> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
式中，c_l和c_h分别为圆度阈值下限和上限，取值分别为0.3和10.0；
对斑点进行筛选后，需要确定每个最终候选斑点的位置和尺寸；斑点位置的计算为构成该斑点的所有二值图像斑点的位置加权和，权值为该二值图像斑点的惯性率的平方；斑点尺寸为组成该灰度图斑点的所有二值图像斑点中，面积大小居中的斑点的半径长度；
步骤三、经过上述步骤，得到了当前图像的两组独立的候选目标集合canO(t)和canB(t)；循环遍历候选运动目标集合canO(t)中的所有的候选目标，计算每个候选目标的置信度对运动检测集合中的候选目标计算其与候选斑点集合中的每个斑点的重叠率
<mrow> <msubsup> <mi>r</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mfrac> <mrow> <mi>a</mi> <mrow> <mo>(</mo> <msubsup> <mi>canO</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;cap;</mo> <msubsup> <mi>canB</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mi>a</mi> <mrow> <mo>(</mo> <msubsup> <mi>canO</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
式中，表示两个区域的重叠面积，表示候选目标的面积；对于候选目标选择重叠率中的最大值作为该目标的重叠率ri (t)；若重叠率ri (t)大于阈值th_r，取值为0.8，则将重叠率ri (t)作为该候选目标的置信度；若重叠率ri (t)小于阈值th_r，则将目标加入候选漏检目标集合中；同时，将canB(t)集合中未与canO(t)集合的任一元素匹配的元素加入候选漏检目标集合canl(t)中；计算该集合中目标与前一帧图像每个有效运动目标的重叠率及的置信度
设置置信度阈值下限thre_c，取值为0.8；根据置信度大小选择最终的有效运动目标；若候选目标的置信度为与的重叠率，达到了置信度下限；则运动目标的尺寸(w,h)和位置(x,y)计算如下：
<mrow> <mi>w</mi> <mo>=</mo> <mi>w</mi> <mrow> <mo>(</mo> <msubsup> <mi>canO</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>r</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>w</mi> <mrow> <mo>(</mo> <msubsup> <mi>canB</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>r</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
式中，为的矩形框宽度，为的矩形框宽度；目标检测框的最终高度h，横坐标x和纵坐标y的计算方式与宽度w的计算方式相同，为和相应属性的加权求和；至此，得到当前图像所有运动目标的完整检测框。
CN201710535578.0A 2017-07-04 2017-07-04 基于运动信息和区域特征的航拍视频运动目标检测方法 Pending CN107330922A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710535578.0A CN107330922A (zh) 2017-07-04 2017-07-04 基于运动信息和区域特征的航拍视频运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710535578.0A CN107330922A (zh) 2017-07-04 2017-07-04 基于运动信息和区域特征的航拍视频运动目标检测方法

Publications (1)

Publication Number Publication Date
CN107330922A true CN107330922A (zh) 2017-11-07

Family

ID=60197780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710535578.0A Pending CN107330922A (zh) 2017-07-04 2017-07-04 基于运动信息和区域特征的航拍视频运动目标检测方法

Country Status (1)

Country Link
CN (1) CN107330922A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008727A (zh) * 2017-12-11 2018-05-08 梁金凤 一种能够高速行驶的无人驾驶汽车
CN108460724A (zh) * 2018-02-05 2018-08-28 湖北工业大学 基于马氏距离判别的自适应图像融合方法和系统
CN108596946A (zh) * 2018-03-21 2018-09-28 中国航空工业集团公司洛阳电光设备研究所 一种运动目标实时检测方法及系统
CN110111363A (zh) * 2019-04-28 2019-08-09 深兰科技（上海）有限公司 一种基于目标检测的跟踪方法及设备
CN110728229A (zh) * 2019-10-09 2020-01-24 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备和存储介质
CN110929597A (zh) * 2019-11-06 2020-03-27 普联技术有限公司 一种基于图像的树叶过滤方法、装置及存储介质
CN111553928A (zh) * 2020-04-10 2020-08-18 中国资源卫星应用中心 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法
CN112711017A (zh) * 2020-12-30 2021-04-27 上海微波技术研究所（中国电子科技集团公司第五十研究所） 基于背景消除和改进连通域算法的fod自动识别方法及系统
CN112926676A (zh) * 2021-03-24 2021-06-08 成都新潮传媒集团有限公司 一种虚假目标识别方法、装置及计算机设备
CN115457447A (zh) * 2022-11-07 2022-12-09 浙江莲荷科技有限公司 运动物体识别的方法、装置、系统及电子设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455797A (zh) * 2013-09-07 2013-12-18 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN104217442A (zh) * 2014-08-28 2014-12-17 西北工业大学 基于多模型估计的航拍视频运动目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455797A (zh) * 2013-09-07 2013-12-18 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN104217442A (zh) * 2014-08-28 2014-12-17 西北工业大学 基于多模型估计的航拍视频运动目标检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008727A (zh) * 2017-12-11 2018-05-08 梁金凤 一种能够高速行驶的无人驾驶汽车
CN108460724A (zh) * 2018-02-05 2018-08-28 湖北工业大学 基于马氏距离判别的自适应图像融合方法和系统
CN108596946A (zh) * 2018-03-21 2018-09-28 中国航空工业集团公司洛阳电光设备研究所 一种运动目标实时检测方法及系统
CN110111363A (zh) * 2019-04-28 2019-08-09 深兰科技（上海）有限公司 一种基于目标检测的跟踪方法及设备
CN110728229B (zh) * 2019-10-09 2023-07-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备和存储介质
CN110728229A (zh) * 2019-10-09 2020-01-24 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备和存储介质
CN110929597A (zh) * 2019-11-06 2020-03-27 普联技术有限公司 一种基于图像的树叶过滤方法、装置及存储介质
CN111553928A (zh) * 2020-04-10 2020-08-18 中国资源卫星应用中心 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法
CN111553928B (zh) * 2020-04-10 2023-10-31 中国资源卫星应用中心 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法
CN112711017B (zh) * 2020-12-30 2022-08-16 上海微波技术研究所（中国电子科技集团公司第五十研究所） 基于背景消除和改进连通域算法的fod自动识别方法及系统
CN112711017A (zh) * 2020-12-30 2021-04-27 上海微波技术研究所（中国电子科技集团公司第五十研究所） 基于背景消除和改进连通域算法的fod自动识别方法及系统
CN112926676A (zh) * 2021-03-24 2021-06-08 成都新潮传媒集团有限公司 一种虚假目标识别方法、装置及计算机设备
CN115457447A (zh) * 2022-11-07 2022-12-09 浙江莲荷科技有限公司 运动物体识别的方法、装置、系统及电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN107330922A (zh) 基于运动信息和区域特征的航拍视频运动目标检测方法
Guo et al. Dense construction vehicle detection based on orientation-aware feature fusion convolutional neural network
Tan et al. Automatic detection of sewer defects based on improved you only look once algorithm
CN111626128B (zh) 一种基于改进YOLOv3的果园环境下行人检测方法
Konstantinou et al. Adaptive computer vision-based 2D tracking of workers in complex environments
CN106845478B (zh) 一种字符置信度的二次车牌识别方法及装置
Kumar et al. Review of lane detection and tracking algorithms in advanced driver assistance system
CN100502463C (zh) 一种交通流信息视频检测中的特征采集方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN104794435B (zh) 一种基于视觉的无人机对地运动目标检测方法
CN107545263B (zh) 一种物体检测方法及装置
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN103761526B (zh) 一种基于特征位置优选整合的城区检测方法
CN102629384A (zh) 视频监控中异常行为的检测方法
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN107767400A (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN103206957B (zh) 车辆自主导航的车道线检测与跟踪方法
CN103413303A (zh) 基于联合显著性的红外目标分割方法
CN110147748B (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及系统
CN114283383B (zh) 一种智慧城市公路养护方法、计算机设备及介质
CN111738336A (zh) 基于多尺度特征融合的图像检测方法
CN109242019A (zh) 一种水面光学小目标快速检测与跟踪方法
CN111915628A (zh) 一种基于预测目标密集边界点的单阶段实例分割方法
CN113642529A (zh) 基于ga-bp神经网络的障碍物尺寸预测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171107

WD01 Invention patent application deemed withdrawn after publication