CN113378757A - 一种基于时序与频域过滤的物体检测与物体切割算法 - Google Patents

一种基于时序与频域过滤的物体检测与物体切割算法 Download PDF

Info

Publication number
CN113378757A
CN113378757A CN202110707449.1A CN202110707449A CN113378757A CN 113378757 A CN113378757 A CN 113378757A CN 202110707449 A CN202110707449 A CN 202110707449A CN 113378757 A CN113378757 A CN 113378757A
Authority
CN
China
Prior art keywords
time sequence
image
frequency domain
foreground
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110707449.1A
Other languages
English (en)
Inventor
唐蔚然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Magic Island Information Technology Co ltd
Original Assignee
Suzhou Magic Island Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Magic Island Information Technology Co ltd filed Critical Suzhou Magic Island Information Technology Co ltd
Priority to CN202110707449.1A priority Critical patent/CN113378757A/zh
Publication of CN113378757A publication Critical patent/CN113378757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时序与频域过滤的物体检测与物体切割算法，包括以下步骤：S1、输入视频，并抽取关键帧；S2、在频域中截取低频信息，在时序中按照公式计算实时背景图以及自适应阈值；S3、对输入的当前帧截取低频信息后，以S2中计算的实时背景图背景图和自适应阈值为标准，获取前景图，对当前帧进行前景和背景的判别，经过物体切割算法切割出当前帧图像中的目标物体，追踪追踪前景物体并去除错误物体后；将下一帧作为新的当前帧，重新进行背景计算状态和物体检测。该算法提供的实时背景更新方法和自适应阈值，在对目标物体的检测时，能够克服光线条件变化带来的影响，满足稳定对目标物体进行提取的需求，提高多种场景下检测的准确率。

Description

一种基于时序与频域过滤的物体检测与物体切割算法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于时序与频域过滤的物体检测与物体切割算法。
背景技术
对垃圾识别场景中，有着大物体、长时间、光线有强烈变化的特点。传统的光流法、KNN、MOG2、GMG等算法均不能在此场景下，对目标物体进行长期稳定的提取处理。通过一种合适的阈值分割，根据目标的灰度和背景灰度不一致，将目标与背景分离，极大地降低了背景干扰，为后续的识别跟踪提供了良好的图像条件。
因此，需要设计一种能够抗复杂背景干扰、光照干扰的物体检测与物体切割算法。
发明内容
本发明克服了现有技术的不足，提供一种基于时序与频域过滤的物体检测与物体切割算法。
为达到上述目的，本发明采用的技术方案为：一种基于时序与频域过滤的物体检测与物体切割算法，包括：其特征在于，包括以下步骤：
S1、输入视频，获取图像，并抽取关键帧数据；
S2、背景计算：在频域中预处理并截取低频信息，在时序中按照公式计算实时背景图Imagebg以及自适应阈值T；
S3、物体检测：对输入的当前帧截取低频信息后，以S2中计算的实时背景图背景图和自适应阈值为标准，获取前景图，对当前帧进行前景和背景的判别，经过物体切割算法切割出当前帧图像中的目标物体，追踪追踪前景物体并去除错误物体后，对当前帧处理完毕；将下一帧作为新的当前帧，重新进行背景计算状态和物体检测。
本发明一个较佳实施例中，所述S2中，使用公式1在时序中计算实时背景图Imagebg：Imagebg＝∑Rt-n×Imaget-n；Rt-n＝(1/n)/∑(1/n)；其中：t为时序编号，n＝[0,15]；Imaget-n为第t-n号图片。
本发明一个较佳实施例中，所述S2中，使用公式2在时序中计算自适应的阈值T；T＝Lt-n×∑((1/n)/∑(1/n))；其中：t为时序编号，n＝[0,15]；Lt-n为第t-n号图片的亮度。
本发明一个较佳实施例中，所述S2中使用低通滤波器low-pass滤波器，或者在频域中处理去除高频信息，获得低频图片。
本发明一个较佳实施例中，在所述S3中，若检测若干帧图像中未出现物体，继续进行背景累加。
本发明一个较佳实施例中，在所述S3中，若所述前景物体的大小与运动在置信区间内，设定为合理前景。
本发明一个较佳实施例中，在所述S3中，利用收缩算法去除噪点。
本发明一个较佳实施例中，在所述S3中，膨胀算法获得前景物体范围，并利用多边形算法获得前景物体图片。
本发明一个较佳实施例中，在所述S3中，利用motion-tracking算法，在时序中追踪前景物体。
本发明一个较佳实施例中，在所述S1中，所述关键帧数据的选择方式为每隔N帧或连续的图像帧。
本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：
(1)本发明提供了一种基于时序与频域过滤的物体检测与物体切割算法，该算法能够适用于垃圾识别或有着大物体、长时间、光线有强烈变化的场景，该算法提供的实时背景更新方法和自适应阈值，在对目标物体的检测时，能够克服光线条件变化带来的影响，能够满足稳定对目标物体进行提取的需求，提高多种场景下检测的准确率。
(2)本发明通过背景图像算法的实时计算，使用物体切割算法对目标物体进行切割并追踪，并在返回背景计算状态后对下一帧的图像中目标物体的跟踪检测，实现动态的背景图像实时更新和阈值变化。
(3)本发明中所有处理均使用图片的低频信息，具体利用low-pass滤波器，或者在频域中处理去除高频信息中对应着空域中图像灰度变化剧烈的地方，获得低频信息，实现图像模糊。
(4)本发明利用结合多种算法，利用收缩算法，去除噪点，利用膨胀算法获得前景物体范围，利用多边形算法获得前景物体图片，利用motion-tracking算法，在时序中，追踪前景物体，实现对当前帧中其他错误物体的切割，使得物体切割不再受背景静止、前景运动的限制，提高了物体切割算法的处理能力。
(5)本发明对多帧中的前景物体，使用运动跟踪算法进行跟踪，排除错误物体，较强的抗干扰能力，实现了准确的检测和稳定的跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
图1是本发明的优选实施例的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本申请中的具体含义。
如图1所示，示出了本发明的一种基于时序与频域过滤的物体检测与物体切割算法的流程图。本算法通过实时背景更新方法和自适应阈值，在对目标物体的检测时，能够克服光线条件变化带来的影响，能够满足稳定对目标物体进行提取的需求，提高多种场景下检测的准确率，能够适用于垃圾识别或有着大物体、长时间、光线有强烈变化等场景。
由于在垃圾识别领域中，由于天气、光照条件的不断变化，会造成视频中的背景非静止，因此背景图像的计算必须一直更新。本发明通过背景图像算法的实时计算，并使用物体切割算法对目标物体进行切割并追踪，并在返回背景计算状态后对下一帧的图像中目标物体的跟踪检测，实现动态的背景图像实时更新和阈值变化。该算法具体包括以下步骤：
S1、输入视频，获取图像帧，并抽取关键帧数据；
S2、背景计算：在频域中预处理并截取低频信息，在时序中按照公式计算实时背景图Imagebg以及自适应阈值T；
S3、物体检测：对输入的当前帧截取低频信息后，以S2中计算的实时背景图背景图和自适应阈值为标准，获取前景图，对当前帧进行前景和背景的判别，经过物体切割算法切割出当前帧图像中的目标物体，追踪追踪前景物体并去除错误物体后，对当前帧处理完毕；将下一帧作为新的当前帧，重新进行背景计算状态和物体检测。
需要说明的是，本发明的S2中，使用公式1在时序中计算实时背景图Imagebg。公式1包括：Imagebg＝∑Rt-n×Imaget-n；Rt-n＝(1/n)/∑(1/n)；其中：t为时序编号，n＝[0,15]；Imaget-n为第t-n号图片。
根据背景图Imagebg确定使用公式2在时序中计算自适应的阈值T。公式2包括：T＝Lt-n×∑((1/n)/∑(1/n))；其中：t为时序编号，n＝[0,15]；Lt-n为第t-n号图片的亮度。
本发明中关键帧数据的选择方式为每隔N帧或连续的图像帧。本发明中优选使用连续的图像帧。
本发明将新背景帧图像与背景帧图像进行差异度计算，当结果大于设定阀值时，用新背景帧图像更新背景帧图像，同时阈值实时改变。
本发明均使用低通滤波器low-pass滤波器，或者在频域中处理去除高频信息中对应着空域中图像灰度变化剧烈的地方，获得低频信息，实现图像模糊。
本发明如果在检测若干帧，但未出现物体后，继续进行背景累加。
本发明若前景物体的大小与运动在置信区间内，设定为合理前景。
本发明在对图像进行阈值分割时，生成的阈值图像会产生一些噪点，在对图像进行分析之前，必须进行去噪预处理，以改善图像质量并尽可能地保留图像信息特征。因此本发明利用收缩算法去除噪点。本发明可以采用于映射函数收缩算法进行图像的去噪。
本发明膨胀算法获得前景物体范围。本发明利用多边形算法获得前景物体图片。
本发明利用motion-tracking算法，在分割出目标区域后。根据前景目标物体的大小以及质心点位置静态特征，确定目标物体下一段时间的运动轨迹，实现目标物体的跟踪。本发明对多帧中的前景物体，使用运动跟踪算法进行跟踪，排除错误物体，较强的抗干扰能力，实现了准确的检测和稳定的跟踪。
本申请结合了物体切割和运动目标跟踪的算法，在保证目标的完整性完整性的前提下，在去除噪点后，分割出目标的前景范围，可以直接提取到前景目标物体的大小、面积、长宽比以及质心点位置静态特征。
本申请中的motion-tracking算法在预测目标物体的运动时，由于在当前帧和下一帧的距离较近，所以图像序列和时序上密切相关，造成目标物体的大小和质点位置相差不大，引入一个质心位置和目标面积比较过程，以减少匹配运算，提高跟踪实时性。
综上所述，本发明利用结合多种算法，利用收缩算法，去除噪点，利用膨胀算法获得前景物体范围，利用多边形算法获得前景物体图片，利用motion-tracking算法，在时序中，追踪前景物体，实现对当前帧中其他错误物体的切割，使得物体切割不再受背景静止、前景运动的限制，提高了物体切割算法的处理能力。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明使用时，首先输入视频，获取图像，并抽取关键帧数据；对背景进行实时计算，使用低通滤波器low-pass滤波器，或者在频域中处理去除高频信息，获得低频图片，在时序中按照公式1计算实时背景图Imagebg以及按照公式2计算自适应阈值T；物体检测：对输入的当前帧截取低频信息后，以计算的实时背景图背景图和自适应阈值为标准，获取前景图，对当前帧进行前景和背景的判别，经过物体切割算法切割出当前帧图像中的目标物体，追踪追踪前景物体并去除错误物体后，对当前帧处理完毕；将下一帧作为新的当前帧，重新进行背景计算状态和物体检测，实现背景图的实时更新和阈值的自适应变化。
以上依据本发明的理想实施例为启示，通过上述的说明内容，相关人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定技术性范围。

Claims (10)

1.一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于，包括以下步骤：
S1、输入视频，获取图像，并抽取关键帧数据；
S2、背景计算：在频域中预处理并截取低频信息，在时序中按照公式计算实时背景图Imagebg以及自适应阈值T；
S3、物体检测：对输入的当前帧截取低频信息后，以S2中计算的实时背景图背景图和自适应阈值为标准，获取前景图，对当前帧进行前景和背景的判别，经过物体切割算法切割出当前帧图像中的目标物体，追踪追踪前景物体并去除错误物体后，对当前帧处理完毕；将下一帧作为新的当前帧，重新进行背景计算状态和物体检测。
2.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：所述S2中，使用公式1在时序中计算实时背景图Imagebg：
Imagebg＝∑Rt-n×Imaget-n；
Rt-n＝(1/n)/∑(1/n)；
其中：t为时序编号，n＝[0,15]；Imaget-n为第t-n号图片。
3.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：所述S2中，使用公式2在时序中计算自适应的阈值T；
T＝Lt-n×∑((1/n)/∑(1/n))；
其中：t为时序编号，n＝[0,15]；Lt-n为第t-n号图片的亮度。
4.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：所述S2中使用低通滤波器low-pass滤波器，或者在频域中处理去除高频信息，获得低频图片。
5.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：在所述S3中，若检测若干帧图像中未出现物体，继续进行背景累加。
6.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：在所述S3中，若所述前景物体的大小与运动在置信区间内，设定为合理前景。
7.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：在所述S3中，利用收缩算法去除噪点。
8.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：在所述S3中，膨胀算法获得前景物体范围，并利用多边形算法获得前景物体图片。
9.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：在所述S3中，利用motion-tracking算法，在时序中追踪前景物体。
10.根据权利要求1所述的一种基于时序与频域过滤的物体检测与物体切割算法，其特征在于：在所述S1中，所述关键帧数据的选择方式为每隔N帧或连续的图像帧。
CN202110707449.1A 2021-06-24 2021-06-24 一种基于时序与频域过滤的物体检测与物体切割算法 Pending CN113378757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110707449.1A CN113378757A (zh) 2021-06-24 2021-06-24 一种基于时序与频域过滤的物体检测与物体切割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110707449.1A CN113378757A (zh) 2021-06-24 2021-06-24 一种基于时序与频域过滤的物体检测与物体切割算法

Publications (1)

Publication Number Publication Date
CN113378757A true CN113378757A (zh) 2021-09-10

Family

ID=77579061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707449.1A Pending CN113378757A (zh) 2021-06-24 2021-06-24 一种基于时序与频域过滤的物体检测与物体切割算法

Country Status (1)

Country Link
CN (1) CN113378757A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807227A (zh) * 2021-09-11 2021-12-17 浙江浙能嘉华发电有限公司 基于图像识别的安全监测方法、装置、设备及存储介质
CN115330993A (zh) * 2022-10-18 2022-11-11 小手创新(杭州)科技有限公司 一种基于低运算量的回收系统新进物判别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807227A (zh) * 2021-09-11 2021-12-17 浙江浙能嘉华发电有限公司 基于图像识别的安全监测方法、装置、设备及存储介质
CN113807227B (zh) * 2021-09-11 2023-07-25 浙江浙能嘉华发电有限公司 基于图像识别的安全监测方法、装置、设备及存储介质
CN115330993A (zh) * 2022-10-18 2022-11-11 小手创新(杭州)科技有限公司 一种基于低运算量的回收系统新进物判别方法

Similar Documents

Publication Publication Date Title
CN110517288B (zh) 基于全景多路4k视频图像的实时目标检测跟踪方法
KR101271092B1 (ko) 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치
CN108052917B (zh) 一种基于新旧时相变化发现的违章建筑自动识别的方法
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN113378757A (zh) 一种基于时序与频域过滤的物体检测与物体切割算法
CN110580709A (zh) 一种基于ViBe和三帧差分融合的目标检测方法
CN109993052B (zh) 一种复杂场景下尺度自适应的目标跟踪方法和系统
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN110619651B (zh) 一种基于监控视频的行车道路分割方法
CN110400294B (zh) 一种红外目标探测系统及探测方法
CN109255799B (zh) 一种基于空间自适应相关滤波器的目标跟踪方法及系统
CN111047624A (zh) 图像弱小目标检测方法、装置、设备及存储介质
CN105678773A (zh) 一种低对比度图像分割方法
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
CN108280841B (zh) 一种基于邻域像素强度校正的前景提取方法
CN112288780B (zh) 多特征动态加权的目标跟踪算法
CN113516680A (zh) 一种移动背景下的运动目标跟踪与检测方法
KR100976584B1 (ko) 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
CN115511804A (zh) 一种基于管道自适应滤波的海上红外弱小目标检测方法
CN114511803A (zh) 一种面向视觉跟踪任务的目标遮挡检测方法
JP4516448B2 (ja) 領域抽出装置及び領域抽出方法
RU2676028C1 (ru) Способ обнаружения оставленного предмета в видеопотоке
CN115082714A (zh) 一种基于mcd距离的自适应模板匹配算法
CN110532989B (zh) 一种海上目标自动探测方法
CN117078722B (zh) 基于灰度直方图提取小目标的目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210910

WD01 Invention patent application deemed withdrawn after publication