CN109509205B - 前景检测方法及装置 - Google Patents

前景检测方法及装置 Download PDF

Info

Publication number
CN109509205B
CN109509205B CN201710827970.2A CN201710827970A CN109509205B CN 109509205 B CN109509205 B CN 109509205B CN 201710827970 A CN201710827970 A CN 201710827970A CN 109509205 B CN109509205 B CN 109509205B
Authority
CN
China
Prior art keywords
image
frame
background
foreground
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710827970.2A
Other languages
English (en)
Other versions
CN109509205A (zh
Inventor
余慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ingenic Semiconductor Co Ltd
Original Assignee
Beijing Ingenic Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ingenic Semiconductor Co Ltd filed Critical Beijing Ingenic Semiconductor Co Ltd
Priority to CN201710827970.2A priority Critical patent/CN109509205B/zh
Publication of CN109509205A publication Critical patent/CN109509205A/zh
Application granted granted Critical
Publication of CN109509205B publication Critical patent/CN109509205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供一种前景检测方法及装置。所述方法包括：步骤S11、设置进行背景更新时使用的阈值和更新速率；步骤S12、提取待检测视频图像的第一帧图像作为背景模型；步骤S13、将所述待检测视频图像各帧的三通道分离开，针对各通道分别执行步骤S14至步骤S16；步骤S14、将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域；步骤S15、将步骤S14得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像；步骤S16、将当前图像与所述新的背景图像相减得到对应的前景图；步骤S17、对于三通道中的每个通道，将步骤S16中分别得到的前景图再做位或运算，得到最终的前景图。本发明能够提高前景检测的准确率。

Description

前景检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种前景检测方法及装置。
背景技术
目前，视频监控系统得到了广泛应用。智能视频监控系统是采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力对视频图像进行自动分析识别，从而实现全自动、实时监控的智能系统，具有重要的实际应用意义。
前景检测是智能视频监控系统的核心技术之一。所谓的前景检测，是指将运动目标对应的区域从视频图像序列中提取出来，例如针对具体的交通监控来说，就是将场景中的行人和车辆等从视频图像序列中提取出来。需要说明的是，背景是指场景中非兴趣物体组成的较为稳定的场景结构；前景是指场景中感兴趣的运动目标组成的场景结构。前景与背景是相对的概念，以高速公路为例：如果对高速公路上来来往往的汽车感兴趣，则汽车是前景，而路面以及周围的环境是背景；如果仅对闯入高速公路的行人感兴趣，则闯入者是前景，而包括汽车在内的其他事物均为背景。
三帧差分算法是目前进行前景检测的其中一种方法，它是相邻两帧差分算法的一种改进方法，它选取连续三帧视频图像进行差分运算，消除由于运动而显露背景影响，从而提取精确的运动目标轮廓信息。该算法的基本原理是是先选取视频图像序列中连续三帧图像并分别计算相邻两帧的差分图像，然后将差分图像通过选取适当的阈值进行二值化处理，得到二值化图像，最后在每一个像素点得到的二值图像进行逻辑与运算，获取共同部分，从而获得运动目标的轮廓信息。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
现有的三帧差分算法采用了二值化处理，将背景模型和当前图像进行比较，得到的前景目标图像丢失较多了有用的信息，导致检测的准确率降低。
发明内容
本发明提供的前景检测方法及装置，能够提高前景检测的准确率。
第一方面，本发明提供一种前景检测方法，包括：
步骤S11、设置进行背景更新时使用的阈值和更新速率；
步骤S12、提取待检测视频图像的第一帧图像作为背景模型；
步骤S13、将所述待检测视频图像各帧的三通道分离开，针对各通道分别执行步骤S14至步骤S16；
步骤S14、将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域；
步骤S15、将步骤S14得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像；
步骤S16、将当前图像与所述新的背景图像相减得到对应的前景图；
步骤S17、对于三通道中的每个通道，将步骤S16中分别得到的前景图再做位或运算，得到最终的前景图。
可选地，所述将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域包括：
将当前帧分别与前两帧对应的通道图作差得到两差分图；
将所述两差分图与所述阈值进行比较，大于阈值的取0，小于阈值的取1，得到两个非运动区域的二值图；
将所述两个非运动区域的二值图再做与运算，与运算结果等于1的取1，与运算结果不等于1的取0，得到最终的非运动区域。
可选地，所述将步骤S14得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像包括：按照如下公式进行背景更新：
bg＝bg+(frame-bg)*alpha＝bg*(1-alpha)+mask*frame*alpha；
其中，bg为上一帧的背景图，frame为当前帧图像，alpha为更新速率。
第二方面，本发明提供一种前景检测装置，包括：
设置单元，用于设置进行背景更新时使用的阈值和更新速率；
提取单元，用于提取待检测视频图像的第一帧图像作为背景模型；
分离单元，用于将所述待检测视频图像各帧的三通道分离开；
作差单元，用于对于三通道中的每个通道，将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域；
更新单元，用于将所述作差单元得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像；
相减单元，用于将当前图像与所述更新单元得到的新的背景图像相减得到对应的前景图；
运算单元，用于对于三通道中的每个通道，将所述相减单元分别得到的前景图再做位或运算，得到最终的前景图。
可选地，所述作差单元包括：
作差子单元，用于将当前帧分别与前两帧对应的通道图作差得到两差分图；
比较子单元，用于将所述两差分图与所述阈值进行比较，大于阈值的取0，小于阈值的取1，得到两个非运动区域的二值图；
运算子单元，用于将所述两个非运动区域的二值图再做与运算，与运算结果等于1的取1，与运算结果不等于1的取0，得到最终的非运动区域。
可选地，所述更新单元，用于按照如下公式进行背景更新：
bg＝bg+(frame-bg)*alpha＝bg*(1-alpha)+mask*frame*alpha；
其中，bg为上一帧的背景图，frame为当前帧图像，alpha为更新速率。
本发明实施例提供的前景检测方法及装置，将三通道分开处理得到前景后再相位或，可以防止信息丢失；在进行背景更新时，将当前帧分别与前两帧差值比较相位或然后再做掩码，此外，背景减除得到的前景图像不再做二值化，能够保留更多图像信息，从而可以提高前景检测的准确率。
附图说明
图1为本发明实施例提供的前景检测方法的流程图；
图2为本发明一实施例前景检测装置的结构示意图；
图3为本发明另一实施例前景检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种前景检测方法，如图1所示，所述方法包括：
步骤S11、设置进行背景更新时使用的阈值T和更新速率alpha。
步骤S12、提取待检测视频图像的第一帧图像frame(0)作为背景模型background_0。
步骤S13、将所述待检测视频图像各帧的三通道分离开，针对各通道分别执行步骤S14至步骤S16。
其中，三通道图像分别为frame_0(b)、frame_1(g)、frame_2(r)。
步骤S14、将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域。
具体地，先将当前帧图像分别与前两帧对应的通道图作差得到diff1、diff2：
diff1＝frame_i[t]-frame_i[t-1]；
diff2＝frame_i[t]-frame_i[t-2]；
将两差分图与阈值T进行比较，大于阈值的取0，小于阈值的取1，得到非运动区域：
Figure BDA0001407974010000051
Figure BDA0001407974010000052
之后将得到的两张二值图再做与运算，得到最终的非运动区域：
Figure BDA0001407974010000053
步骤S15、将步骤S14得到的非运动区域作为掩码(mask)，将当前图像更新到背景中，得到新的背景图像。
具体地，按照如下公式进行背景更新：
bg＝bg+(frame-bg)*alpha＝bg*(1-alpha)+mask*frame*alpha；
其中，bg为上一帧的背景图，frame为当前帧图像，alpha为更新速率。
步骤S16、将当前图像与所述新的背景图像相减得到对应的前景图。
fg_i＝frame_i-bg_i。
步骤S17、对于三通道中的每个通道，将步骤S16中分别得到的前景图再做位或运算，得到最终的前景图。
fg＝bitwise_or(fg_0,fg_1,fg_2)。
本发明实施例提供的前景检测方法，将三通道分开处理得到前景后再相位或，可以防止信息丢失；在进行背景更新时，将当前帧分别与前两帧差值比较相位或然后再做掩码，此外，背景减除得到的前景图像不再做二值化，能够保留更多图像信息，从而可以提高前景检测的准确率。
本发明实施例还提供一种前景检测装置，如图2所示，所述装置包括：
设置单元11，用于设置进行背景更新时使用的阈值和更新速率；
提取单元12，用于提取待检测视频图像的第一帧图像作为背景模型；
分离单元13，用于将所述待检测视频图像各帧的三通道分离开；
作差单元14，用于对于三通道中的每个通道，将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域；
更新单元15，用于将所述作差单元14得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像；
相减单元16，用于将当前图像与所述更新单元15得到的新的背景图像相减得到对应的前景图；
运算单元17，用于对于三通道中的每个通道，将所述相减单元16分别得到的前景图再做位或运算，得到最终的前景图。
本发明实施例提供的前景检测装置，将三通道分开处理得到前景后再相位或，可以防止信息丢失；在进行背景更新时，将当前帧分别与前两帧差值比较相位或然后再做掩码，此外，背景减除得到的前景图像不再做二值化，能够保留更多图像信息，从而可以提高前景检测的准确率。
可选地，如图3所示，所述作差单元14包括：
作差子单元141，用于将当前帧分别与前两帧对应的通道图作差得到两差分图；
比较子单元142，用于将所述两差分图与所述阈值进行比较，大于阈值的取0，小于阈值的取1，得到两个非运动区域的二值图；
运算子单元143，用于将所述两个非运动区域的二值图再做与运算，与运算结果等于1的取1，与运算结果不等于1的取0，得到最终的非运动区域。
可选地，所述更新单元15，用于按照如下公式进行背景更新：
bg＝bg+(frame-bg)*alpha＝bg*(1-alpha)+mask*frame*alpha；
其中，bg为上一帧的背景图，frame为当前帧图像，alpha为更新速率。
本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种前景检测方法，其特征在于，包括：
步骤S11、设置进行背景更新时使用的阈值和更新速率；
步骤S12、提取待检测视频图像的第一帧图像作为背景模型；
步骤S13、将所述待检测视频图像各帧的三通道分离开，针对各通道分别执行步骤S14至步骤S16；
步骤S14、将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域，具体为：将当前帧分别与前两帧对应的通道图作差得到两差分图；将所述两差分图与所述阈值进行比较，大于阈值的取0，小于阈值的取1，得到两个非运动区域的二值图；将所述两个非运动区域的二值图再做与运算，与运算结果等于1的取1，与运算结果不等于1的取0，得到最终的非运动区域；
步骤S15、将步骤S14得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像；
步骤S16、将当前图像与所述新的背景图像相减得到对应的前景图；
步骤S17、对于三通道中的每个通道，将步骤S16中分别得到的前景图再做位或运算，得到最终的前景图。
2.根据权利要求1所述的方法，其特征在于，所述将步骤S14得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像包括：按照如下公式进行背景更新：
bg＝bg+(frame-bg)*alpha＝bg*(1-alpha)+mask*frame*alpha；
其中，bg为上一帧的背景图，frame为当前帧图像，alpha为更新速率。
3.一种前景检测装置，其特征在于，包括：
设置单元，用于设置进行背景更新时使用的阈值和更新速率；
提取单元，用于提取待检测视频图像的第一帧图像作为背景模型；
分离单元，用于将所述待检测视频图像各帧的三通道分离开；
作差单元，用于对于三通道中的每个通道，将当前帧与前两帧对应分别作差，将得到的值与所述阈值进行比较，得到非运动区域；
更新单元，用于将所述作差单元得到的非运动区域作为掩码，将当前图像更新到背景中，得到新的背景图像；
相减单元，用于将当前图像与所述更新单元得到的新的背景图像相减得到对应的前景图；
运算单元，用于对于三通道中的每个通道，将所述相减单元分别得到的前景图再做位或运算，得到最终的前景图；
所述作差单元包括：作差子单元，用于将当前帧分别与前两帧对应的通道图作差得到两差分图；比较子单元，用于将所述两差分图与所述阈值进行比较，大于阈值的取0，小于阈值的取1，得到两个非运动区域的二值图；运算子单元，用于将所述两个非运动区域的二值图再做与运算，与运算结果等于1的取1，与运算结果不等于1的取0，得到最终的非运动区域。
4.根据权利要求3所述的装置，其特征在于，所述更新单元，用于按照如下公式进行背景更新：
bg＝bg+(frame-bg)*alpha＝bg*(1-alpha)+mask*frame*alpha；
其中，bg为上一帧的背景图，frame为当前帧图像，alpha为更新速率。
CN201710827970.2A 2017-09-14 2017-09-14 前景检测方法及装置 Active CN109509205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710827970.2A CN109509205B (zh) 2017-09-14 2017-09-14 前景检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710827970.2A CN109509205B (zh) 2017-09-14 2017-09-14 前景检测方法及装置

Publications (2)

Publication Number Publication Date
CN109509205A CN109509205A (zh) 2019-03-22
CN109509205B true CN109509205B (zh) 2022-04-12

Family

ID=65744525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710827970.2A Active CN109509205B (zh) 2017-09-14 2017-09-14 前景检测方法及装置

Country Status (1)

Country Link
CN (1) CN109509205B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111371962B (zh) * 2020-04-20 2021-09-07 广州市星飞达电子科技有限公司 一种视频图像传输方法及传输系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819736A (zh) * 2012-09-05 2012-12-12 天津光电高斯通信工程技术有限公司 双ccd摄像机自动监控目标侵入的识别方法及系统
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和系统
CN104794907A (zh) * 2015-05-05 2015-07-22 江苏大为科技股份有限公司 使用车道分割合并方法的车流量检测方法
CN105488788A (zh) * 2015-11-24 2016-04-13 大连楼兰科技股份有限公司 汽车液体余量检测方法
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放军火箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819736A (zh) * 2012-09-05 2012-12-12 天津光电高斯通信工程技术有限公司 双ccd摄像机自动监控目标侵入的识别方法及系统
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和系统
CN104794907A (zh) * 2015-05-05 2015-07-22 江苏大为科技股份有限公司 使用车道分割合并方法的车流量检测方法
CN105488788A (zh) * 2015-11-24 2016-04-13 大连楼兰科技股份有限公司 汽车液体余量检测方法
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放军火箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-Time and Accurate Segmentation of Moving Objects in Dynamic Scene;Tao Yang 等;《VSSN’04》;20041016;第136-143页 *
一种基于距离加权的机器人运动目标跟踪方法;高森 等;《组合机床与自动化加工技术》;20141216(第12期);第65-69页 *

Also Published As

Publication number Publication date
CN109509205A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
EP2924654B1 (en) Image processing apparatus and image processing method
CN109684996B (zh) 基于视频的实时车辆进出识别方法
WO2022027931A1 (zh) 基于视频图像的运动车辆前景检测方法
KR101717613B1 (ko) 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN109145798B (zh) 一种驾驶场景目标识别与可行驶区域分割集成方法
US9626599B2 (en) Reconfigurable clear path detection system
KR102085035B1 (ko) 객체 인식을 위한 객체 후보영역 설정방법 및 장치
EP3416132A1 (en) Image processing device, object recognition device, device control system, and image processing method and program
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
US20160210517A1 (en) Image storage method and apparatus thereof
CN102915544A (zh) 基于纹理检测和颜色分割的视频图像运动目标提取方法
Rabiu Vehicle detection and classification for cluttered urban intersection
WO2018211930A1 (ja) 物体検出装置、物体検出方法、及び、コンピュータが読取可能な記録媒体
Salarian et al. A vision based system for traffic lights recognition
CN113396423A (zh) 处理来自基于事件的传感器的信息的方法
WO2019001698A1 (en) ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD
Hernández et al. Lane marking detection using image features and line fitting model
CN109509205B (zh) 前景检测方法及装置
Garg et al. Real-time license plate recognition and speed estimation from video sequences
KR101501531B1 (ko) 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
US20190034741A1 (en) Vehicle exterior environment recognition apparatus
Alawi et al. Performance comparison of background estimation algorithms for detecting moving vehicle
Al-Refai et al. A framework for background modeling using vehicle-to-infrastructure communication for improved candidate generation in pedestrian detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant