CN111145219B - 一种基于Codebook原理的高效视频移动目标检测方法 - Google Patents

一种基于Codebook原理的高效视频移动目标检测方法 Download PDF

Info

Publication number
CN111145219B
CN111145219B CN201911406901.XA CN201911406901A CN111145219B CN 111145219 B CN111145219 B CN 111145219B CN 201911406901 A CN201911406901 A CN 201911406901A CN 111145219 B CN111145219 B CN 111145219B
Authority
CN
China
Prior art keywords
pixel
histogram
image
channel
codebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911406901.XA
Other languages
English (en)
Other versions
CN111145219A (zh
Inventor
许野平
方亮
刘辰飞
陈英鹏
朱爱红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN201911406901.XA priority Critical patent/CN111145219B/zh
Publication of CN111145219A publication Critical patent/CN111145219A/zh
Priority to PCT/CN2020/137988 priority patent/WO2021136001A1/zh
Application granted granted Critical
Publication of CN111145219B publication Critical patent/CN111145219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本专利提供一种基于Codebook原理的高效视频移动目标检测方法，主要解决的是消除内存管理带来的系统时滞，简化Codebook方法的计算过程，提升运行速度。具体包括有：从视频信号源实时采集视频帧；视频帧由像素构成，像素由若干通道分量构成，每个像素的每个通道拥有一个尺寸固定的直方图；新图像帧的像素直方图更新时，采用增量因子作为直方图增量单位；对于新接收到的图像帧，判定图像中每个像素是前景还是背景，接收下一帧图像之前，增量因子乘以遗忘因子，即T=T*R。本发明检测过程直接比对直方图，效率更高。

Description

一种基于Codebook原理的高效视频移动目标检测方法
技术领域
本发明属于机器视觉领域，特别涉及一种基于Codebook原理的高效视频移动目标检测方法。
背景技术
Codebook移动目标检测方法可有效克服视频背景干扰。其主要缺点是：（1）随着视频画面的变化，需要频繁申请释放内存。在设备无人值守情况下，内存回收整理会影响系统可靠性和实时性。（2）当视频背景因光照等因素发生渐变时，Codebook方法会逐渐失效，这种情况下需要重新更新背景信息，这期间无法检测移动目标。（3）Codebook方法速度较慢，不利于在低配置硬件设备上运行。
《图像处理方法、装置及计算机可读存储介质》（公开号:109427067A）公开了一种图像处理方法，包括：在RGB空间，基于码本(Codebook)算法建立Codebook模型；利用建立的Codebook模型检测待检测图像的像素是前景或背景，得到检测结果；利用置信传播算法，通过多邻域方向上传递消息值得到的所述待检测图像的像素的消息值和，并进行归一化处理，得到概率值；所述消息值表征一个像素与邻域像素的连续性；利用所述概率值，对所述检测结果进行修正。该项发明可减少Codebook方法的噪点，提升检测目标准确性，于本发明要解决问题和采用方法均无相同之处。
《基于多层Codebook的监控区域入侵方法》（公开号:107341816A），公开了一种基于多层Codebook的监控区域入侵方法，将用于背景建模的视频图像作为临时背景模型，当训练时间满足给定值Tm时，搜索所述临时背景模型中的背景像素的八领域并且形成连通域，当所述连通域的面积满足面积阈值Sm和访问频率Fm时，将所述连通域里的所有像素添加到永久背景模型里，并将该像素从临时背景模型内删除；将待检测图像中每个像素在永久背景模型中查找对应的像素，若不存在对应的像素确定所述待检测图像为前景。本发明能够有效避免孤立的噪声添加到永久背景模型里，有效得处理了闪电和火车车灯引起光线突变而造成的误报。该项发明可减少Codebook方法的噪点，提升检测目标准确性，于本发明要解决问题和采用方法均无相同之处。
《一种基于改进的Codebook前景检测的图像处理方法》（申请号:201610452894.7）公开了一种基于改进的Codebook前景检测的图像处理方法，其特征在于，将RGB颜色空间转换为YCbCr颜色空间；改进Codebook前景检测算法；应用改进的Codebook算法进行前景检测。采用本发明的方法能够很好地进行前景检测，区分前景与背景的同时，降低了光照变化对检测的影响，降低了内存的消耗，提高了性能。该方法计算量远远高于正常的Codebook方法，对硬件要求过高。
《基于多级字典集的无参考图像质量评价方法》（申请号:201610273831.5），本发明公开了一种基于多级字典编码的无参考质量评价方法，主要解决计算机对噪声图像的评价与人眼感知不符的问题。其实现步骤是：1.划分图像数据库；2.提取单个实验样本的特征向量；3.计算训练样本一副污染图的特征向量质量值；4.计算全部训练样本的特征向量；5.计算训练样本中所有污染图的特征向量质量值；6.用训练样本参考图的特征向量构建第一级字典集；7.用训练样本污染图的特征向量构建第二级字典集；8.计算第二级字典集中每个聚类中心的质量值；9.将测试样本投影到第二级字典集计算测试样本的质量值；10.根据样本质量值判断样本质量。本发明的评价结果与人眼感知一致，可用在互联网上图像筛选、传输、压缩。该项发明可减少Codebook方法的噪点，提升检测目标准确性，于本发明要解决问题和采用方法均无相同之处。
《一种融合超像素和背景模型的前景检测方法》（公开号:105825234A），本发明公开了一种融合超像素和Codebook背景模型的前景检测方法，通过超像素分割将视频图像中的像素点结合为超像素块，以超像素块为单位对其聚类中心建立Codebook背景模型，无需对视频中每个像素点单独建立Codebook背景模型，有效节约背景模型所需内存，在前景检测阶段，只对聚类中心进行检测，大大缩短检测时间，符合实时监控平台的要求。该项发明仅对聚类中心检测，增加了目标漏检的可能性，降低了Codebook方法的检测准确性。
发明内容
本专利提供一种基于Codebook原理的高效视频移动目标检测方法，主要解决如下几个问题：
（1）如何采用固定大小内存，避免频繁申请释放内存，消除内存管理带来的系统时滞；（2）解决光线随时间渐变造成的背景模型失效问题，装置无需重新学习背景，即可长期连续工作；
（3）简化Codebook方法的计算过程，提升运行速度。
本发明是通过以下技术方案来实现的
本发明公开了一种基于Codebook原理的高效视频移动目标检测方法，包括：
[1000] 从视频信号源实时采集视频帧；
[2000] 视频帧由像素构成，像素由若干通道分量构成，每个像素的每个通道拥有一个尺寸固定的直方图；针对分辨率为W x L，每像素C通道的图像，构建统计直方图H[W][L][C][D]，并设置其初始值为0；其中，W是图像宽度，L是图像高度，C是图像像素的通道数，D是通道亮度级别总数；
[3000] 新图像帧的像素直方图更新时，采用增量因子作为直方图增量单位；具体为
每接收到一帧图像，针对图像中的每一个像素，把其各通道的亮度值累加到对应的直方图单元中去，具体累加方法是：H[x][y][c][d] = H[x][y][c][d] + T，其中，(x,y)是像素在图像上的坐标，c是像素的通道编号，d是像素(x,y)在通道c的亮度值，T是亮度增量因子，R是遗忘因子；T在初始化时可以赋予一个较小的实数数值；R依据欲实现的遗忘速度来确定，如果期望n帧图像之后，当前图像对直方图贡献的权重降低到1/m，则R^n = m，即R = m^(1/n)；
[4000] 对于新接收到的图像帧，判定图像中每个像素是前景还是背景的方法是：像素(x,y)通道c的亮度为 d，依据阈值P，如果H[x][y][c][d] < P，则可判定像素(x,y)属于前景像素，如果对于像素(x,y)的所有通道c都有H[x][y][c][d] >=P，则可判定该像素属于背景像素；
具体地，像素(x,y)在通道c的判定阈值P设定方法是：P = max(H[x][y][c]) *0.5，即取像素(x,y)在通道c的统计直方图最大值的一半；
[5000] 接收下一帧图像之前，增量因子乘以遗忘因子，即T = T * R。
上述的基于Codebook原理的高效视频移动目标检测方法，优选 的：对于VGA分辨率黑白视频信号，直方图累加方法是：H[x][y][d] = H[x][y][d] + T，T = T * R；0 <= x< 640, 0 <= y < 480，0 <= d < 256；T的初始值为1.0，R = 2^(1/1500) = 1.0004622。
上述的基于Codebook原理的高效视频移动目标检测方法，优选的：对于彩色高清视频信号，直方图累加方法是：H[x][y][c][d] = H[x][y][c][d] + T，T = T * R；0 <= x< 1920, 0 <= y < 1080，0 <= c < 3；0 <= d < 256；T的初始值为1.0，R = 2^(1/1500) =1.0004622。
有益效果
（1）依据[2000]，用内存大小固定的直方图代替了Codebook里的码本数据结构，避免的内存频繁申请和释放操作；
（2）利用遗忘因子对直方图的更新，可自动使历史数据失效，避免了Codebook方法中频繁初始化背景的操作；
（3）直方图更新比Codebook更新码本更简单，检测过程直接比对直方图，效率更高；
（4）依据[3005]方法，本发明采用了每像素16x3维的直方图结构，用较少代价实现直接寻址，运行效率较高。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合图1对说明作具体的说明：
（1）装置硬件采用PC计算机，操作系统采用 Windows 7。PC计算机通过网线与网络摄像机连接，摄像机视频码流采用H.264编码格式；
（2）从视频信号源实时采集视频帧；
视频帧由像素构成，像素由若干通道分量构成，每个像素的每个通道拥有一个尺寸固定的直方图；
具体地，VGA分辨率黑白视频图像，例如热成像摄像机，图像分辨率为640x480像素，每个像素由单一的亮度通道构成，亮度通道分量取值范围通常为 0~255；
具体地，对于彩色视频图像，例如高清摄像机，图像分辨率为1920x1080像素，每个像素由红、绿、蓝三基色通道构成，每个基色通道分量取值范围通常为0~255；
（3）针对分辨率为W x L，每像素C通道的图像，构建统计直方图H[W][L][C][D]，并设置其初始值为0。其中，W是图像宽度，L是图像高度，C是图像像素的通道数，D是通道亮度级别总数；
具体地，针对VGA分辨率黑白视频信号，直方图结构为H[640][480][1][256]，可简化为H[640][480][256]，图像宽度640像素，图像高度480像素，像素通道1个，通道亮度256级；
具体地，针对彩色高清视频信号，直方图结构为H[1920][1080][3][256]，图像宽度1920，图像高度1080像素，像素通道3个，通道亮度256级；
每接收到一帧图像，针对图像中的每一个像素，把其各通道的亮度值累加到对应的直方图单元中去，具体累加方法是：H[x][y][c][d] = H[x][y][c][d] + T，T = T * R。其中，(x,y) 是像素在图像上的坐标，c是像素的通道编号，d是像素(x,y)在通道c的亮度值，T是亮度累加因子，R是遗忘因子；T在初始化时可以赋予一个较小的实数数值；R依据欲实现的遗忘速度来确定，如果期望n帧图像之后，当前图像对直方图贡献的权重降低到1/m，则R^n = m，即R = m^(1/n)；
具体地，针对VGA分辨率黑白视频信号，直方图累加方法是：H[x][y][d] = H[x][y][d] + T，T = T * R；0 <= x < 640, 0 <= y < 480，0 <= d < 256；T的初始值为1.0，R= 2^(1/1500) = 1.0004622；
具体地，针对彩色高清视频信号，直方图累加方法是：H[x][y][c][d] = H[x][y][c][d] + T，T = T * R；0 <= x < 1920, 0 <= y < 1080，0 <= c < 3；0 <= d < 256；T的初始值为1.0，R = 2^(1/1500) = 1.0004622；
（4）、对于新接收到的图像帧，判定图像中每个像素是前景还是背景的方法是：像素(x,y)通道c的亮度为 d，依据阈值P，如果H[x][y][c][d] < P，则可判定像素(x,y)属于前景像素，如果对于像素(x,y)的所有通道c都有H[x][y][c][d] >=P，则可判定该像素属于背景像素；
具体地，像素(x,y)在通道c的判定阈值P设定方法是：P = max(H[x][y][c]) *0.5，即取像素(x,y)在通道c的统计直方图最大值的一半。

Claims (3)

1.一种基于Codebook原理的高效视频移动目标检测方法，其特征在于包括：
（1）从视频信号源实时采集视频帧；
（2）视频帧由像素构成，像素由若干通道分量构成，每个像素的每个通道拥有一个尺寸固定的直方图；针对分辨率为W x L，每像素C通道的图像，构建统计直方图H[W][L][C][D]，并设置其初始值为0；其中，W是图像宽度，L是图像高度，C是图像像素的通道数，D是通道亮度级别总数；
（3）新图像帧的像素直方图更新时，采用增量因子作为直方图增量单位；具体为
每接收到一帧图像，针对图像中的每一个像素，把其各通道的亮度值累加到对应的直方图单元中去，具体累加方法是：H[x][y][c][d] = H[x][y][c][d] + T，其中，(x,y) 是像素在图像上的坐标，c是像素的通道编号，d是像素(x,y)在通道c的亮度值，T是亮度增量因子，R是遗忘因子；T在初始化时被赋予一个较小的实数数值；R依据欲实现的遗忘速度来确定，具体为：n帧图像之后，当前图像对直方图贡献的权重降低到1/m，使得R^n = m，即R = m^(1/n)；
（4）对于新接收到的图像帧，判定图像中每个像素是前景还是背景的方法是：像素(x,y)通道c的亮度为 d，依据阈值P，如果H[x][y][c][d] < P，则可判定像素(x,y)属于前景像素，如果对于像素(x,y)的所有通道c都有H[x][y][c][d] >=P，则可判定该像素属于背景像素；
具体地，像素(x,y)在通道c的判定阈值P设定方法是：P = max(H[x][y][c]) * 0.5，即取像素(x,y)在通道c的统计直方图最大值的一半；
接收下一帧图像之前，增量因子乘以遗忘因子，即T = T * R。
2.根据权利要求1所述的基于Codebook原理的高效视频移动目标检测方法，其特征在于：对于VGA分辨率黑白视频信号，直方图累加方法是：H[x][y][d] = H[x][y][d] + T，T =T * R；0 <= x < 640, 0 <= y < 480，0 <= d < 256；T的初始值为1.0，R = 2^(1/1500) =1.0004622。
3.根据权利要求1所述的基于Codebook原理的高效视频移动目标检测方法，其特征在于：对于彩色高清视频信号，直方图累加方法是：H[x][y][c][d] = H[x][y][c][d] + T，T= T * R；0 <= x < 1920, 0 <= y < 1080，0 <= c < 3；0 <= d < 256；T的初始值为1.0，R= 2^(1/1500) = 1.0004622。
CN201911406901.XA 2019-12-31 2019-12-31 一种基于Codebook原理的高效视频移动目标检测方法 Active CN111145219B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911406901.XA CN111145219B (zh) 2019-12-31 2019-12-31 一种基于Codebook原理的高效视频移动目标检测方法
PCT/CN2020/137988 WO2021136001A1 (zh) 2019-12-31 2020-12-21 一种基于Codebook原理的高效视频移动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911406901.XA CN111145219B (zh) 2019-12-31 2019-12-31 一种基于Codebook原理的高效视频移动目标检测方法

Publications (2)

Publication Number Publication Date
CN111145219A CN111145219A (zh) 2020-05-12
CN111145219B true CN111145219B (zh) 2022-06-17

Family

ID=70522427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911406901.XA Active CN111145219B (zh) 2019-12-31 2019-12-31 一种基于Codebook原理的高效视频移动目标检测方法

Country Status (2)

Country Link
CN (1) CN111145219B (zh)
WO (1) WO2021136001A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145219B (zh) * 2019-12-31 2022-06-17 神思电子技术股份有限公司 一种基于Codebook原理的高效视频移动目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
CN103210651A (zh) * 2010-11-15 2013-07-17 华为技术有限公司 用于视频概要的方法和系统
CN104067272A (zh) * 2011-11-21 2014-09-24 诺基亚公司 用于图像处理的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110200238A1 (en) * 2010-02-16 2011-08-18 Texas Instruments Incorporated Method and system for determining skinline in digital mammogram images
CN104182957B (zh) * 2013-05-21 2017-06-20 北大方正集团有限公司 交通视频信息检测方法和装置
CN104820435A (zh) * 2015-02-12 2015-08-05 武汉科技大学 基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法
CN111145219B (zh) * 2019-12-31 2022-06-17 神思电子技术股份有限公司 一种基于Codebook原理的高效视频移动目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
CN103210651A (zh) * 2010-11-15 2013-07-17 华为技术有限公司 用于视频概要的方法和系统
CN104067272A (zh) * 2011-11-21 2014-09-24 诺基亚公司 用于图像处理的方法和装置

Also Published As

Publication number Publication date
WO2021136001A1 (zh) 2021-07-08
CN111145219A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
CN110191320B (zh) 基于像素时序运动分析的视频抖动与冻结检测方法及装置
JP2001357484A (ja) 道路異常検出装置
CN113887412B (zh) 污染排放的检测方法、检测终端、监控系统及存储介质
CN102663362B (zh) 一种基于灰度特征的运动目标检测方法
Chen et al. Indoor and outdoor people detection and shadow suppression by exploiting HSV color information
CN115065798B (zh) 一种基于大数据的视频分析监控系统
CN110958467B (zh) 视频质量预测方法和装置及电子设备
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN111582166B (zh) 基于高斯建模和YoLo V3目标检测的遗留物检测方法
CN110728212B (zh) 一种基于计算机视觉的道路井盖监控装置及监控方法
KR20220151583A (ko) 영상 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN111460964A (zh) 一种广电传输机房低照度条件下运动目标检测方法
CN111145219B (zh) 一种基于Codebook原理的高效视频移动目标检测方法
CN116582693B (zh) 一种基于视频资源池的摄像头调用管控方法
Jin et al. Fusing Canny operator with vibe algorithm for target detection
CN116342644A (zh) 一种适用于煤场的智能化监控方法及系统
CN113066077B (zh) 火焰检测方法及装置
CN113743235B (zh) 基于边缘计算的电力巡检图像处理方法、装置和设备
CN112532938B (zh) 一种基于大数据技术的视频监控系统
Li et al. Image object detection algorithm based on improved Gaussian mixture model
CN113936030A (zh) 基于卷积编码的运动目标检测方法及系统
CN114140724A (zh) 一种用于变电站的视频监控系统及方法
RU2777883C1 (ru) Способ высокоэффективного определения подвижного объекта на видео, основанный на принципах codebook
CN209879574U (zh) 一种基于智能视频分析的运动目标检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant