CN104933542B - 一种基于计算机视觉的物流仓储监控方法 - Google Patents
一种基于计算机视觉的物流仓储监控方法 Download PDFInfo
- Publication number
- CN104933542B CN104933542B CN201510320414.7A CN201510320414A CN104933542B CN 104933542 B CN104933542 B CN 104933542B CN 201510320414 A CN201510320414 A CN 201510320414A CN 104933542 B CN104933542 B CN 104933542B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- pixel
- illumination
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明是一种利用计算机视觉方法设计目标检测及跟踪算法,提高目标跟踪精度和速度,适应物流园区仓储实时智能监控的要求。为了提高目标跟踪的准确性和鲁棒性,针对核循环跟踪中仅利用像素进行核相关相似性比较时易受光照变化影响的缺陷,本发明提出一种基于光照不变特征的核循环目标跟踪方法。首先,对输入图像计算局部敏感直方图,提取光照不变特征,然后,运用核矩阵循环结构在频域中快速计算目标与模板问的响应置信图,得到跟踪目标准确位置。本发明提出的算法在光照剧烈变化及姿态调整时具有较强的鲁棒性。
Description
技术领域
本发明涉及的是一种基于计算机视觉的智能监控方法,属于计算机视觉中的目标检测与跟踪领域。通过把视频帧的光照不变性特征和基于循环矩阵的核方法相结合,提高目标检测跟踪准确度和实时性,适用于公共场所、厂房、仓储等地方的智能安全监控。
背景技术
现大多数物流园区视频监控采用传统监控方式,在监控区域安装摄像机进行24小时监控,监控中心进行视频存储,监控中心有保安人员值守,针对重点区域安装红外对射报警探测器,一旦有报警触发,保安人员对报警事件进行处理。
智能视觉监控及相关技术同传统监控系统及技术有着本质的区别,其主要特点是利用视觉计算的方法,使计算机可在无需人为控制的状态下,通过对视频中运动目标的自主运算和分析,形成对场景中运动目标行为及其相互关系的高层次语义上的理解,赋予计算机理解动态场景的能力,实现运动目标异常行为的快速检测,并以最快和最佳的方式发出警报。智能视觉监控的应用能够更加有效的协助监控人员处理危机,降低误报和漏报现象,最大限度地减少人为干预,提高监控效率,减轻人员的工作负担。
智能分析技术的应用,将传统的被动监控转化为主动监控,将值班人员从死盯屏幕的繁重工作中解脱出来,快速地从海量视频数据中检索到一定特征的视频信息,能够极大的提高视频的利用效率,提升监控系统的整体性能。其应用主要有:
(1).运动目标检测:在各种复杂环境下有效识别监控场景中的运动目标。可识别视频图像中的运动行人、车辆和物体等任何运动目标。
(2).警戒区检测:即当监控画面中的行人、车辆以及其它物品进入到预设区域时,即触发入侵报警。警戒区是在画面中预设的虚拟区域,可以是矩形或者不规则的多边形。
(3).滞留物品检测:在预设区域中检测到有物体遗弃,或物体在预设时间内未被取走,即触发报警。
(4).运动目标跟踪:检测到运动目标后,记录运动目标的状态信息,此外还可利用云台控制指令,使摄像头持续跟踪运动目标,获取更加丰富的运动目标信息。
(5).物品取走检测:为防止重要目标的丢失,对指定目标进行定点监控,如果该物品被移动,则会触发报警。
(6).人脸面部检测:自动提取人体的脸部特征,并通过与数据库的特征匹配来实现省份认证。
(7).车辆识别:自动检测视频中的车辆,同时提取并存储车辆的相关特征,诸如车型大小、车身色彩、车牌号码等。
(8).烟火检测:通过分析烟雾与火苗燃烧时所具有的特征,及时检测易燃易爆危险品存储仓库的烟火事件。
处理流程可分为三个步骤:首先从视频图像中提取出运动目标;然后对检测到的相关运动目标进行跟踪;最后采用智能分析的方法理解目标运动行为。
发明内容
本发明的目的是为了克服传统监控的缺点和现已有智能监控中目标跟踪中准确度和速度不足的问题,提出了一种融合光照不变特征和核循环变换的目标跟踪方法,提出的方法在光照剧烈变化及姿态调整时具有较强的鲁棒性。
根据本发明的一个方面,一种基于计算机视觉的物流仓储监控方法,包括:
获取物流仓储监控图像中的多个视频帧;
建立局部敏感直方图计算公式b=1,K,B,计算监控图像的归一化局部敏感直方图,其中α∈(0,1)是控制降低权重的参数,当一像素远离目标中心时其值下降。W是像素的总个数,B是灰度级的总数,Q(Iq,b)的值是1当灰度值Iq属于灰度级b时,否则为0;
利用公式计算视频图像的光照不变特征,生成初始模板,其中k是常数=0.1,rp可由kIp近似表示,Ip表示像素p的灰度值,bp表示相对应的像素p的灰度值的灰度级;
构建循环矩阵,计算监控图像上每个像素的权重α;
计算新获取的图像帧与初始模板之间的置信图,将置信图上响应最大的位置确定为跟踪目标位置;
在新的位置根据公式重新训练α,由插值因子生成目标模板和新的α;
利用新生成的目标模板和新的α循环查找剩余图像帧上的跟踪目标。
可选的,在所述基于多个视频帧获取跟踪目标之后,所述方法还包括:
采用余弦窗对获取的跟踪目标进行预处理。
可选的,所述循环矩阵其中u=0,L,n-1。
针对已有核循环跟踪算法仅采用像素灰度值进行核相关比较时对光照变化比较敏感的确定,本申请结合光照不变特征提出了一种新的跟踪算法,该算法即对光照及姿态变化有较强的鲁棒性,有保持了核循环跟踪良好的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于计算机视觉的物流仓储监控方法的目标跟踪流程;
图2为本发明实施例提供的一种基于计算机视觉的物流仓储监控系统架构图;
图3为本发明实施例提供的一种基于计算机视觉的物流仓储监控网络拓扑图;
图4为本发明实施例提供的一种基于计算机视觉的物流仓储监控方法的流程图。
具体实施方式
1核循环目标跟踪
目标跟踪是一个分类问题,也可以看做为一个最小化优化问题:
其中:xi为样本,yi为分类标签,λ是规则化参数,f(xi)为线性分类器,在核方法中,f(x)=<w,x>+b。
当(1)式的值最小时,
w=(XTX+λI)-1XTy (2)
在经典的支持向量机框架理论中,为进一步提高分类器的性能,采用脊回归分类。样本x通过函数向特征空间映射,映射函数可由核函数间接表达。
公式(2)可表示为映射函数的线性组合,即:
其中,
α=(K+λI)-1y (3)
通过样本的学习,寻找αi间接得到w,使目标样本和模板之间平方和误差最小,即求式(1)最小值。在采样过程中,采用循环矩阵进行稠密采样,遍历搜索目标周围区域,相当于对原始图像采用循环矩阵滤波。循环矩阵的结构如下:
该矩阵与向量x=[x1,x2,x3,L,xn-1,xn]T的左乘相当于向量x循环右移移位,即:
Px=[xn,x1,x2,L,xn-2,xn-1]T, (5)
x所有移位循环组成了循环矩阵X,
其中u=0,L,n-1。
循环结构的矩阵意味着可以采用向量卷积的方式进行运算,循环矩阵C(x)与向量v的乘积C(x)v与向量卷积的结果是相同的,而计算卷积的常用方法是傅里叶变换法,即将时域卷积变换成频域乘积,再通过傅里叶反变换可求出时域卷积结果。
如果核函数κ是单一不变核,其核矩阵K具有循环结构,其中K的元素为Kij=κ(Pix,Pjx)。该定理将核矩阵和循环矩阵联系在一起。在核函数的运算中就可以采用快速傅里叶变换计算循环矩阵。
对公式(2)和(3)运用快速傅里叶变换计算,得到分类器的训练方程:
首先,用稠密采样的样本按照式(7)进行训练求得α。然后,用循环结构采用式(8)计算所有样本与模板间的置信图,置信值最大的位置即为目标跟踪位置。
其中采样高斯核函数为:
2基于局部敏感特性的光照不变特征
由于颜色直方图丢失空间信息,基于片段的跟踪把目标分成几个区域,每一区域用局部直方图表示,局部直方图记录了图像像素邻域的统计信息,被证明在目标跟踪中是有效的。在局部直方图中,在局部邻域中的像素有同等的贡献。然而,对目标跟踪,远离目标中心的像素应赋予的权值小,由于这些像素更可能包含背景信息或遮挡物体信息。因此,它对直方图的贡献应降低。局部敏感直方图算法可用来解决这个问题,在像素p点,局部敏感直方图可表示为:
其中α∈(0,1)是控制降低权重的参数,当一像素远离目标中心时其值下降。W是像素的总个数,B是灰度级的总数,Q(Iq,b)的值是1当灰度值Iq属于灰度级b时,否则为0。
为了克服光照变化的影响,在局部敏感直方图的基础上提出了一种新的方法来提取稠密光照不变特征。
其中k是常数=0.1,rp可由kIp近似表示,Ip表示像素p的灰度值,bp表示相对应的像素p的灰度值的灰度级。
首先计算图像的局部敏感直方图,然后根据式(11)提取光照不变特征,最后将光照不变特征作为核循环矩阵跟踪算法的输入,实现光照不变特征和核循环矩阵跟踪中所用特征的结合,得到了更优的特征。因此基于局部敏感直方图的核循环矩阵跟踪具备处理光照变化剧烈情况下对目标稳定跟踪的能力。
算法流程如下:
①初始化跟踪目标,用帧差法检测目标,为消除边界不连续影响,用余弦窗对目标进行预处理,然后,根据式(10)计算图像的归一化局部敏感直方图,再根据式(11)计算光照不变特征,生成初始模板,根据式(6)计算每个像素的权重α。
②读取新一帧图像,根据式(10)计算图像的归一化局部敏感直方图,再根据式(11)计算光照不变特征,根据式(8)计算在当前帧采样与模板间的置信图,找到响应最大的位置,即为跟踪目标位置。
③在新的位置根据式(7)重新训练α,由插值因子生成目标模板和新的α。
④转到②处对下一帧进行处理。直到处理完所有的帧结束。
需要说明的是,在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (2)
1.一种基于计算机视觉的物流仓储监控方法,其特征在于:
获取物流仓储监控图像中的多个视频帧;
建立局部敏感直方图计算公式来计算监控图像的归一化局部敏感直方图,其中α∈(0,1)是控制降低权重的参数,W是像素的总个数,B是灰度级的总数,当灰度值Iq属于灰度级b时,Q(Iq,b)的值是1,否则Q(Iq,b)为0;
利用计算视频图像的光照不变特征,生成初始模板,其中k是常数=0.1,rp由kIp近似表示,Ip表示像素p的灰度值,bp表示相对应的像素p的灰度值的灰度级;
构建核循环矩阵计算监控图像上每个像素的权重α,其中,其中,x=[x1,x2,x3,…,xn-1,xn]T,u=0,…,n-1;
将所述光照不变特征作为核循环跟踪算法的输入,计算新获取的图像帧与初始模板之间的置信图,将置信图上响应最大的位置确定为跟踪目标位置;
在新的位置根据公式重新训练α,由插值因子生成目标模板和新的α;
利用新生成的目标模板和新的α循环查找剩余图像帧上的跟踪目标。
2.根据权利要求1所述的方法,其特征在于,在基于多个视频帧获取跟踪目标之后,所述方法还包括:
采用余弦窗对获取的跟踪目标进行预处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510320414.7A CN104933542B (zh) | 2015-06-12 | 2015-06-12 | 一种基于计算机视觉的物流仓储监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510320414.7A CN104933542B (zh) | 2015-06-12 | 2015-06-12 | 一种基于计算机视觉的物流仓储监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104933542A CN104933542A (zh) | 2015-09-23 |
CN104933542B true CN104933542B (zh) | 2018-12-25 |
Family
ID=54120700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510320414.7A Active CN104933542B (zh) | 2015-06-12 | 2015-06-12 | 一种基于计算机视觉的物流仓储监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104933542B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023246A (zh) * | 2016-05-05 | 2016-10-12 | 江南大学 | 一种基于局部敏感直方图的时空上下文跟踪方法 |
CN106128023A (zh) * | 2016-07-18 | 2016-11-16 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别异物遗留报警方法和装置 |
CN110827319B (zh) * | 2018-08-13 | 2022-10-28 | 中国科学院长春光学精密机械与物理研究所 | 一种基于局部敏感直方图改进的Staple目标跟踪方法 |
CN109409064A (zh) * | 2018-10-12 | 2019-03-01 | 传化智联股份有限公司 | 一种物流园区的黑名单通知方法及装置 |
CN110363792A (zh) * | 2019-07-19 | 2019-10-22 | 广东工业大学 | 一种基于光照不变性特征提取的遥感图像变化检测方法 |
CN113449149A (zh) * | 2020-03-26 | 2021-09-28 | 顺丰科技有限公司 | 物流信息的提取方法、装置、设备及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101098465A (zh) * | 2007-07-20 | 2008-01-02 | 哈尔滨工程大学 | 一种视频监控中运动目标检测与跟踪方法 |
CN101277429A (zh) * | 2007-03-27 | 2008-10-01 | 中国科学院自动化研究所 | 监控中多路视频信息融合处理与显示的方法和系统 |
CN103581614A (zh) * | 2012-08-01 | 2014-02-12 | 通号通信信息集团有限公司 | 基于ptz的视频中目标跟踪方法及系统 |
CN103886325A (zh) * | 2014-02-18 | 2014-06-25 | 浙江大学 | 一种分块的循环矩阵视频跟踪方法 |
CN104200237A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
CN104200485A (zh) * | 2014-07-10 | 2014-12-10 | 浙江工业大学 | 一种面向视频监控的人体跟踪方法 |
-
2015
- 2015-06-12 CN CN201510320414.7A patent/CN104933542B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101277429A (zh) * | 2007-03-27 | 2008-10-01 | 中国科学院自动化研究所 | 监控中多路视频信息融合处理与显示的方法和系统 |
CN101098465A (zh) * | 2007-07-20 | 2008-01-02 | 哈尔滨工程大学 | 一种视频监控中运动目标检测与跟踪方法 |
CN103581614A (zh) * | 2012-08-01 | 2014-02-12 | 通号通信信息集团有限公司 | 基于ptz的视频中目标跟踪方法及系统 |
CN103886325A (zh) * | 2014-02-18 | 2014-06-25 | 浙江大学 | 一种分块的循环矩阵视频跟踪方法 |
CN104200485A (zh) * | 2014-07-10 | 2014-12-10 | 浙江工业大学 | 一种面向视频监控的人体跟踪方法 |
CN104200237A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
Visual Tracking via Locality Sensitive Histograms;Shengfeng He等;《2013 IEEE Conference on Computer Vision and Pattern Recognition》;20130628;论文第2-4节 * |
Also Published As
Publication number | Publication date |
---|---|
CN104933542A (zh) | 2015-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104933542B (zh) | 一种基于计算机视觉的物流仓储监控方法 | |
US20220027618A1 (en) | Method of searching data to identify images of an object captured by a camera system | |
Narejo et al. | Weapon detection using YOLO V3 for smart surveillance system | |
Bertini et al. | Multi-scale and real-time non-parametric approach for anomaly detection and localization | |
US8744125B2 (en) | Clustering-based object classification | |
KR101764845B1 (ko) | 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법 | |
US20170213080A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
Kakadiya et al. | Ai based automatic robbery/theft detection using smart surveillance in banks | |
Fan et al. | Relative attributes for large-scale abandoned object detection | |
CN111753594A (zh) | 危险识别方法、装置及系统 | |
Dwivedi et al. | Weapon classification using deep convolutional neural network | |
Mahajan et al. | Detection of concealed weapons using image processing techniques: A review | |
CN115311735A (zh) | 一种异常行为智能识别预警方法 | |
Shah et al. | Review of weapon detection techniques within the scope of street-crimes | |
Nam | Loitering detection using an associating pedestrian tracker in crowded scenes | |
Frejlichowski et al. | SmartMonitor: An approach to simple, intelligent and affordable visual surveillance system | |
Zhang et al. | A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos. | |
Jang et al. | Detection of dangerous situations using deep learning model with relational inference | |
WO2018080547A1 (en) | Video monitoring | |
Seidenari et al. | Non-parametric anomaly detection exploiting space-time features | |
KU et al. | Subduing Crime and Threat in Real-Time by Detecting Weapons Using Yolov8 | |
Gawade et al. | Automatic Weapon Detection for surveillance applications | |
Varshney et al. | A deep learning based approach to detect suspicious weapons | |
Jain et al. | Computational and Performance Aspects of Face Recognition Method (HOPFALRB) | |
Vaishnavi et al. | Implementation of Abnormal Event Detection using Automated Surveillance System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220129 Address after: 100000 room 801-17, 8th floor, TONGHANG building, Mafang Industrial Park, Pinggu District, Beijing Patentee after: Jingmai (Beijing) Technology Co.,Ltd. Address before: 276000 Linyi University, middle section of Shuangling Road, Lanshan District, Linyi City, Shandong Province Patentee before: LINYI University |
|
TR01 | Transfer of patent right |