CN112347955A - 视频中基于帧预测的物体快速识别方法、系统及介质 - Google Patents

视频中基于帧预测的物体快速识别方法、系统及介质 Download PDF

Info

Publication number
CN112347955A
CN112347955A CN202011261853.2A CN202011261853A CN112347955A CN 112347955 A CN112347955 A CN 112347955A CN 202011261853 A CN202011261853 A CN 202011261853A CN 112347955 A CN112347955 A CN 112347955A
Authority
CN
China
Prior art keywords
target object
area
video
identified
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011261853.2A
Other languages
English (en)
Inventor
杨会军
曹烈安
张鹏飞
林立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingzhuo Information Technology Co ltd
Original Assignee
Shanghai Yingzhuo Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingzhuo Information Technology Co ltd filed Critical Shanghai Yingzhuo Information Technology Co ltd
Priority to CN202011261853.2A priority Critical patent/CN112347955A/zh
Publication of CN112347955A publication Critical patent/CN112347955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供了一种视频中基于帧预测的物体快速识别方法、系统及介质，包括：步骤M1：根据视频帧中连续两个识别出目标物体的视频帧连线方向得到视频相邻帧之间物体的移动规律；步骤M2：根据连续两个识别出目标物体的视频帧的移动规律，预测下一帧中目标物体的所在区域；根据预测下一帧中目标物体所在区域确认预测所在区域中目标物体，重复执行步骤M1至步骤M2，得到第n帧目标物体所在区域rn；步骤M3：通过Haar特征算法在目标物体的所在区域内进行物体识别标记。本发明通过采用预测物体所在区域的方式，解决了每帧全区域识别耗时长，资源耗费大的问题，大大提高了识别的实时性和高效性。

Description

视频中基于帧预测的物体快速识别方法、系统及介质
技术领域
本发明涉及计算机视觉技术领域，具体地，涉及一种视频中基于帧预测的物体快速识别方法、系统及介质。
背景技术
现有的识别方案是对采集到的全帧区域进行识别，缺陷就是检测效率低下，容易造成视频识别时卡顿问题。
专利文献CN107766814A(申请号：201710968279.6)公开了一种基于Adaboost算法的视频中人群行为的识别方法，具体涉及计算机视觉技术领域。该方法首先利用背景差分法和帧间差分法对视频中前景目标的有效提取，基于Adaboost分类算法利用前景目标的特征机器学习表述机制，对监控视频中的前景目标移动的路径轨迹、轨迹的周期性、动作的周期性、线性变化的形态特征、形态变化的周期性等作为视频前景目标的特征集进行机器学习。通过半监督学习的机制，经过一系列的学习步骤得到最终的视频分类器；通过视频分类器自动判断监控视频中有无人群短时聚集、人群惊慌逃散、群体规律性变化、物体爆炸、建筑物倒塌等异常事件，快速识别出监控视频中的应急突发事件，做出相应的应急处置措施。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种视频中基于帧预测的物体快速识别方法、系统及介质。
根据本发明提供的一种视频中基于帧预测的物体快速识别方法，包括：
步骤M1：根据视频帧中连续两个识别出目标物体的视频帧连线方向得到视频相邻帧之间物体的移动规律；
步骤M2：根据连续两个识别出目标物体的视频帧的移动规律，预测下一帧中目标物体的所在区域；根据预测下一帧中目标物体所在区域确认预测所在区域中目标物体，重复执行步骤M1至步骤M2，得到第n帧目标物体所在区域rn；
步骤M3：通过Haar特征算法在目标物体的所在区域内进行物体识别标记。
优选地，所述步骤M1包括：
步骤M1.1：读取视频帧，r0(l,t,r,b)为原始矩形区域，当视频帧中不能识别出目标物体时，则重复执行步骤M1.1，当视频帧中识别出目标物体，则设当前视频帧为k1，保存目标物体的矩形区域r1(l1,t1,r1,b1)；
步骤M1.2：读取下一帧视频帧；
步骤M1.3：根据矩形区域r1获取与矩形区域r1相等的下一帧视频帧的矩形区域r2,并在矩形区域r2内进行目标物体识别；当在矩形区域r2内识别出目标物体时，保存目标物体的矩形区域r2(l2,t2,r2,b2)，r2(l2,t2,r2,b2)＝r1(l1,t1,r1,b1)；当在矩形区域r2内不能识别出目标物体时，则将矩形区域r2扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r2nx时识别出目标物体时，则r2＝r2nx；并根据矩形区域r1和矩形区域r2得到物体的移动规律；当矩形区域r2扩大次数n≥M时，仍未识别出目标物体,重复执行步骤M1.2至步骤M1.3，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，重复执行步骤M1.1至步骤M1.3，直至视频结束；其中rnx≤r0且1≤n≤M,M＝r0/(r2*x)+1)；
步骤M1.4：在连续第二个识别出目标物体的视频帧中，确定矩形区域r2(l2,t2,r2,b2)，计算区域差：rΔ(lΔ,tΔ,rΔ,bΔ)＝r2-r1＝(lr2-lr1,tr2-tr1,rr2-rr1,br2-br1)。
优选地，所述步骤M2包括：
步骤M2.1：当在连续第二个识别出目标物体的视频帧时，预测下一个视频帧中目标物体所在区域为r3(l,t,r,b),r3＝r2+rΔ；
步骤M2.2：在矩形区域r3所指定的区域识别目标物体，当在矩形区域r3所指定的区域识别出目标物体时，则r1＝r2,r2＝r3,计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；当在矩形区域r3所指定的区域未识别出目标物体时，则将矩形区域r3区域扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r3nx时识别出目标物体时，则r1＝r2,r2＝r3nx；计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；在n>＝M时仍未识别出目标物体,读取下一帧，重复执行步骤M2.2，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，r3，重复执行步骤M1至步骤M2，直至视频结束。
优选地，所述步骤M2中区域rn包括：
rn＝rn-1+rΔ
＝rn-1+(rn-1-rn-2)
＝2*rn-1–rn-2(n≥2)。
根据本发明提供的一种视频中基于帧预测的物体快速识别系统，包括：
模块M1：根据视频帧中连续两个识别出目标物体的视频帧连线方向得到视频相邻帧之间物体的移动规律；
模块M2：根据连续两个识别出目标物体的视频帧的移动规律，预测下一帧中目标物体的所在区域；根据预测下一帧中目标物体所在区域确认预测所在区域中目标物体，重复触发模块M1至模块M2执行，得到第n帧目标物体所在区域rn；
模块M3：通过Haar特征算法在目标物体的所在区域内进行物体识别标记。
优选地，所述模块M1包括：
模块M1.1：读取视频帧，r0(l,t,r,b)为原始矩形区域，当视频帧中不能识别出目标物体时，则重复触发模块M1.1执行，当视频帧中识别出目标物体，则设当前视频帧为k1，保存目标物体的矩形区域r1(l1,t1,r1,b1)；
模块M1.2：读取下一帧视频帧；
模块M1.3：根据矩形区域r1获取与矩形区域r1相等的下一帧视频帧的矩形区域r2,并在矩形区域r2内进行目标物体识别；当在矩形区域r2内识别出目标物体时，保存目标物体的矩形区域r2(l2,t2,r2,b2)，r2(l2,t2,r2,b2)＝r1(l1,t1,r1,b1)；当在矩形区域r2内不能识别出目标物体时，则将矩形区域r2扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r2nx时识别出目标物体时，则r2＝r2nx；并根据矩形区域r1和矩形区域r2得到物体的移动规律；当矩形区域r2扩大次数n≥M时，仍未识别出目标物体,重复触发模块M1.2至模块M1.3执行，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，重复触发模块M1.1至模块M1.3执行，直至视频结束；其中rnx≤r0且1≤n≤M,M＝r0/(r2*x)+1)；
模块M1.4：在连续第二个识别出目标物体的视频帧中，确定矩形区域r2(l2,t2,r2,b2)，计算区域差：rΔ(lΔ,tΔ,rΔ,bΔ)＝r2-r1＝(lr2-lr1,tr2-tr1,rr2-rr1,br2-br1)。
优选地，所述模块M2包括：
模块M2.1：当在连续第二个识别出目标物体的视频帧时，预测下一个视频帧中目标物体所在区域为r3(l,t,r,b),r3＝r2+rΔ；
模块M2.2：在矩形区域r3所指定的区域识别目标物体，当在矩形区域r3所指定的区域识别出目标物体时，则r1＝r2,r2＝r3,计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；当在矩形区域r3所指定的区域未识别出目标物体时，则将矩形区域r3区域扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r3nx时识别出目标物体时，则r1＝r2,r2＝r3nx；计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；在n>＝M时仍未识别出目标物体,读取下一帧，重复触发模块M2.2执行，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，r3，重复触发模块M1至模块M2执行，直至视频结束。
优选地，所述模块M2中区域rn包括：
rn＝rn-1+rΔ
＝rn-1+(rn-1-rn-2)
＝2*rn-1–rn-2(n≥2)。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用预测物体所在区域的方式，解决了每帧全区域识别耗时长，资源耗费大的问题，大大提高了识别的实时性和高效性；
2、本发明通过采用视频连续帧中预测物体所在区域的技术手段，达到了视频连续帧中快速识别物体的技术效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为一种视频中基于帧预测的物体快速识别方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种视频中基于帧预测的物体快速识别方法，包括：如图1所示，
步骤M1：根据视频帧中连续两个识别出目标物体的视频帧连线方向得到视频相邻帧之间物体的移动规律；
步骤M2：根据连续两个识别出目标物体的视频帧的移动规律，预测下一帧中目标物体的所在区域；根据预测下一帧中目标物体所在区域确认预测所在区域中目标物体，重复执行步骤M1至步骤M2，得到第n帧目标物体所在区域rn；
步骤M3：通过Haar特征算法在目标物体的所在区域内进行物体识别标记。
具体地，所述步骤M1包括：
步骤M1.1：读取视频帧，r0(l,t,r,b)为原始矩形区域，当视频帧中不能识别出目标物体时，则重复执行步骤M1.1，当视频帧中识别出目标物体，则设当前视频帧为k1，保存目标物体的矩形区域r1(l1,t1,r1,b1)；
步骤M1.2：读取下一帧视频帧；
步骤M1.3：根据矩形区域r1获取与矩形区域r1相等的下一帧视频帧的矩形区域r2,并在矩形区域r2内进行目标物体识别；当在矩形区域r2内识别出目标物体时，保存目标物体的矩形区域r2(l2,t2,r2,b2)，r2(l2,t2,r2,b2)＝r1(l1,t1,r1,b1)；当在矩形区域r2内不能识别出目标物体时，则将矩形区域r2扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r2nx时识别出目标物体时，则r2＝r2nx；并根据矩形区域r1和矩形区域r2得到物体的移动规律；当矩形区域r2扩大次数n≥M时，仍未识别出目标物体,重复执行步骤M1.2至步骤M1.3，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，重复执行步骤M1.1至步骤M1.3，直至视频结束；其中rnx≤r0且1≤n≤M,M＝r0/(r2*x)+1)；
步骤M1.4：在连续第二个识别出目标物体的视频帧中，确定矩形区域r2(l2,t2,r2,b2)，计算区域差：rΔ(lΔ,tΔ,rΔ,bΔ)＝r2-r1＝(lr2-lr1,tr2-tr1,rr2-rr1,br2-br1)。
具体地，所述步骤M2包括：
步骤M2.1：当在连续第二个识别出目标物体的视频帧时，预测下一个视频帧中目标物体所在区域为r3(l,t,r,b),r3＝r2+rΔ；
步骤M2.2：在矩形区域r3所指定的区域识别目标物体，当在矩形区域r3所指定的区域识别出目标物体时，则r1＝r2,r2＝r3,计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；当在矩形区域r3所指定的区域未识别出目标物体时，则将矩形区域r3区域扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r3nx时识别出目标物体时，则r1＝r2,r2＝r3nx；计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；在n>＝M时仍未识别出目标物体,读取下一帧，重复执行步骤M2.2，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，r3，重复执行步骤M1至步骤M2，直至视频结束。
具体地，所述步骤M2中区域rn包括：
rn＝rn-1+rΔ
＝rn-1+(rn-1-rn-2)
＝2*rn-1–rn-2(n≥2)。
根据本发明提供的一种视频中基于帧预测的物体快速识别系统，包括：
模块M1：根据视频帧中连续两个识别出目标物体的视频帧连线方向得到视频相邻帧之间物体的移动规律；
模块M2：根据连续两个识别出目标物体的视频帧的移动规律，预测下一帧中目标物体的所在区域；根据预测下一帧中目标物体所在区域确认预测所在区域中目标物体，重复触发模块M1至模块M2执行，得到第n帧目标物体所在区域rn；
模块M3：通过Haar特征算法在目标物体的所在区域内进行物体识别标记。
具体地，所述模块M1包括：
模块M1.1：读取视频帧，r0(l,t,r,b)为原始矩形区域，当视频帧中不能识别出目标物体时，则重复触发模块M1.1执行，当视频帧中识别出目标物体，则设当前视频帧为k1，保存目标物体的矩形区域r1(l1,t1,r1,b1)；
模块M1.2：读取下一帧视频帧；
模块M1.3：根据矩形区域r1获取与矩形区域r1相等的下一帧视频帧的矩形区域r2,并在矩形区域r2内进行目标物体识别；当在矩形区域r2内识别出目标物体时，保存目标物体的矩形区域r2(l2,t2,r2,b2)，r2(l2,t2,r2,b2)＝r1(l1,t1,r1,b1)；当在矩形区域r2内不能识别出目标物体时，则将矩形区域r2扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r2nx时识别出目标物体时，则r2＝r2nx；并根据矩形区域r1和矩形区域r2得到物体的移动规律；当矩形区域r2扩大次数n≥M时，仍未识别出目标物体,重复触发模块M1.2至模块M1.3执行，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，重复触发模块M1.1至模块M1.3执行，直至视频结束；其中rnx≤r0且1≤n≤M,M＝r0/(r2*x)+1)；
模块M1.4：在连续第二个识别出目标物体的视频帧中，确定矩形区域r2(l2,t2,r2,b2)，计算区域差：rΔ(lΔ,tΔ,rΔ,bΔ)＝r2-r1＝(lr2-lr1,tr2-tr1,rr2-rr1,br2-br1)。
具体地，所述模块M2包括：
模块M2.1：当在连续第二个识别出目标物体的视频帧时，预测下一个视频帧中目标物体所在区域为r3(l,t,r,b),r3＝r2+rΔ；
模块M2.2：在矩形区域r3所指定的区域识别目标物体，当在矩形区域r3所指定的区域识别出目标物体时，则r1＝r2,r2＝r3,计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；当在矩形区域r3所指定的区域未识别出目标物体时，则将矩形区域r3区域扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r3nx时识别出目标物体时，则r1＝r2,r2＝r3nx；计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；在n>＝M时仍未识别出目标物体,读取下一帧，重复触发模块M2.2执行，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，r3，重复触发模块M1至模块M2执行，直至视频结束。
具体地，所述模块M2中区域rn包括：
rn＝rn-1+rΔ
＝rn-1+(rn-1-rn-2)
＝2*rn-1–rn-2(n≥2)。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
实施例2
实施例2是实施例1的变化例
通过利用视频相邻帧之间物体的移动规律，预测下一帧中目标物体的所在区域，并在此区域内进行物体识别标记。
以下步骤中rn(n>＝0)表示的是目标对象的矩形区域，kn(n>＝0)表示视频帧，s表示未识别出目标物体的连续帧数，S表示设定的未识别出目标物体的最大连续帧数，M表示同一帧中矩形区域放大的最大次数。
步骤1：开始读取视频帧，r0(l,t,r,b)为一帧的原始矩形区域
1.1如果视频帧中不能识别出目标物体，循环步骤1；
1.2如果视频帧中识别出目标物体，设该帧为k1，保存该目标物体的矩形区域r1(l,t,r,b),s＝1，执行步骤2。
步骤2：读取下一帧，设该帧为k2，r2＝r1,在r2所指定的区域内进行识别。
2.1如果识别出目标物体，保存目标物体的矩形区域r2(l,t,r,b)，执行步骤4；
2.2如果在r2区域不能识别出物体，那就将r2区域扩大nx倍(n是尝试次数，x是一次放大区域的系数,默认为0.5，rnx<＝r0且1<＝n<＝M,M＝r0/(r2*x)+1)，即r2n＝r2*(1+nx)，x越小识别区域放大越慢，每次识别范围越精确。
2.2.1在r2n时识别出目标物体，则r2＝r2n，执行步骤4。
2.2.2在n>＝M时仍未识别出目标物体，则执行步骤3。
步骤3：读取下一帧，s++，
3.1识别出目标物体，执行目标4。
3.2未识别出目标物体，执行步骤3.2，在连续S帧都不能识别出目标物体时，则认为目标物体已消失，重置r1，r2返回步骤1。
步骤4：在r2(l,t,r,b)确定后，计算区域差rΔ(lΔ,tΔ,rΔ,bΔ)＝r2-r1＝(lr2-lr1,tr2-tr1,rr2-rr1,br2-br1)。
步骤5：设下一帧为k3，推理k3帧中目标物体所在区域为r3(l,t,r,b),r3＝r2+rΔ，n＝2，s＝1，
5.1如果在r3所指定的区域识别出目标物体，则r1＝r2，r2＝r3,重复步骤4至步骤5；
5.2在r3指定区域内识别不出目标物体，将r3区域扩大nx倍，即r3n，
5.2.1在r3n时识别出物体，则r1＝r2，r2＝r3n，则执行步骤4；
5.2.2在n>＝M时仍未识别出目标物体，则执行步骤6。
步骤6：读取下一帧，s++，
6.1识别出目标物体，执行目标4。
6.2未识别出目标物体，执行步骤5.2，在连续S帧都不能识别出目标物体时，则认为目标物体已消失，重置r1，r2，r3返回步骤1。
由以上步骤可得第n帧目标物体所在区域rn：
rn＝rn-1+rΔ
＝rn-1+(rn-1-rn-2)
＝2*rn-1–rn-2(n>＝2)
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种视频中基于帧预测的物体快速识别方法，其特征在于，包括：
步骤M1：根据视频帧中连续两个识别出目标物体的视频帧连线方向得到视频相邻帧之间物体的移动规律；
步骤M2：根据连续两个识别出目标物体的视频帧的移动规律，预测下一帧中目标物体的所在区域；根据预测下一帧中目标物体所在区域确认预测所在区域中目标物体，重复执行步骤M1至步骤M2，得到第n帧目标物体所在区域rn；
步骤M3：通过Haar特征算法在目标物体的所在区域内进行物体识别标记。
2.根据权利要求1所述的视频中基于帧预测的物体快速识别方法，其特征在于，所述步骤M1包括：
步骤M1.1：读取视频帧，r0(l,t,r,b)为原始矩形区域，当视频帧中不能识别出目标物体时，则重复执行步骤M1.1，当视频帧中识别出目标物体，则设当前视频帧为k1，保存目标物体的矩形区域r1(l1,t1,r1,b1)；
步骤M1.2：读取下一帧视频帧；
步骤M1.3：根据矩形区域r1获取与矩形区域r1相等的下一帧视频帧的矩形区域r2,并在矩形区域r2内进行目标物体识别；当在矩形区域r2内识别出目标物体时，保存目标物体的矩形区域r2(l2,t2,r2,b2)，r2(l2,t2,r2,b2)＝r1(l1,t1,r1,b1)；当在矩形区域r2内不能识别出目标物体时，则将矩形区域r2扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r2nx时识别出目标物体时，则r2＝r2nx；并根据矩形区域r1和矩形区域r2得到物体的移动规律；当矩形区域r2扩大次数n≥M时，仍未识别出目标物体,重复执行步骤M1.2至步骤M1.3，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，重复执行步骤M1.1至步骤M1.3，直至视频结束；其中rnx≤r0且1≤n≤M,M＝r0/(r2*x)+1)；
步骤M1.4：在连续第二个识别出目标物体的视频帧中，确定矩形区域r2(l2,t2,r2,b2)，计算区域差：rΔ(lΔ,tΔ,rΔ,bΔ)＝r2-r1＝(lr2-lr1,tr2-tr1,rr2-rr1,br2-br1)。
3.根据权利要求1所述的视频中基于帧预测的物体快速识别方法，其特征在于，所述步骤M2包括：
步骤M2.1：当在连续第二个识别出目标物体的视频帧时，预测下一个视频帧中目标物体所在区域为r3(l,t,r,b),r3＝r2+rΔ；
步骤M2.2：在矩形区域r3所指定的区域识别目标物体，当在矩形区域r3所指定的区域识别出目标物体时，则r1＝r2,r2＝r3,计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；当在矩形区域r3所指定的区域未识别出目标物体时，则将矩形区域r3区域扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r3nx时识别出目标物体时，则r1＝r2,r2＝r3nx；计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；在n>＝M时仍未识别出目标物体,读取下一帧，重复执行步骤M2.2，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，r3，重复执行步骤M1至步骤M2，直至视频结束。
4.根据权利要求1所述的视频中基于帧预测的物体快速识别方法，其特征在于，所述步骤M2中区域rn包括：
rn＝rn-1+rΔ
＝rn-1+(rn-1-rn-2)
＝2*rn-1–rn-2(n≥2)。
5.一种视频中基于帧预测的物体快速识别系统，其特征在于，包括：
模块M1：根据视频帧中连续两个识别出目标物体的视频帧连线方向得到视频相邻帧之间物体的移动规律；
模块M2：根据连续两个识别出目标物体的视频帧的移动规律，预测下一帧中目标物体的所在区域；根据预测下一帧中目标物体所在区域确认预测所在区域中目标物体，重复触发模块M1至模块M2执行，得到第n帧目标物体所在区域rn；
模块M3：通过Haar特征算法在目标物体的所在区域内进行物体识别标记。
6.根据权利要求5所述的视频中基于帧预测的物体快速识别系统，其特征在于，所述模块M1包括：
模块M1.1：读取视频帧，r0(l,t,r,b)为原始矩形区域，当视频帧中不能识别出目标物体时，则重复触发模块M1.1执行，当视频帧中识别出目标物体，则设当前视频帧为k1，保存目标物体的矩形区域r1(l1,t1,r1,b1)；
模块M1.2：读取下一帧视频帧；
模块M1.3：根据矩形区域r1获取与矩形区域r1相等的下一帧视频帧的矩形区域r2,并在矩形区域r2内进行目标物体识别；当在矩形区域r2内识别出目标物体时，保存目标物体的矩形区域r2(l2,t2,r2,b2)，r2(l2,t2,r2,b2)＝r1(l1,t1,r1,b1)；当在矩形区域r2内不能识别出目标物体时，则将矩形区域r2扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r2nx时识别出目标物体时，则r2＝r2nx；并根据矩形区域r1和矩形区域r2得到物体的移动规律；当矩形区域r2扩大次数n≥M时，仍未识别出目标物体,重复触发模块M1.2至模块M1.3执行，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，重复触发模块M1.1至模块M1.3执行，直至视频结束；其中rnx≤r0且1≤n≤M,M＝r0/(r2*x)+1)；
模块M1.4：在连续第二个识别出目标物体的视频帧中，确定矩形区域r2(l2,t2,r2,b2)，计算区域差：rΔ(lΔ,tΔ,rΔ,bΔ)＝r2-r1＝(lr2-lr1,tr2-tr1,rr2-rr1,br2-br1)。
7.根据权利要求5所述的视频中基于帧预测的物体快速识别系统，其特征在于，所述模块M2包括：
模块M2.1：当在连续第二个识别出目标物体的视频帧时，预测下一个视频帧中目标物体所在区域为r3(l,t,r,b),r3＝r2+rΔ；
模块M2.2：在矩形区域r3所指定的区域识别目标物体，当在矩形区域r3所指定的区域识别出目标物体时，则r1＝r2,r2＝r3,计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；当在矩形区域r3所指定的区域未识别出目标物体时，则将矩形区域r3区域扩大nx倍，其中，n表示扩大尝试的次数，x表示一次放大区域的系数；当在r3nx时识别出目标物体时，则r1＝r2,r2＝r3nx；计算区域差，并根据区域差，预测下一个视频帧中目标物体所在区域；在n>＝M时仍未识别出目标物体,读取下一帧，重复触发模块M2.2执行，在连续预设帧都不能识别出目标物体时，则认为目标物体已消失，重置矩形区域r1，r2，r3，重复触发模块M1至模块M2执行，直至视频结束。
8.根据权利要求5所述的视频中基于帧预测的物体快速识别系统，其特征在于，所述模块M2中区域rn包括：
rn＝rn-1+rΔ
＝rn-1+(rn-1-rn-2)
＝2*rn-1–rn-2(n≥2)。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202011261853.2A 2020-11-12 2020-11-12 视频中基于帧预测的物体快速识别方法、系统及介质 Pending CN112347955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011261853.2A CN112347955A (zh) 2020-11-12 2020-11-12 视频中基于帧预测的物体快速识别方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011261853.2A CN112347955A (zh) 2020-11-12 2020-11-12 视频中基于帧预测的物体快速识别方法、系统及介质

Publications (1)

Publication Number Publication Date
CN112347955A true CN112347955A (zh) 2021-02-09

Family

ID=74362629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011261853.2A Pending CN112347955A (zh) 2020-11-12 2020-11-12 视频中基于帧预测的物体快速识别方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112347955A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530322A (zh) * 2016-11-25 2017-03-22 天津大学 抖动视频中目标跟踪的方法
CN107403439A (zh) * 2017-06-06 2017-11-28 沈阳工业大学 基于Cam‑shift的预测跟踪方法
WO2020155299A1 (zh) * 2019-02-01 2020-08-06 网宿科技股份有限公司 视频帧中目标对象的拟合方法、系统及设备
CN111798487A (zh) * 2019-08-27 2020-10-20 北京京东尚科信息技术有限公司 目标跟踪方法、装置和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530322A (zh) * 2016-11-25 2017-03-22 天津大学 抖动视频中目标跟踪的方法
CN107403439A (zh) * 2017-06-06 2017-11-28 沈阳工业大学 基于Cam‑shift的预测跟踪方法
WO2020155299A1 (zh) * 2019-02-01 2020-08-06 网宿科技股份有限公司 视频帧中目标对象的拟合方法、系统及设备
CN111798487A (zh) * 2019-08-27 2020-10-20 北京京东尚科信息技术有限公司 目标跟踪方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
Tudor Ionescu et al. Unmasking the abnormal events in video
Amrutha et al. Deep learning approach for suspicious activity detection from surveillance video
EP1955285B1 (en) Detection of abnormal crowd behavior
US9495599B2 (en) Determination of train presence and motion state in railway environments
Mohamed et al. Background modelling and background subtraction performance for object detection
CN110688925A (zh) 基于深度学习的级联目标识别方法及系统
EP2342647A2 (en) Long-term memory in a video analysis system
Masurekar et al. Real time object detection using YOLOv3
CN112339773B (zh) 一种基于单目视觉的非主动车道偏离预警方法及系统
KR20150100141A (ko) 행동패턴 분석 장치 및 방법
CN109919032A (zh) 一种基于动作预测的视频异常行为检测方法
CN114724060A (zh) 基于掩码自编码器的无监督视频异常检测方法和装置
CN103870824A (zh) 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN116798198A (zh) 基于多元时序预测模型的传感器异常检测与预警方法
CN112347955A (zh) 视频中基于帧预测的物体快速识别方法、系统及介质
CN116403162B (zh) 一种机场场面目标行为识别方法、系统及电子设备
JP5046148B2 (ja) 画像解析装置および対象物認識方法
CN113409246A (zh) 一种钢筋头计数、定位方法及系统
García et al. A gaussian-median filter for moving objects segmentation applied for static scenarios
CN112613516A (zh) 用于航拍视频数据的语义分割方法
CN110472555B (zh) 目标检测方法和装置
CN117274914A (zh) 一种基于自监督预训练的监控视频异常识别方法及系统
Islam et al. Carts: Constraint-based analytics from real-time system monitoring
KR102502648B1 (ko) Rnn 인코더-디코더를 이용하여 시계열에서의 이상상황을 탐지하는 방법 및 장치
CN115082820A (zh) 一种监控视频中群体全局异常行为检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210209

RJ01 Rejection of invention patent application after publication