CN104680504B - 场景变化检测方法及其装置 - Google Patents
场景变化检测方法及其装置 Download PDFInfo
- Publication number
- CN104680504B CN104680504B CN201310611672.1A CN201310611672A CN104680504B CN 104680504 B CN104680504 B CN 104680504B CN 201310611672 A CN201310611672 A CN 201310611672A CN 104680504 B CN104680504 B CN 104680504B
- Authority
- CN
- China
- Prior art keywords
- scene
- motion vector
- characteristic point
- point information
- global motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域,公开了一种场景变化检测方法及其装置。在本发明中,将获取的视频段数据中的一帧或多帧图像分块,提取每块的特征点和相应信息,并根据当前提取的特征点信息与相应的历史特征点信息来判断场景是否有变化,分块提取特征点确保了特征点均匀地散布于整个检测区域,最大程度地使特征点落于背景物体上,从而削弱局部运动物体的干扰,提高检测准确率。此外,按时段存储特征点信息,可通过调取其中的任意历史时期的特征数据用于特征比对,检测当前场景与历史场景之间的场景变化程度,这样,对于一些非常缓慢的场景变化现象就可以通过当前场景与较早前的历史场景比对检测出变化。
Description
技术领域
本发明涉及图像处理领域,特别涉及场景变化检测方法及其装置。
背景技术
目前的场景变换检测方法大多基于灰度直方图或亮度变化,其准确率不是很高。《一种检测场景变换的方法与系统》(申请号201210437502.1)公开了一种检测场景变换的方法,包括以下步骤:获取监控场景的两幅图像;采用快速鲁棒特征算法提取两幅图像的特征点;采用k维数据空间树算法对两幅图像的特征点进行匹配;采用改进的随机抽样一致性算法对两幅图像匹配到的特征点进行透视变换矩阵的估计;根据估计的透视变换矩阵计算出两幅图像的空间偏移量,从而得到场景变换的程度。此外还公开了一种检测场景变换的系统,包括图像获取模块、图像特征提取模块、图像特征匹配模块、透视变换矩阵估计模块和场景变换程度计算模块。
但是本发明的发明人发现,上述方法和系统存在如下缺点:
1、对于非常缓慢的场景变更,由于算法精度局限,存在较大漏检的风险。
2、对于存在局部运动物体的两幅同一场景图像,所叙述的方法不能很好地排除局部运动物体对全局运动估计的影响,存在误检的风险。
3、假设由不同的摄像机采集到不同的图像,输入此系统中进行场景变换分析,势必判定为场景变化,这与普通用户的感受不相符。通常的场景变化指的是同一个摄像头拍摄的图像场景发生了变化。但上述系统无法区分图像是否来自同一摄像头或图像采集设备。
发明内容
本发明的目的在于提供一种场景变化检测方法及其装置,削弱了局部运动的干扰,提高了检测准确率。
为解决上述技术问题,本发明的实施方式公开了一种场景变化检测方法,包括以下步骤:
获取视频段数据;
将视频段数据的一帧或多帧图像分块,提取每块的特征点和相应信息并存储;
根据当前提取的特征点信息与相应的历史特征点信息,判断场景是否有变化。
本发明的实施方式还公开了一种场景变化检测装置,包括:
视频采集模块,用于获取视频段数据;
数据存储模块,用于存储特征点信息;
分析处理模块,用于将视频段数据的一帧或多帧图像分块,提取每块的特征点和相应信息,存储当前提取的特征点信息于数据存储模块中,并根据当前提取的特征点信息与数据存储模块存储的相应的历史特征点信息,判断场景是否有变化。
本发明实施方式与现有技术相比,主要区别及其效果在于:
在本发明的场景变化检测方法中,将获取的视频段数据中的一帧或多帧图像分块,提取每块的特征点和相应信息,并根据当前提取的特征点信息与相应的历史特征点信息来判断场景是否有变化,分块提取特征点确保了特征点均匀地散布于整个检测区域,最大程度地使特征点落于背景物体上,从而削弱局部运动物体的干扰,提高检测准确率。
进一步地,根据历史特征点信息,计算运动矢量并进行一致性筛选,将一致性最高的运动矢量作为全局运动矢量,进一步排除局部运动物体对全局运动估计的影响,降低误检的风险。
进一步地,按时段存储特征点信息,可通过调取其中的任意历史时期的特征数据用于特征比对,检测当前场景与历史场景之间的场景变化程度;这样,对于一些非常缓慢的场景变化现象就可以通过当前场景与较早前的历史场景比对检测出变化。
进一步地,通过根据视频线路划分存储区域,可确保每一路视频都有独立的空间存放数据而不会相互干扰,排除了由于设备不同、视频源不同所造成的无效检测。
进一步地,将各模块设置于同一个装置中并用于单路视频检测,可对每一帧图像进行检测,能及时反馈场景变化的情况。
进一步地,在多路视频检测装置中根据视频线路划分存储区域,并进而在检测特定视频线路时,只能操作该路线频所占有的存储区域,可避免由于多路视频混淆造成的误检。
附图说明
图1是本发明第一实施方式中一种场景变化检测方法的流程示意图;
图2是本发明第一实施方式中一种场景变化检测方法中场景变化计算的流程示意图;
图3是本发明第二实施方式中一种场景变化检测方法中场景变化计算的流程示意图;
图4是本发明第二实施方式中一种场景变化检测方法的流程示意图;
图5是本发明第三实施方式中一种场景变化检测装置的结构示意图;
图6、图7是本发明第三实施方式中不同形式的场景变化检测装置的结构示意图;
图8是本发明第四实施方式中一种场景变化检测装置中分析处理模块的结构示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种场景变化检测方法。图1是该场景变化检测方法的流程示意图。该场景变化检测方法包括以下步骤:
在步骤101中,获取视频段数据。可以理解,视频段数据的长度可以是一帧图像,也可以是多帧图像。
此后进入步骤102,将视频段数据的一帧或多帧图像分块,提取每块的特征点和相应信息并存储。
可以理解,在提取视频片段中的若干帧图像的特征数据时,具体将多少帧图像进行分块并提取特征数据依需求而定,包含但不限于提取每一帧的特征、提取首帧特征、提取尾帧特征、抽取若干帧提取特征等等。
下面对一帧图像的特征提取方法进行描述:
由于视频图像中的局部运动物体会干扰全局运动估计的准确性。为了避免用于运动估计的特征点集中在局部运动物体上,本实施方式采用了图像分块提取特征点的方法,确保特征点均匀地散布于整个检测区域内,最大程度地使特征点落于背景物体上,削弱局部运动物体的影响。
在本实施方式中,特征检测方法包括但不限于Harris、SUSAN、SIFT、SURF、FAST、MSER等。以Harris角点为例,先将图像分成M×M个小块,对每个小块进行Harris角点响应计算,提取每个小块内角点响应值最大的N个点作为特征点,一张图最多提取M×M×N个特征点。可以理解,除了Harris外,鉴于其他特征检测方法都为经典特征检测算法,在此不再赘述。
此外,可以理解,在本发明的其他实施方式中,还可以根据实际情况对图像的特定区域进行分块后提取特征点。例如,监控图像上通常标注有屏幕显示(On Screen Display,简称OSD),其应用在阴极射线管(Cathode Ray Tube,简称“CRT”)显示器/液晶显示器(Liquid Crystal Display,简称“LCD”)上,在显示器的屏幕中产生一些特殊的字形或图形,让使用者得到一些讯息。常见于家用电视机或个人PC电脑的显示屏幕上。当使用者操作电视机换台或调整音量、画质等,电视屏幕就会显示目前状态让使用者知道,此控制集成电路(Integrated Circuit,简称IC)可在屏幕上的任何位置显示一些特殊字形与图形,成为人机界面上重要的讯息产生装置。但是,OSD信息不会随着场景的变更而变化,对于急于提取特征点的检测方法而言,它是一个干扰因素,因此,可以只将图像中间无OSD的那一部分作为特征提取区域。
接着,对每个特征点进行特征描述,特征描述算法包括但不限于SURF,BRIEF,ORB,GLOH等,由于SIFT描述方法对光照变化、尺度变化、图像旋转的鲁棒性较高,因此本实施方式优选SIFT描述法作为特征描述方法,描述子是一个多维数据,例如SIFT描述子通常是128维的数组。鉴于以上所述的特征描述方法都为经典特征描述算法,不再赘述。
最后,将所有特征点(例如Harris角点)的坐标信息与该点描述子打包后按照分块的顺序进行排列,然后输出到数据存储模块中。可以理解,在本发明的其他实施方式中,也可以将其他相应特征检测算法和特征描述算法所得到的特征点信息打包后,输出到数据存储模块中。
此后进入步骤103,根据当前提取的特征点信息与相应的历史特征点信息,判断场景是否有变化。
在本实施方式中,可通过比较当前提取的特征点信息与相应的历史特征点信息,如是否预定数量的特征点信息差的绝对值超过预定阈值,或是由各特征点信息得到表示当前图像与历史图像差异的值是否超过预定值,来判断场景是否有变化。
作为可选实施方式,根据历史特征点信息,计算运动矢量并进行一致性筛选,将一致性最高的运动矢量作为全局运动矢量,进一步排除局部运动物体对全局运动估计的影响,降低误检的风险。具体地说:
如图2所示,在步骤103中,包括以下子步骤:
在步骤201中,获取相应的历史特征点信息。
可以理解,将当前视频段的一帧或多帧图像提取到的特征数据输入分析处理模块,可以根据用户需求从数据存储模块中提取出特定时间的历史特征信息,进行场景变化计算,如对于一些缓慢变化的场景,需要提取较早前的历史特征数据,那么当前特征与较早的历史特征就能比较容易显现出差异,缓慢的场景变化就能被检测出来,而对于实时性较高的检测需求则提取最近的一次历史特征信息。
此后进入步骤202,匹配当前提取的特征点与相应的历史特征点。
在本实施方式中进行特征点数据匹配,优选地,采用描述子最短距离作为配对准则(匹配准则还有:直方图匹配,中心距匹配等),距离dist通常采用欧氏距离(距离dist也可以是马氏距离,巴氏距离,切比雪夫距离等),计算方法如下式:
其中,di为当前特征点的描述子,ki为历史特征点的描述子。一般为了提高匹配速度,可先对待匹配的数据代入到分叉树状数据结构中,通过这种数据结构加速搜索过程。这样的算法包括但不限于K维数据的空间树(K Dimension-Tree,简称KD Tree)算法,最优节点优先(Best Bin First,简称BBF)算法。本实施方式优选KD-Tree算法。
此后进入步骤203,计算经匹配的每对特征点的运动矢量,即在特征点配对完成的基础上,计算出每对匹配点对的运动矢量。
此后进入步骤204,计算所有对特征点的运动矢量的一致性指数,并将一致性指数最高的运动矢量作为全局运动矢量。
可以理解,对所有匹配点对的运动矢量进行一致性筛选,得到一致性最高的运动矢量作为两幅或两组图像间的全局运动矢量mv以及这个矢量的一致性指数consensus,其筛选算法包括但不限于随机抽样一致性(RANdom SAmple Consensus,简称RANSAC)算法、M估计采样一致性(M-estimation SAmple Consensus,简称MSAC)算法,本实施方式优选RANSAC。
此后进入步骤205,判断全局运动矢量是否大于等于第一阈值mv_Threshold,若是,则进入步骤206,否则该全局运动矢量mv较小(mv<mv_Threshold),判定场景没有变化并结束本流程。
在步骤206中,输出场景有变化。
此后结束本流程
此外,可以理解,在本发明的其他实施方式中,也可以采用其他方式由各对特征点的运动矢量得到全局运动矢量,如可以通过对这些局部运动矢量加权来得到全局运动矢量,或是采用最小平方的方法。
在本实施方式的场景变化检测方法中,将获取的视频段数据中的一帧或多帧图像分块,提取每块的特征点和相应信息,并根据当前提取的特征点信息与相应的历史特征点信息来判断场景是否有变化,确保了特征点均匀地散布于整个检测区域,最大程度地使特征点落于背景物体上,从而削弱局部运动物体的干扰,提高检测准确率。
本发明第二实施方式涉及一种场景变化检测方法。图3是该场景变化检测方法的流程示意图。
第二实施方式在第一实施方式的基础上主要进行了以下两个改进:
第一个改进如图3所示,在确认全局运动矢量大于等于第一阈值后,即全局运动矢量mv较大(mv≥mv_Threshold),还包括以下步骤:
在步骤306中,判断全局运动矢量的一致性指数是否大于等于第二阈值con_Threshold。
若全局运动矢量的一致性指数小于第二阈值(consensus<con_Threshold),即一致性指标过低时,则进入步骤307;若全局运动矢量的一致性指数大于等于第二阈值(consensus≥con_Threshold),即一致性指标较高时,则进入步骤308。
在步骤307中,判定并输出场景全部变化。
此后结束本流程。
在步骤308中,根据全局运动矢量占图像分辨率的比例计算并输出场景变化的分数,具体计算方式如下:
其中,score为场景变化的分数,mvX、mvY分别为全局运动矢量的横向分量、纵向分量,imgWidth、imgHeight为图像的宽度、高度,即为图像分辨率大小。
其中,步骤301至步骤305与步骤201至步骤205相同,在此不再赘述。
第二个改进为在上述步骤102中按时段和/或根据视频线路存储特征点信息,则相应的历史特征点信息为特定时间的历史特征点信息,或特定视频线路的历史特征点信息,或特定视频线路的特定时间的历史特征点信息。
按时段存储特征点信息,可通过调取其中的任意历史时期的特征数据用于特征比对,检测当前场景与历史场景之间的场景变化程度,这样,对于一些非常缓慢的场景变化现象就可以通过当前场景与较早前的历史场景比对检测出变化。如摄像机的运动十分缓慢,10分钟才移动一个像素,而运动估计的精度只能达到1个像素,所以拿十分钟内的视频图像无论如何匹配估计,都无法检测出这种缓慢的运动,只有当运动时间积累足够多后才能检测到。所以存储各时段的特征信息,通过当前特征信息与之前各时段的特征进行匹配估计,只要存储着足够早的特征信息,那么这种缓慢的摄像机运动就可以被检测出来。
通过根据视频线路划分存储区域,可确保每一路视频都有独立的空间存放数据而不会相互干扰,排除了由于设备不同、视频源不同所造成的无效检测。
以上各改进组合后形成本发明的较佳实施方式,但各改进也可以分别使用。
在本发明的一个优选的例子中,整个场景变化检测方法主要包括5个步骤:视频数据获取、图像特征提取、历史特征获取、特征比对和特征更新,如图4所示。
在本实施例中,先提取视频片段里若干帧图像的特征数据。若数据存储模块中存有之前视频片段提取的特征数据,将它取出与当前提取的特征进行比对,计算场景变化的分数并输出;若数据存储模块内没有历史数据,则不进行比对。当前提取的图像特征数据更新到数据存储模块中作为历史特征数据,用于下一次视频片段的场景变化计算。具体步骤如下:
步骤1:获取视频片段数据。
步骤2:提取视频片段中的若干帧图像的特征数据。
步骤3:历史特征获取。
从数据存储模块中获取历史特征数据,用于步骤4的特征比对。根据用户需求的不同,获取不同时段的特征数据。例如需要检测缓慢的场景变更情况,需要获取较早前的特征数据用于比对;对于实时性要求高的需求可获取最近的特征数据用于比对。若数据存储模块中没有历史特征数据,则进入步骤5。
步骤4:特征比对,即进行场景变化计算。
步骤5:更新特征数据。
从步骤2视频片段提取的特征信息,存入数据存储模块中的一个单元作为历史特征信息供以后的视频检测。对于视频片段中有多帧图像被提取特征的,可保存所有的特征点信息,然后删除重复的特征点。关于特征数据,本实施例中优选特征点坐标和SIFT描述子数据
由于数据存储器的容量有限,本实施例根据先进先出的原则对其中的特征数据进行更新。每当有新的特征数据进入时,就删除最早特征数据。
以上各步骤的详细细节可参考说明书其他部分,在此不再赘述。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第三实施方式涉及一种场景变化检测装置。图5是该场景变化检测装置的结构示意图。如图5所示,该场景变化检测装置包括:
视频采集模块,用于获取视频段数据。可以理解,在本发明的各个实施方式中,上述视频采集模块可以为但不限于IP摄像机、IP摄像机+NVR、模拟摄像机+图像编码卡、模拟摄像机+DVR等数字图像采集设备。
其中,硬盘录像机(DigitalVideoRecorder,简称“DVR”),即数字视频录像机,相对于传统的模拟视频录像机,采用硬盘录像,故常常被称为硬盘录像机,也被称为DVR。它是一套进行图像存储处理的计算机系统,具有对图像/语音进行长时间录像、录音、远程监视和控制的功能。
NVR(NETWORK VIDEO RECORDER)又叫网络视频录像机,是一类视频录像设备,与网络摄像机或视频编码器配套使用,实现对通过网络传送过来的数字视频的记录
数据存储模块,用于存储特征点信息,其存储方式包含但不限于以文件的形式存储于硬盘、FLASH、光盘等。
分析处理模块,用于将视频段数据的一帧或多帧图像分块,提取每块的特征点和相应信息,存储当前提取的特征点信息于数据存储模块中,并根据当前提取的特征点信息与数据存储模块存储的相应的历史特征点信息,判断场景是否有变化。
可以理解,在本发明的各个实施方式中,上述分析处理模块包含但不限于PC、服务器或嵌入式系统装置等具备微处理器和通用计算能力的硬件设备。
将上述各种类型的设备进行组合,即可构成各种形式的场景变化检测装置:
作为可选实施方式,视频采集模块、数据存储模块和分析处理模块被设置于同一个装置中,如图6所示,该装置包括但不限于摄像机等,在本实施方式中,优选IP摄像机中的图像采集系统作为视频采集模块、嵌入式微处理器作为分析处理模块、FLASH介质作为数据存储模块,以构成该摄像机专用的场景变化检测系统。
将各模块设置于同一个装置中并用于单路视频检测,可对每一帧图像进行检测,能及时反馈场景变化的情况。
作为另一种可选实施方式,数据存储模块和分析处理模块被设置于一个装置中,与一个或多个设置于其他装置的视频采集模块连接,以构成一路或多路视频的检测装置,如图7所示。视频采集模块包括但不限于IP摄像机、IP摄像机+NVR、模拟摄像机+图像编码卡、模拟摄像机+DVR等数字图像采集设备,分析处理模块与数据存储模块包括但不限于PC机,服务器等,本实施方式优选服务器,作为对多路视频进行场景变化检测的服务系统。
如图7所示的装置可对多路视频以轮询的方式进行检测,在数据存储模块中对每一路视频划分出一个存储区域,每个存储区域有N个存储单元,采用先进先出覆盖存储的方式,当存储单元已经全部被使用时,先删除最早的数据,再存入最新的数据。进一步地,分析处理模块在检测某一路视频时,只能操作该路视频所占有的存储区域。这样可避免由于多路视频混淆造成的误检。
此外,可以理解,在本发明的其他实施方式中,上述各模块也可以分置于不同的装置中以对场景变化进行检测。
在本实施方式中,分析处理模块可通过比较当前提取的特征点信息与相应的历史特征点信息,如是否预定数量的特征点信息差的绝对值超过预定阈值,或是由各特征点信息得到表示当前图像与历史图像差异的值是否超过预定值,来判断场景是否有变化。
作为可选实施方式,上述分析处理模块根据历史特征点信息,计算运动矢量并进行一致性筛选,将一致性最高的运动矢量作为全局运动矢量,进一步排除局部运动物体对全局运动估计的影响,降低误检的风险。具体地说:
如图8所示,分析处理模块包括:
获取单元,用于从数据存储模块获取相应的历史特征点信息。
匹配单元,用于匹配当前提取的特征点与相应的历史特征点。
第一计算单元,用于计算经匹配的每对特征点的运动矢量。
筛选单元,用于计算所有对特征点的运动矢量的一致性指数,并将一致性指数最高的运动矢量作为全局运动矢量。
第一判断单元,用于判断全局运动矢量是否大于等于第一阈值。
第一输出单元,用于在第一判断单元确认全局运动矢量大于等于第一阈值时,输出场景有变化。
此外,可以理解,在本发明的其他实施方式中,也可以采用其他方式由各对特征点的运动矢量得到全局运动矢量,如可以通过对这些局部运动矢量加权来得到全局运动矢量,或是采用最小平方的方法。
本发明的场景变化检测装置包括视频采集模块、数据存储模块和分析处理模块,其中该分析处理模块将上述视频采集模块获取的视频段数据中的一帧或多帧图像分块,提取每块的特征点和相应信息,并根据当前提取的特征点信息与上述数据存储模块存储的相应的历史特征点信息来判断场景是否有变化,确保了特征点均匀地散布于整个检测区域,最大程度地使特征点落于背景特体上,从而削弱局部运动物体的干扰,提高检测准确率。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第四实施方式涉及一种场景变化检测装置。第四实施方式在第三实施方式的基础上主要进行了以下两个改进:
第一个改进是,上述分析处理模块还包括:
第二判断单元,用于在第一判断单元确认全局运动矢量大于等于第一阈值后,判断全局运动矢量的一致性指数是否大于等于第二阈值。
第二计算单元,用于在第二判断单元确认全局运动矢量的一致性指数大于等于第二阈值时,根据全局运动矢量占图像分辨率的比例计算场景变化的分数,具体计算方式如下:
其中,score为场景变化的分数,mvX、mvY分别为全局运动矢量的横向分量、纵向分量,imgWidth、imgHeight为图像的宽度、高度。
第二输出单元,用于在第二判断单元确认全局运动矢量的一致性指数小于第二阈值时,输出场景全部变化,在第二判断单元确认全局运动矢量的一致性指数大于等于第二阈值时,输出第二计算单元计算的场景变化的分数。
第二个改进是,分析处理模块还用于按时段和/或根据视频线路存储当前提取的特征点信息,则相应的历史特征点信息为特定视频线路的历史特征点信息,或特定时间的历史特征点信息,或特定视频线路的特定时间的历史特征点信息。
按时段存储特征点信息,可通过调取其中的任意历史时期的特征数据用于特征比对,检测当前场景与历史场景之间的场景变化程度,这样,对于一些非常缓慢的场景变化现象就可以通过当前场景与较早前的历史场景比对检测出变化。
通过根据视频线路划分存储区域,可确保每一路视频都有独立的空间存放数据而不会相互干扰,排除了由于设备不同、视频源不同所造成的无效检测。特别是在多路视频检测装置中根据视频线路划分存储区域,并进一步地在检测特定视频线路时,只能操作该路线频所占有的存储区域,可避免由于多路视步混淆造成的误检。
以上各改进组合后形成本发明的较佳实施方式,但各改进也可以分别使用。
第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
综上,本发明通过数据存储模块存储历史特征信息,解决了缓慢的场景变更如何检测这一难题,并且通过分块特征提取的方法,削弱了局部运动的干扰,提高检测准确率,进一步通过对数据存储模块区域划分,与被检测视频源一一对应,排除了由于设备不同,视频源不同所造成的无效检测,降低了误报率。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是,在本专利的权利要求和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (9)
1.一种场景变化检测方法,其特征在于,包括以下步骤:
获取视频段数据;
将所述视频段数据的一帧或多帧图像分块,提取每块的特征点和相应信息并按时段存储;
根据当前提取的特征点信息与相应的历史特征点信息,判断场景是否有变化,并计算输出场景变化的分数,其中相应的历史特征点信息为特定时段的历史特征点信息。
2.根据权利要求1所述的场景变化检测方法,其特征在于,在根据当前提取的特征点信息与相应的历史特征点信息,判断场景是否有变化的步骤中,包括以下子步骤:
获取相应的历史特征点信息;
匹配当前提取的特征点与相应的历史特征点;
计算经匹配的每对特征点的运动矢量;
计算所有对特征点的运动矢量的一致性指数,并将一致性指数最高的运动矢量作为全局运动矢量;
判断所述全局运动矢量是否大于等于第一阈值,若是,则输出场景有变化。
3.根据权利要求2所述的场景变化检测方法,其特征在于,在确认所述全局运动矢量大于等于所述第一阈值后,还包括以下步骤:
判断所述全局运动矢量的一致性指数是否大于等于第二阈值;
若所述全局运动矢量的一致性指数小于第二阈值,则输出场景全部变化;
若所述全局运动矢量的一致性指数大于等于第二阈值,则根据所述全局运动矢量占图像分辨率的比例计算并输出场景变化的分数,具体计算方式如下:
其中,score为场景变化的分数,mvX、mvY分别为全局运动矢量的横向分量、纵向分量,imgWidth、imgHeight为图像的宽度、高度。
4.根据权利要求1至3中任一项所述的场景变化检测方法,其特征在于,在根据当前提取的特征点信息与相应的历史特征点信息,判断场景是否有变化之前还包括以下步骤:
将所述视频段数据的一帧或多帧图像分块,提取每块的特征点和相应信息并根据视频线路存储当前提取的特征点信息;
所述相应的历史特征点信息为特定视频线路的历史特征点信息。
5.一种场景变化检测装置,其特征在于,包括:
视频采集模块,用于获取视频段数据;
数据存储模块,用于按时段存储特征点信息;
分析处理模块,用于将所述视频段数据的一帧或多帧图像分块,提取每块的特征点和相应信息,按时段存储当前提取的特征点信息于所述数据存储模块中,并根据当前提取的特征点信息与所述数据存储模块存储的相应的历史特征点信息,判断场景是否有变化并计算输出场景变化的分数,其中相应的历史特征点信息为特定时段的历史持征点信息。
6.根据权利要求5所述的场景变化检测装置,其特征在于,所述分析处理模块包括:
获取单元,用于从所述数据存储模块获取相应的历史特征点信息;
匹配单元,用于匹配当前提取的特征点与相应的历史特征点;
第一计算单元,用于计算经匹配的每对特征点的运动矢量;
筛选单元,用于计算所有对特征点的运动矢量的一致性指数,并将一致性指数最高的运动矢量作为全局运动矢量;
第一判断单元,用于判断所述全局运动矢量是否大于等于第一阈值;
第一输出单元,用于在所述第一判断单元确认所述全局运动矢量大于等于第一阈值时,输出场景有变化。
7.根据权利要求6所述的场景变化检测装置,其特征在于,所述分析处理模块还包括:
第二判断单元,用于在所述第一判断单元确认所述全局运动矢量大于等于第一阈值后,判断所述全局运动矢量的一致性指数是否大于等于第二阈值;
第二计算单元,用于在所述第二判断单元确认所述全局运动矢量的一致性指数大于等于第二阈值时,根据所述全局运动矢量占图像分辨率的比例计算场景变化的分数,具体计算方式如下:
其中,score为场景变化的分数,mvX、mvY分别为全局运动矢量的横向分量、纵向分量,imgWidth、imgHeight为图像的宽度、高度;
第二输出单元,用于在所述第二判断单元确认所述全局运动矢量的一致性指数小于第二阈值时,输出场景全部变化,在所述第二判断单元确认所述全局运动矢量的一致性指数大于等于第二阈值时,输出所述第二计算单元计算的场景变化的分数。
8.根据权利要求5至7中任一项所述的场景变化检测装置,其特征在于,所述视频采集模块、所述数据存储模块和所述分析处理模块被设置于同一个装置中;或
所述数据存储模块和所述分析处理模块被设置于一个装置中,与一个或多个设置于其他装置的视频采集模块连接,以构成一路或多路视频的检测装置。
9.根据权利要求5至7中任一项所述的场景变化检测装置,其特征在于,所述分析处理模块还用于根据视频线路存储当前提取的特征点信息于所述数据存储模块中,
所述相应的历史特征点信息为特定视频线路的历史特征点信息,或特定视频线路的特定时段的历史特征点信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310611672.1A CN104680504B (zh) | 2013-11-26 | 2013-11-26 | 场景变化检测方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310611672.1A CN104680504B (zh) | 2013-11-26 | 2013-11-26 | 场景变化检测方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104680504A CN104680504A (zh) | 2015-06-03 |
CN104680504B true CN104680504B (zh) | 2018-06-08 |
Family
ID=53315502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310611672.1A Active CN104680504B (zh) | 2013-11-26 | 2013-11-26 | 场景变化检测方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104680504B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106993185A (zh) * | 2015-12-10 | 2017-07-28 | 青岛海信网络科技股份有限公司 | 一种视频质量诊断方法和系统 |
GB2549074B (en) | 2016-03-24 | 2019-07-17 | Imagination Tech Ltd | Learned feature motion detection |
CN108280386B (zh) * | 2017-01-05 | 2020-08-28 | 浙江宇视科技有限公司 | 监控场景检测方法及装置 |
CN108513056A (zh) * | 2017-02-23 | 2018-09-07 | 株式会社理光 | 图像处理方法、装置及电子设备 |
CN106851049B (zh) * | 2017-03-06 | 2019-07-02 | 济南中维世纪科技有限公司 | 一种基于视频分析的场景变更检测方法及装置 |
CN107578373A (zh) * | 2017-05-27 | 2018-01-12 | 深圳先进技术研究院 | 全景图像拼接方法、终端设备及计算机可读存储介质 |
CN108492502A (zh) * | 2018-03-16 | 2018-09-04 | 深圳勇艺达机器人有限公司 | 智能机器人单目广角视觉防盗报警方法 |
CN111354183B (zh) * | 2018-12-20 | 2022-05-06 | 博泰车联网科技(上海)股份有限公司 | 预警信息推送方法及终端 |
CN110674780B (zh) * | 2019-09-30 | 2022-09-09 | 苏州科达科技股份有限公司 | 一种场景变更检测方法、装置、设备及可读存储介质 |
CN112203092B (zh) * | 2020-09-27 | 2024-01-30 | 深圳市梦网视讯有限公司 | 一种全局运动场景的码流分析方法、系统及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0689359A2 (en) * | 1994-06-15 | 1995-12-27 | Samsung Electronics Co., Ltd. | Motion compensation encoding method and apparatus adaptive to motion amount |
CN1159276A (zh) * | 1995-07-24 | 1997-09-10 | 摩托罗拉公司 | 用于在一个视频序列中估计运动的方法和系统 |
CN1195256A (zh) * | 1997-03-31 | 1998-10-07 | 三星电子株式会社 | 运动图像的运动补偿方法 |
EP1131955B1 (en) * | 1999-09-21 | 2006-12-20 | Koninklijke Philips Electronics N.V. | Method of global motion estimation |
CN102110296A (zh) * | 2011-02-24 | 2011-06-29 | 上海大学 | 一种复杂场景下的运动目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001076254A1 (en) * | 2000-03-30 | 2001-10-11 | Koninklijke Philips Electronics N.V. | Global motion estimation |
-
2013
- 2013-11-26 CN CN201310611672.1A patent/CN104680504B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0689359A2 (en) * | 1994-06-15 | 1995-12-27 | Samsung Electronics Co., Ltd. | Motion compensation encoding method and apparatus adaptive to motion amount |
CN1159276A (zh) * | 1995-07-24 | 1997-09-10 | 摩托罗拉公司 | 用于在一个视频序列中估计运动的方法和系统 |
CN1195256A (zh) * | 1997-03-31 | 1998-10-07 | 三星电子株式会社 | 运动图像的运动补偿方法 |
EP1131955B1 (en) * | 1999-09-21 | 2006-12-20 | Koninklijke Philips Electronics N.V. | Method of global motion estimation |
CN102110296A (zh) * | 2011-02-24 | 2011-06-29 | 上海大学 | 一种复杂场景下的运动目标跟踪方法 |
Non-Patent Citations (5)
Title |
---|
Analysis and Hardware Architecture Design of Global Motion Estimation;Yi-Hau Chen等;《Journal of Signal Processing Systems》;20081231;第53卷(第03期);第285-300页 * |
Digital Image Stabilization with Sub-Image Phase Correlation Based Global Motion Estimation;S.Ertürk;《IEEE Transactions on Consumer Electronics 》;20031231;第49卷(第04期);第1320-1325页 * |
SUSAN-a new approach to low level image processing;S.M.Smith等;《Journal Computer Vision》;19971231;第23卷(第01期);第45-78页 * |
基于 RANSAC-LS 算法的红外成像全局运动估计;卓志敏等;《兵工学报》;20081231;第29卷(第03期);第308-312页 * |
快速全局运动估计与红外成像稳像技术;刘圣霞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111115(第11期);摘要,第2-3页,第26-32页,第36-49页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104680504A (zh) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104680504B (zh) | 场景变化检测方法及其装置 | |
JP5422018B2 (ja) | 画像処理方法および画像処理装置 | |
TWI375173B (en) | Target moving object tracking device | |
CN107256225B (zh) | 一种基于视频分析的热度图生成方法及装置 | |
CN109076198B (zh) | 基于视频的对象跟踪遮挡检测系统、方法和设备 | |
French et al. | High-throughput quantification of root growth using a novel image-analysis tool | |
CN105745687B (zh) | 情景感知移动目标检测 | |
CN104781848B (zh) | 用于估计单体的倾斜度的图像监测装置及其方法 | |
JP5603403B2 (ja) | 対象物計数方法、対象物計数装置および対象物計数プログラム | |
CN102789672B (zh) | 一种婴儿睡姿智能识别方法及装置 | |
Li et al. | An overlapping-free leaf segmentation method for plant point clouds | |
TW201118804A (en) | Method and system for object detection | |
US10853949B2 (en) | Image processing device | |
CN111209774B (zh) | 目标行为识别及显示方法、装置、设备、可读介质 | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
CN101179713A (zh) | 复杂背景下单个运动目标的检测方法 | |
CN108596955A (zh) | 一种图像检测方法、图像检测装置及移动终端 | |
CN108399627A (zh) | 视频帧间目标运动估计方法、装置和实现装置 | |
WO2008040945A1 (en) | A method of identifying a measure of feature saliency in a sequence of images | |
JP5776312B2 (ja) | 画像解析装置、画像解析方法、画像解析プログラム及び記録媒体 | |
CN104718560B (zh) | 用于估计单体的大小的图像监测装置及其方法 | |
CN110956178B (zh) | 一种基于图像相似度计算的植物生长测量方法、系统及电子设备 | |
CN112153320A (zh) | 一种物品尺寸的测量方法、装置、电子设备和存储介质 | |
JP2011090708A (ja) | 対象個数検出装置および対象個数検出方法 | |
CN115331151A (zh) | 一种视频测速方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |