CN111968158A - 一种基于核相关滤波和结构相似性的视频抖动检测方法 - Google Patents
一种基于核相关滤波和结构相似性的视频抖动检测方法 Download PDFInfo
- Publication number
- CN111968158A CN111968158A CN202010836714.1A CN202010836714A CN111968158A CN 111968158 A CN111968158 A CN 111968158A CN 202010836714 A CN202010836714 A CN 202010836714A CN 111968158 A CN111968158 A CN 111968158A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinates
- pixel point
- region
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于核相关滤波和结构相似性的视频抖动检测方法,所述方法包括:在视频中的目标选取后,利用核相关滤波算法跟踪目标区域,并通过结构相似性特征调整尺度大小,随后对比目标原先所处的位置进行抖动检测,并在显示屏上面显示出直观的结果。本发明通过采用上述技术,基于图像检测和目标跟踪,并不需要在监控摄像头上面额外添加物理构件,有效降低成本,且算法鲁棒性高,能适应大部分复杂的交通场景;对于仅仅靠HOG特征检测的算法,本发明增设了新的特征来辅助矫正目标的检测,可以提高准确率;计算速度可以达到实时性的标准,能够快速准确地实现抖动检测。
Description
技术领域
本发明涉及视频监控技术领域,具体是一种基于核相关滤波和结构相似性的视频抖动检测方法。
背景技术
视频监控系统作为视觉物联网的重要组成部分,随着近年来强劲快速的发展,其日常维护的矛盾日趋激烈。目前大部分视频监控系统面临着高效实时性智能分析与低效滞后的人工故障排查的矛盾。这些数量庞大的视频监控系统的运行和维护工作主要靠人工检测和处理。如何提高视频监控系统运行维护工作的效率,及时了解前端视频设备的运行情况,建设智能化的视频监控质量诊断系统成为视频监控领域迫切需要解决的实际问题。
在视频监控中,摄像头一般都是固定在某个位置,因此造成视频画面抖动现象的原因主要有:摄像头受到环境的干扰(比如强风)发生有规律的摆动从而造成图像的上下或左右抖动;或是摄像头正在被人移动,造成画面抖动。任何一种情况,都会导致画面出现周期性振颤或不规则扭曲,都意味着摄像头工作出现了异常,系统都需要发生报警,引起工作人员的警戒。
针对视频质量诊断系统中的画面抖动异常检测问题,国内外学术界、工业界提出了许多解决方案。其中较为接近的方法包括:基于前—后向光流点匹配运动熵的视频抖动检测算法(江爱文,刘长红,王明文。基于前—后向光流点匹配运动熵的视频抖动检测算法。计算机应用,2013,33(10):2918-2921)提出利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。该方法的缺陷在于光流法在对于像素大的监控来说,速度过于缓慢。在对实时性要求苛刻的情况下并不适用。由于变化的光线会被错误地识别为光流,因此该方法对光线敏感,从而会影响到识别效果且不适用于长时间跟踪。所以该算法也不适用于复杂环境下的视频抖动检测,对于交通路口、商场口等人流量大的区域并没有什么效果。
综上所述,当前解决方案都有一定的局限性,无法在交通路口等视频监控中发挥出有效的作用。
发明内容
为克服现有技术上的不足,本发明的目的在于提供一种基于相关滤波和结构相似性的视频抖动检测方法。本发明利用核相关滤波算法跟踪目标区域,并通过SSIM结构相似性特征调整尺度大小,并在显示屏上给出直观结果。
所述的一种基于相关滤波和结构相似性的视频抖动检测方法,其特征包括如下步骤:
步骤1:读取视频中的第1帧图像,选取图片固定不动的目标,设置矩形区域R=(x0,y0,w,h),从第1帧图像中截取区域R对应的子图像,保存为采样图像X,同时保存作为模板图像T;其中,w和h分别图像X和T的宽度和高度,(x0,y0)表示区域R左上角在第1帧图像中的坐标;定义搜索区域为S=(xs,ys,ws,hs),其中,(xs,ys)表示搜索区域S的左上角坐标,ws和hs分别表示搜索区域S的宽度和高度,(xs,ys,ws,hs)根据公式(1)计算:
步骤2:利用核相关滤波算法,从模板图像T中提取出每个像素点对应的HOG特征值为PT={Zrs|r=1,2,...,w;s=1,2,...,h},其中,Zrs表示坐标(r,s)处的像素点对应的HOG特征值的大小;
步骤3:读取视频中的下一帧图像,记为图像Q;
步骤4:在图像Q的搜索区域S中,利用核相关滤波算法,输出搜索区域中每个像素点对应的HOG特征值为PQ={Zij|i=1,2,...,ws;j=1,2,...,hs},其中,Zij表示坐标(i,j)处的像素点对应的HOG特征值的大小;
步骤5:利用滑动窗口的方法,令PT在PQ上滑动,将PT和PQ中的对应元素相减,其步长设置为1,将相减得到的新矩阵的每个元素相加,滑动结束后最终得到矩阵AP={Acv|c=1,2,...,wd;v=1,2,...,ht},其中,Acv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两个矩形区域做差后内部所有元素的相加,wd=ws-w,ht=hs-h;
步骤6:模板图像T在图像Q的搜索区域S中使用滑动窗口的方法进行SSIM指数的计算,步长设置为1,计算公式如式(4)所示,得到矩阵IM={Icv|c=1,2,...,wd;v=1,2,...,ht},其中,Icv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两幅图像的SSIM指数;
步骤7:特征融合部分,将AP与IM两个矩阵对应位置的Acv与Icv根据公式(5)加权融合得到矩阵FI={Fcv|c=1,2,...,wd;v=1,2,...,ht},其中,Fcv表示HOG特征值和SSIM指数的融合特征;根据式(6)计算得到坐标(c,v)对应于图像Q中的像素点坐标Pcv=(xc,yv);
其中,Fcv为融合结构特征后的值,ωA和ωi分别为HOG特征和SSIM特征的权值;
步骤8:提取出矩阵FI中最小值Fcv及其对应的像素点坐标Pcv;
步骤9:将w和h分别放大1.05倍,重新执行步骤4到步骤8,得到矩阵FI中的最小值及其对应的像素点坐标将w和h分别缩小为最初的0.95倍,重新执行步骤4到步骤8,得到矩阵FI中的最小值及其对应的像素点坐标令将对应的像素点坐标记为其中,min表示取最小值;
步骤10:在图像Q中选取矩形区域Rl作为检测到的目标位置,其中,矩形区域Rl=(xlc,ylv,wl,hl),(xlc,ylv)代表左上角顶点坐标,wl和hl分别表示矩形区域Rl的宽和高;其中,wl和hl根据式(7)和(8)计算,U表示区域扩展倍数;
其中,Yu是模板图像左上顶点坐标位置和目标图像左上顶点坐标位置的模。
与现有技术相比,本发明的有益效果为:一、本发明基于图像检测和目标跟踪,并不需要在监控摄像头上面额外添加物理构件,有效降低成本;二、算法鲁棒性高,能适应大部分复杂的交通场景;三、对于仅仅靠HOG特征检测的算法,本发明增设了新的特征来辅助矫正目标的检测,可以提高准确率;四、计算速度可以达到实时性的标准,能够快速准确地实现抖动检测。
附图说明
图1为选择目标作为模板图像的窗口的灰度图;
图2为已选择的模板图像与用以与模板图像比较的目标区域的灰度图;
图3为运行程序的效果图的灰度图。
具体实施方式
下面结合说明书附图和实例,对本发明进行进一步的说明。
如图1-3所示,本发明的一种基于相关滤波和结构相似性的视频抖动检测方法,具体包括如下步骤:
步骤1:读取视频中的第1帧图像,其灰度图如图1所示,选取如图2所示的目标,设置矩形区域R=(x0,y0,w,h),从第1帧图像中截取区域R对应的子图像,保存为采样图像X,同时保存作为模板图像T;其中,w和h分别图像X和T的宽度和高度,(x0,y0)表示区域R左上角在第1帧图像中的坐标;定义搜索区域为S=(xs,ys,ws,hs),其中,(xs,ys)表示搜索区域S的左上角坐标,ws和hs分别表示搜索区域S的宽度和高度,(xs,ys,ws,hs)根据公式(1)计算;
步骤2:利用核相关滤波算法,从模板图像T中提取出每个像素点对应的HOG特征值为PT={Zrs|r=1,2,...,w;s=1,2,...,h},其中,Zrs表示坐标(r,s)处的像素点对应的HOG特征值的大小;
步骤3:读取视频中的下一帧图像,记为Q;
步骤4:在图像Q的搜索区域S中,利用核相关滤波算法,输出搜索区域中每个像素点对应的HOG特征值为PQ={Zij|i=1,2,...,ws;j=1,2,...,hs},其中,Zij表示坐标(i,j)处的像素点对应的HOG特征值的大小;
步骤5:利用滑动窗口的方法,令PT在PQ上滑动,将PT和PQ中的对应元素相减,其步长设置为1,将相减得到的新矩阵的每个元素相加,滑动结束后最终得到矩阵AP={Acv|c=1,2,...,wd;v=1,2,...,ht},其中,Acv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两个矩形区域做差后内部所有元素的相加,wd=ws-w,ht=hs-h;
步骤6:模板图像T在图像Q的搜索区域S中使用滑动窗口的方法进行SSIM指数的计算,步长设置为1,计算公式如式(4)所示,得到矩阵IM={Icv|c=1,2,...,wd;v=1,2,...,ht},其中,Icv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两幅图像的SSIM指数;
步骤7:特征融合部分,将AP与IM两个矩阵对应位置的Acv与Icv根据公式(5)加权融合得到矩阵FI={Fcv|c=1,2,...,wd;v=1,2,...,ht},其中,Fcv表示HOG特征值和SSIM指数的融合特征;根据式(6)计算得到坐标(c,v)对应于图像Q中的像素点坐标Pcv=(xc,yv);
其中,Fcv为融合结构特征后的值,ωA和ωi分别为HOG特征和SSIM特征的权值;
步骤8:提取出矩阵FI中最小值Fcv及其对应的像素点坐标Pcv;
步骤9:将w和h分别放大1.05倍,重新执行步骤4到步骤8,得到矩阵FI中的最小值及其对应的像素点坐标将w和h分别缩小为最初的0.95倍,重新执行步骤4到步骤8,得到矩阵FI中的最小值及其对应的像素点坐标令将对应的像素点坐标记为其中,min表示取最小值;
步骤10:在图像Q中选取矩形区域Rl作为检测到的目标位置,其中,矩形区域Rl=(xlc,ylv,wl,hl),(xlc,ylv)代表左上角顶点坐标,wl和hl分别表示矩形区域Rl的宽和高;其中,wl和hl根据式(7)和(8)计算,U表示区域扩展倍数;
步骤11:将步骤1中的起始模板位置(x0,y0)与根据式(9)进行计算,输出两者差值的模,判断模的值是否超过阙值,在本次示例中阙值取为10,如果超过则检测到抖动,否则跳转至步骤3,在本次示例中两者的模均小于10,具体效果如图3所示;
其中,Yu是模板图像左上顶点坐标位置和目标图像左上顶点坐标位置的模。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.一种基于核相关滤波和结构相似性的视频抖动检测方法,其特征包括如下步骤:
步骤1:读取视频中的第1帧图像,选取图片固定不动的目标,设置矩形区域R=(x0,y0,w,h),从第1帧图像中截取区域R对应的子图像,保存为采样图像X,同时保存作为模板图像T;其中,w和h分别图像X和T的宽度和高度,(x0,y0)表示区域R左上角在第1帧图像中的坐标;定义搜索区域为S=(xs,ys,ws,hs),其中,(xs,ys)表示搜索区域S的左上角坐标,ws和hs分别表示搜索区域S的宽度和高度,(xs,ys,ws,hs)根据公式(1)计算;
步骤2:利用核相关滤波算法,从模板图像T中提取出每个像素点对应的HOG特征值为PT={Zrs|r=1,2,...,w;s=1,2,...,h},其中,Zrs表示坐标(r,s)处的像素点对应的HOG特征值的大小;
步骤3:读取视频中的下一帧图像,记为图像Q;
步骤4:在图像Q的搜索区域S中,利用核相关滤波算法,输出搜索区域中每个像素点对应的HOG特征值为PQ={Zij|i=1,2,...,ws;j=1,2,...,hs},其中,Zij表示坐标(i,j)处的像素点对应的HOG特征值的大小;
步骤5:利用滑动窗口的方法,令PT在PQ上滑动,将PT和PQ中的对应元素相减,其步长设置为1,将相减得到的新矩阵的每个元素相加,滑动结束后最终得到矩阵AP={Acv|c=1,2,...,wd;v=1,2,...,ht},其中,Acv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两个矩形区域做差后内部所有元素的相加,wd=ws-w,ht=hs-h;
步骤6:模板图像T在图像Q的搜索区域S中使用滑动窗口的方法进行SSIM指数的计算,步长设置为1,计算公式如式(4)所示,得到矩阵IM={Icv|c=1,2,...,wd;v=1,2,...,ht},其中,Icv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两幅图像的SSIM指数;
步骤7:特征融合部分,将AP与IM两个矩阵对应位置的Acv与Icv根据公式(5)加权融合得到矩阵FI={Fcv|c=1,2,...,wd;v=1,2,...,ht},其中,Fcv表示HOG特征值和SSIM指数的融合特征;根据式(6)计算得到坐标(c,v)对应于图像Q中的像素点坐标Pcv=(xc,yv);
其中,Fcv为融合结构特征后的值,ωA和ωi分别为HOG特征和SSIM特征的权值;
步骤8:提取出矩阵FI中最小值Fcv及其对应的像素点坐标Pcv;
步骤9:将w和h分别放大1.05倍,重新执行步骤4到步骤8,得到矩阵FI中的最小值及其对应的像素点坐标将w和h分别缩小为最初的0.95倍,重新执行步骤4到步骤8,得到矩阵FI中的最小值及其对应的像素点坐标令将对应的像素点坐标记为其中,min表示取最小值;
步骤10:在图像Q中选取矩形区域Rl作为检测到的目标位置,其中,矩形区域Rl=(xlc,ylv,wl,hl),(xlc,ylv)代表左上角顶点坐标,wl和hl分别表示矩形区域Rl的宽和高;其中,wl和hl根据式(7)和(8)计算,U表示区域扩展倍数;
其中,Yu是模板图像左上顶点坐标位置和目标图像左上顶点坐标位置的模。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010836714.1A CN111968158A (zh) | 2020-08-19 | 2020-08-19 | 一种基于核相关滤波和结构相似性的视频抖动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010836714.1A CN111968158A (zh) | 2020-08-19 | 2020-08-19 | 一种基于核相关滤波和结构相似性的视频抖动检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111968158A true CN111968158A (zh) | 2020-11-20 |
Family
ID=73388584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010836714.1A Withdrawn CN111968158A (zh) | 2020-08-19 | 2020-08-19 | 一种基于核相关滤波和结构相似性的视频抖动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111968158A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113744133A (zh) * | 2021-09-13 | 2021-12-03 | 烟台艾睿光电科技有限公司 | 一种图像拼接方法、装置、设备及计算机可读存储介质 |
CN114115678A (zh) * | 2021-11-30 | 2022-03-01 | 深圳市锐尔觅移动通信有限公司 | 内容显示控制方法及相关装置 |
-
2020
- 2020-08-19 CN CN202010836714.1A patent/CN111968158A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113744133A (zh) * | 2021-09-13 | 2021-12-03 | 烟台艾睿光电科技有限公司 | 一种图像拼接方法、装置、设备及计算机可读存储介质 |
CN114115678A (zh) * | 2021-11-30 | 2022-03-01 | 深圳市锐尔觅移动通信有限公司 | 内容显示控制方法及相关装置 |
CN114115678B (zh) * | 2021-11-30 | 2023-06-27 | 深圳市锐尔觅移动通信有限公司 | 内容显示控制方法及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2016352215B2 (en) | Method and device for tracking location of human face, and electronic equipment | |
CN105262954B (zh) | 触发摄像头自动聚焦的方法和装置 | |
CN104123544B (zh) | 基于视频分析的异常行为检测方法及系统 | |
EP2549738B1 (en) | Method and camera for determining an image adjustment parameter | |
CN108596169B (zh) | 基于视频流图像的分块信号转换与目标检测方法及装置 | |
US20060195199A1 (en) | Monitoring device | |
US8294765B2 (en) | Video image monitoring system | |
US20070126868A1 (en) | Image processing apparatus, image processing system, and recording medium for programs therefor | |
US20040141633A1 (en) | Intruding object detection device using background difference method | |
US10255683B1 (en) | Discontinuity detection in video data | |
JP2010009134A (ja) | 画像処理システム及び画像処理方法、並びに、プログラム | |
CN102222214A (zh) | 快速物体识别算法 | |
CN113012383B (zh) | 火灾检测报警方法、相关系统、相关设备及存储介质 | |
CN111968158A (zh) | 一种基于核相关滤波和结构相似性的视频抖动检测方法 | |
CN111353496B (zh) | 一种红外弱小目标实时检测方法 | |
CN114140745A (zh) | 施工现场人员属性检测方法、系统、装置及介质 | |
CN111627049A (zh) | 高空抛物的确定方法、装置、存储介质及处理器 | |
CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
CN115953719A (zh) | 一种多目标识别的计算机图像处理系统 | |
CN114882003A (zh) | 一种检测相机的拍摄位姿变化的方法、介质及计算设备 | |
US20240048672A1 (en) | Adjustment of shutter value of surveillance camera via ai-based object recognition | |
JP2022070648A (ja) | 情報処理装置および情報処理方法 | |
CN111127355A (zh) | 一种对缺损光流图进行精细补全的方法及其应用 | |
WO2023109016A1 (zh) | 一种视频图像干扰检测方法、系统、设备以及介质 | |
TWI771857B (zh) | 判斷人員進出場域的系統、方法及記錄媒體 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201120 |