CN114666498A - 一种视频图像采集抖动处理方法及系统 - Google Patents
一种视频图像采集抖动处理方法及系统 Download PDFInfo
- Publication number
- CN114666498A CN114666498A CN202210187880.2A CN202210187880A CN114666498A CN 114666498 A CN114666498 A CN 114666498A CN 202210187880 A CN202210187880 A CN 202210187880A CN 114666498 A CN114666498 A CN 114666498A
- Authority
- CN
- China
- Prior art keywords
- corner point
- corner
- jitter
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000013519 translation Methods 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000005316 response function Methods 0.000 claims description 17
- 230000001154 acute effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种视频图像采集抖动处理方法及系统,涉及智能停车管理领域,包括:首先从监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域,然后基于在相邻图像帧感兴趣ROI区域中的去抖动参考角点坐标以及与第一帧相比的抖动平移量进行最终抖动平移量的计算,并基于抖动平移量完成图像去抖动的过程。由于只是从整幅图像中选择的一小部分感兴趣ROI区域作为去抖动的原始图像,不需要对整幅图像进行运算处理,可以提升图像去抖动的效率,减少处理时间,实现了雷达视频数据融合算法中视频车辆位置的实时去抖动。
Description
技术领域
本发明涉及智能停车管理领域,特别涉及一种视频图像采集抖动处理方法及系统。
背景技术
摄像机在对图像采集过程中,由于受到周围环境、天气等因素的影响,会存在设备抖动的现象,进而导致图像采集存在误差,因此衍生出了视频去抖动的概念。视频去抖动是指利用相关的算法,对视频设备采集的原始视频序列进行处理,去除其中的抖动。视频稳像的目的,一方面是为了让人眼观感舒适,有利于人工观测、判别等,另一方面也作为诸多其他后续处理的预处理阶段,如检测、跟踪和压缩。
目前在进行视频去抖动时,通常是利用仿射变换的方式进行图像的去抖动,仿射变换是一种通过二维坐标到二维坐标之间的线性变换实现的图像位置转换,然而由于通过仿射变换的方式进行视频去抖动时,需要对整幅图像进行计算处理,导致现有去抖动过程中所需的运算量较大,并且由于需要对多个图像帧进行平滑处理,无法保证视频图像去抖动的实时性。
发明内容
为解决上述技术问题,本发明提供一种视频图像采集抖动处理方法及系统,可以解决现在视频去抖动方法中存在的处理过程运算量较大、无法进行实时去抖动的问题。
为实现上述目的,一方面,本发明提供一种视频图像采集抖动处理方法,所述方法包括:
从第一帧监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域;
从所述ROI区域中确定预置个数的角点以及各个角点的坐标值;
根据所述预置个数的角点的角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点;
根据第一帧图像中所述去抖动参考角点的坐标值与其他任意一帧图像对对应的上一帧图像中去抖动参考角点的坐标值之间的差值,以及其他任意一帧图像中去抖动参考角点的坐标值与对应的上一帧图像中去抖动参考角点的坐标值之间的差值,确定抖动平移量;
根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理。
进一步地,所述从第一帧监控视频图像中选择预置基准角点的步骤包括:
从监控视频图像中选择角点位置位于背景区域、背景区域图像的像素单一,并且角点的角度是锐角的角点作为所述第一帧监控视频图像的预置基准角点;
所述根据所述预置基准角点的坐标生成ROI区域的步骤包括:
以所述预置基准角点为中心点生成的区域作为所述ROI区域。
进一步地,所述从所述ROI区域中确定预置个数的角点以及各个角点的坐标值的步骤包括:
从所述ROI区域中获取每一个角点分别对应的Harris角点响应函数值;
根据所述每一个角点分别对应的Harris角点响应函数值,从所有角点中选择预置个数的角点以及角点对应的坐标。
进一步地,所述根据所述预置个数的角点角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点的步骤包括:
根据角点坐标以及所述图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;
从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
进一步地,所述确定抖动平移量的步骤之前,所述方法还包括:
将所述其他任意一帧图像对应的上一帧图像中的去抖动参考角点作为其他任意一帧图像的预置基准角点;
根据其他任意一帧图像中预置个数的角点的坐标以及所述其他任意一帧图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;
从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
进一步地,所述根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理步骤包括:
判断所述抖动偏移量是否位于预置偏移量范围内;
若是,则根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理;
若否,则根据相邻帧图像对应的抖动偏移量对当前视频帧图像中的车辆目标位置进行去抖动处理。
另一方面,本发明提供一种视频图像采集抖动处理系统,所述系统包括:选择单元,用于从第一帧监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域;
确定单元,用于从所述ROI区域中确定预置个数的角点以及各个角点的坐标值;
所述选择单元,还用于根据所述预置个数的角点的角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点;
确定单元,还用于根据第一帧图像中所述去抖动参考角点的坐标值与其他任意一帧图像对对应的上一帧图像中去抖动参考角点的坐标值之间的差值,以及其他任意一帧图像中去抖动参考角点的坐标值与对应的上一帧图像中去抖动参考角点的坐标值之间的差值,确定抖动平移量;
去抖动单元,用于根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理。
进一步地,所述选择单元,具体用于从监控视频图像中选择角点位置位于背景区域、背景区域图像的像素单一,并且角点的角度是锐角的角点作为所述第一帧监控视频图像的预置基准角点;以所述预置基准角点为中心点生成的区域作为所述ROI区域。
进一步地,所述确定单元,具体用于从所述ROI区域中获取每一个角点分别对应的Harris角点响应函数值;根据所述每一个角点分别对应的Harris 角点响应函数值,从所有角点中选择预置个数的角点以及角点对应的坐标。
进一步地,所述选择单元,具体用于根据角点坐标以及所述图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
进一步地,所述选择单元,还用于将所述其他任意一帧图像对应的上一帧图像中的去抖动参考角点作为其他任意一帧图像的预置基准角点;根据其他任意一帧图像中预置个数的角点的坐标以及所述其他任意一帧图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
进一步地,所述去抖动单元,具体用于判断所述抖动偏移量是否位于预置偏移量范围内;若是,则根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理;若否,则根据相邻帧图像对应的抖动偏移量对当前视频帧图像中的车辆目标位置进行去抖动处理。
本发明提供的一种视频图像采集抖动处理方法及系统,首先从监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域,然后基于在相邻图像帧感兴趣ROI区域中的角点坐标进行抖动平移量的计算,并基于抖动平移量完成图像去抖动的过程。由于只是从整幅图像中选择的一小部分感兴趣ROI区域作为去抖动的原始图像,不需要对整幅图像进行运算处理,可以提升图像去抖动的效率,减少处理时间,同时由于是基于相邻帧图像进行运算处理,不需要进行多帧运算,实现了图像实时去抖动。
附图说明
图1是本发明提供的一种视频图像采集抖动处理方法的流程图;
图2是本发明提供的一种视频图像采集抖动处理系统的结构示意图;
图3是本发明提供的ROI区域示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
如图1所示,本发明实施例提供的一种视频图像采集抖动处理方法,包括如下步骤:
101、从第一帧监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域。
对于本发明实施例,步骤101具体可以包括:从监控视频图像中选择角点位置位于背景区域、背景区域图像的像素单一,并且角点的角度是锐角的角点作为所述第一帧监控视频图像的预置基准角点;所述根据所述预置基准角点的坐标生成ROI区域的步骤包括:以所述预置基准角点为中心点生成的区域作为所述ROI区域。
102、从所述ROI区域中确定预置个数的角点以及各个角点的坐标值。
其中,预置个数可以为2、3、4等,本发明实施例不做限定。因为抖动发生的相机所在的路灯上,是一种平面内的小的局部抖动,因此本发明实施例通过选择一个小的区域来进行抖动平移量的检测,这样可以避免整幅图像的大量计算,也避免大量角点的匹配工作。而前景区域的运动目标容易发生遮挡现象,所以感兴趣ROI区域的选取时是背景区域并且包含较清晰的角点,例如,可以选择前景与背景对比度高、角点的角度是锐角、背景的像素值构成单一等条件的背景区域图像作为感兴趣ROI区域。
对于本发明实施例,步骤102具体可以包括:从监控视频图像中选择包含背景区域的图像并且包含清晰角点的区域作为所述ROI区域;从所述ROI 区域中获取每一个角点分别对应的Harris角点响应函数值;根据所述每一个角点分别对应的Harris角点响应函数值,从所有角点中选择预置个数的角点以及角点对应的坐标。
下面对每一个角点分别对应的Harris角点响应函数值以及角点的坐标的获取过程进行详细说明,具体包括:
1)输入待检测角点的ROI区域,如果ROI区域是彩色图像,首先需要根据公式进行灰度图像的转换,转换公式如下所示,其中,R、G、B是原图像的三个通道,I是转换后的灰度图,
I=0.2989R+0.5870G+0.1140B
2)求图像I中的坐标(x,y)位置上的像素分别计算两个方向上的梯度Ix、 Iy,计算公式如下,其中,I(x+1,y)是(x+1,y)位置的像素值。
Ix=I(x+1,y)-I(x-1,y)
Iy=I(x,y+1)-I(x,y-1)
3)由于梯度Ix、Iy的边缘处是无效像素,所以去掉宽度为1的边缘像素,具体公式如下所示,公式中的H、W分别是梯度矩阵Ix、Iy的高度和宽度。
Ix=Ix(2:H-1,2:W-1)
Iy=Iy(2:H-1,2:W-1)
4)根据梯度矩阵Ix、Iy计算Harris矩阵M,具体公式如下所示:
A=IxIx
B=IyIy
C=IxIy
5)根据下述公式对矩阵M进行高斯滤波平滑去噪,避免噪声会影响M矩阵的特征值,进而影响角点的提取,计算结果矩阵取同一样的大小。
其中ω是高斯滤9*波系数,可以选用5*5大小:
6)根据下述公式计算角点的Harris响应函数值R,其中,k为经验常数,一般取0.04-0.06。
R=detM-k(traceM)2=AB-CC-k(A+B)2
7)根据Harris响应函数值查找角点的位置,并确定角点整数位坐标值,具体方法包括:在8邻域内选局部极大值作为角点整数位坐标值,并且要满足其角点Harris响应函数值>T,其中,T是阈值,max(R)是最强角点对应的角点响应函数值。由于边界位置不存在8邻域区域,所以查找时不考虑边界位置。
T=0.01·max(R)
8)根据角点整数位坐标值x和y获取角点小数位坐标值xoffset和yoffset。
xoffset=-0.5(dy2·dx-0.5dxy·dy)·detinv
yoffset=-0.5(dx2·dy-0,5dxy·dx)·detinv
9)将角点整数位坐标值x和y以及角点小数位坐标值xoffset和yoffset相加得到角点的坐标值。
103、根据所述预置个数的角点的角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点。
对于本发明实施例,步骤103具体可以包括:根据角点坐标以及所述图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
104、根据第一帧图像中所述去抖动参考角点的坐标值与其他任意一帧图像对对应的上一帧图像中去抖动参考角点的坐标值之间的差值,以及其他任意一帧图像中去抖动参考角点的坐标值与对应的上一帧图像中去抖动参考角点的坐标值之间的差值,确定抖动平移量。
例如,其他任意一帧图像为第五帧图像,则根据第五帧图像去抖动参考角点的坐标值与第四帧图像中去抖动参考角点的坐标值之间的差值,以及第四帧图像与第一帧图像之间的抖动平移量,确定第五帧图像相对于第一帧图像的抖动平移量。
具体地,可以如图3所示,第2-10帧获取的抖动偏移量如下表所示:
X方向偏移量 | Y方向偏移量 | |
第2帧 | 1.197124481201171875 | -0.0154266357421875 |
第3帧 | -0.032367706298828125 | 0.547832489013671875 |
第4帧 | -0.376796722412109375 | -0.0385894775390625 |
第5帧 | -1.3230438232421875 | -0.03582763671875 |
第6帧 | -2.00128936767578125 | -0.149658203125 |
第7帧 | -1.546772003173828125 | -0.272754669189453125 |
第8帧 | -1.46898651123046875 | 0.177829742431640625 |
第9帧 | -0.4519195556640625 | 0.175197601318359375 |
第10帧 | -0.37652587890625 | 0.379596710205078125 |
对于本发明实施例,步骤104之前还可以包括:将所述其他任意一帧图像对应的上一帧图像中的去抖动参考角点作为其他任意一帧图像的预置基准角点;根据其他任意一帧图像中预置个数的角点的坐标以及所述其他任意一帧图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
105、根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理。
对于本发明实施例,步骤105具体可以包括:判断所述抖动偏移量是否位于预置偏移量范围内;若是,则根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理;若否,则根据相邻帧图像对应的抖动偏移量对当前视频帧图像中的车辆目标位置进行去抖动处理。其中,通常在x方向的预置偏移量范围绝对值在5以内,y方向的预置偏移量范围绝对值10以内,通过设置合理的预置偏移量范围,可以避免当偏移量计算存在错误时导致的过度去抖动的问题。
本发明提供的一种视频图像采集抖动处理方法,首先从监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域,然后基于在相邻图像帧感兴趣ROI区域中的角点坐标进行抖动平移量的计算,并基于抖动平移量完成图像去抖动的过程。由于只是从整幅图像中选择的一小部分感兴趣ROI区域作为去抖动的原始图像,不需要对整幅图像进行运算处理,可以提升图像去抖动的效率,减少处理时间,同时由于是基于相邻帧图像进行运算处理,不需要进行多帧运算,实现了图像实时去抖动。
为实现本发明实施例提供的方法,本发明实施例提供一种视频图像采集抖动处理系统,如图2所示,该系统包括:选择单元21、确定单元22、去抖动单元23。
选择单元21,用于从第一帧监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域。
确定单元22,用于从所述ROI区域中确定预置个数的角点以及各个角点的坐标值。
其中,预置个数可以为2、3、4等,本发明实施例不做限定。因为抖动发生的相机所在的路灯上,是一种平面内的小的局部抖动,因此本发明实施例通过选择一个小的区域来进行抖动平移量的检测,这样可以避免整幅图像的大量计算,也避免大量角点的匹配工作。而前景区域的运动目标容易发生遮挡现象,所以感兴趣ROI区域的选取时是背景区域并且包含较清晰的角点,例如,可以选择前景与背景对比度高、角点的角度是锐角、背景的像素值构成单一等条件的背景区域图像作为感兴趣ROI区域。
所述选择单元21,还用于根据所述预置个数的角点的角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点。
所述确定单元22,还用于根据第一帧图像中所述去抖动参考角点的坐标值与其他任意一帧图像对对应的上一帧图像中去抖动参考角点的坐标值之间的差值,以及其他任意一帧图像中去抖动参考角点的坐标值与对应的上一帧图像中去抖动参考角点的坐标值之间的差值,确定抖动平移量。
去抖动单元23,用于根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理。
进一步地,所述选择单元21,具体用于从监控视频图像中选择包含背景区域的图像并且包含清晰角点的区域作为所述ROI区域。
进一步地,所述确定单元22,具体用于从监控视频图像中选择角点位置位于背景区域、背景区域图像的像素单一,并且角点的角度是锐角的角点作为所述第一帧监控视频图像的预置基准角点;以所述预置基准角点为中心点生成的区域作为所述ROI区域。
进一步地,所述确定单元22,具体用于从所述ROI区域中获取每一个角点分别对应的Harris角点响应函数值;根据所述每一个角点分别对应的 Harris角点响应函数值,从所有角点中选择预置个数的角点以及角点对应的坐标。
进一步地,所述选择单元21,具体用于根据角点坐标以及所述图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
进一步地,所述选择单元21,还用于将所述其他任意一帧图像对应的上一帧图像中的去抖动参考角点作为其他任意一帧图像的预置基准角点;根据其他任意一帧图像中预置个数的角点的坐标以及所述其他任意一帧图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
进一步地,所述去抖动单元23,具体用于判断所述抖动偏移量是否位于预置偏移量范围内;若是,则根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理;若否,则根据相邻帧图像对应的抖动偏移量对当前视频帧图像中的车辆目标位置进行去抖动处理。
其中,通常在x方向的预置偏移量范围绝对值在5以内,y方向的预置偏移量范围绝对值10以内,通过设置合理的预置偏移量范围,可以避免当偏移量计算存在错误时导致的过度去抖动的问题。
本发明提供的一种视频图像采集抖动处理系统,首先从监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域,然后基于在相邻图像帧感兴趣ROI区域中的角点坐标进行抖动平移量的计算,并基于抖动平移量完成图像去抖动的过程。由于只是从整幅图像中选择的一小部分感兴趣ROI区域作为去抖动的原始图像,不需要对整幅图像进行运算处理,可以提升图像去抖动的效率,减少处理时间,同时由于是基于相邻帧图像进行运算处理,不需要进行多帧运算,实现了图像实时去抖动。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明,上面对所公开实施例进行了描述。对于本领域技术人员来说;这些实施例的各种修改方式都是显而易见的,并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此,本公开并不限于本文给出的实施例,而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性 (interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑系统,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储系统,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘 (disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种视频图像采集抖动处理方法,其特征在于,所述方法包括:
从第一帧监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成ROI区域;
从所述ROI区域中确定预置个数的角点以及各个角点的坐标值;
根据所述预置个数的角点的角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点;
根据第一帧图像中所述去抖动参考角点的坐标值与其他任意一帧图像对对应的上一帧图像中去抖动参考角点的坐标值之间的差值,以及其他任意一帧图像中去抖动参考角点的坐标值与对应的上一帧图像中去抖动参考角点的坐标值之间的差值,确定抖动平移量;
根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理。
2.根据权利要求1所述的一种视频图像采集抖动处理方法,其特征在于,所述从第一帧监控视频图像中选择预置基准角点的步骤包括:
从监控视频图像中选择角点位置位于背景区域、背景区域图像的像素单一,并且角点的角度是锐角的角点作为所述第一帧监控视频图像的预置基准角点;
所述根据所述预置基准角点的坐标生成ROI区域的步骤包括:
以所述预置基准角点为中心点生成的区域作为所述ROI区域。
3.根据权利要求1所述的一种视频图像采集抖动处理方法,其特征在于,所述从所述ROI区域中确定预置个数的角点以及各个角点的坐标值的步骤包括:
从所述ROI区域中获取每一个角点分别对应的Harris角点响应函数值;
根据所述每一个角点分别对应的Harris角点响应函数值,从所有角点中选择预置个数的角点以及角点对应的坐标。
4.根据权利要求1所述的一种视频图像采集抖动处理方法,其特征在于,所述根据所述预置个数的角点的角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点的步骤包括:
根据角点坐标以及所述图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;
从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
5.根据权利要求1所述的一种视频图像采集抖动处理方法,其特征在于,所述确定抖动平移量的步骤之前,所述方法还包括:
将所述其他任意一帧图像对应的上一帧图像中的去抖动参考角点作为其他任意一帧图像的预置基准角点;
根据其他任意一帧图像中预置个数的角点的坐标以及所述其他任意一帧图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;
从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
6.根据权利要求1所述的一种视频图像采集抖动处理方法,其特征在于,所述根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理步骤包括:
判断所述抖动偏移量是否位于预置偏移量范围内;
若是,则根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理;
若否,则根据相邻帧图像对应的抖动偏移量对当前视频帧图像中的车辆目标位置进行去抖动处理。
7.一种视频图像采集抖动处理系统,其特征在于,所述系统包括:
选择单元,用于从第一帧监控视频图像中选择预置基准角点,并根据所述预置基准角点的坐标生成RO I区域;
确定单元,用于从所述RO I区域中确定预置个数的角点以及各个角点的坐标值;
所述选择单元,还用于根据所述预置个数的角点的角点坐标以及所述预置基准角点的坐标从所述预置个数的角点中选择去抖动参考角点;
所述确定单元,还用于根据第一帧图像中所述去抖动参考角点的坐标值与其他任意一帧图像对对应的上一帧图像中去抖动参考角点的坐标值之间的差值,以及其他任意一帧图像中去抖动参考角点的坐标值与对应的上一帧图像中去抖动参考角点的坐标值之间的差值,确定抖动平移量;
去抖动单元,用于根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理。
8.根据权利要求7所述的一种视频图像采集抖动处理系统,其特征在于,
所述选择单元,具体用于从监控视频图像中选择角点位置位于背景区域、背景区域图像的像素单一,并且角点的角度是锐角的角点作为所述第一帧监控视频图像的预置基准角点;以所述预置基准角点为中心点生成的区域作为所述RO I区域。
9.根据权利要求7所述的一种视频图像采集抖动处理系统,其特征在于,
所述确定单元,具体用于从所述RO I区域中获取每一个角点分别对应的Harris角点响应函数值;根据所述每一个角点分别对应的Harris角点响应函数值,从所有角点中选择预置个数的角点以及角点对应的坐标。
10.根据权利要求7所述的一种视频图像采集抖动处理系统,其特征在于,
所述选择单元,具体用于根据角点坐标以及所述图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
11.根据权利要求7所述的一种视频图像采集抖动处理系统,其特征在于,
所述选择单元,还用于将所述其他任意一帧图像对应的上一帧图像中的去抖动参考角点作为其他任意一帧图像的预置基准角点;根据其他任意一帧图像中预置个数的角点的坐标以及所述其他任意一帧图像中预置基准角点的坐标获取预置个数的角点中每一个角点与所述预置基准角点之间的距离;从所述预置个数的角点中选择与所述预置基准角点之间距离最小的角点作为所述去抖动参考角点。
12.根据权利要求7所述的一种视频图像采集抖动处理系统,其特征在于,所述去抖动单元,具体用于判断所述抖动偏移量是否位于预置偏移量范围内;若是,则根据所述抖动偏移量对与所述抖动偏移量对应的视频帧图像中的车辆目标位置进行去抖动处理;若否,则根据相邻帧图像对应的抖动偏移量对当前视频帧图像中的车辆目标位置进行去抖动处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210187880.2A CN114666498A (zh) | 2022-02-28 | 2022-02-28 | 一种视频图像采集抖动处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210187880.2A CN114666498A (zh) | 2022-02-28 | 2022-02-28 | 一种视频图像采集抖动处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114666498A true CN114666498A (zh) | 2022-06-24 |
Family
ID=82026894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210187880.2A Pending CN114666498A (zh) | 2022-02-28 | 2022-02-28 | 一种视频图像采集抖动处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114666498A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090111789A (ko) * | 2008-04-22 | 2009-10-27 | 주식회사 코아로직 | 동영상 손떨림 보정 장치 및 방법 |
US20090296824A1 (en) * | 2008-04-22 | 2009-12-03 | Core Logic, Inc. | Correcting Moving Image Wavering |
CN105374051A (zh) * | 2015-10-29 | 2016-03-02 | 宁波大学 | 智能移动终端防镜头抖动视频运动目标检测方法 |
CN105405117A (zh) * | 2015-10-16 | 2016-03-16 | 凌云光技术集团有限责任公司 | 基于图像轮廓的角点提取方法及装置 |
CN110365902A (zh) * | 2019-07-23 | 2019-10-22 | 湖南省湘电试研技术有限公司 | 基于Harris角点检测的智能安全帽的视频防抖方法及系统 |
CN110401796A (zh) * | 2019-07-05 | 2019-11-01 | 浙江大华技术股份有限公司 | 一种图像采集装置的抖动补偿方法和装置 |
CN110536064A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 一种固定场景的像素级精度视频图像去抖动方法 |
CN114025089A (zh) * | 2021-11-02 | 2022-02-08 | 超级视线科技有限公司 | 一种视频图像采集抖动处理方法及系统 |
-
2022
- 2022-02-28 CN CN202210187880.2A patent/CN114666498A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090111789A (ko) * | 2008-04-22 | 2009-10-27 | 주식회사 코아로직 | 동영상 손떨림 보정 장치 및 방법 |
US20090296824A1 (en) * | 2008-04-22 | 2009-12-03 | Core Logic, Inc. | Correcting Moving Image Wavering |
CN105405117A (zh) * | 2015-10-16 | 2016-03-16 | 凌云光技术集团有限责任公司 | 基于图像轮廓的角点提取方法及装置 |
CN105374051A (zh) * | 2015-10-29 | 2016-03-02 | 宁波大学 | 智能移动终端防镜头抖动视频运动目标检测方法 |
CN110401796A (zh) * | 2019-07-05 | 2019-11-01 | 浙江大华技术股份有限公司 | 一种图像采集装置的抖动补偿方法和装置 |
CN110536064A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 一种固定场景的像素级精度视频图像去抖动方法 |
CN110365902A (zh) * | 2019-07-23 | 2019-10-22 | 湖南省湘电试研技术有限公司 | 基于Harris角点检测的智能安全帽的视频防抖方法及系统 |
CN114025089A (zh) * | 2021-11-02 | 2022-02-08 | 超级视线科技有限公司 | 一种视频图像采集抖动处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
CN110189285B (zh) | 一种多帧图像融合方法及装置 | |
US11281897B2 (en) | Gesture shaking recognition method and apparatus, and gesture recognition method | |
CN109784250B (zh) | 自动引导小车的定位方法和装置 | |
KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
CN109064504B (zh) | 图像处理方法、装置和计算机存储介质 | |
CN113077459B (zh) | 图像清晰度检测方法、装置、电子设备及存储介质 | |
CN111144337B (zh) | 火灾检测方法、装置及终端设备 | |
CN109214996B (zh) | 一种图像处理方法及装置 | |
CN110827189B (zh) | 一种数字图像或视频的水印去除方法及系统 | |
CN109447022B (zh) | 一种镜头类型识别方法及装置 | |
CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
CN108234826B (zh) | 图像处理方法及装置 | |
CN110516731B (zh) | 一种基于深度学习的视觉里程计特征点检测方法及系统 | |
CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
CN112330618B (zh) | 图像偏移检测方法、设备及存储介质 | |
CN111767752B (zh) | 一种二维码识别方法及装置 | |
CN113888438A (zh) | 图像处理方法、装置及存储介质 | |
CN114025089A (zh) | 一种视频图像采集抖动处理方法及系统 | |
CN111222446B (zh) | 人脸识别方法、人脸识别装置及移动终端 | |
WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
CN111311610A (zh) | 图像分割的方法及终端设备 | |
CN113822818B (zh) | 散斑提取方法、装置、电子设备及存储介质 | |
CN116883235A (zh) | 一种面向分布式光电的图像拼接方法及装置 | |
CN114666498A (zh) | 一种视频图像采集抖动处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |