CN103679750A - 一种基于视频的摄像机抖动检测方法 - Google Patents
一种基于视频的摄像机抖动检测方法 Download PDFInfo
- Publication number
- CN103679750A CN103679750A CN201310599494.5A CN201310599494A CN103679750A CN 103679750 A CN103679750 A CN 103679750A CN 201310599494 A CN201310599494 A CN 201310599494A CN 103679750 A CN103679750 A CN 103679750A
- Authority
- CN
- China
- Prior art keywords
- sub
- block
- vector
- displacement
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000006073 displacement reaction Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
Images
Abstract
本发明公开了一种基于视频的摄像机抖动检测方法，包括以下步骤：取连续N帧图像，将彩色图像转化为灰度图像，每张图像均匀划分成b*b个子块；计算每一子块在水平方向和竖直方向上灰度投影，计算N帧图像各子块与第一帧图像对应子块投影的相关系数，取相关系数最大的位移量作为位移矢量；计算连续N帧图像的位移主矢量方向；计算N帧图像每相邻两帧图像对应子块的运动矢量；将N帧图像各子块的运动矢量投影到各子块对应位移主矢量方向；分别统计各子块位移主矢量方向上的运动矢量投影，判断该子块是否存在抖动；统计b*b个子块中抖动子块的个数，判断摄像机是否存在抖动。本发明检测方法有效提高了抗噪声能力，减少了误报率。
Description
技术领域
本发明涉及摄像机抖动检测领域，尤其涉及一种基于视频的摄像机抖动检测方法。
背景技术
摄像机安装不稳定时会有抖动。针对电子（数字）稳像，很多文章提出了方法，例如块匹配的方法，灰度投影的方法，基于二值位平面信息的方法，相位相关的方法，Fourier-Mellin域相位相关的方法，基于圆形块匹配的方法，特征跟踪的方法等。
有人提出一种基于特征点跟踪的稳像算法。该算法用SUSAN算子从参考帧图像中提取出一组特征点，然后在后继帧中进行基于Kalman滤波的特征点的跟踪。但是SUSAN算子中存在阈值难以确定的困难。有人提出一种分层位平面匹配的快速全局运动估计算法，算法充分利用多分辨率思想，在每一层选用不同位平面进行匹配以找到运动矢量。但是这种方法存在误匹配概率较高，抗噪声能力较差的弱点。
针对以上困难，本发明选取灰度投影特征，求其相关性得到运动矢量，有效克服了阈值选取的问题，使用PCA计算位移主矢量方向，再利用运动矢量在位移主矢量方向上投影的关系，判断其抖动性，有效利用了其统计特性，提高了抗噪声能力，减少了误报率。
PCA是Principal component analysis的缩写，中文翻译为主元分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最有价值的结果之一。本文将使用PCA做特征方向提取。
PCA步骤：
(1) 对所有训练向量xi求均值向量u；
(2) 令A=[x1-u, x2-u,…, xn-u],则C=A*AT为协方差矩阵；
(3) 求C的前m个特征值(绝对值最大的)对应的特征向量y1,y2,…,ym,它们互不相关且正交,且是单位向量。这些特征向量是xi对应样本点最离散的方向。
(4) 对任意一个向量V,计算它到各个特征向量上的投影。
Z=V-u
Z≈b1 y1+ b2 y2+ …+ bm ym
其中bi=yi T*Z
用向量（b1,b2, …,bm）表示V。
发明内容
本发明要解决的技术问题在于针对现有技术中视频监控图像因为摄像头安装杆受到外力作用，产生的上下抖动的视频现象，提供一种自动识别技术。
本发明解决其技术问题所采用的技术方案是：一种基于视频的摄像机抖动检测方法，包括以下步骤：
1）获取连续N帧图像，分别将彩色图像转化为灰度图像，每张图像均匀划分成b*b个子块；
2）计算每一子块在水平方向和竖直方向上灰度投影；
3）计算N帧图像各子块与第一帧图像对应子块投影的相关系数，取相关系数最大的位移量作为当前帧的位移矢量Vi(i=1,…N)；
4）通过PCA法计算连续N帧图像位移矢量Vi(i=1,…N)的位移主矢量方向 
，此矢量方向为图像主要运动方向；
5）计算N帧图像每相邻两帧图像对应子块投影的相关系数，取相关系数最大的位移量作为当前帧的运动矢量Mi(i=1,…N)；
6）将N帧图像各子块的运动矢量Mi(i=1,…N)投影到主矢量方向
；
7）分别统计各子块位移主矢量方向上的运动矢量投影，若投影为正且投影幅值大于1的矢量个数和投影为负且投影幅值大于1的矢量个数均大于等于一定阈值，则判定该子块存在抖动，否则判定该子块不存在抖动；
8）统计b*b个子块中抖动子块的个数，若抖动子块的个数大于b*b/2，则判定摄像机存在抖动，否则判定摄像机没有抖动。
按上述方案，b的取值为2。
按上述方案，步骤1）中取连续N帧图像，N大于等于60。
按上述方案，步骤7）中阈值的取值为95。
本发明产生的有益效果是：本发明选取灰度投影特征，求其相关性得到运动矢量，有效克服了阈值选取的问题，使用PCA计算位移主矢量方向，再利用运动矢量在位移主矢量方向上投影的关系，判断其抖动性，有效利用了其统计特性，提高了抗噪声能力，减少了误报率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法流程图；
图2是本发明实施例的位移主矢量方向的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，一种基于视频的摄像机抖动检测方法，包括以下步骤：
1）取连续N帧（N为60）图像，将彩色图像转化为灰度图像，每张图像均匀划分成2*2个子块；
2）计算每一子块在水平方向和竖直方向上灰度投影；
计算灰度在水平方向或竖直方向上的累加作为投影；
其中，I(i,j)为图像在空间位置(i,j)处的灰度值。
3）计算N帧图像各子块与第一帧图像对应子块投影的相关系数，取相关系数最大的位移量作为位移矢量；
其中
为相关系数，x，y分别为当前帧和第一帧的在某一方向的灰度投影。
4）通过PCA法计算连续N帧图像的位移主矢量方向，此矢量方向为图像主要运动方向；位移主矢量方向如图2所示；
5）计算N帧图像每相邻两帧图像对应子块投影的相关系数，取相关系数最大的位移量作为当前帧的运动矢量Mi(i=1,…N)，公式同第3步；
6）将N帧图像各子块的运动矢量Mi(i=1,…N)投影到主矢量方向，获得各子块位移主矢量方向上的运动矢量投影；
其中，v为某帧的运动矢量Mi(i=1,…N)；
7）分别统计各子块位移主矢量方向上的运动矢量投影，若投影为正且投影幅值大于1的矢量个数和投影为负且投影幅值大于1的矢量个数均大于等于阈值95，则判定该子块存在抖动，否则判定该子块不存在抖动；
8）统计2*2个子块中抖动子块的个数，若抖动子块的个数大于2，则判定摄像机存在抖动，否则判定摄像机没有抖动。
在需要进一步提高检测速度的时候，连续N帧图像可以最少取连续5帧图像。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种基于视频的摄像机抖动检测方法，包括以下步骤：
1）获取连续N帧图像，分别将彩色图像转化为灰度图像，每张图像均匀划分成b*b个子块；
2）计算每一子块在在水平方向和竖直方向上灰度投影；
3）计算N帧图像各子块与第一帧图像对应子块投影的相关系数，取相关系数最大的位移量作为当前帧的位移矢量Vi(i=1,…N)；
4）通过PCA法计算连续N帧图像位移矢量Vi(i=1,…N)的位移主矢量方向 
，此矢量方向为图像主要运动方向；
5）计算N帧图像每相邻两帧图像对应子块投影的相关系数，取相关系数最大的位移量作为当前帧的运动矢量Mi(i=1,…N)；
6）将N帧图像各子块的运动矢量Mi(i=1,…N)投影到主矢量方向
；
7）分别统计各子块位移主矢量方向上的运动矢量投影，若投影为正且投影幅值大于1的矢量个数和投影为负且投影幅值大于1的矢量个数均大于等于一定阈值，则判定该子块存在抖动，否则判定该子块不存在抖动；
8）统计b*b个子块中抖动子块的个数，若抖动子块的个数大于b*b/2，则判定摄像机存在抖动，否则判定摄像机没有抖动。
2.根据权利要求1所述的基于视频的摄像机抖动检测方法，其特征在于b的取值为2。
3.根据权利要求1所述的基于视频的摄像机抖动检测方法，其特征在于，步骤1）中取连续N帧图像，N大于等于60。
4.根据权利要求1所述的基于视频的摄像机抖动检测方法，其特征在于，步骤7）中阈值的取值为95。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310599494.5A CN103679750B (zh) | 2013-11-25 | 2013-11-25 | 一种基于视频的摄像机抖动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310599494.5A CN103679750B (zh) | 2013-11-25 | 2013-11-25 | 一种基于视频的摄像机抖动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103679750A true CN103679750A (zh) | 2014-03-26 |
| CN103679750B CN103679750B (zh) | 2016-04-20 |
Family
ID=50317200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310599494.5A Active CN103679750B (zh) | 2013-11-25 | 2013-11-25 | 一种基于视频的摄像机抖动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103679750B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410855A (zh) * | 2014-11-05 | 2015-03-11 | 广州中国科学院先进技术研究所 | 一种监控视频的抖动检测方法 |
| CN105681663A (zh) * | 2016-02-26 | 2016-06-15 | 北京理工大学 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
| CN106385580A (zh) * | 2016-09-30 | 2017-02-08 | 杭州电子科技大学 | 基于图像灰度分布特征的视频抖动检测方法 |
| CN107527003A (zh) * | 2017-05-03 | 2017-12-29 | 武汉东智科技股份有限公司 | 球型摄像机镜头粘附灰斑的视频质量诊断方法 |
| CN108364290A (zh) * | 2018-01-08 | 2018-08-03 | 深圳科亚医疗科技有限公司 | 对周期性生理活动的图像序列进行分析的方法、介质和系统 |
| CN108492287A (zh) * | 2018-03-14 | 2018-09-04 | 罗普特（厦门）科技集团有限公司 | 一种视频抖动检测方法、终端设备及存储介质 |
| CN111932488A (zh) * | 2020-05-27 | 2020-11-13 | 湖北九感科技有限公司 | 交通监控摄像头晃动检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1898948A (zh) * | 2003-12-23 | 2007-01-17 | 皇家飞利浦电子股份有限公司 | 用于稳定化视频数据的方法和系统 |
| CN1933554A (zh) * | 2005-12-31 | 2007-03-21 | 北京中星微电子有限公司 | 一种用于手持数码摄像设备的防抖方法及装置 |
| US20120207347A1 (en) * | 2011-02-15 | 2012-08-16 | Tessera Technologies Ireland Limited | Image rotation from local motion estimates |
| CN102665032A (zh) * | 2012-04-17 | 2012-09-12 | 西北工业大学 | 一种机载视频稳像方法 |
-
2013
- 2013-11-25 CN CN201310599494.5A patent/CN103679750B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1898948A (zh) * | 2003-12-23 | 2007-01-17 | 皇家飞利浦电子股份有限公司 | 用于稳定化视频数据的方法和系统 |
| CN1933554A (zh) * | 2005-12-31 | 2007-03-21 | 北京中星微电子有限公司 | 一种用于手持数码摄像设备的防抖方法及装置 |
| US20120207347A1 (en) * | 2011-02-15 | 2012-08-16 | Tessera Technologies Ireland Limited | Image rotation from local motion estimates |
| CN102665032A (zh) * | 2012-04-17 | 2012-09-12 | 西北工业大学 | 一种机载视频稳像方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吴浩 等: "一种基于分块灰度投影运动估计的视频稳像方法", 《兵工学报》, vol. 34, no. 4, 15 April 2013 (2013-04-15), pages 406 - 411 * |
| 肖进胜 等: "基于分区灰度投影稳像的运动目标检测算法", 《湖南大学学报(自然科学版)》, vol. 40, no. 6, 25 June 2013 (2013-06-25), pages 96 - 102 * |
| 钟平 等: "提高用于电子稳像的灰度投影算法精度的方法", 《光电子·激光》, vol. 14, no. 2, 25 March 2003 (2003-03-25), pages 182 - 186 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410855A (zh) * | 2014-11-05 | 2015-03-11 | 广州中国科学院先进技术研究所 | 一种监控视频的抖动检测方法 |
| CN105681663A (zh) * | 2016-02-26 | 2016-06-15 | 北京理工大学 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
| CN105681663B (zh) * | 2016-02-26 | 2018-06-22 | 北京理工大学 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
| CN106385580A (zh) * | 2016-09-30 | 2017-02-08 | 杭州电子科技大学 | 基于图像灰度分布特征的视频抖动检测方法 |
| CN106385580B (zh) * | 2016-09-30 | 2018-02-06 | 杭州电子科技大学 | 基于图像灰度分布特征的视频抖动检测方法 |
| CN107527003A (zh) * | 2017-05-03 | 2017-12-29 | 武汉东智科技股份有限公司 | 球型摄像机镜头粘附灰斑的视频质量诊断方法 |
| CN107527003B (zh) * | 2017-05-03 | 2020-09-04 | 武汉东智科技股份有限公司 | 球型摄像机镜头粘附灰斑的视频质量诊断方法 |
| CN108364290A (zh) * | 2018-01-08 | 2018-08-03 | 深圳科亚医疗科技有限公司 | 对周期性生理活动的图像序列进行分析的方法、介质和系统 |
| CN108364290B (zh) * | 2018-01-08 | 2020-10-09 | 深圳科亚医疗科技有限公司 | 对周期性生理活动的图像序列进行分析的方法、介质和系统 |
| CN108492287A (zh) * | 2018-03-14 | 2018-09-04 | 罗普特（厦门）科技集团有限公司 | 一种视频抖动检测方法、终端设备及存储介质 |
| CN108492287B (zh) * | 2018-03-14 | 2020-06-02 | 罗普特（厦门）科技集团有限公司 | 一种视频抖动检测方法、终端设备及存储介质 |
| CN111932488A (zh) * | 2020-05-27 | 2020-11-13 | 湖北九感科技有限公司 | 交通监控摄像头晃动检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103679750B (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103679750A (zh) | 一种基于视频的摄像机抖动检测方法 | |
| Zhu et al. | Unsupervised event-based learning of optical flow, depth, and egomotion | |
| WO2020173226A1 (zh) | 一种时空行为检测方法 | |
| CN106375755B (zh) | 一种视频数据卡顿检测方法及系统 | |
| CN106162177A (zh) | 视频编码方法和装置 | |
| CN109784278B (zh) | 基于深度学习的海上弱小运动船舶实时检测方法 | |
| Zhou et al. | Robust plane-based structure from motion | |
| CN110782433B (zh) | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 | |
| CN105574891B (zh) | 检测图像中的运动目标的方法及系统 | |
| CN105243376A (zh) | 一种活体检测方法和装置 | |
| Zhang et al. | An imbalance compensation framework for background subtraction | |
| CN109727273A (zh) | 一种基于车载鱼眼相机的移动目标检测方法 | |
| US20070274402A1 (en) | Application of short term and long term background scene dynamics in motion detection | |
| CN103945089A (zh) | 基于亮度闪烁修正及IP camera的动态目标检测方法 | |
| Kalaivani et al. | Towards comprehensive understanding of event detection and video summarization approaches | |
| Ponika et al. | Developing a YOLO based Object Detection Application using OpenCV | |
| CN107665325B (zh) | 基于原子特征袋模型的视频异常事件检测方法及系统 | |
| Jodoin et al. | Motion detection with an unstable camera | |
| CN113269038A (zh) | 一种基于多尺度的行人检测方法 | |
| Reljin et al. | Small moving targets detection using outlier detection algorithms | |
| Liu | An improved ViBe moving object detection algorithm based on spatial-temporal gradient of image | |
| CN110602487A (zh) | 一种基于tsn网络的视频画面抖动检测方法 | |
| KR20150073409A (ko) | 동영상의 근복사 검출 방법 및 시스템 | |
| Wang et al. | A heuristic information based system for people counting | |
| Lv et al. | Road Scene Multi-Object Detection Algorithm Based on CMS-YOLO |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 430223 4 Rd floor, R & D building, Wu Da Science and Technology Park, East Lake New Technology Development Zone, Wuhan, Hubei, China, 430223 Patentee after: WUHAN EASTWIT TECHNOLOGY CO.,LTD. Address before: 430223 East Lake campus of Wuhan economic and Technological Development Zone, Hubei, 1, No. 2, C1 unit, Shangdong 10 district, Wanyuan city garden, Wuhan, China. Patentee before: WUHAN DONGZHI TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Nie Hui Inventor before: Chen Li Inventor before: Nie Hui |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Camera shake detecting method based on videos Effective date of registration: 20191224 Granted publication date: 20160420 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN EASTWIT TECHNOLOGY CO.,LTD. Registration number: Y2019420000038 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210916 Granted publication date: 20160420 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN EASTWIT TECHNOLOGY Co.,Ltd. Registration number: Y2019420000038 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A video based camera shake detection method Effective date of registration: 20210918 Granted publication date: 20160420 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN EASTWIT TECHNOLOGY Co.,Ltd. Registration number: Y2021420000093 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220826 Granted publication date: 20160420 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN EASTWIT TECHNOLOGY CO.,LTD. Registration number: Y2021420000093 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |