CN114143459A - 一种适用于大变焦摄像头的视频消抖方法 - Google Patents
一种适用于大变焦摄像头的视频消抖方法 Download PDFInfo
- Publication number
- CN114143459A CN114143459A CN202111424140.8A CN202111424140A CN114143459A CN 114143459 A CN114143459 A CN 114143459A CN 202111424140 A CN202111424140 A CN 202111424140A CN 114143459 A CN114143459 A CN 114143459A
- Authority
- CN
- China
- Prior art keywords
- camera
- images
- focal length
- image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008030 elimination Effects 0.000 title claims abstract description 27
- 238000003379 elimination reaction Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013519 translation Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 claims 1
- 238000011105 stabilization Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种适用于大变焦摄像头的视频消抖方法，涉及视频图像处理领域，针对现有摄像头消抖技术未对摄像头焦距的影响，尤其是大变焦摄像头在进行缩放的过程中，图像抖动情况会随着变化。本发明按照如下步骤进行：步骤1、提取相邻两帧图像上特征点；步骤2、选取两组特征点的马氏距离作为判断依据，进行两帧图像特征点进行匹配；步骤3、融合摄像头焦距获取特征点匹配的阈值；步骤4、确定两帧图像之间的相对变换关系，确定缩放系数、旋转变换矩阵和平移变换矢量；步骤5、构建卡尔曼滤波器，进行图像补偿。通过本发明获取的监控视频平滑度更高，具有较好的用户体验感。
Description
技术领域
本发明属于摄像头视频图像处理领域，特别适用于消除大变焦摄像头放大查看局部细节时带来的抖动现象。
背景技术
摄像头的消抖一直是图像处理研究领域的研究重点，摄像头会受到自然环境中各种因素的干扰发生抖动，以及操纵者不自主的抖动，这些抖动会导致图像模糊，降低观看者的体验感，存在抖动现象图像对后续的目标监视跟踪功能产生严重影响，对于摄像头的消抖处理研究意义重大。
摄像头图像抖动的本质相邻的两帧图像之间存在微小、方向随机的位移错位，现有的消抖方法可以划分为硬件消抖和软件算法消抖。
硬件上对摄像头进行消抖处理，现有的方法从摄像头的支架和镜头两个方向。针对摄像头的固定支架，现有的方法大多采用刚度较高的材料制作支架，例如，采用专业的摄影架等，此类方法适用于固定摄像头，对于可以移动摄像头，例如手机，摄像机等，通常采用带有物理防抖功能的镜头。通过硬件摄像头进行消抖处理，会提高摄像头系统整体成本，摄像头使用环境较为复杂，自然环境中的摄像头的抖动大多复杂无规律的。
软件上对摄像头进行消抖处理，消抖算法可以划分为2D消抖算法和3D消抖算法。
2D消抖算法，通过视频获取相邻两针视频图像上的特征点，通过特征点进行匹配计算出摄像头在这两帧图像之间的变化，将多组姿态进行平滑处理，对摄像头姿态进行预测估计，并对图像进行运动修复。
3D消抖算法，对深度摄像头的进行摄像头进行消抖处理，通过深度摄像头获取的点云数据，通过点云进行匹配，通过匹配结果获取相机姿态，依据摄像头姿态进行图像修复。
现有的摄像头消抖算法，大多未考虑摄像头焦距的变化，尤其是能够实现大幅度变焦的摄像头，当使用者将镜头拉近时，摄像头的焦距发生较大变化时，原有的视频抖动现象也会更严重，现有的技术未对图像缩放进行考虑，由此对特征点提取和匹配都会有较大的误差，现有的消抖算法并不适用于可大变焦摄像头的消抖处理。
发明内容
针对上述技术背景中的不足，本发明提出了一种适用于大变焦摄像头的视频消抖方法，大变焦摄像头通过改变摄像头的焦距，放大画面，查看局部细节，随着画面放大，摄像头的抖动也会被放大，本发明建立了焦距与抖动振幅之间的关系。通过卡尔曼滤波实现对摄像头的运动轨迹进行平滑处理，实现对图像进行运动补偿，使摄像头在不同焦距下具有较为平滑的效果。
为了上述发明目的，解决现有建有技术中存在的问题，本发明采用的技术方案为：
一种适用于大变焦摄像头的视频消抖方法，包括以下步骤：
步骤1：将连续的视频离散成连续序列的图片，并将图片进行灰度化处理，将每个像素点与周边像素点灰度值进行比较，若灰度值大于周边所有像素点的灰度值，则标记为特征点；
步骤2：取相邻两帧图像，将相邻两帧图像上的特征点依据马氏距离最小的原则进行特征点匹配，构建相邻图像上对应特征点集合；
步骤3：根据摄像头焦距计算特征点匹配的阈值，剔除特征点集合中相邻图像上对应特征点之间马氏距离大于阈值的特征点组合；
步骤4：构建相邻两帧图像数据之间变换关系方程，将步骤3中获取的对应特征点集合带入最小二乘算法中，求取两帧图像之间的相对变换方程，包括缩放系数、旋转变换矩阵和平移矢量；
步骤5：依据步骤4中求取的图像之间的相对变换方程，构建卡尔曼滤波器的预测方程，将相邻两帧图像中一张图像坐标点作为状态变量，另一张图像坐标点作为观测变量，构建尔曼滤波器的观测方程，并求解卡尔曼增益矩阵，形成卡尔曼滤波器；
步骤6：依据卡尔曼滤波器进行图像滤波，获取消除抖动后的图像。
其中，步骤3具体包括以下过程：
(1)记录摄像头的最大焦距和摄像的最小焦距，将摄像头的焦距作归一化处理；
(2)将摄像头调制最大焦距，遍历特征点集合中的特征点组合求取最小马氏距离；
(3)计算融合后匹配阈值，表示为：
h＝fmhmin
其中，fm为当前摄像头的焦距作归一化处理数值，hmin为最大焦距下的最小马氏距离。
其中，步骤4中，相邻两帧图像数据之间变换关系方程，表示为：
其中，k为缩放变换系数,(x,y)和(x′,y′)分别为两帧图像的像素坐标，θ为旋转角度；
本发明同背景技术相比具有如下优点：
(1)本发明采用软件滤波算法实现大变焦摄像头消除抖动，具有硬件成本低的优势；
(2)本发明在特征点匹配的过程中，通过焦距值实时修正特征点匹配的阈值，提高特征点匹配的精度和实时性；
(3)本发明在考虑到传统的平移和旋转之外，对图像的缩放也进行了考虑，完善了图像相对运动模型，图像不同缩放比例下进行修正的时候，防止修复后的图像出现黑边问题。
(4)本发明考虑了焦距变化对抖动的影响，相较传统摄像头消抖算法，修复后的图像更为稳定，用户体验感更好。
附图说明
图1是本发明实施例系统连接示意图。
图2是本发明实施例大变焦摄像头消抖处理方法的工作流程图。
图3是本发明实施例图像修复工作流程示意图。
具体实施方式
下面结合具体实例，进一步阐述本发明，实例仅用来说明本发明而不用于限制本发明的范围。
如图1所示，本实例常采用的系统连接示意图，实例系统分为数据采集单元、数据处理单元和人机交互单元。其中数据采集单元采用大变焦摄像头，摄像头通过2自由度运动云台进行装卡固定，通过UDP将视频图像数据发送给数据处理单元，数据处理单元运行本文设计的算法，对采集视频数据进行处理，人机交互单元用于展示摄像头处理完成的视频图像，同时，用户可以通过人界交互单元控制摄像头旋转，画面缩放等。
如图2所示，为本实施例的流程图，参照流程图，本实施例实现过程如下：
步骤1：从大变焦摄像头中获取视频流数据，分割成连续的图像序列，将获取到的图像进行灰度化处理，取相邻的两帧视频图像，分别作第i帧图像和第j帧图像；
在第i帧图像和第j帧图像进行遍历计算，记第i帧图像上的像素点为Xi(xi，yi)，第j帧图像上的点为Xj(xj，yj)，比较该点的灰度值与周围点灰度值大小，若大于周围全部点的灰度值，则该点记为特征点。
步骤2：将两帧图像上的特征点进行特征点匹配，为了减少特征点对的数量，提高图像匹配的精度和实时性，对特征点之间的最小马氏距离作了约定，当特征点之间的马氏距离小于阈值时，才可以认为该点匹配上了特征点，否则认为该点为无效特征点。
相邻两帧特征点之间马氏距离计算公式如下所示：
Xi、Xj为第i帧、第j帧上的特征点；
S为Xi、Xj之间的协方差矩阵；
当马氏距离小于设定的阈值即判定为特征点对儿，当有多对数据均小于阈值，取马氏距离最小的作为特征点对儿，当遍历所有点均大于阈值时，则该点没有找到对特征点。
步骤3：摄像头在改变焦距进行画面缩放过程中，可以获取摄像头此时的焦距，记录摄像头最大焦距和最小焦距，将摄像头的焦距作归一化处理，将摄像头调制最大焦距，提取相邻两帧的特征点，对特征点进行遍历求取最小马氏距离，将特征点最小的马氏距离乘以归一化处理后的焦距作为特征点匹配的阈值。
特征点匹配的阈值计算表达式：h＝fmhmin
其中，fm为归一化后的焦距；hmin为最大焦距下的最小马氏距离。
步骤4：依据两帧图像之间的变换方程，构建最小二乘优化目标方程，最小二乘目标优化方程如下所示：
min∑||Xj-Xi||
约束方程为图像之间的坐标转换方程：
其中，k为缩放变换系数,(x,y)和(x′,y′)分别为两帧图像的像素坐标，θ为旋转角度；
通过优化迭代求解出缩放变换系数k、旋转矩阵以及平移矢量。
步骤5：依据步骤4中求取的图像之间的相对变换方程，构建卡尔曼滤波器的预测方程，将相邻两帧图像中一张图像坐标点作为状态变量，另一张图像坐标点作为观测变量，构建尔曼滤波器的观测方程，并求解卡尔曼增益矩阵，形成卡尔曼滤波器；如图3所示；
本发明采用构建卡尔曼滤波器消除抖动误差，依据上述求取的缩放变换系数、旋转矩阵和平移矢量构建预测方程，如下所示：
其中，
为预测坐标，Xi为第i帧图像的像素坐标。
卡尔曼增益矩阵求解方程如下所示：
KPHT(HPHT+R)-1
其中，P为协方差矩阵，H为观测矩阵，R为观测误差。
步骤6：依据卡尔曼滤波器进行图像滤波，获取消除抖动后的图像。如下所示:
其中，
为修正后的像素坐标，Xj为第j帧图像像素坐标。
通过卡尔曼滤波器，实现对图像修复补偿。完成对运动图像修复的同时，完成了对大变焦摄像头消除抖动的目的。
Claims (3)
1.一种适用于大变焦摄像头的视频消抖方法，其特征在于，包括以下步骤：
步骤1：将连续的视频离散成连续序列的图片，并将图片进行灰度化处理，将每个像素点与周边像素点灰度值进行比较，若灰度值大于周边所有像素点的灰度值，则标记为特征点；
步骤2：取相邻两帧图像，将相邻两帧图像上的特征点依据马氏距离最小的原则进行特征点匹配，构建相邻图像上对应特征点集合；
步骤3：根据摄像头焦距计算特征点匹配的阈值，剔除特征点集合中相邻图像上对应特征点之间马氏距离大于阈值的特征点组合；
步骤4：构建相邻两帧图像数据之间变换关系方程，将步骤3中获取的对应特征点集合带入最小二乘算法中，求取两帧图像之间的相对变换方程，包括缩放系数、旋转变换矩阵和平移矢量；
步骤5：依据步骤4中求取的图像之间的相对变换方程，构建卡尔曼滤波器的预测方程，将相邻两帧图像中一张图像坐标点作为状态变量，另一张图像坐标点作为观测变量，构建尔曼滤波器的观测方程，并求解卡尔曼增益矩阵，形成卡尔曼滤波器；
步骤6：依据卡尔曼滤波器进行图像滤波，获取消除抖动后的图像。
2.根据权利要求1所述的适用于大变焦摄像头的视频消抖方法，其特征在于，步骤3具体包括以下过程：
(1)记录摄像头的最大焦距和摄像的最小焦距，将摄像头的焦距作归一化处理；
(2)将摄像头调制最大焦距，遍历特征点集合中的特征点组合求取最小马氏距离；
(3)计算融合后匹配阈值，表示为：
h＝fmhmin
其中，fm为当前摄像头的焦距作归一化处理数值，hmin为最大焦距下的最小马氏距离。
3.根据权利要求1所述的适用于大变焦摄像头的视频消抖方法，其特征在于，步骤4中，相邻两帧图像数据之间变换关系方程，表示为：
其中，k为缩放变换系数,(x,y)和(x′,y′)分别为两帧图像的像素坐标，θ为旋转角度；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111424140.8A CN114143459A (zh) | 2021-11-26 | 2021-11-26 | 一种适用于大变焦摄像头的视频消抖方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111424140.8A CN114143459A (zh) | 2021-11-26 | 2021-11-26 | 一种适用于大变焦摄像头的视频消抖方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114143459A true CN114143459A (zh) | 2022-03-04 |
Family
ID=80388733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111424140.8A Pending CN114143459A (zh) | 2021-11-26 | 2021-11-26 | 一种适用于大变焦摄像头的视频消抖方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114143459A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115778315A (zh) * | 2022-10-13 | 2023-03-14 | 广州医软智能科技有限公司 | 微循环图像序列消除抖动方法、装置、设备及存储介质 |
| CN116434128A (zh) * | 2023-06-15 | 2023-07-14 | 安徽科大擎天科技有限公司 | 一种基于缓存帧的电子稳像未填充区域的去除方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100107594A (ko) * | 2009-03-26 | 2010-10-06 | 고려대학교 산학협력단 | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 |
| CN104144282A (zh) * | 2014-07-17 | 2014-11-12 | 西北工业大学 | 一种适用于空间机器人视觉系统的快速数字稳像方法 |
| CN106372598A (zh) * | 2016-08-31 | 2017-02-01 | 广州精点计算机科技有限公司 | 一种基于图像特征检测的消除视频旋转和抖动的稳像方法 |
| CN111539872A (zh) * | 2020-04-23 | 2020-08-14 | 南京理工大学 | 随机抖动干扰下视频图像的实时电子稳像方法 |
| CN112287819A (zh) * | 2020-10-28 | 2021-01-29 | 武汉三力通信有限责任公司 | 一种用于摄录设备的高速多路实时稳像方法 |
| CN112541932A (zh) * | 2020-11-30 | 2021-03-23 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
-
2021
- 2021-11-26 CN CN202111424140.8A patent/CN114143459A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100107594A (ko) * | 2009-03-26 | 2010-10-06 | 고려대학교 산학협력단 | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 |
| CN104144282A (zh) * | 2014-07-17 | 2014-11-12 | 西北工业大学 | 一种适用于空间机器人视觉系统的快速数字稳像方法 |
| CN106372598A (zh) * | 2016-08-31 | 2017-02-01 | 广州精点计算机科技有限公司 | 一种基于图像特征检测的消除视频旋转和抖动的稳像方法 |
| CN111539872A (zh) * | 2020-04-23 | 2020-08-14 | 南京理工大学 | 随机抖动干扰下视频图像的实时电子稳像方法 |
| CN112287819A (zh) * | 2020-10-28 | 2021-01-29 | 武汉三力通信有限责任公司 | 一种用于摄录设备的高速多路实时稳像方法 |
| CN112541932A (zh) * | 2020-11-30 | 2021-03-23 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吉淑娇等: "基于特征匹配的视频稳像算法", 吉林大学学报（工学版）, 31 March 2013 (2013-03-31), pages 322 - 325 * |
| 李力新: "多源图像自动快速配准方法", 中国优秀硕士学位论文全文数据库信息科技辑, 15 May 2021 (2021-05-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115778315A (zh) * | 2022-10-13 | 2023-03-14 | 广州医软智能科技有限公司 | 微循环图像序列消除抖动方法、装置、设备及存储介质 |
| CN116434128A (zh) * | 2023-06-15 | 2023-07-14 | 安徽科大擎天科技有限公司 | 一种基于缓存帧的电子稳像未填充区域的去除方法 |
| CN116434128B (zh) * | 2023-06-15 | 2023-08-22 | 安徽科大擎天科技有限公司 | 一种基于缓存帧的电子稳像未填充区域的去除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200228730A1 (en) | Automatic composition of composite images or videos from frames captured with moving camera | |
| CN106550174B (zh) | 一种基于单应性矩阵的实时视频稳像方法 | |
| WO2020253618A1 (zh) | 一种视频抖动的检测方法及装置 | |
| CN109035394B (zh) | 人脸三维模型重建方法、装置、设备、系统及移动终端 | |
| CN101616310B (zh) | 可变视角及分辨率的双目视觉系统目标图像稳定化方法 | |
| CN100530239C (zh) | 基于特征匹配与跟踪的视频稳定方法 | |
| CN103198488B (zh) | Ptz监控摄像机实时姿态快速估算方法 | |
| CN114143459A (zh) | 一种适用于大变焦摄像头的视频消抖方法 | |
| CN110796010A (zh) | 一种结合光流法和卡尔曼滤波的视频稳像方法 | |
| CN105678809A (zh) | 手持式自动跟拍装置及其目标跟踪方法 | |
| WO2014045026A1 (en) | Systems and methods for reducing noise in video streams | |
| CN110753181A (zh) | 一种基于特征跟踪和网格路径运动的视频稳像方法 | |
| CN106920210B (zh) | 一种基于球面展开模型的鱼眼视频实时全景校正方法 | |
| CN110717936B (zh) | 一种基于相机姿态估计的图像拼接方法 | |
| US11503209B2 (en) | Image alignment using a virtual gyroscope model | |
| CN113269682B (zh) | 一种结合帧间信息的非均匀运动模糊视频复原方法 | |
| Wang et al. | Video stabilization: A comprehensive survey | |
| US11812154B2 (en) | Method, apparatus and system for video processing | |
| CN112287819A (zh) | 一种用于摄录设备的高速多路实时稳像方法 | |
| CN108111760B (zh) | 一种电子稳像方法及系统 | |
| CN113905147A (zh) | 一种船用监控视频画面去抖方法、装置以及存储介质 | |
| TWI496115B (zh) | 移動攝影機之畫面穩定方法 | |
| CN114429191A (zh) | 基于深度学习的电子防抖方法、系统及存储介质 | |
| WO2023241298A1 (zh) | 一种视频生成方法、装置、存储介质及电子设备 | |
| CN113034365B (zh) | 一种基于超像素的多图拼接方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |