CN110120023A - 一种图像反馈矫正方法 - Google Patents

一种图像反馈矫正方法 Download PDF

Info

Publication number
CN110120023A
CN110120023A CN201910399927.XA CN201910399927A CN110120023A CN 110120023 A CN110120023 A CN 110120023A CN 201910399927 A CN201910399927 A CN 201910399927A CN 110120023 A CN110120023 A CN 110120023A
Authority
CN
China
Prior art keywords
image
characteristic point
video monitoring
represent
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910399927.XA
Other languages
English (en)
Inventor
翁会明
邱樟伟
方毅
宋慧
李向军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910399927.XA priority Critical patent/CN110120023A/zh
Publication of CN110120023A publication Critical patent/CN110120023A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像反馈矫正方法，视频监控领域，包括：获取当前帧当前帧图像，提取图像的特征点；获取邻帧图像，提取邻帧图像的特征点；筛选图像特征点，剔除错误匹配的图像特征点；计算图像间的运动参数，对图像间的运动参数进行建模；计算出滤波前后图像特征点之间的矫正系数，直接对图像进行补偿，由此消除监控视频抖动，使得本方法在视频监控图像去抖动的图像更加平滑和具有辨识度。

Description

一种图像反馈矫正方法
技术领域
本发明涉及视频监控领域，特别涉及一种图像反馈矫正方法。
背景技术
在监控视频领域，由于监控摄像头在拍摄移动物体过程中不可避免的会出现图像抖动，抖动图像严重影响视频质量，容易引起视觉疲劳，且不利于监控视频的后期利用。因此，如何解决监控视频抖动问题具有重要的现实意义。而视频监控图像去抖动改进算法通过结合快速近似最邻近理论匹配视频邻帧间的图像特征点，对视频监控图像特征点轨迹进行滤波处理，直接对监控视频进行补偿，由此消除监控视频抖动，不仅能够对存在的水平抖动的监控图像进行处理，同时对存在尺度、旋转变换的监控抖动视频图像也具有较好的去抖动效果，是解决上述问题的根本途径。
发明内容
本发明的目的在于提供一种图像反馈矫正方法，以解决上述背景技术中提出的一种图像反馈矫正方法。
为实现上述目的，本发明提供如下技术方案：一种图像反馈矫正方法，包括：获取当前帧当前帧图像，提取图像的特征点；
获取邻帧图像，提取邻帧图像的特征点；
筛选图像特征点，剔除错误匹配的图像特征点；
计算图像间的运动参数，对图像间的运动参数进行建模；
计算出滤波前后图像特征点之间的矫正系数，直接对图像进行补偿。
优选的，所述图像特征点的对集向量为：
，
其中，代表匹配的第个视频监控图像特征点对，N代表匹配的图像特征点总对数。
优选的，所述筛选图像特征点，其满足条件为：
，
其中，代表筛选后的视频监控图像特征点对集向量，和分别代表图像特征点对中最大、最小欧氏距离，代表距离阈值，m代表抑制系数。
优选的，所述图像间的运动参数为：
,
其中，（X,Y）代表视频监控图像I的中心像素点，和分别代表视频监控图像水平、垂直方向平移转换值。
优选的，所述矫正系数
,
其中，和分别代表视频平滑前后特征点轨迹中，第k帧中第i个图像特征点。
优选的，所述图像运动参数建模为：
，
其中，H代表仿射变换矩阵，a 13 ，a12,a21和a22分别代表视频监控图像间的旋转和缩放变换，代表监控视频前一帧图像上的像素点，（x,y）代表近邻图像通过仿射变换后的图像像素点。
优选的，两帧图像运动参数为：
,
其中，（X,Y）代表视频监控图像I的中心像素点，和分别代表视频监控图像水平、垂直方向平移转换值。
本发明提出的一种图像反馈矫正方法在对视频监控图像去抖动的平滑性和辨识度要优于随机取样一致性算法进行视频监控图像去抖动的平滑性和辨识度。结合卡尔曼滤波理论对视频监控图像特征点轨迹进行滤波处理，计算出滤波前后图像特征点之间的矫正系数，直接对监控视频进行补偿，由此消除监控视频抖动，使得本方法在视频监控图像去抖动的图像更加平滑和具有辨识度。
具体实施方式
在对视频监控图像进行去抖动过程中，先提取视频监控图像的特征点，结合快速近似最邻近库理论匹配视频邻帧间的图像特征点，并剔除错误匹配的图像特征点，利用随机取样一致性理论迭代求解监控视频图像间的运动参数，具体过程如下：
假设，利用非线性扩散滤波理论描述不同视频监控图像尺度空间上图像亮度的变化，利用如下公式给出的非线性偏微分方程进行描述，
，
其中，L代表视频监控图像矩阵, ，和分别代表三度函数/传导函数及视频监控图像梯度算子，利用如下公式表示其传到函数，
其中，代表视频监控图像L经过高斯平滑后获得梯度图像，利用如下公式定义,
其中，代表对比度因子，式中的非线性偏微分方程不存在解析解，结合快速显性扩散理论求解视频监控图像特征，利用如下公式给出其运算周期：
，
其中，代表单位矩阵，代表视频监控图像的传导矩阵，代表显性扩散步数，代表相应步长，利用如下公式进行表示，
，
其中代表满足显性扩散理论组建视频监控图像金字塔，金字塔尺度空间由组视频监控图像构成，各组图像存在S个子层级，
其中，代表全部尺度空间下的视频监控图像总数，利用如下公式将图像像素单位映射至时间单位上，可获得
，
经过非线性扩散滤波处理后，可获得滤波后的图像集，，利用如下公式构建各视频监控图像的Hessian矩阵，
，
其中，代表相应视频监控图像组中归一化尺度因子，通过搜索窗口在视频监控图像尺度空间金字塔相应极大值，由此确定视频监控图像中特征点的位置。
假设，代表视频监控图像中特征点的尺寸参数，代表区域搜索半径，对尺度参数为的特征点，利用 窗口计算其梯度图像，,将窗口划分为4x4个子区域，利用视频监控梯度图像生成长度为4的子区域描述向量，利用如下公式进行表示，
，
假设，匹配的视频监控图像特征点对集向量为
，
其中，代表匹配的第个视频监控图像特征点对，N代表匹配的图像特征点总对数，利用下列公式给出筛选后的图像特征点的满足条件，
，
其中，代表筛选后的视频监控图像特征点对集向量，和分别代表图像特征点对中最大、最小欧氏距离，代表距离阈值，m代表抑制系数。
在对视频监控图像进行去抖动的过程中，以上述获得的监控视频图像间的运动参数为基础，结合卡尔曼滤波理论对视频监控图像特征点轨迹进行滤波处理，计算出滤波前后图像特征点之间的校正量，直接对监控视频进行补偿，由此消除监控视频抖动，具体过程如下
假设代表监控视频第t-1帧相对于监控视频第t帧的旋转角度，利用如下公式给出监控视频第1帧相对于第t帧相对于的旋转角度，，
利用仿射变换理论对监控视频图像间的运动参数进行建模，
，
其中，H代表仿射变换矩阵，a 13 ，a12,a21和a22分别代表视频监控图像间的旋转和缩放变换，代表监控视频前一帧图像上的像素点，（x,y）代表近邻图像通过仿射变换后的图像像素点。
假设，视频图像I与视频图像J为近邻两帧图像，利用下列公式求解两帧图像运动参数
,
其中，（X,Y）代表视频监控图像I的中心像素点，和分别代表视频监控图像水平、垂直方向平移转换值，依据下列公式可得到视频序列的平移转换矩阵T 和旋转变换向量 ,利用如下公式进行表示
，
其中，代表视频第i帧和第i+1帧图像之间的平移转换向量，代表视频第i帧和第i+1帧图像之间的旋转变换值，N代表监控视频总帧数。
由如下公式计算可得到对应平移转换轨迹矩阵及旋转变换轨迹向量
,
其中获得的及为基础，集合卡尔曼滤波理论对获得的运动轨迹进行滤波处理，对进行卡尔曼滤波处理后的各段视频轨迹进行B样条曲线拟合，利用如下公式公式定义各段B样条曲线
,
其中，代表第j个控制点，代表B样条方程，利用如下公式进行定义
，
假设，和分别代表视频平滑前后特征点轨迹中，第k帧中第i个图像特征点，代表视频监控图像初始特征点与平滑后的特征点之间的矫正系数，利用如下公式进行表示：
，
利用六参数仿射转换模型可计算出 ，得到 ，对监控视频图像进行补偿，即可获得无抖动的视频监控图像。
以上所述，要优于随机取样一致性算法进行视频监控图像去抖动的平滑性和辨识度。结合卡尔曼滤波理论对视频监控图像特征点轨迹进行滤波处理，计算出滤波前后图像特征点之间的矫正系数，直接对监控视频进行补偿，由此消除监控视频抖动，使得本方法在视频监控图像去抖动的图像更加平滑和具有辨识度。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种图像反馈矫正方法，其特征在于，包括：
获取当前帧当前帧图像，提取图像的特征点；
获取邻帧图像，提取邻帧图像的特征点；
筛选图像特征点，剔除错误匹配的图像特征点；
计算图像间的运动参数，对图像间的运动参数进行建模；
计算出滤波前后图像特征点之间的矫正系数，直接对图像进行补偿。
2.根据权利要求1所述的一种图像反馈矫正方法，其特征在于：所述图像特征点的对集向量为：
，
其中，代表匹配的第个视频监控图像特征点对，N代表匹配的图像特征点总对数。
3.根据权利要求1所述的一种图像反馈矫正方法，其特征在于：所述筛选图像特征点，其满足条件为：
，
其中，代表筛选后的视频监控图像特征点对集向量，和分别代表图像特征点对中最大、最小欧氏距离，代表距离阈值，m代表抑制系数。
4.根据权利要求1所述的一种图像反馈矫正方法，其特征在于：所述图像间的运动参数为：
,
其中，（X,Y）代表视频监控图像I的中心像素点，和分别代表视频监控图像水平、垂直方向平移转换值。
5.根据权利要求1所述的一种图像反馈矫正方法，其特征在于：所述矫正系数
,
其中，和分别代表视频平滑前后特征点轨迹中，第k帧中第i个图像特征点。
6.根据权利要求1所述的一种图像反馈矫正方法，其特征在于：所述图像运动参数建模为：
，
其中，H代表仿射变换矩阵，a 13 ，a12,a21和a22分别代表视频监控图像间的旋转和缩放变换，代表监控视频前一帧图像上的像素点，（x,y）代表近邻图像通过仿射变换后的图像像素点。
7.根据权利要求6所述的一种图像反馈矫正方法，其特征在于：两帧图像运动参数为：
,
其中，（X,Y）代表视频监控图像I的中心像素点，和分别代表视频监控图像水平、垂直方向平移转换值。
CN201910399927.XA 2019-05-14 2019-05-14 一种图像反馈矫正方法 Pending CN110120023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399927.XA CN110120023A (zh) 2019-05-14 2019-05-14 一种图像反馈矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399927.XA CN110120023A (zh) 2019-05-14 2019-05-14 一种图像反馈矫正方法

Publications (1)

Publication Number Publication Date
CN110120023A true CN110120023A (zh) 2019-08-13

Family

ID=67522428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399927.XA Pending CN110120023A (zh) 2019-05-14 2019-05-14 一种图像反馈矫正方法

Country Status (1)

Country Link
CN (1) CN110120023A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
CN105976330A (zh) * 2016-04-27 2016-09-28 大连理工大学 一种嵌入式雾天实时视频稳像方法
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
CN108564554A (zh) * 2018-05-09 2018-09-21 上海大学 一种基于运动轨迹优化的视频稳定方法
CN108805908A (zh) * 2018-06-08 2018-11-13 浙江大学 一种基于时序网格流叠加的实时视频稳像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
CN105976330A (zh) * 2016-04-27 2016-09-28 大连理工大学 一种嵌入式雾天实时视频稳像方法
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
CN108564554A (zh) * 2018-05-09 2018-09-21 上海大学 一种基于运动轨迹优化的视频稳定方法
CN108805908A (zh) * 2018-06-08 2018-11-13 浙江大学 一种基于时序网格流叠加的实时视频稳像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN113132560B (zh) * 2019-12-31 2023-03-28 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108376391B (zh) 一种智能化红外图像场景增强方法
Ju et al. Single image dehazing via an improved atmospheric scattering model
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN108876735A (zh) 一种基于深度残差网络的真实图像盲去噪方法
CN112446429B (zh) 一种基于cgan的巡检图像数据小样本扩充方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
CN111598918B (zh) 一种基于参考帧优选和前后景分离的视频稳像运动估计方法
CN109003233B (zh) 一种基于自适应权重全变分模型的图像去噪方法
CN102103751A (zh) 前景图像提取方法及装置
CN110097522A (zh) 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN108242063A (zh) 一种基于gpu加速的光场图像深度估计方法
CN106022337B (zh) 一种基于连续边缘特征的平面目标检测方法
CN109272539A (zh) 基于引导图全变分模型的图像纹理和结构的分解方法
CN116385495A (zh) 一种动态背景下红外视频的运动目标闭环检测方法
CN102118547A (zh) 图像加权滤波的方法
CN110120023A (zh) 一种图像反馈矫正方法
CN108021857A (zh) 基于无人机航拍图像序列深度恢复的建筑物检测方法
CN103578121B (zh) 干扰运动环境下基于共享高斯模型的运动检测方法
CN109949252B (zh) 一种基于补偿系数拟合的红外图像光斑去除方法
CN111784610A (zh) 一种基于聚类的边窗滤波器优化方法
Zhou et al. Single image dehazing based on weighted variational regularized model
CN103258318B (zh) 一种图像降噪处理方法及系统
CN110264434A (zh) 一种基于低秩矩阵补全的单幅图像去雨方法
CN116342443A (zh) 一种近红外与可见光图像融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190813