CN112422773B - 基于块匹配的电子稳像方法及系统 - Google Patents

基于块匹配的电子稳像方法及系统 Download PDF

Info

Publication number
CN112422773B
CN112422773B CN202011120557.0A CN202011120557A CN112422773B CN 112422773 B CN112422773 B CN 112422773B CN 202011120557 A CN202011120557 A CN 202011120557A CN 112422773 B CN112422773 B CN 112422773B
Authority
CN
China
Prior art keywords
block
matched
frame
current frame
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011120557.0A
Other languages
English (en)
Other versions
CN112422773A (zh
Inventor
江雪双
刘杨鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huishi Jiangshan Technology Beijing Co ltd
Original Assignee
Huishi Jiangshan Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huishi Jiangshan Technology Beijing Co ltd filed Critical Huishi Jiangshan Technology Beijing Co ltd
Priority to CN202011120557.0A priority Critical patent/CN112422773B/zh
Publication of CN112422773A publication Critical patent/CN112422773A/zh
Application granted granted Critical
Publication of CN112422773B publication Critical patent/CN112422773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

基于块匹配的电子稳像方法与系统，方法包括：(1)逐帧输入图像序列；(2)判断当前帧是否为图像序列的第一帧，若是，则将此帧标记为上一帧，并读取下一帧；若不是，则以上一帧为参考帧，此帧标记为当前帧；(3)运用块匹配方法进行平移运动估计，取上一帧的图像块作为待匹配块，在当前帧中寻找最为匹配的图像块，找到后计算其平移运动矩阵；(4)旋转运动估计，取上一帧的待匹配块，对其以不同的角度进行旋转，生成若干新的待匹配块，并在当前帧中逐一寻找与其最匹配的图像块，生成旋转矩阵；(5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵，并进行运动补偿；(6)循环进行步骤(2)‑(5)，直到图像序列中所有帧都读取完。

Description

基于块匹配的电子稳像方法及系统
技术领域
本发明涉及视频处理的技术领域，尤其涉及一种基于块匹配的电子稳像方法，以及一种基于块匹配的电子稳像系统，其可以有效地处理视频中单一场景下的平移及旋转变化。
背景技术
电子稳像技术是计算机视觉中的一个热门课题。在日常生活中，常常需要对摄像机拍摄的影像进行一些处理，例如目标检测、目标跟踪等等。然而剧烈的抖动往往会影响视频处理的效果。以无人机为例，在运用无人机进行航拍的作业中，可能会遇到各种外界因素的干扰，例如大风、降雨等。这些因素都会导致无人机拍摄的画面伴随一定的抖动，最终影响拍摄效果。尽管当前许多已上市的无人机已具备一定的减震功能，但由于无人机自身可能存在过小过轻的或减震效果不足等问题，无人机的抗风性还是无法达到要求。因此，对无人机拍摄的画面运用数字图像处理相关的技术进行后期的电子稳像处理是很有必要的。
在电子稳像方法中，块匹配法是最常用的方法之一。原因在于其原理简单，便于实现，同时精确度高，稳像效果好。然而，块匹配法只能处理简单的平移运动，并且其运行速度慢，达不到实时性要求。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于块匹配的电子稳像方法，其能够处理较为复杂的平移运动和旋转运动，并可以满足实时性要求。
本发明的技术方案是：这种基于块匹配的电子稳像方法，其包括以下步骤：
(1)逐帧输入图像序列；
(2)判断当前帧是否为图像序列的第一帧，若是，则将此帧标记为上一帧，并读取下一帧；若不是，则以上一帧为参考帧，此帧标记为当前帧；
(3)运用块匹配方法进行平移运动估计，取上一帧的图像块作为待匹配块，在当前帧中寻找最为匹配的图像块，找到后计算其平移运动矩阵；
(4)旋转运动估计，取上一帧的待匹配块，对其以不同的角度进行旋转，生成若干新的待匹配块，并在当前帧中逐一寻找与其最匹配的图像块，生成旋转矩阵；
(5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵，并进行运动补偿；
(6)循环进行步骤(2)-(5)，直到图像序列中所有帧都读取完。
本发明将旋转估计模块加入到传统的块匹配算法中，即通过生成不同旋转角度的待匹配块，寻找与上一帧最为匹配的旋转角度，结合之前的平移运动估计，求得最终的运动矩阵，并利用CUDA编程技术，使该方法能够处理较为复杂的平移运动和旋转运动，并可以满足实时性要求。
还提供了基于块匹配的电子稳像系统，该系统采用OpenCV的CUDA加速模块，该系统包括：
输入模块，其配置来逐帧输入图像序列；
判断模块，其配置来判断当前帧是否为图像序列的第一帧，若是，则将此帧标记为上一帧，并读取下一帧；若不是，则以上一帧为参考帧，此帧标记为当前帧；
平移运动估计模块，其配置来运用块匹配方法进行平移运动估计，取上一帧的图像块作为待匹配块，在当前帧中寻找最为匹配的图像块，找到后计算其平移运动矩阵；
旋转运动估计模块，其配置来旋转运动估计，取上一帧的待匹配块，对其以不同的角度进行旋转，生成若干新的待匹配块，并在当前帧中逐一寻找与其最匹配的图像块，生成旋转矩阵；
运动补偿模块，其配置来利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵，并进行运动补偿。
附图说明
图1是根据本发明的基于块匹配的电子稳像方法的流程图。
图2是平移运动估计原理图。
图3是旋转运动估计原理图。
具体实施方式
如图1所示，这种基于块匹配的电子稳像方法，其包括以下步骤：
(1)逐帧输入图像序列；
(2)判断当前帧是否为图像序列的第一帧，若是，则将此帧标记为上一帧，并读取下一帧；若不是，则以上一帧为参考帧，此帧标记为当前帧；
(3)运用块匹配方法进行平移运动估计，取上一帧的图像块作为待匹配块，在当前帧中寻找最为匹配的图像块，找到后计算其平移运动矩阵；
(4)旋转运动估计，取上一帧的待匹配块，对其以不同的角度进行旋转，生成若干新的待匹配块，并在当前帧中逐一寻找与其最匹配的图像块，生成旋转矩阵；
(5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵，并进行运动补偿；
(6)循环进行步骤(2)-(5)，直到图像序列中所有帧都读取完。
本发明提取出尺度变化后的图像块，进行FHOG特征提取，计算互相关矩阵以及最大响应值，如果处理所有尺度下的图像块，计算出所有尺度下的最大响应值，进行FHOG特征提取、计算自相关矩阵、更新跟踪模型的参数，使得改进后的方法可以适应尺度发生变化的目标跟踪场景。
优选地，如图2所示，所述步骤(3)中，首先在参考帧中选取一个区域作为待匹配块，设该待匹配块的中心点为A，其像素的坐标为A(x,y)，在当前帧中找到具有相同坐标值的点B(x,y)，以B点为中心点，分别在x轴的正反方向上各扩展dx个像素单位，同时沿y轴的正反方向各扩展dy个像素单位形成一个新的矩形搜索域Z，该搜索域的大小为(2dx+1)×(2dy+1)，假设搜索域Z中的任何一点都可以生成一个以该点为中心，且大小与待匹配块相等的子块，通过搜索路径计算在搜索域Z中与待匹配块匹配性最强的子块，设求得的最匹配块的中心像素坐标为A′(x′,y′)，求出最匹配块与待匹配块的偏差量v。
优选地，如图3所示，所述步骤(4)中，规定逆时针为正方向，顺时针为负方向，设当前帧相对于参考帧偏转的角度为最大不超过45°，以原始待匹配块C为基准，分别将其以±5°,±10°,±15°,…±45°的偏转角度生成18个新的匹配块，分别记为C1,C2,C3,…Ci,…C18，其中C默认为偏转0°，将这些新模板分别作为待匹配块与当前帧搜索域中的候选子块利用匹配性准则进行计算，找出最为匹配的待匹配块Ci，记录下它的偏转角度，其为当前帧旋转估计偏转角。
优选地，所述步骤(5)中的运动补偿，设当前帧中的最匹配块需要由待匹配块进行一次运动矢量为(Δx,Δy)的平移后，并以(x,y)为轴心逆时针旋转角度θ而得到的，则得到仿射变换公式为公式(1)：
新坐标(x′,y′)为运动补偿后得到的新坐标，从而完成运动补偿。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于块匹配的电子稳像系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。该系统采用OpenCV的CUDA加速模块，CUDA(Compute Unified Device Architecture)是由显卡厂商Nvidia设计和开发的一款通用的并行运算平台和编程模型。该系统包括：
输入模块，其配置来逐帧输入图像序列；
判断模块，其配置来判断当前帧是否为图像序列的第一帧，若是，则将此帧标记为上一帧，并读取下一帧；若不是，则以上一帧为参考帧，此帧标记为当前帧；
平移运动估计模块，其配置来运用块匹配方法进行平移运动估计，取上一帧的图像块作为待匹配块，在当前帧中寻找最为匹配的图像块，找到后计算其平移运动矩阵；
旋转运动估计模块，其配置来旋转运动估计，取上一帧的待匹配块，对其以不同的角度进行旋转，生成若干新的待匹配块，并在当前帧中逐一寻找与其最匹配的图像块，生成旋转矩阵；
运动补偿模块，其配置来利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵，并进行运动补偿。
优选地，循环执行平移运动估计模块、旋转运动估计模块、运动补偿模块，直到图像序列中所有帧都读取完。
优选地，所述平移运动估计模块中，首先在参考帧中选取一个区域作为待匹配块，设该待匹配块的中心点为A，其像素的坐标为A(x,y)，在当前帧中找到具有相同坐标值的点B(x,y)，以B点为中心点，分别在x轴的正反方向上各扩展dx个像素单位，同时沿y轴的正反方向各扩展dy个像素单位形成一个新的矩形搜索域Z，该搜索域的大小为(2dx+1)×(2dy+1)，假设搜索域Z中的任何一点都可以生成一个以该点为中心，且大小与待匹配块相等的子块，通过搜索路径计算在搜索域Z中与待匹配块匹配性最强的子块，设求得的最匹配块的中心像素坐标为A′(x′,y′)，求出最匹配块与待匹配块的偏差量v。
优选地，所述旋转运动估计模块中，规定逆时针为正方向，顺时针为负方向，设当前帧相对于参考帧偏转的角度为最大不超过45°，以原始待匹配块C为基准，分别将其以±5°,±10°,±15°,…±45°的偏转角度生成18个新的匹配块，分别记为C1,C2,C3,…Ci,…C18，其中C默认为偏转0°，将这些新模板分别作为待匹配块与当前帧搜索域中的候选子块利用匹配性准则进行计算，找出最为匹配的待匹配块Ci，记录下它的偏转角度，其为当前帧旋转估计偏转角。
优选地，所述运动补偿模块中，设当前帧中的最匹配块需要由待匹配块进行一次运动矢量为(Δx,Δy)的平移后，并以(x,y)为轴心逆时针旋转角度θ而得到的，则得到仿射变换公式为公式(1)：
新坐标(x′,y′)为运动补偿后得到的新坐标，从而完成运动补偿。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (5)

1.基于块匹配的电子稳像方法，其特征在于：其采用OpenCV的CUDA加速方法，其包括以下步骤：
(1)逐帧输入图像序列；
(2)判断当前帧是否为图像序列的第一帧，若是，则将此帧标记为上一帧，并读取下一帧；若不是，则以上一帧为参考帧，此帧标记为当前帧；
(3)运用块匹配方法进行平移运动估计，取上一帧的图像块作为待匹配块，在当前帧中寻找最为匹配的图像块，找到后计算其平移运动矩阵；
(4)旋转运动估计，取上一帧的待匹配块，对其以不同的角度进行旋转，生成若干新的待匹配块，并在当前帧中逐一寻找与其最匹配的图像块，生成旋转矩阵；
(5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵，并进行运动补偿；
(6)循环进行步骤(2)-(5)，直到图像序列中所有帧都读取完；所述步骤(3)中，首先在参考帧中选取一个区域作为待匹配块，设该待匹配块的中心点为A，其像素的坐标为A(x,y)，在当前帧中找到具有相同坐标值的点B(x,y)，以B点为中心点，分别在x轴的正反方向上各扩展dx个像素单位，同时沿y轴的正反方向各扩展dy
个像素单位形成一个新的矩形搜索域Z，该搜索域的大小为(2dx+1)×(2dy+1)，假设搜索域Z中的任何一点都可以生成一个以该点为中心，且大小与待匹配块相等的子块，通过搜索路径计算在搜索域Z中与待匹配块匹配性最强的子块，设求得的最匹配块的中心像素坐标为A′(x′,y′)，求出最匹配块与待匹配块的偏差量v；
所述步骤(4)中，规定逆时针为正方向，顺时针为负方向，设当前帧相对于参考帧偏转的角度为最大不超过45°，以原始待匹配块C为基准，分别将其以±5°,±10°,±15°,…±45°的偏转角度生成18个新的匹配块，分别记为C1,C2,C3,…Ci,...C18，其中C默认为偏转0°，将这些新模板分别作为待匹配块与当前帧搜索域中的候选子块利用匹配性准则进行计算，找出最为匹配的待匹配块Ci，记录下它的偏转角度，其为当前帧旋转估计偏转角。
2.根据权利要求1所述的基于块匹配的电子稳像方法，其特征在于：所述步骤(5)中的运动补偿，设当前帧中的最匹配块需要由待匹配块进行一次运动矢量为(△x,△y)的平移后，并以(x,y)为轴心逆时针旋转角度θ而得到的，则得到仿射变换公式为公式(1)：
新坐标(x′,y′)为运动补偿后得到的新坐标，从而完成运动补偿。
3.基于块匹配的电子稳像系统，其特征在于：该系统采用OpenCV的CUDA加速模块，该系统包括：
输入模块，其配置来逐帧输入图像序列；
判断模块，其配置来判断当前帧是否为图像序列的第一帧，若是，则将此帧标记为上一帧，并读取下一帧；若不是，则以上一帧为参考帧，此帧标记为当前帧；
平移运动估计模块，其配置来运用块匹配方法进行平移运动估计，取上一帧的图像块作为待匹配块，在当前帧中寻找最为匹配的图像块，找到后计算其平移运动矩阵；
旋转运动估计模块，其配置来旋转运动估计，取上一帧的待匹配块，对其以不同的角度进行旋转，生成若干新的待匹配块，并在当前帧中逐一寻找与其最匹配的图像块，生成旋转矩阵；
运动补偿模块，其配置来利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵，并进行运动补偿；
所述平移运动估计模块中，首先在参考帧中选取一个区域作为待匹配块，设该待匹配块的中心点为A，其像素的坐标为A(x,y)，在当前帧中找到具有相同坐标值的点B(x,y)，以B点为中心点，分别在x轴的正反方向上各扩展dx个像素单位，同时沿y轴的正反方向各扩展dy个像素单位形成一个新的矩形搜索域Z，该搜索域的大小为(2dx+1)×(2dy+1)，假设搜索域Z中的任何一点都可以生成一个以该点为中心，且大小与待匹配块相等的子块，通过搜索路径计算在搜索域Z中与待匹配块匹配性最强的子块，设求得的最匹配块的中心像素坐标为A′(x′,y′)，求出最匹配块与待匹配块的偏差量v；
所述旋转运动估计模块中，规定逆时针为正方向，顺时针为负方向，设当前帧相对于参考帧偏转的角度为最大不超过45°，以原始待匹配块C为基准，分别将其以±5°,±10°,±15°,...±45°的偏转角度生成18个新的匹配块，分别记为C1,C2,C3,...Ci,...C18，其中C默认为偏转0°，将这些新模板分别作为待匹配块与当前帧搜索域中的候选子块利用匹配性准则进行计算，找出最为匹配的待匹配块Ci，记录下它的偏转角度，其为当前帧旋转估计偏转角。
4.根据权利要求3所述的基于块匹配的电子稳像系统，其特征在于：循环执行平移运动估计模块、旋转运动估计模块、运动补偿模块，直到图像序列中所有帧都读取完。
5.根据权利要求4所述的基于块匹配的电子稳像系统，其特征在于：所述运动补偿模块中，设当前帧中的最匹配块需要由待匹配块进行一次运动矢量为(△x,△y)的平移后，并以(x,y)为轴心逆时针旋转角度θ而得到的，则得到仿射变换公式为公式(1)：
新坐标(x′,y′)为运动补偿后得到的新坐标，从而完成运动补偿。
CN202011120557.0A 2020-10-19 2020-10-19 基于块匹配的电子稳像方法及系统 Active CN112422773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011120557.0A CN112422773B (zh) 2020-10-19 2020-10-19 基于块匹配的电子稳像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011120557.0A CN112422773B (zh) 2020-10-19 2020-10-19 基于块匹配的电子稳像方法及系统

Publications (2)

Publication Number Publication Date
CN112422773A CN112422773A (zh) 2021-02-26
CN112422773B true CN112422773B (zh) 2023-07-28

Family

ID=74840999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011120557.0A Active CN112422773B (zh) 2020-10-19 2020-10-19 基于块匹配的电子稳像方法及系统

Country Status (1)

Country Link
CN (1) CN112422773B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
CN102665032A (zh) * 2012-04-17 2012-09-12 西北工业大学 一种机载视频稳像方法
CN103402045A (zh) * 2013-08-20 2013-11-20 长沙超创电子科技有限公司 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电（苏州）有限公司 基于红外热像仪的电子稳像方法
CN108111760A (zh) * 2017-12-26 2018-06-01 北京理工大学 一种电子稳像方法及系统
CN110110125A (zh) * 2019-04-28 2019-08-09 重庆学析优科技有限公司 一种快速精确的图片搜索匹配方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703283B1 (ko) * 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
CN102665032A (zh) * 2012-04-17 2012-09-12 西北工业大学 一种机载视频稳像方法
CN103402045A (zh) * 2013-08-20 2013-11-20 长沙超创电子科技有限公司 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电（苏州）有限公司 基于红外热像仪的电子稳像方法
CN108111760A (zh) * 2017-12-26 2018-06-01 北京理工大学 一种电子稳像方法及系统
CN110110125A (zh) * 2019-04-28 2019-08-09 重庆学析优科技有限公司 一种快速精确的图片搜索匹配方法及系统

Also Published As

Publication number Publication date
CN112422773A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US11210516B2 (en) AR scenario processing method and device, and computer storage medium
US9177384B2 (en) Sequential rolling bundle adjustment
US9635251B2 (en) Visual tracking using panoramas on mobile devices
CN109313799B (zh) 图像处理方法及设备
Botterill et al. Real-time aerial image mosaicing
US11343591B2 (en) Method and system of presenting moving images or videos corresponding to still images
JP6420605B2 (ja) 画像処理装置
CN105100546A (zh) 运动估计方法及装置
CN103617631B (zh) 一种基于中心检测的跟踪方法
EP3864622A1 (en) Object tracking based on a user-specified initialization point
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
CN112422773B (zh) 基于块匹配的电子稳像方法及系统
CN113255449A (zh) 一种双目视频图像的实时匹配方法
CN114616586A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
TW201915939A (zh) 影片編輯方法、裝置及系統
CN114095780A (zh) 一种全景视频剪辑方法、装置、存储介质及设备
CN113747044A (zh) 一种全景拍摄方法及设备
CN112184544A (zh) 图像拼接的方法和装置
CN111260544B (zh) 数据处理方法及装置、电子设备和计算机存储介质
CN113784026A (zh) 基于图像的计算位置信息的方法、装置、设备及存储介质
CN110910418A (zh) 基于旋转不变性图像特征描述子的目标跟踪算法
Lehiani et al. Object identification and tracking for steady registration in mobile augmented reality
JP7262689B1 (ja) 情報処理装置、生成方法、及び生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant