CN110536064A - 一种固定场景的像素级精度视频图像去抖动方法 - Google Patents

一种固定场景的像素级精度视频图像去抖动方法 Download PDF

Info

Publication number
CN110536064A
CN110536064A CN201910663573.5A CN201910663573A CN110536064A CN 110536064 A CN110536064 A CN 110536064A CN 201910663573 A CN201910663573 A CN 201910663573A CN 110536064 A CN110536064 A CN 110536064A
Authority
CN
China
Prior art keywords
frame
block
characteristic block
video
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910663573.5A
Other languages
English (en)
Other versions
CN110536064B (zh
Inventor
颜成钢
吕彬彬
王瑞海
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910663573.5A priority Critical patent/CN110536064B/zh
Publication of CN110536064A publication Critical patent/CN110536064A/zh
Application granted granted Critical
Publication of CN110536064B publication Critical patent/CN110536064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种固定场景的像素级精度视频图像去抖动方法。本发明提出基于图像特征块匹配方式,通过对前后帧图像之间进行区域分割、特征匹配、抖动位移信号提取、偏移信号矩阵生成,后期去抖动等一系列计算处理来实现改善视频中画质抖动的目的。本发明基于灰度值特征匹配的方式来获得视频各帧之间的相对运动参数,选取多个阵列式排布的特征区域,分别计算各个特征区域之间的相对运动参数,由于采取几乎覆盖整个视频场景的特征块选取方式,因此相对于普通的单独特征块选取方式而言,充分利用了整个视频场景的型廓信息,综合考虑整个阵列的特征区域变化情况,并以此为参考来进行图想去抖动处理,所以对于刚性抖动场景的去抖动效果更加优异。

Description

一种固定场景的像素级精度视频图像去抖动方法
技术领域
本发明涉及视频抖动的后期处理,具体的说涉及因镜头位移等因素造成拍摄视频存在明显画质抖动时,提供一种固定场景的像素级精度视频图像去抖动方法。
背景技术
视频是一种记录信息的有效方式,因其可以获得场景二维型廓信息与一维时间信息,并且还可以记录声音信号,因此,视频是一种非常高效、直接的信息采集方式。由于视频采集过程中,大风吹动,支架抖动,镜头不稳等造成的视频图像剧烈抖动现象,严重的影响视频的画质与观察体验。
视频消抖,也被称为稳像,是计算机视觉领域重要的研究方向之一,其实质是利用几何变换关系补偿图像序列间的非规则运动,以实现视频的稳定。而视频拍摄场景又大致可以分成固定场景与运动场景。固定场景的视频,即拍摄视频的场景没有大幅移动、监控固定区域,对于固定场景视频抖动的特点,研究稳像的原理和系统结构主要可以从固定场景稳像各环节的关键技术,包括图像变换模型、全局运动估计、运动补偿和稳像质量评价方法等方面出发。对于运动场景去抖动研究,现在也有很多技术可以用来解决拍摄动态场景时画质抖动造成的影响,例如,基于运动矢量的视频去抖动算法采用快速M鲁棒估计法获得摄像机全局运动参数集,以此来作为视频抖动量化方式,滤波该参数集滤除随机抖动带来的运动噪声;基于编码理论的视频去抖动算法则是通过设计高效的视频编码算法和去抖动算法,实现对移动拍摄设备所产生的视频数据的有效处理;基于平稳光流估计的视频去抖动算法,通过引入平滑性约束计算基于层次块的光流,能够快速计算海上视频的近似光流场,然后利用基于平稳光流的能量函数优化,实现海上视频的高效去抖动。去抖动方式与算法还有很多,但是总体而言均需要得到视频每一帧之间的相对运动信息,并以此为参考来实现对视频图像的去抖动处理。
发明内容
本发明的目的是针对现有技术的不足,提供一种固定场景的像素级精度视频图像去抖动方法。本发明所要解决的技术问题是:为了改善因拍摄时镜头震动或位移等因素造成的图像震颤,抑制视频中的刚性抖动对画质的影响,提出基于图像特征块匹配方式,通过对前后帧图像之间进行区域分割、特征匹配、抖动位移信号提取、偏移信号矩阵生成,后期去抖动等一系列计算处理来实现改善视频中画质抖动的目的。
本发明基于特征区间的灰度互相关值衡量图像特征块互相关程度,以此判定视频抖动程度,并将视频每一帧在两个方向的抖动程度进行量化,并单独保存,并且以此为凭据,再进行后期的视频去抖动处理。
步骤(1)将原始视频保存为一个三维矩阵F;
将视频信息存储为连续帧模式,即将一段待处理视频信息存储为单通道灰度图像模式,此时这段视频能够存储在一个三维空间矩阵之中;其中两维是视频分辨率,分别用于记录视频中每一帧图像的像素长和宽,第三维是时间纬度,用来记录整段视频帧的数量,即视频的时间长度;将视频中每一帧的像素长、宽与视频总帧数分别记为M、N、Iter;矩阵F的尺寸为M×N×Iter;
步骤(2)选取标准参考帧作为去抖动校准基础帧,然后余下每一帧均以此基础帧为参考,获得对应的抖动位移量;
步骤(3)选定参考帧模式之后,对余下每一帧图像进行分割;将场景分割成若干特征块,特征块的个数和大小根据需要自行设定,也可使用默认大小,特征块默认长宽相同,特征块大小设置为(l,w),特征块数量为(a,b);
步骤(4)对参考帧进行图像分割;将参考帧分割成a×b个特征块进行编号,各个特征块之间严格相连接,紧密排布、无重叠、也无空隙,精度为像素级;
步骤(5)对视频所有帧进行逐帧对比处理;
选取当前帧进行图像分割,分割成a×b个特征块并进行编号,当前帧特征块分割方式与参考帧特征块的分布方式严格一致;并且对当前帧与参考帧编号相同的特征块进行一一对应处理,求取当前帧中每个特征块相对于参考帧中对应特征块的抖动位移量;
步骤(6)逐帧处理,得到第h帧每个特征块对应的平移量,并保存在矩阵M1、M2第h层中,最终得到完整的矩阵M1、M2;
步骤(7)选择矩阵M1第h层中a×b个特征块位移横坐标中的众数n1h作为该帧相对于参考帧的抖动位移量横坐标,并且将该众数n1h保存在一维向量N1的第h位;选择矩阵M2第h层中a×b个特征块位移纵坐标中的众数n2h作为该帧相对于参考帧的抖动位移量纵坐标,并且将该众数n2h保存在一维向量N2的第h位;
步骤(8)对视频做去抖动处理;将向量N1、N2第h位数据作为原始视频第h帧图像相对于参考图像抖动位移量的横坐标与纵坐标,对原始视频第h帧进行整体像素平移处理,并用平移处理后的图像替换原视频对应帧图像,所有帧图像全部替换完毕,并将处理后的视频进行保存。
步骤(5)中的抖动位移量计算如下:
对当前帧当前特征块及其周围临近的(2T+1)×(2T+1)个特征块均进行特征块匹配运算,计算出(2T+1)×(2T+1)个特征块对应的灰度互相关值分别是多少;然后将其中灰度互相关值中最大值对应的特征块相对于初始特征块之间的平移量(t1,t2)记录下来,作为当前特征块的抖动位移量;将当前帧a×b个特征块对应的a×b个特征块平移量保存在两个a×b×Iter大小的矩阵M1、M2第h层中,其中M1矩阵第h层中记录每个特征块的平移量横坐标,M2矩阵第h层中记录每个特征块的平移量纵坐标。
步骤(2)所述的选取标准参考模式如下:
模式一:选取某一特定帧作为参考帧,默认选择第一帧,以参考帧为基础,计算得出当前待处理帧相对于参考帧的抖动位移量;
模式二:选取当前待处理帧的前一帧作为参考帧,第一帧的参考帧选择其本身,以此类推,得出当前帧相对于前一帧的抖动位移量。
步骤(3)具体实现如下:
从当前帧第(T+1,T+1)像素坐标位置开始,特征块大小设置为(l,w),其中l与w均为奇数;特征块数量为(a,b),其中a为M/l向0方向取商,b为N/w向0方向取商,并且默认l=w;同时要求分割完成后,M/l取余为非0数,N/w取余为非0数;
步骤(4)具体实现如下:
将参考帧分割成a×b个特征块,编号分别为(1,1)、(1,2)、…、(a,b),分割之后,满足a×l<M,b×w<N;即所有特征块无法完全覆盖参考帧,边缘处会剩余一部分无法覆盖,并且剩余部分大小无法分割出任意一个特征块相同尺寸的像素区域。
步骤(5)具体实现如下:
选取当前帧进行图像分割,分割成a×b个特征块,编号分别为(1,1)、(1,2)、…、(a,b),当前帧特征块分割方式与参考帧特征块的分布方式严格一致;并且对当前帧与参考帧对应特征块(1,1)、(1,2)、…、(a,b)进行一一对应处理,求取当前帧中每个特征块相对于参考帧中编码相同的对应特征块的抖动位移量(t1ij,t2ij),具体方法如下:
5-1.确定当前帧与参考帧中编号相同的特征块之间灰度互相关值;计算公式如下:
其中:mi表示参考帧中某一特征块的每一个像素点的灰度值;ni表示当前帧中与参考帧编号相同的对应特征块每一个像素点的灰度值;表示参考帧当前特征块所有像素点平均灰度值大小;表示当前帧中与参考帧编号相同的对应特征块的所有像素点平均灰度值大小;然后对该数值做归一化处理,得到一个介于0与1之间的数值;这样,当前帧与参考帧对应的两个特征块之间图形越相近,互相关值NGC就会越接近于1,如果两个特征块完全相同,则这两个特征块之间的灰度互相关值为1;
5-2.对当前帧当前特征块及其周围临近的(2T+1)×(2T+1)个特征块均进行特征块匹配运算,计算出(2T+1)×(2T+1)个特征块对应的灰度互相关值NGC(t1,t2)分别是多少,然后将第(i,j)个特征块中灰度互相关值的最大值NGCmax(i,j)对应的特征块相对于初始特征块之间的平移量(t1ij,t2ij)记录下来,作为第(i,j)个特征块的抖动位移量,其中,-T≤t1≤T,-T≤t2≤T,1≤i≤a,1≤j≤b;将当前帧中a×b个最大灰度互相关值NGCmax(i,j)对应的特征块相应平移量(t1ij,t2ij)分别保存在两个a×b×Iter大小的矩阵M1、M2第h层中,其中M1矩阵第h层中记录每个特征块的平移量横坐标,M2矩阵第h层中记录每个特征块的平移量纵坐标,其中1≤h≤Iter。
步骤(6)具体实现如下:
通过计算第h帧与参考帧之间对应特征块的灰度互相关值,得到第h帧a×b个特征块对应的平移量(t1ij,t2ij),并保存在矩阵M1、M2第h层中,逐帧处理,最终得到完整的矩阵M1、M2,此时矩阵M1、M2记录了整个视频第h帧第(1,1)、(1,2)、…、(a,b)个特征块相对于参考帧第(1,1)、(1,2)、…、(a,b)个特征块的平移量横坐标和纵坐标。
步骤(7)具体实现如下:
选择矩阵M1第h层中a×b个特征块位移横坐标中的众数n1h作为第h帧相对于参考帧的抖动位移量横坐标,并且将该众数n1h保存在一维向量N1的第h位;选择矩阵M2第h层中a×b个特征块位移纵坐标中的众数n2h作为该帧相对于参考帧的抖动位移量纵坐标,并且将该众数n2h保存在一维向量N2的第h位;其中N1、N2向量大小均为Iter×1。
本发明的有益效果:
本发明基于灰度值特征匹配的方式来获得视频各帧之间的相对运动参数,选取多个阵列式排布的特征区域,分别计算各个特征区域之间的相对运动参数,由于采取几乎覆盖整个视频场景的特征块选取方式,因此相对于普通的单独特征块选取方式而言,充分利用了整个视频场景的型廓信息,综合考虑整个阵列的特征区域变化情况,并以此为参考来进行图想去抖动处理,所以对于刚性抖动场景的去抖动效果更加优异。本发明所述方法只需要对原始视频进行算法处理,不涉及相机硬件改装领域,本算法选取阵列式特征块作为参考块,并且对每个参考快均进行匹配运算,并且综合考虑参考块阵列中所有参考块的互相关情况来计算整帧图像的抖动位移量,使得该算法的结果更加理想,计算误差更低,精度更高。
附图说明
图1视频去抖动算法流程图;
具体实施方式
以下结合附图及实施例,对本发明进行进一步的详细说明。
本发明提出的一种视频去抖动算法,通过算法来计算每一帧图像的抖动程度,并以此为参考来抑制原始视频中的画面抖动。本发明所述方法包括以下步骤:
步骤(1)将原始视频转换为一个三维矩阵F。使用MATLAB函数的视频读取功能,将该视频读取成连续帧的形式,并且将RGB三通道转换成灰度值单通道形式,此时视频中每一帧的像素长、宽与总帧数均可确定,并且将其记为M、N、Iter,因此矩阵F的尺寸为M×N×Iter。
步骤(2)选取某一帧作为参考帧。一般默认选择第一帧作为参考帧,也可以选择其它特定帧作为参考帧。参考帧的选取有两种模式,分别为
模式一:选取某一特定帧作为参考帧,默认选择第一帧,以参考帧为基础,计算得出当前待处理帧相对于参考帧的抖动位移量;
模式二:选取当前待处理帧的前一帧作为参考帧,第一帧的参考帧选择其本身,以此类推,得出当前帧相对于前一帧的抖动位移量。
两种参考帧选取模式原理上区别不大,模式一适用于视频场景明暗亮度变化不明显的情况,而模式二适用于视频场景亮度有变化,且变化较平缓的情况。因为当场景亮度有连续变化时,相邻两帧之间由于时间间隔较短,因此亮度变化几乎可以忽略不计,此时如果以固定帧为参考帧,后期亮度存在变化的每一帧与亮度恒定不变的参考帧进行对比会产生细微的影响,因此两种模式可以根据实际情况进行选择。
步骤(3)选定参考帧模式之后,对每一帧图像进行分割。从当前帧第(T+1,T+1)像素坐标位置开始,特征块大小设置为(l,w),其中l与w均为奇数。特征块数量为(a,b),其中a为M/l向0方向取商,b为N/w向0方向取商,并且默认l=w;同时要求分割完成后,M/l取余为非0数,N/w取余为非0数。
步骤(4)对参考帧进行图像分割。将参考帧分割成a×b个特征块,编号分别为(1,1)、(1,2)、……、(a,b)。分割之后,要求a×l<M,b×w<N。即所有特征块无法完全覆盖参考帧,边缘处会剩余一部分无法覆盖,并且剩余部分大小无法分割出任意一个特征块相同尺寸的像素区域。
步骤(5)对视频所有帧进行逐帧对比处理。选取当前帧,进行图像分割,分割成a×b个特征块,编号分别为(1,1)、(1,2)、……、(a,b),当前帧特征块分割方式与参考帧特征块的分布方式严格一致。并且对当前帧与参考帧对应特征块(1,1)、(1,2)、……、(a,b)进行一一对应处理,求取当前帧中每个特征块相对于参考帧中编码相同的对应特征块的抖动位移量(t1ij,t2ij)。具体方法如下:
1.确定当前帧与参考帧中编号相同的特征块之间灰度互相关值。
计算公式如下:
其中:mi表示参考帧中某一特征块的每一个像素点的灰度值;ni表示当前帧中与参考帧编号相同的对应特征块每一个像素点的灰度值;表示参考帧当前特征块所有像素点平均灰度值大小;表示当前帧中与参考帧编号相同的对应特征块的所有像素点平均灰度值大小;然后对该数值做归一化处理,得到一个介于0与1之间的数值。这样,当前帧与参考帧对应的两个特征块之间图形越相近,互相关值NGC就会越接近于1,如果两个特征块完全相同,则这两个特征块之间的灰度互相关值为1。
2.对当前帧当前特征块及其周围临近的(2T+1)×(2T+1)个特征块均进行特征块匹配运算,计算出(2T+1)×(2T+1)个特征块对应的灰度互相关值NGC(t1,t2)分别是多少,然后将第(i,j)个特征块中灰度互相关值的最大值NGCmax(i,j)对应的特征块相对于初始特征块之间的平移量(t1ij,t2ij)记录下来,作为第(i,j)个特征块的抖动位移量,其中,-T≤t1≤T,-T≤t2≤T,1≤i≤a,1≤j≤b。将当前帧中a×b个最大灰度互相关值NGCmax(i,j)对应的特征块相应平移量(t1ij,t2ij)分别保存在两个a×b×Iter大小的矩阵M1、M2第h层中,其中M1矩阵第h层中记录每个特征块的平移量横坐标,M2矩阵第h层中记录每个特征块的平移量纵坐标,其中1≤h≤Iter。
步骤(6)逐帧处理。通过计算第h帧与参考帧之间对应特征块的灰度互相关值,得到第h帧a×b个特征块对应的平移量(t1ij,t2ij),并保存在矩阵M1、M2第h层中,逐帧处理,最终得到完整的矩阵M1、M2,此时矩阵M1、M2记录了整个视频第h帧第(1,1)、(1,2)、……、(a,b)个特征块相对于参考帧第(1,1)、(1,2)、……、(a,b)个特征块的平移量横坐标和纵坐标。
步骤(7)选择矩阵M1第h层中a×b个特征块位移横坐标中的众数n1h作为第h帧相对于参考帧的抖动位移量横坐标,并且将该众数n1h保存在一维向量N1的第h位;选择矩阵M2第h层中a×b个特征块位移纵坐标中的众数n2h作为该帧相对于参考帧的抖动位移量纵坐标,并且将该众数n2h保存在一维向量N2的第h位。其中N1、N2向量大小均为Iter×1。
步骤(8)对视频做去抖动处理。这里将使用RGB三通道的原始彩色视频做去抖动处理,将视频每一帧周围均增加一圈宽度为T的空白位置,灰度值为0。增加之后,初始视频将位于新的画面中央位置。将向量N1、N2第h位数据作为原始视频第h帧图像相对于参考图像抖动位移量的横坐标与纵坐标,对原始视频第h帧进行整体像素平移处理,此时,第h帧相对于原始视频第h帧而言,需要进行向量(N1(h),N2(h))的平移处理。由于平移量(t1,t2)取值范围是-T≤t1≤T,-T≤t2≤T,因此,由于视频每一帧周围均增加一圈宽度为T的空白位置,平移后的新的帧不会超出新的视频画面范围。用平移处理后的图像替换增加宽度为T的原视频对应帧图像,依次替换每一帧图像,直至Iter帧图像全部替换完毕,并将处理后的视频进行保存。然后,对图像进行处理,将得到的新的视频中每一帧中(2T+1:end-2T,2T+1,end-2T)范围内图像保存为单独一帧图像,组成新的视频中第h帧画面,将新截取图像保存得到的视频作为最终视频处理结果,此时,对初始图像增加的宽度为T的黑色边框部分将会被截取掉,新的视频将保存原始视频绝大部分帧信号。此时,视频图像部分中画面的抖动将会得到改善,抖动将会得到抑制。

Claims (8)

1.一种固定场景的像素级精度视频图像去抖动方法,其特征在于基于特征区间的灰度互相关值衡量图像特征块互相关程度,以此判定视频抖动程度,并将视频每一帧在两个方向的抖动程度进行量化,并单独保存后以此为凭据,再进行后期的视频去抖动处理,具体实现步骤如下:
步骤(1)将原始视频保存为一个三维矩阵F;
将视频信息存储为连续帧模式,即将一段待处理视频信息存储为单通道灰度图像模式,此时这段视频能够存储在一个三维空间矩阵之中;其中两维是视频分辨率,分别用于记录视频中每一帧图像的像素长和宽,第三维是时间纬度,用来记录整段视频帧的数量,即视频的时间长度;将视频中每一帧的像素长、宽与视频总帧数分别记为M、N、Iter;矩阵F的尺寸为M×N×Iter;
步骤(2)选取标准参考帧作为去抖动校准基础帧,然后余下每一帧均以此基础帧为参考,获得对应的抖动位移量;
步骤(3)选定参考帧模式之后,对余下每一帧图像进行分割;将场景分割成若干特征块,特征块的个数和大小根据需要自行设定,也可使用默认大小,特征块默认长宽相同,特征块大小设置为(l,w),特征块数量为(a,b);
步骤(4)对参考帧进行图像分割;将参考帧分割成a×b个特征块进行编号,各个特征块之间严格相连接,紧密排布、无重叠、也无空隙,精度为像素级;
步骤(5)对视频所有帧进行逐帧对比处理;
选取当前帧进行图像分割,分割成a×b个特征块并进行编号,当前帧特征块分割方式与参考帧特征块的分布方式严格一致;并且对当前帧与参考帧编号相同的特征块进行一一对应处理,求取当前帧中每个特征块相对于参考帧中对应特征块的抖动位移量;
步骤(6)逐帧处理,得到第h帧每个特征块对应的平移量,并保存在矩阵M1、M2第h层中,最终得到完整的矩阵M1、M2;
步骤(7)选择矩阵M1第h层中a×b个特征块位移横坐标中的众数n1h作为该帧相对于参考帧的抖动位移量横坐标,并且将该众数n1h保存在一维向量N1的第h位;选择矩阵M2第h层中a×b个特征块位移纵坐标中的众数n2h作为该帧相对于参考帧的抖动位移量纵坐标,并且将该众数n2h保存在一维向量N2的第h位;
步骤(8)对视频做去抖动处理;将向量N1、N2第h位数据作为原始视频第h帧图像相对于参考图像抖动位移量的横坐标与纵坐标,对原始视频第h帧进行整体像素平移处理,并用平移处理后的图像替换原视频对应帧图像,所有帧图像全部替换完毕,并将处理后的视频进行保存。
2.根据权利要求1所述的一种固定场景的像素级精度视频图像去抖动方法,其特征在于步骤(5)中的抖动位移量计算如下:
对当前帧当前特征块及其周围临近的(2T+1)×(2T+1)个特征块均进行特征块匹配运算,计算出(2T+1)×(2T+1)个特征块对应的灰度互相关值分别是多少;然后将其中灰度互相关值中最大值对应的特征块相对于初始特征块之间的平移量(t1,t2)记录下来,作为当前特征块的抖动位移量;将当前帧a×b个特征块对应的a×b个特征块平移量保存在两个a×b×Iter大小的矩阵M1、M2第h层中,其中M1矩阵第h层中记录每个特征块的平移量横坐标,M2矩阵第h层中记录每个特征块的平移量纵坐标。
3.根据权利要求1或2所述的一种固定场景的像素级精度视频图像去抖动方法,其特征在于步骤(2)所述的选取标准参考模式如下:
模式一:选取某一特定帧作为参考帧,默认选择第一帧,以参考帧为基础,计算得出当前待处理帧相对于参考帧的抖动位移量;
模式二:选取当前待处理帧的前一帧作为参考帧,第一帧的参考帧选择其本身,以此类推,得出当前帧相对于前一帧的抖动位移量。
4.根据权利要求3所述的一种固定场景的像素级精度视频图像去抖动方法,其特征在于步骤(3)具体实现如下:
从当前帧第(T+1,T+1)像素坐标位置开始,特征块大小设置为(l,w),其中l与w均为奇数;特征块数量为(a,b),其中a为M/l向0方向取商,b为N/w向0方向取商,并且默认l=w;同时要求分割完成后,M/l取余为非0数,N/w取余为非0数。
5.根据权利要求4所述的一种固定场景的像素级精度视频图像去抖动方法,其特征在于步骤(4)具体实现如下:
将参考帧分割成a×b个特征块,编号分别为(1,1)、(1,2)、…、(a,b),分割之后,满足a×l<M,b×w<N;即所有特征块无法完全覆盖参考帧,边缘处会剩余一部分无法覆盖,并且剩余部分大小无法分割出任意一个特征块相同尺寸的像素区域。
6.根据权利要求5所述的一种固定场景的像素级精度视频图像去抖动方法,其特征在于步骤(5)具体实现如下:
选取当前帧进行图像分割,分割成a×b个特征块,编号分别为(1,1)、(1,2)、…、(a,b),当前帧特征块分割方式与参考帧特征块的分布方式严格一致;并且对当前帧与参考帧对应特征块(1,1)、(1,2)、…、(a,b)进行一一对应处理,求取当前帧中每个特征块相对于参考帧中编码相同的对应特征块的抖动位移量(t1ij,t2ij),具体方法如下:
5-1.确定当前帧与参考帧中编号相同的特征块之间灰度互相关值;计算公式如下:
其中:mi表示参考帧中某一特征块的每一个像素点的灰度值;ni表示当前帧中与参考帧编号相同的对应特征块每一个像素点的灰度值;表示参考帧当前特征块所有像素点平均灰度值大小;表示当前帧中与参考帧编号相同的对应特征块的所有像素点平均灰度值大小;然后对该数值做归一化处理,得到一个介于0与1之间的数值;这样,当前帧与参考帧对应的两个特征块之间图形越相近,互相关值NGC就会越接近于1,如果两个特征块完全相同,则这两个特征块之间的灰度互相关值为1;
5-2.对当前帧当前特征块及其周围临近的(2T+1)×(2T+1)个特征块均进行特征块匹配运算,计算出(2T+1)×(2T+1)个特征块对应的灰度互相关值NGC(t1,t2)分别是多少,然后将第(i,j)个特征块中灰度互相关值的最大值NGCmax(i,j)对应的特征块相对于初始特征块之间的平移量(t1ij,t2ij)记录下来,作为第(i,j)个特征块的抖动位移量,其中,-T≤t1≤T,-T≤t2≤T,1≤i≤a,1≤j≤b;将当前帧中a×b个最大灰度互相关值NGCmax(i,j)对应的特征块相应平移量(t1ij,t2ij)分别保存在两个a×b×Iter大小的矩阵M1、M2第h层中,其中M1矩阵第h层中记录每个特征块的平移量横坐标,M2矩阵第h层中记录每个特征块的平移量纵坐标,其中1≤h≤Iter。
7.根据权利要求6所述的一种固定场景的像素级精度视频图像去抖动方法,其特征在于步骤(6)具体实现如下:
通过计算第h帧与参考帧之间对应特征块的灰度互相关值,得到第h帧a×b个特征块对应的平移量(t1ij,t2ij),并保存在矩阵M1、M2第h层中,逐帧处理,最终得到完整的矩阵M1、M2,此时矩阵M1、M2记录了整个视频第h帧第(1,1)、(1,2)、…、(a,b)个特征块相对于参考帧第(1,1)、(1,2)、…、(a,b)个特征块的平移量横坐标和纵坐标。
8.根据权利要求7所述的一种固定场景的像素级精度视频图像去抖动方法,其特征在于步骤(7)具体实现如下:
选择矩阵M1第h层中a×b个特征块位移横坐标中的众数n1h作为第h帧相对于参考帧的抖动位移量横坐标,并且将该众数n1h保存在一维向量N1的第h位;选择矩阵M2第h层中a×b个特征块位移纵坐标中的众数n2h作为该帧相对于参考帧的抖动位移量纵坐标,并且将该众数n2h保存在一维向量N2的第h位;其中N1、N2向量大小均为Iter×1。
CN201910663573.5A 2019-07-22 2019-07-22 一种固定场景的像素级精度视频图像去抖动方法 Active CN110536064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910663573.5A CN110536064B (zh) 2019-07-22 2019-07-22 一种固定场景的像素级精度视频图像去抖动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910663573.5A CN110536064B (zh) 2019-07-22 2019-07-22 一种固定场景的像素级精度视频图像去抖动方法

Publications (2)

Publication Number Publication Date
CN110536064A true CN110536064A (zh) 2019-12-03
CN110536064B CN110536064B (zh) 2021-04-06

Family

ID=68661756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910663573.5A Active CN110536064B (zh) 2019-07-22 2019-07-22 一种固定场景的像素级精度视频图像去抖动方法

Country Status (1)

Country Link
CN (1) CN110536064B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666498A (zh) * 2022-02-28 2022-06-24 超级视线科技有限公司 一种视频图像采集抖动处理方法及系统
CN115547261A (zh) * 2022-09-20 2022-12-30 福州大学 一种彩色电润湿电子纸视频画质动态补偿方法
CN115900832A (zh) * 2022-12-26 2023-04-04 国网河北省电力有限公司电力科学研究院 一种输电线路杆塔多维度在线监测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080013934A1 (en) * 2006-07-13 2008-01-17 Pentax Corporation Anti-shake apparatus
CN101924874A (zh) * 2010-08-20 2010-12-22 北京航空航天大学 一种匹配块分级的实时电子稳像方法
CN103024247A (zh) * 2011-09-28 2013-04-03 中国航天科工集团第二研究院二〇七所 一种基于改进块匹配的电子稳像方法
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN108805832A (zh) * 2018-05-29 2018-11-13 重庆大学 适于隧道环境特性的改进灰度投影稳像方法
US20190058821A1 (en) * 2017-08-16 2019-02-21 Qualcomm Incorporated Image capture device with stabilized exposure or white balance
US20190104255A1 (en) * 2017-10-03 2019-04-04 Google Llc Video Stabilization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080013934A1 (en) * 2006-07-13 2008-01-17 Pentax Corporation Anti-shake apparatus
CN101924874A (zh) * 2010-08-20 2010-12-22 北京航空航天大学 一种匹配块分级的实时电子稳像方法
CN103024247A (zh) * 2011-09-28 2013-04-03 中国航天科工集团第二研究院二〇七所 一种基于改进块匹配的电子稳像方法
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
US20190058821A1 (en) * 2017-08-16 2019-02-21 Qualcomm Incorporated Image capture device with stabilized exposure or white balance
US20190104255A1 (en) * 2017-10-03 2019-04-04 Google Llc Video Stabilization
CN108805832A (zh) * 2018-05-29 2018-11-13 重庆大学 适于隧道环境特性的改进灰度投影稳像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋李亚: "基于块匹配的数字视频稳像系统", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666498A (zh) * 2022-02-28 2022-06-24 超级视线科技有限公司 一种视频图像采集抖动处理方法及系统
CN115547261A (zh) * 2022-09-20 2022-12-30 福州大学 一种彩色电润湿电子纸视频画质动态补偿方法
CN115547261B (zh) * 2022-09-20 2024-09-20 福州大学 一种彩色电润湿电子纸视频画质动态补偿方法
CN115900832A (zh) * 2022-12-26 2023-04-04 国网河北省电力有限公司电力科学研究院 一种输电线路杆塔多维度在线监测系统及方法

Also Published As

Publication number Publication date
CN110536064B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
RU2764395C1 (ru) Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN110536064A (zh) 一种固定场景的像素级精度视频图像去抖动方法
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
US20050157949A1 (en) Generation of still image
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
JP2003163939A (ja) 適応モザイク減少法を実装するディジタル画像処理方法
CN103493473A (zh) 图像处理装置、图像处理方法、图像处理程序和记录介质
TW201446009A (zh) 利用全彩影像之雜訊減低彩色影像
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN112270691B (zh) 一种基于动态滤波器网络的单目视频结构和运动预测方法
CN101512600A (zh) 应用于运动分析的稀疏积分图像描述符
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
CN114339030B (zh) 一种基于自适应可分离卷积的网络直播视频稳像方法
CN111383200A (zh) 基于生成式对抗神经网络的cfa图像去马赛克方法
CN109767404A (zh) 一种椒盐噪声下红外图像去模糊方法
CN111951373A (zh) 一种人脸图像的处理方法和设备
CN115209119A (zh) 一种基于深度神经网络的视频自动着色方法
CN109727196B (zh) 图像内插处理方法
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
WO2011074121A1 (ja) 動きベクトル検出装置及び方法
CN114429191A (zh) 基于深度学习的电子防抖方法、系统及存储介质
US7907147B2 (en) Texture filtering apparatus, texture mapping apparatus, and method and program therefor
CN116863101A (zh) 基于自适应网格细分的重建模型几何与纹理优化方法
KR101105675B1 (ko) 영상 데이터 인페인팅 방법 및 장치
JP2000152250A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant