CN111462166A - 一种基于直方图均衡化光流法的视频稳像方法和系统 - Google Patents

一种基于直方图均衡化光流法的视频稳像方法和系统 Download PDF

Info

Publication number
CN111462166A
CN111462166A CN202010240940.3A CN202010240940A CN111462166A CN 111462166 A CN111462166 A CN 111462166A CN 202010240940 A CN202010240940 A CN 202010240940A CN 111462166 A CN111462166 A CN 111462166A
Authority
CN
China
Prior art keywords
image
frame
optical flow
histogram equalization
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010240940.3A
Other languages
English (en)
Inventor
鹿璇
陶仁浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zmvision Technology Co ltd
Original Assignee
Wuhan Zmvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zmvision Technology Co ltd filed Critical Wuhan Zmvision Technology Co ltd
Priority to CN202010240940.3A priority Critical patent/CN111462166A/zh
Publication of CN111462166A publication Critical patent/CN111462166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

一种基于直方图均衡化光流法的图像稳像方法，包括：读取第一帧图像作为基准帧，将所述基准帧进行灰度化和直方图均衡化处理，将所述处理后的图像进行均匀采点，作为基准点集；读取初始帧后的每一帧图像，将所述初始帧后的每一帧图像进行灰度化和直方图均衡化处理；在始帧后的每一帧图像上进行均匀采点，将这些点作为动态点集；根据基准点集和动态点集，使用LK光流法来进行运动估计，得到仿射变换矩阵；利用仿射变换矩阵，进行相对应帧图像变换，得到图像稳像后图像。本发明在图像预处理阶段通过直方图均衡化进行了图像的亮度调整，提高了光流运动估计的准确度，且仿射变换矩阵能够更好地适应视频画面的变化，稳像后的画面过渡较为稳定、平滑。

Description

一种基于直方图均衡化光流法的视频稳像方法和系统
技术领域
本发明涉及图像处理应用中的视频稳像领域，尤其涉及一种基于直方图均衡化光流法的视频稳像方法和系统。
背景技术
视频稳像是图像处理中一个重要研究方向，不论是遥感航拍实拍还是日常的摄像画面，由于拍照条件的不确定因素，相机拍摄到的视频画面经常会出现抖动、旋转等不稳定的情况，对视频的后续处理与信息提取带来障碍，视频稳像的目标就是消除视频中画面的抖动，持续输出稳定的视频图像。
稳像的关键在于准确估计出视频画面中背景的运动，目前在视频稳像领域常见的方法是以视频的第一帧作为基准对后续的图像帧做运动估计和运动补偿，在传统特征点匹配算法优势渐微的情况下，光流法成为在视频稳像和目标跟踪等领域常见的运动估计算法。传统的特征点匹配算法如SIFT、SURF和ORB运行流程通常分为特征点检测、描述子计算、特征点匹配、优秀匹配筛选这几个步骤，这些方法在图像特征点明显的情况下可以达到较好的匹配效果，但当特征点过多或过少时都无法正常工作，且计算描述子和匹配的过程十分耗时，而光流法不需要计算描述子，不需要匹配特征点，节省了很多计算量，并可以灵活选择关键点的提取方法和采点数量，加上尺度金字塔的光流法还可以应对相机尺度变化的影响。
光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流法在准确度和耗时方面都优于传统的特征点匹配算法，但是必须满足亮度恒定和小运动这两大假设，而在实际应用中这两个假设经常难以得到满足，尤其是画面亮度即光照强度的变化更是十分常见的一种不稳定因素，在光照强度不稳定的场景下光流法的运动估计准确度会大打折扣。
在当前常见的基于光流法的视频稳像算法的图像预处理阶段，只对两帧图像进行了灰度化，然后取点进行光流场追踪以得到运动矢量，在亮度恒定的情况下光流法的效果十分出色，但当视频中出现亮度突然改变的情况，就会对光流法的准确度造成极大的障碍，产生大量的误匹配，对稳像的后续过程产生不良影响。
发明内容
鉴于上述光流法对画面亮度改变的视频进行稳像准确度不高问题，提出了本以便提供一种克服上述问题或者至少部分地解决上述问题的基于直方图均衡化减轻光流亮度敏感性的方法和系统。
本发明提出的技术方案如下：
一种基于直方图均衡化光流法的图像稳像方法，其特征在于，包括：
S100.读取第一帧图像作为基准帧，将所述基准帧进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理，将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，将这些点作为基准点集；
S200.读取初始帧后的每一帧图像，将所述初始帧后的每一帧图像进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理；在始帧后的每一帧图像上以第一帧相同像素的步长进行均匀采点，将这些点作为动态点集；
S300.根据基准点集和动态点集，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计，用匹配的点集进行最小二乘估计，得到初始帧后的每一帧图像到基准帧图像的各个仿射变换矩阵；
S400.利用得到初始帧后的每一帧图像到基准帧图像的相对应仿射变换矩阵，进行相对应帧图像变换，得到图像稳像后图像。
进一步地，所述S100和S200中，图像灰度处理公式为：
Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)
其中i,j表示像素点的坐标，R(i,j)、B(i,j)、G(i,j)分别表示像素点在三个通道上的像素值，Gray(i,j)则表示加权平均后计算出该点的灰度值。
进一步地，所述S100和S200中，将灰度化处理后图像进行直方图均衡化处理的具体方法为：将灰度处理后的图像灰度进行统计，得到该图像的灰度分布直方图，将所述灰度直方图进行归一化处理，得到归一化后的直方图，利用归一化后的直方图对图像进行均衡化处理。
进一步地，归一化直方图可以表示为:
p(rk)＝nk/MN,k＝0,1…,L-1
p(rk)表示灰度级rk在图像中出现的概率，nk是图像中灰度值为rk的像素个数，MN表示图像的像素总数，归一化直方图所有分量之和等于1。
进一步地，所述S300中，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计后，对误匹配和跟踪丢失的点进行统计，若误匹配和跟踪丢失的点个数多于设定点数的阈值，对初始帧后的当前帧图像亮度调整。
进一步地，所述S300中，对图像亮度调整步骤为：
分别计算均衡化后的基准帧和初始帧后的当前帧的平均亮度值；
根据两张图像平均亮度值的比值对当前帧图像进行调整使其亮度更加接近基准帧；
对亮度调整后的图像再次进行光流法运动估计。
进一步地，所述S100将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，所述预设步长为横纵各16像素的步长。
进一步地，稳像后图像的具体公式为：
Figure BDA0002432546900000031
其中，(x,y)为仿射前图像坐标，(x’,y’)为仿射后稳像图像坐标，
Figure BDA0002432546900000032
为仿射矩阵。
本发明还公开了一种基于直方图均衡化光流法的图像稳像系统，包括：初始化模块，运动、运动估计模块、图像变换模块；其中：
初始化模块，用于读取第一帧图像作为基准帧，将所述基准帧进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理，将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，将这些点作为基准点集；
运动估计模块，用于读取初始帧后的每一帧图像，将所述初始帧后的每一帧图像进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理；在始帧后的每一帧图像上以第一帧相同像素的步长进行均匀采点，将这些点作为动态点集；根据基准点集和动态点集，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计，用匹配的点集进行最小二乘估计，得到初始帧后的每一帧图像到基准帧图像的各个仿射变换矩阵；
图像变换模块，用于根据得到初始帧后的每一帧图像到基准帧图像的相对应仿射变换矩阵，进行相对应帧图像变换，得到图像稳像后图像
进一步地，所述运动估计模块，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计后，对误匹配和跟踪丢失的点进行统计，若误匹配和跟踪丢失的点个数多于设定点数的阈值，对初始帧后的当前帧图像亮度调整。
本发明与现有技术相比至少具有以下有益效果：
本发明提供的基于光流法的视频稳像方法，在图像预处理阶段进行了图像的亮度调整，使其更加符合光流法亮度恒定的假设，减轻了算法对光照强度变化的敏感性，提高了光流运动估计的准确度，且仿射变换矩阵能够更好地适应视频画面中景深的变化，稳像后的画面过渡较为稳定、平滑。解决了现有技术中，当视频中出现亮度突然改变的情况，就会对光流法的准确度造成极大的障碍，产生大量的误匹配，对稳像的后续过程产生不良影响得问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例1中，一种基于直方图均衡化光流法的图像稳像方法流程图；
图2是本发明实施例1中，图像灰度图和直方图均衡化后前后对比图；
图3是本发明实施例2中，一种基于直方图均衡化光流法的图像稳像系统结构图。
具体实施方式
实施例1
本实施例公开了一种基于直方图均衡化光流法的图像稳像方，其特征在于，包括：
S100.读取第一帧图像作为基准帧，将所述基准帧进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理，将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，将这些点作为基准点集。
具体的，首先读取视频或图像序列的第一帧图像作为基准帧，将其灰度化后进行直方图均衡化处理，然后在图像上以横纵各16像素的步长进行均匀采点，将这些点存储为基准点集用来供后续图像做光流估计使用。
图像灰度化处理是图像预处理的常见方法，为之后进一步的图像处理操作做了准备。通常相机采集到的图像都是彩色的，采用RGB颜色模式，处理图像的时候要分别对RGB三种分量进行处理，实际上RGB并不能反映图像的形态特征，只是从光学的原理上进行颜色的调配。
灰度图像上每个像素的颜色值又称为灰度，指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0，灰度值是指色彩的浓淡程度，也可以反映像素的亮度。
在本实施例中采用加权平均法来进行图像的灰度化，根据重要性及其它指标，将RGB三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低。
在一些优选实施例中，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：
Gray(i,j)＝0.3*R(i,j)+0.59*G(i,j)+0.11*B(i,j)
其中i,j表示像素点的坐标，R(i,j)、B(i,j)、G(i,j)分别表示像素点在三个通道上的像素值，Gray(i,j)则表示加权平均后计算出该点的灰度值。
灰度直方图是指一张图像中对应每一个灰度值统计出具有该灰度值的像素数，在本实施例中，对于8位深度表示的灰度图像，其像素灰度值范围为[0,28-1]的数字图像，即有256个灰度级，其直方图可以表示为一个离散函数h(rk)＝nk，其中rk是第k级灰度值，nk是图像中灰度值为rk的像素个数，也就是说，图像的灰度直方图表征的是该图像的灰度分布。在实际应用中，通常对直方图进行归一化再进行后续处理，假设灰度图像的维数是M×N，MN表示图像的像素总数,则归一化直方图可以表示为:
p(rk)＝nk/MN,k＝0,1…,255
p(rk)表示灰度级rk在图像中出现的概率，归一化直方图所有分量之和等于1。
通常，暗图像直方图的分量集中在灰度较低的一端，而亮图像直方图分量偏向于灰度较高的一端，如果一幅图像的灰度直方图几乎覆盖了整个灰度的取值范围，并且除了个别灰度值的个数较为突出，整个灰度值分布近似于均匀分布，那么这幅图像就具有较大的灰度动态范围和较高的对比度，同时图像的细节更为丰富。已经证明，仅仅依靠输入图像的直方图信息，就可以得到一个变换函数，利用该变换函数可以将输入图像达到上述效果，该过程就是直方图均衡化。
直方图均衡化可以调整图像的对比度，使图像内容更加清晰，可以大大减轻光流法对光强度变化的敏感性，提高光流估计的准确度。如图2，具体同一个场景的灰度图和直方图均衡化后的图对比如图2所示。
S200.读取初始帧后的每一帧图像，将所述初始帧后的每一帧图像进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理；在始帧后的每一帧图像上以第一帧相同像素的步长进行均匀采点，将这些点作为动态点集。在本实施例中，初始帧后的每一帧采用的度化处理和直方图均衡化处理过程和S100方法相同，在此不再进行赘述，得到的动态点集和基准点集用于光流法运动估算。
S300.根据基准点集和动态点集，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计，用匹配的点集进行最小二乘估计，得到初始帧后的每一帧图像到基准帧图像的各个仿射变换矩阵。
光流，简单说也就是画面移动过程中，图像上每个像素的x，y位移量，比如第t帧的时候A点的位置是(x1,y1)，那么在第t+1帧的时候再找到A点，假如它的位置是(x2,y2)，那么我们就可以确定A点的运动了：(u,v)＝(x2,y2)-(x1,y1)，现有技术中，LK光流法使用有三个假设条件：1.亮度恒定：一个像素点随着时间的变化，其亮度值(像素灰度值)是恒定不变的。这是光流法的基本设定。所有光流法都必须满足。2.小运动：时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。所有光流法必须满足。3.空间一致：即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度，需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。
在本实施例中，用于求解仿射变换的点集是通过光流法得到的，采用了一种类似稠密光流的采点方法：首先在基准帧中以16*16的密度均匀采点，然后利用LK光流法跟踪得到这些点在当前帧的坐标，LK光流法的思想是：假设前一帧时间为t，后一帧时间为t+δt。则前一帧I的像素点I(x,y,z,t)在后一帧中的位置为I(x+δx,y+δy,z+δz,t+δt)，根据光流的亮度恒定假设有I(x,y,z,t)＝I(x+δx,y+δy,z+δz,t+δt)，通过展开求解即可得到一个坐标的光流矢量。
在一些优选实施例中，在光流估计匹配结束之后，若误匹配和跟踪丢失的点多于设定的阈值，则说明光照的变化较为严重，还需要进行亮度调整，步骤如下：
分别计算均衡化后的基准帧和初始帧后的当前帧的平均亮度值；
根据两张图像平均亮度值的比值对当前帧图像进行调整使其亮度更加接近基准帧；
对亮度调整后的图像再次进行光流法运动估计。
S400.利用得到初始帧后的每一帧图像到基准帧图像的相对应仿射变换矩阵，进行相对应帧图像变换，得到图像稳像后图像。
仿射变换是一种二维坐标到二维坐标之间的线性变换，它保持了二维图形的“平直性”，相较于投影变换，仿射变换能够应对视频画面景深的变化，使视频稳像的结果更加稳定，客观性更强。
在本实施例中，图像基于基准帧的运动估计采用仿射矩阵进行坐标变换，仿射公式为：
Figure BDA0002432546900000071
其中，(x,y)为仿射前图像坐标，(x’,y’)为仿射后稳像图像坐标，
Figure BDA0002432546900000072
为仿射矩阵。
其中，仿射矩阵是通过初始帧后的每一帧到初始帧得到的，可以理解的，对于初始帧后的每一帧图像，当动态点集基于初始帧点集发生改变，仿射矩阵随之发生改变，求得的彷射矩阵不同，通过彷射矩阵，对初始帧后的图像基于初始帧的彷射变换不同，达到稳像更精准目的。
本实施例提供的基于光流法的视频稳像方法，在图像预处理阶段进行了图像的亮度调整，使其更加符合光流法亮度恒定的假设，减轻了算法对光照强度变化的敏感性，提高了光流运动估计的准确度，且仿射变换矩阵能够更好地适应视频画面中景深的变化，稳像后的画面过渡较为稳定、平滑。解决了现有技术中，当视频中出现亮度突然改变的情况，就会对光流法的准确度造成极大的障碍，产生大量的误匹配，对稳像的后续过程产生不良影响得问题。
实施例2
本实施例公开了一种基于直方图均衡化光流法的视频稳像系统，初始化模块1，运动、运动估计模块2、图像变换模块3；其中：
初始化模块1，用于读取第一帧图像作为基准帧，将所述基准帧进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理，将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，将这些点作为基准点集。
具体的，在本实施例中，对于图像灰度化处理和直方图均衡化的方法，与实施例1中方法相同，本实施例不再进行赘述。
运动估计模块2，用于读取初始帧后的每一帧图像，将所述初始帧后的每一帧图像进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理；在始帧后的每一帧图像上以第一帧相同像素的步长进行均匀采点，将这些点作为动态点集；根据基准点集和动态点集，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计，用匹配的点集进行最小二乘估计，得到初始帧后的每一帧图像到基准帧图像的各个仿射变换矩阵；
具体的，在本实施例中，运动估计模块2用于求解仿射变换的点集是通过光流法得到的，采用了一种类似稠密光流的采点方法：首先在基准帧中以16*16的密度均匀采点，然后利用LK光流法跟踪得到这些点在当前帧的坐标，LK光流法的思想是：假设前一帧时间为t，后一帧时间为t+δt。则前一帧I的像素点I(x,y,z,t)在后一帧中的位置为I(x+δx,y+δy,z+δz,t+δt)，根据光流的亮度恒定假设有I(x,y,z,t)＝I(x+δx,y+δy,z+δz,t+δt)，通过展开求解即可得到一个坐标的光流矢量。
在一些优选实施例中，在光流估计匹配结束之后，若误匹配和跟踪丢失的点多于设定的阈值，则说明光照的变化较为严重，还需要进行亮度调整，步骤如下：
分别计算均衡化后的基准帧和初始帧后的当前帧的平均亮度值；
根据两张图像平均亮度值的比值对当前帧图像进行调整使其亮度更加接近基准帧；
对亮度调整后的图像再次进行光流法运动估计。
图像变换模块3，用于根据得到初始帧后的每一帧图像到基准帧图像的相对应仿射变换矩阵，进行相对应帧图像变换，得到图像稳像后图像。
在本实施例中，图像变换模块3采用仿射矩阵进行坐标变换，仿射公式为：
Figure BDA0002432546900000091
其中，(x,y)为仿射前图像坐标，(x’,y’)为仿射后稳像图像坐标，
Figure BDA0002432546900000092
为仿射矩阵。
其中，仿射矩阵是通过初始帧后的每一帧到初始帧得到的，可以理解的，对于初始帧后的每一帧图像，当动态点集基于初始帧点集发生改变，仿射矩阵随之发生改变，求得的彷射矩阵不同，通过彷射矩阵，对初始帧后的图像基于初始帧的彷射变换不同，达到稳像更精准目的。
本实施例提供的基于光流法的视频稳像系统，在图像预处理阶段进行了图像的亮度调整，使其更加符合光流法亮度恒定的假设，减轻了算法对光照强度变化的敏感性，提高了光流运动估计的准确度，且仿射变换矩阵能够更好地适应视频画面中景深的变化，稳像后的画面过渡较为稳定、平滑。解决了现有技术中，当视频中出现亮度突然改变的情况，就会对光流法的准确度造成极大的障碍，产生大量的误匹配，对稳像的后续过程产生不良影响得问题。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示非排它性的“或者”。

Claims (10)

1.一种基于直方图均衡化光流法的图像稳像方法，其特征在于，包括：
S100.读取第一帧图像作为基准帧，将所述基准帧进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理，将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，将这些点作为基准点集；
S200.读取初始帧后的每一帧图像，将所述初始帧后的每一帧图像进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理；在始帧后的每一帧图像上以第一帧相同像素的步长进行均匀采点，将这些点作为动态点集；
S300.根据基准点集和动态点集，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计，用匹配的点集进行最小二乘估计，得到初始帧后的每一帧图像到基准帧图像的各个仿射变换矩阵；
S400.利用得到初始帧后的每一帧图像到基准帧图像的相对应仿射变换矩阵，进行相对应帧图像变换，得到图像稳像后图像。
2.如权利要求1所述的一种基于直方图均衡化光流法的图像稳像方法，其特征在于，所述S100和S200中，图像灰度处理公式为：
Gray(i,j)＝0.3*R(i,j)+0.59*G(i,j)+0.11*B(i,j)
其中i,j表示像素点的坐标，R(i,j)、B(i,j)、G(i,j)分别表示像素点在三个通道上的像素值，Gray(i,j)则表示加权平均后计算出该点的灰度值。
3.如权利要求1所述的一种基于直方图均衡化光流法的图像稳像方法，其特征在于，所述S100和S200中，将灰度化处理后图像进行直方图均衡化处理的具体方法为：将灰度处理后的图像灰度进行统计，得到该图像的灰度分布直方图，将所述灰度直方图进行归一化处理，得到归一化后的直方图，利用归一化后的直方图对图像进行均衡化处理。
4.如权利要求3所述的一种基于直方图均衡化光流法的图像稳像方法，其特征在于，归一化直方图可以表示为:
p(rk)＝nk/MN,k＝0,1…,255
p(rk)表示灰度级rk在图像中出现的概率，nk是图像中灰度值为rk的像素个数，MN表示图像的像素总数，归一化直方图所有分量之和等于1。
5.如权利要求1所述的一种基于直方图均衡化光流法的图像稳像方法，其特征在于，所述S300中，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计后，对误匹配和跟踪丢失的点进行统计，若误匹配和跟踪丢失的点个数多于设定点数的阈值，对初始帧后的当前帧图像亮度调整。
6.如权利要求5所述的一种基于直方图均衡化光流法的图像稳像方法，其特征在于，对图像亮度调整步骤为：
分别计算均衡化后的基准帧和初始帧后的当前帧的平均亮度值；
根据两张图像平均亮度值的比值对当前帧图像进行调整使其亮度更加接近基准帧；
对亮度调整后的图像再次进行光流法运动估计。
7.如权利要求1所述的一种基于直方图均衡化光流法的图像稳像方法，其特征在于，所述S100将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，所述预设步长为横纵各16像素的步长。
8.如权利要求1所述的一种基于直方图均衡化光流法的图像稳像方法，其稳像后图像的具体公式为：
Figure FDA0002432546890000021
其中，(x,y)为仿射前图像坐标，(x’,y’)为仿射后稳像图像坐标，
Figure FDA0002432546890000022
为仿射矩阵。
9.一种基于直方图均衡化光流法的图像稳像系统，包括：初始化模块，运动、运动估计模块、图像变换模块；其中：
初始化模块，用于读取第一帧图像作为基准帧，将所述基准帧进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理，将直方图均衡化处理后的图像上以预设像素的步长进行均匀采点，将这些点作为基准点集；
运动估计模块，用于读取初始帧后的每一帧图像，将所述初始帧后的每一帧图像进行灰度化处理，将灰度化处理后图像进行直方图均衡化处理；在始帧后的每一帧图像上以第一帧相同像素的步长进行均匀采点，将这些点作为动态点集；根据基准点集和动态点集，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计，用匹配的点集进行最小二乘估计，得到初始帧后的每一帧图像到基准帧图像的各个仿射变换矩阵；
图像变换模块，用于根据得到初始帧后的每一帧图像到基准帧图像的相对应仿射变换矩阵，进行相对应帧图像变换，得到图像稳像后图像。
10.如权利要求9所述的一种基于直方图均衡化光流法的图像稳像系统，其特征在于，所述运动估计模块，使用LK光流法来进行初始帧后的每一帧图像到基准帧图像的运动估计后，对误匹配和跟踪丢失的点进行统计，若误匹配和跟踪丢失的点个数多于设定点数的阈值，对初始帧后的当前帧图像亮度调整。
CN202010240940.3A 2020-03-31 2020-03-31 一种基于直方图均衡化光流法的视频稳像方法和系统 Pending CN111462166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010240940.3A CN111462166A (zh) 2020-03-31 2020-03-31 一种基于直方图均衡化光流法的视频稳像方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010240940.3A CN111462166A (zh) 2020-03-31 2020-03-31 一种基于直方图均衡化光流法的视频稳像方法和系统

Publications (1)

Publication Number Publication Date
CN111462166A true CN111462166A (zh) 2020-07-28

Family

ID=71681709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010240940.3A Pending CN111462166A (zh) 2020-03-31 2020-03-31 一种基于直方图均衡化光流法的视频稳像方法和系统

Country Status (1)

Country Link
CN (1) CN111462166A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436119A (zh) * 2021-08-25 2021-09-24 上海海栎创科技股份有限公司 基于光流对齐的双目手机预览实时计算视差图方法
CN114120197A (zh) * 2021-11-27 2022-03-01 中国传媒大学 2si模式传输的超高清视频异态信号检测方法
CN115174861A (zh) * 2022-07-07 2022-10-11 广州后为科技有限公司 一种云台摄像机自动跟踪移动目标方法及装置
CN116797497A (zh) * 2023-08-24 2023-09-22 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质
CN117575966A (zh) * 2023-11-28 2024-02-20 同济大学 一种用于无人机高空悬停拍摄场景的视频稳像方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383899A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 一种空基平台悬停视频稳像方法
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN105488816A (zh) * 2015-11-27 2016-04-13 中南大学 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法
CN105982696A (zh) * 2015-02-06 2016-10-05 无锡触典科技有限公司 实时宽景超声成像装置及方法
CN106548763A (zh) * 2015-09-22 2017-03-29 中兴通讯股份有限公司 一种图像显示方法和装置、以及终端
CN108717691A (zh) * 2018-06-06 2018-10-30 成都西纬科技有限公司 一种图像融合方法、装置、电子设备及介质
CN110856048A (zh) * 2019-11-21 2020-02-28 北京达佳互联信息技术有限公司 视频修复方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383899A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 一种空基平台悬停视频稳像方法
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN105982696A (zh) * 2015-02-06 2016-10-05 无锡触典科技有限公司 实时宽景超声成像装置及方法
CN106548763A (zh) * 2015-09-22 2017-03-29 中兴通讯股份有限公司 一种图像显示方法和装置、以及终端
CN105488816A (zh) * 2015-11-27 2016-04-13 中南大学 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法
CN108717691A (zh) * 2018-06-06 2018-10-30 成都西纬科技有限公司 一种图像融合方法、装置、电子设备及介质
CN110856048A (zh) * 2019-11-21 2020-02-28 北京达佳互联信息技术有限公司 视频修复方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
姜冬琴;李明东;: "基于直方图均衡化的彩色图像增强", vol. 09, no. 04, pages 833 - 835 *
熊炜等: "结合光流法和卡尔曼滤波的视频稳像算法", vol. 12, no. 03 *
瞿晖: "视频稳像优化算法研究", pages 13 *
蒋晓瑜;姚军;宋小杉;汪熙;: "基于局部光流约束的角点匹配算法", vol. 36, no. 02, pages 229 - 234 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436119A (zh) * 2021-08-25 2021-09-24 上海海栎创科技股份有限公司 基于光流对齐的双目手机预览实时计算视差图方法
CN114120197A (zh) * 2021-11-27 2022-03-01 中国传媒大学 2si模式传输的超高清视频异态信号检测方法
CN114120197B (zh) * 2021-11-27 2024-03-29 中国传媒大学 2si模式传输的超高清视频异态信号检测方法
CN115174861A (zh) * 2022-07-07 2022-10-11 广州后为科技有限公司 一种云台摄像机自动跟踪移动目标方法及装置
CN115174861B (zh) * 2022-07-07 2023-09-22 广州后为科技有限公司 一种云台摄像机自动跟踪移动目标方法及装置
CN116797497A (zh) * 2023-08-24 2023-09-22 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质
CN116797497B (zh) * 2023-08-24 2023-11-14 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质
CN117575966A (zh) * 2023-11-28 2024-02-20 同济大学 一种用于无人机高空悬停拍摄场景的视频稳像方法

Similar Documents

Publication Publication Date Title
CN111462166A (zh) 一种基于直方图均衡化光流法的视频稳像方法和系统
US10565742B1 (en) Image processing method and apparatus
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN110248112B (zh) 一种图像传感器的曝光控制方法
CN110660090B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
US20100195902A1 (en) System and method for calibration of image colors
CN111968065B (zh) 一种亮度不均匀图像的自适应增强方法
CN110298796B (zh) 基于改进Retinex与对数图像处理的低照度图像增强方法
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN114240789A (zh) 一种基于优化的保持亮度的红外图像直方图均衡增强方法
KR20200089410A (ko) 최적의 감마보정 기반 저조도 영상 보정방법
CN115496668A (zh) 图像处理方法、装置、电子设备及存储介质
CN113691724A (zh) Hdr场景检测方法与装置、终端及可读存储介质
CN107945106B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111160215B (zh) 图像标识的亮度调节装置及方法
CN113643214A (zh) 一种基于人工智能的图像曝光校正方法及系统
CN116681606A (zh) 一种水下不均匀光照图像增强方法、系统、设备及介质
US11640654B2 (en) Image processing method and apparatus
CN112819710B (zh) 基于人工智能的无人机果冻效应自适应补偿方法及系统
Fathy et al. Benchmarking of pre-processing methods employed in facial image analysis
CN116489330A (zh) 一种自适应白平衡方法、装置、电子设备及存储介质
US6693669B1 (en) Method for reducing image blurring
CN112070771B (zh) 基于hs通道的自适应阈值分割方法、装置和存储介质
CN114554106B (zh) 自动曝光方法、装置、图像获取方法、介质及设备
CN112419217B (zh) 图像处理方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination