CN110446107B - 一种适用于缩放运动和明暗变化的视频帧率上变换方法 - Google Patents
一种适用于缩放运动和明暗变化的视频帧率上变换方法 Download PDFInfo
- Publication number
- CN110446107B CN110446107B CN201910752518.3A CN201910752518A CN110446107B CN 110446107 B CN110446107 B CN 110446107B CN 201910752518 A CN201910752518 A CN 201910752518A CN 110446107 B CN110446107 B CN 110446107B
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- image
- feature
- scaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 37
- 238000013519 translation Methods 0.000 claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000003780 insertion Methods 0.000 claims description 10
- 230000037431 insertion Effects 0.000 claims description 10
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 10
- 229910003460 diamond Inorganic materials 0.000 abstract description 2
- 239000010432 diamond Substances 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种适用于缩放运动和明暗变化的视频帧率上变换方法，其根据该类视频帧信号的内容特征分三个阶段完成缩放系数、平移系数、明暗变化参数的估计，最后进行基于缩放和明暗变化的运动补偿实现帧率上采样。本发明对缩放系数、平移系数、明暗变化等参数的估计较传统的基于块匹配运动矢量估计补偿法有显著的预测精度提升，处理速度较基于全搜索、三步搜索、菱形搜素的块匹配运动估计补偿法有大幅度提高。
Description
技术领域
本发明属于信号处理领域，具体涉及一种适用于缩放运动和明暗变化的视频帧率上变换方法。
背景技术
数字视频以其独具的实时性、形象性和直观性被视为提供新闻、体育、娱乐、教育和信息的主要方式之一。高清晰度电视、科学实验以及特技制作等等要求视频的帧率不断提高达到高速和超高速。
帧率上变换算法作为视频后处理模块中的重要技术，在实际应用中有着不可替代的作用。该技术通过在原始视频序列中插入预测帧来提高视频信号的时间分辨率。在传输网络带宽有限的情况下该技术可以实现低比特率的高清视频显示；在高清晰度电视领域，尤其是液晶电视，播放视频时常出现鬼影和运动模糊等现象，当画面中存在快速运动的物体时，这种现象更严重。而简单的提高显示视频的帧率可显著减少这些现象，提高画面质量。在视频非线性处理尤其是特技处理领域，帧率上变换可以实现甚至超高速摄像机(>1000帧/秒)的拍摄效果，实现视频的艺术特写、还原人眼忽略的细节部分为体育比赛、侦探和各种科学实验提供可视依据。
目前常用的帧率上变换方法有帧平均、帧重复以及基于块匹配的多种搜索机制的运动矢量补偿法。其中基于块匹配的运动矢量补偿法复杂度最高效果最好。根据运动矢量的类型，运动矢量补偿方法可以分为两种：
一种为基于单向运动矢量场的运动补偿，其中基于单向运动矢量场的运动补偿算法可以获得更好的插值效果，但需要额外解决重叠和空洞问题，大大增加了整个算法的计算复杂度。该方法目前仍无法解决遮挡暴露区域的插值问题。
另一种是基于双向运动矢量的运动补偿则不存在重叠和空洞问题，且获得的内插帧的质量也较高。但该方法在相似背景对插值的影响下，容易出现模糊和块效应。
但是帧平均、帧重复方法处理具有缩放运动和明暗变化的视频帧率上变换质量很差；基于视频块的运动矢量补偿法处理该类视频时由于未知缩放参数和明暗变化参数，盲目搜索整像素、1/2像素、1/4像素、1/8像素精度的最佳匹配块，使得计算复杂度高、处理速度慢且质量仍然不尽人意。
发明内容
针对现有技术中的上述不足，本发明提供的一种适用于缩放运动和明暗变化的视频帧率上变换方法解决了现有方法处理具有缩放运动和明暗变化的视频帧率上变换质量差的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种适用于缩放运动和明暗变化的视频帧率上变换方法，其包括以下步骤：
S1、读取待处理视频流中相邻两帧视频图像，搜索该相邻两帧视频图像的所有特征点，并为每个特征点生成一个特征矢量；
S2、根据特征矢量对原始视频流中相邻两帧视频图像的特征点进行匹配，得到相邻两帧之间的特征匹配对的坐标；
S3、根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数和平移系数；
S4、根据缩放系数和平移系数对视频帧图像的每个区域进行缩放平移运动补偿，得到预测帧；
S5、获取连续两帧视频图像的帧间商，根据帧间商和相匹配的特征点的像素值获取明暗变化参数，并判断明暗变化参数是否等于1，若是则进入步骤S7，否则进入步骤S6；
S6、根据明暗变化参数调整预测帧的像素值得到上变换插入帧，将上变换插入帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S7、直接将预测帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S8、采用与步骤S1至步骤S7相同的方法对待处理视频流进行遍历，完成对待处理视频流的视频帧上变换。
进一步地，步骤S1的具体方法包括以下子步骤：
S1-1、根据公式
L(x,y,δ)＝G(x,y,kδ)-G(x,y,δ)
生成差分离散尺度空间核函数L；其中
δ＝kp·δ0,p＝0,1,2,3,4；
x和y分别为横纵坐标值；
S1-2、将前后两帧视频图像分别与L相卷积，分别得到与前帧对应的5个差分图像
p＝0,1,2,3,4和与后帧对应的5个差分图像
p＝0,1,2,3,4；
为卷积运算；Ft1表示前帧视频图像；Ft2表示后帧视频图像；
S1-3、分别对
进行行列隔点降采样后与L相卷积，分别得到与前帧对应的5个差分图像
和与后帧对应的5个差分图像
S1-4、将最新得到的差分图像通过与步骤S1-3相同的方法获取差分图像
和
其中q＝2,3,4,5；
S1-5、将步骤S1-2、步骤S1-3和步骤S1-4中得到的差分图像进行组合得到与每帧图像相对应的6组不同尺寸的差分图像组，其中每组包括5个尺寸相同、离散尺度δ不同的差分图像；
S1-6、搜索同组相邻差分图像的极值点，剔除其中低于设定阈值的点和边缘点，将剩余极值点作为该尺寸的特征点；其中设定阈值为图像像素点最大值的3％；
S1-7、对于每一个特征点，根据公式
获取最接近尺度值为δ的高斯图像LL；
δ＝kp·δ0,p＝0,1,2,3,4；
x和y分别为横纵坐标值；Ftl,l＝1,2表示前后两帧视频图像；
S1-8、以该特征点为中心，计算以3×1.5δ为半径的邻域内高斯图像LL梯度的幅度和角度，并采用直方图统计邻域内像素的梯度方向和幅度；其中梯度方向直方图将0°～360°的范围平分为36个方向；梯度方向直方图的峰值代表该特征点处邻域内图像梯度的主方向，即该特征点的主方向θ；
S1-9、以该特征点为中心将特征点邻域图像的梯度和方向旋转一个方向角θ后，以该特征点为中心取大小为mδB×mδB的图像区域；其中m＝3，B＝4；
S1-10、将该mδB×mδB图像区域等分成B×B个子区域，将每个子区域等分为8个方向的梯度方向，其中每个方向为45°；
S1-11、计算一个子区域内每个梯度方向中的像元个数和，得到8个数据，遍历B×B个子区域得到B×B×8个数据，将B×B×8个数据记为该特征点的特征矢量。
进一步地，步骤S2的具体方法包括以下子步骤：
S2-1、计算前帧视频图像中某个特征点A的特征矢量与后帧视频图像中所有特征矢量之间的欧氏距离，判断最小的欧氏距离是否小于次最小欧式距离的ρ％，若是则将前帧视频图像中的特征点A与后帧视频图像中与特征点A欧氏距离最小的特征点A'记为最佳匹配对；否则认为后帧视频图像中无与特征点A相匹配的特征点；其中ρ＝50；
S2-2、采用与步骤S2-1相同的方法遍历前帧视频图像中的所有特征点，完成两帧视频图像特征点的匹配，并获取两帧之间的特征匹配对的坐标。
进一步地，步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数的具体方法包括以下子步骤：
S3-1-1、以每个特征匹配对为一个计算单元，根据公式
获取该视频帧的缩放系数集；其中zoomscalerx{i}为x方向的缩放系数集；zoomscalery{i}为y方向的缩放系数集；Δxt1为前帧视频图像中相邻两个特征点之间横坐标的欧氏距离；Δxt2为与Δxt1中两个特征点相对应的两个特征点之间横坐标的欧氏距离；Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
S3-1-2、分别对缩放系数集zoomscalerx{i}和zoomscalery{i}进行k均值聚类，剔除孤立参数，获取聚类中心值，将整个视频帧分为N1个缩放区域，以聚类中心值作为该视频帧图像每个缩放区域的横向缩放系数zoomscalerX{j}和纵向缩放系数zoomscalerX{j}，其中j＝1,2,...,N1。
进一步地，步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的平移系数的具体方法包括以下子步骤：
S3-2-1、以每个特征匹配对为一个计算单元，根据公式
计算各个特征匹配对的平移系数集；其中translatx{i}为x方向的平移系数集；translaty{i}为y方向的平移系数集；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在缩放区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在缩放区域的纵向缩放系数；
S3-2-2、分别对平移系数集translatx{i}和translaty{i}进行k均值聚类，剔除孤立参数，将视频帧分为N2个平移区域，以聚类中心值作为各平移区域的横向平移系数translatX{j}和纵向平移系数translatY{j}，j＝1,2,...,N2；
S3-2-3、根据约束条件N3≥max(N1,N2)将整个视频帧重新调整为N3个区域，使视频帧图像每个区域内的像素具有相同的缩放参数和平移参数；当N3＝1时将整个视频帧图像视为一个区域；其中max(·)为取最大值函数。
进一步地，步骤S4的具体方法包括以下子步骤：
S4-1、以视频帧的每个区域为一个计算单元，根据公式
计算待插入帧的区域缩放系数；其中zoomSx{j}为待插入帧在x方向的区域缩放系数；zoomSy{j}为待插入帧在y方向的区域缩放系数；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在区域的纵向缩放系数；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；n为当前连续两帧视频图像之间待插入帧的总数，由目标帧率与待处理视频流的帧率计算得到；
S4-2、根据公式
Translx{j}＝translatX{j}/(n+1)
Transly{j}＝translatY{j}/(n+1)
j＝1,2,...,N3
计算待插入帧的区域平移系数；其中Translx{j}为待插入帧在x方向的区域平移系数；Transly{j}为待插入帧在y方向的区域平移系数；translatX{j}为该区域的横向平移系数；translatY{j}为该区域的纵向平移系数；
S4-3、根据公式
对待插入帧的每个区域进行上采样后得到预测帧集合frameS{t}，frameS{j}{t}∈frameS{t}；其中t＝1,2,...,n；ix＝max(1,Translx{j}×t×zoomSx{j}+1)；max(·)表示取最大值；
iy＝max(1,Transly{j}×t×zoomSy{j}+1)；
upscale(f,a,b)表示采用双cubic插值法将参考图像区域f放大a×b倍；Ft1{j}(ix:ox,iy:oy)和Ft2{j}(ix:ox,iy:oy)为待插入视频帧的某个图像区域在原始视频流中对应的前帧和后帧图像区域。
进一步地，步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
获取帧间商
其中
为前帧视频图像的平均像素值；
为后帧视频图像的平均像素值；./表示两矩阵对应元素相除；
S5-2、根据公式
计算变化参数valuescaler{i}；其中vt1{i}为前帧视频图像中第i个具有匹配对的特征点的像素值；vt2{i}为后帧视频图像中与vt1{i}所对应特征点相匹配的特征点的像素值；M为特征点匹配对的个数；
S5-3、将变化参数valuescaler{i}和与其对应的特征点所在区域的帧间商的聚类中心值作为该区域明暗变化参数。
进一步地，步骤S6中根据明暗变化参数调整预测帧的像素值得到上变换插入帧的具体方法为：
根据公式
frame{t}＝frameS{j}{t}×Valuescaler{j}
调整预测帧各个区域的像素值得到上变换插入帧frame{t}；其中frameS{j}{t}为第t帧预测帧的第j区域；Valuescaler{j}为第j区域的明暗变化参数。
本发明的有益效果为：本发明根据该类视频帧信号的内容特征分三个阶段完成缩放系数、平移系数、明暗变化参数的估计，最后进行基于缩放和明暗变化的运动补偿实现帧率上采样。本发明对缩放系数、平移系数、明暗变化等参数的估计较传统的基于块匹配运动矢量估计补偿法有显著的预测精度提升，处理速度较基于全搜索、三步搜索、菱形搜素的块匹配运动估计补偿法有大幅度提高。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该适用于缩放运动和明暗变化的视频帧率上变换方法包括以下步骤：
S1、读取待处理视频流中相邻两帧视频图像，搜索该相邻两帧视频图像的所有特征点，并为每个特征点生成一个特征矢量；
S2、根据特征矢量对原始视频流中相邻两帧视频图像的特征点进行匹配，得到相邻两帧之间的特征匹配对的坐标；
S3、根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数和平移系数；
S4、根据缩放系数和平移系数对视频帧图像的每个区域进行缩放平移运动补偿，得到预测帧；
S5、获取连续两帧视频图像的帧间商，根据帧间商和相匹配的特征点的像素值获取明暗变化参数，并判断明暗变化参数是否等于1，若是则进入步骤S7，否则进入步骤S6；
S6、根据明暗变化参数调整预测帧的像素值得到上变换插入帧，将上变换插入帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S7、直接将预测帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S8、采用与步骤S1至步骤S7相同的方法对待处理视频流进行遍历，完成对待处理视频流的视频帧上变换。
步骤S1的具体方法包括以下子步骤：
S1-1、根据公式
L(x,y,δ)＝G(x,y,kδ)-G(x,y,δ)
生成差分离散尺度空间核函数L；其中
δ＝kp·δ0,p＝0,1,2,3,4；
x和y分别为横纵坐标值；
S1-2、将前后两帧视频图像分别与L相卷积，分别得到与前帧对应的5个差分图像
p＝0,1,2,3,4和与后帧对应的5个差分图像
p＝0,1,2,3,4；
为卷积运算；Ft1表示前帧视频图像；Ft2表示后帧视频图像；
S1-3、分别对
进行行列隔点降采样后与L相卷积，分别得到与前帧对应的5个差分图像
和与后帧对应的5个差分图像
S1-4、将最新得到的差分图像通过与步骤S1-3相同的方法获取差分图像
和
其中q＝2,3,4,5；
S1-5、将步骤S1-2、步骤S1-3和步骤S1-4中得到的差分图像进行组合得到与每帧图像相对应的6组不同尺寸的差分图像组，其中每组包括5个尺寸相同、离散尺度δ不同的差分图像；
S1-6、搜索同组相邻差分图像的极值点，剔除其中低于设定阈值的点和边缘点，将剩余极值点作为该尺寸的特征点；其中设定阈值为图像像素点最大值的3％；
S1-7、对于每一个特征点，根据公式
获取最接近尺度值为δ的高斯图像LL；
δ＝kp·δ0,p＝0,1,2,3,4；
x和y分别为横纵坐标值；Ftl,l＝1,2表示前后两帧视频图像；
S1-8、以该特征点为中心，计算以3×1.5δ为半径的邻域内高斯图像LL梯度的幅度和角度，并采用直方图统计邻域内像素的梯度方向和幅度；其中梯度方向直方图将0°～360°的范围平分为36个方向；梯度方向直方图的峰值代表该特征点处邻域内图像梯度的主方向，即该特征点的主方向θ；
S1-9、以该特征点为中心将特征点邻域图像的梯度和方向旋转一个方向角θ后，以该特征点为中心取大小为mδB×mδB的图像区域；其中m＝3，B＝4；
S1-10、将该mδB×mδB图像区域等分成B×B个子区域，将每个子区域等分为8个方向的梯度方向，其中每个方向为45°；
S1-11、计算一个子区域内每个梯度方向中的像元个数和，得到8个数据，遍历B×B个子区域得到B×B×8个数据，将B×B×8个数据记为该特征点的特征矢量。
步骤S2的具体方法包括以下子步骤：
S2-1、计算前帧视频图像中某个特征点A的特征矢量与后帧视频图像中所有特征矢量之间的欧氏距离，判断最小的欧氏距离是否小于次最小欧式距离的ρ％，若是则将前帧视频图像中的特征点A与后帧视频图像中与特征点A欧氏距离最小的特征点A'记为最佳匹配对；否则认为后帧视频图像中无与特征点A相匹配的特征点；其中ρ＝50；
S2-2、采用与步骤S2-1相同的方法遍历前帧视频图像中的所有特征点，完成两帧视频图像特征点的匹配，并获取两帧之间的特征匹配对的坐标。
步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数的具体方法包括以下子步骤：
S3-1-1、以每个特征匹配对为一个计算单元，根据公式
获取该视频帧的缩放系数集；其中zoomscalerx{i}为x方向的缩放系数集；zoomscalery{i}为y方向的缩放系数集；Δxt1为前帧视频图像中相邻两个特征点之间横坐标的欧氏距离；Δxt2为与Δxt1中两个特征点相对应的两个特征点之间横坐标的欧氏距离；Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
S3-1-2、分别对缩放系数集zoomscalerx{i}和zoomscalery{i}进行k均值聚类，剔除孤立参数，获取聚类中心值，将整个视频帧分为N1个缩放区域，以聚类中心值作为该视频帧图像每个缩放区域的横向缩放系数zoomscalerX{j}和纵向缩放系数zoomscalerX{j}，其中j＝1,2,...,N1。
步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的平移系数的具体方法包括以下子步骤：
S3-2-1、以每个特征匹配对为一个计算单元，根据公式
计算各个特征匹配对的平移系数集；其中translatx{i}为x方向的平移系数集；translaty{i}为y方向的平移系数集；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在缩放区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在缩放区域的纵向缩放系数；
S3-2-2、分别对平移系数集translatx{i}和translaty{i}进行k均值聚类，剔除孤立参数，将视频帧分为N2个平移区域，以聚类中心值作为各平移区域的横向平移系数translatX{j}和纵向平移系数translatY{j}，j＝1,2,...,N2；
S3-2-3、根据约束条件N3≥max(N1,N2)将整个视频帧重新调整为N3个区域，使视频帧图像每个区域内的像素具有相同的缩放参数和平移参数；当N3＝1时将整个视频帧图像视为一个区域；其中max(·)为取最大值函数。
步骤S4的具体方法包括以下子步骤：
S4-1、以视频帧的每个区域为一个计算单元，根据公式
计算待插入帧的区域缩放系数；其中zoomSx{j}为待插入帧在x方向的区域缩放系数；zoomSy{j}为待插入帧在y方向的区域缩放系数；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在区域的纵向缩放系数；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；n为当前连续两帧视频图像之间待插入帧的总数，由目标帧率与待处理视频流的帧率计算得到；
S4-2、根据公式
Translx{j}＝translatX{j}/(n+1)
Transly{j}＝translatY{j}/(n+1)
j＝1,2,...,N3
计算待插入帧的区域平移系数；其中Translx{j}为待插入帧在x方向的区域平移系数；Transly{j}为待插入帧在y方向的区域平移系数；translatX{j}为该区域的横向平移系数；translatY{j}为该区域的纵向平移系数；
S4-3、根据公式
对待插入帧的每个区域进行上采样后得到预测帧集合frameS{t}，frameS{j}{t}∈frameS{t}；其中t＝1,2,...,n；ix＝max(1,Translx{j}×t×zoomSx{j}+1)；max(·)表示取最大值；
iy＝max(1,Transly{j}×t×zoomSy{j}+1)；
upscale(f,a,b)表示采用双cubic插值法将参考图像区域f放大a×b倍；Ft1{j}(ix:ox,iy:oy)和Ft2{j}(ix:ox,iy:oy)为待插入视频帧的某个图像区域在原始视频流中对应的前帧和后帧图像区域。
步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
获取帧间商
其中
为前帧视频图像的平均像素值；
为后帧视频图像的平均像素值；./表示两矩阵对应元素相除；
S5-2、根据公式
计算变化参数valuescaler{i}；其中vt1{i}为前帧视频图像中第i个具有匹配对的特征点的像素值；vt2{i}为后帧视频图像中与vt1{i}所对应特征点相匹配的特征点的像素值；M为特征点匹配对的个数；
S5-3、将变化参数valuescaler{i}和与其对应的特征点所在区域的帧间商的聚类中心值作为该区域明暗变化参数。
步骤S6中根据明暗变化参数调整预测帧的像素值得到上变换插入帧的具体方法为：根据公式
frame{t}＝frameS{j}{t}×Valuescaler{j}
调整预测帧各个区域的像素值得到上变换插入帧frame{t}；其中frameS{j}{t}为第t帧预测帧的第j区域；Valuescaler{j}为第j区域的明暗变化参数。
在本发明的一个实施例中，将本发明与基于块匹配的全搜索法和基于块匹配的三步搜索法进行比较，比较所采用的视频类型和处理结果如表1所示。
表1：视频类型和处理结果
由表1可知，在每个测试视频类型中，本方法的帧率上变换质量均高于其余两种方法，且在具有全局明暗变化的视频中，本方法的处理质量更是接近现有方法的10倍。并且，本方法在处理速度上，比基于块匹配的全搜索法快60倍左右。
综上所述，本发明适用于具有缩放运动和明暗变化的视频流的帧率上变换，较传统的帧平均、帧重复和基于块匹配的运动矢量补偿法能快速高质量地实现帧率上变换。相对于传统的基于块匹配的运动矢量补偿法，本发明能实现具有任意比例尤其是大比例缩放运动的视频流的帧率上变换。
Claims (7)
1.一种适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，包括以下步骤：
S1、读取待处理视频流中相邻两帧视频图像，搜索该相邻两帧视频图像的所有特征点，并为每个特征点生成一个特征矢量；
S2、根据特征矢量对原始视频流中相邻两帧视频图像的特征点进行匹配，得到相邻两帧之间的特征匹配对的坐标；
S3、根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数和平移系数；
S4、根据缩放系数和平移系数对视频帧图像的每个区域进行缩放平移运动补偿，得到预测帧；
S5、获取连续两帧视频图像的帧间商，根据帧间商和相匹配的特征点的像素值获取明暗变化参数，并判断明暗变化参数是否等于1，若是则进入步骤S7，否则进入步骤S6；
S6、根据明暗变化参数调整预测帧的像素值得到上变换插入帧，将上变换插入帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S7、直接将预测帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S8、采用与步骤S1至步骤S7相同的方法对待处理视频流进行遍历，完成对待处理视频流的视频帧上变换；
所述步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
获取帧间商
其中
为前帧视频图像的平均像素值；
为后帧视频图像的平均像素值；./表示两矩阵对应元素相除；
S5-2、根据公式
计算变化参数valuescaler{i}；其中vt1{i}为前帧视频图像中第i个具有匹配对的特征点的像素值；vt2{i}为后帧视频图像中与vt1{i}所对应特征点相匹配的特征点的像素值；M为特征点匹配对的个数；
S5-3、将变化参数valuescaler{i}和与其对应的特征点所在区域的帧间商的聚类中心值作为该区域明暗变化参数。
2.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S1的具体方法包括以下子步骤：
S1-1、根据公式
L(x,y,δ)＝G(x,y,kδ)-G(x,y,δ)
生成差分离散尺度空间核函数L；其中
δ＝kp·δ0,p＝0,1,2,3,4；
x和y分别为横纵坐标值；
S1-2、将前后两帧视频图像分别与L相卷积，分别得到与前帧对应的5个差分图像
和与后帧对应的5个差分图像
为卷积运算；Ft1表示前帧视频图像；Ft2表示后帧视频图像；
S1-3、分别对
进行行列隔点降采样后与L相卷积，分别得到与前帧对应的5个差分图像
和与后帧对应的5个差分图像
S1-4、将最新得到的差分图像通过与步骤S1-3相同的方法获取差分图像
和
其中q＝2,3,4,5；
S1-5、将步骤S1-2、步骤S1-3和步骤S1-4中得到的差分图像进行组合得到与每帧图像相对应的6组不同尺寸的差分图像组，其中每组包括5个尺寸相同、离散尺度δ不同的差分图像；
S1-6、搜索同组相邻差分图像的极值点，剔除其中低于设定阈值的点和边缘点，将剩余极值点作为该尺寸的特征点；其中设定阈值为图像像素点最大值的3％；
S1-7、对于每一个特征点，根据公式
获取最接近尺度值为δ的高斯图像LL；
δ＝kp·δ0,p＝0,1,2,3,4；
x和y分别为横纵坐标值；Ftl,l＝1,2表示前后两帧视频图像；
S1-8、以该特征点为中心，计算以3×1.5δ为半径的邻域内高斯图像LL梯度的幅度和角度，并采用直方图统计邻域内像素的梯度方向和幅度；其中梯度方向直方图将0°～360°的范围平分为36个方向；梯度方向直方图的峰值代表该特征点处邻域内图像梯度的主方向，即该特征点的主方向θ；
S1-9、以该特征点为中心将特征点邻域图像的梯度和方向旋转一个方向角θ后，以该特征点为中心取大小为mδB×mδB的图像区域；其中m＝3，B＝4；
S1-10、将该mδB×mδB图像区域等分成B×B个子区域，将每个子区域等分为8个方向的梯度方向，其中每个方向为45°；
S1-11、计算一个子区域内每个梯度方向中的像元个数和，得到8个数据，遍历B×B个子区域得到B×B×8个数据，将B×B×8个数据记为该特征点的特征矢量。
3.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S2的具体方法包括以下子步骤：
S2-1、计算前帧视频图像中某个特征点A的特征矢量与后帧视频图像中所有特征矢量之间的欧氏距离，判断最小的欧氏距离是否小于次最小欧式距离的ρ％，若是则将前帧视频图像中的特征点A与后帧视频图像中与特征点A欧氏距离最小的特征点A'记为最佳匹配对；否则认为后帧视频图像中无与特征点A相匹配的特征点；其中ρ＝50；
S2-2、采用与步骤S2-1相同的方法遍历前帧视频图像中的所有特征点，完成两帧视频图像特征点的匹配，并获取两帧之间的特征匹配对的坐标。
4.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数的具体方法包括以下子步骤：
S3-1-1、以每个特征匹配对为一个计算单元，根据公式
获取该视频帧的缩放系数集；其中zoomscalerx{i}为x方向的缩放系数集；zoomscalery{i}为y方向的缩放系数集；Δxt1为前帧视频图像中相邻两个特征点之间横坐标的欧氏距离；Δxt2为与Δxt1中两个特征点相对应的两个特征点之间横坐标的欧氏距离；Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
S3-1-2、分别对缩放系数集zoomscalerx{i}和zoomscalery{i}进行k均值聚类，剔除孤立参数，获取聚类中心值，将整个视频帧分为N1个缩放区域，以聚类中心值作为该视频帧图像每个缩放区域的横向缩放系数zoomscalerX{j}和纵向缩放系数zoomscalerX{j}，其中j＝1,2,...,N1。
5.根据权利要求4所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的平移系数的具体方法包括以下子步骤：
S3-2-1、以每个特征匹配对为一个计算单元，根据公式
计算各个特征匹配对的平移系数集；其中translatx{i}为x方向的平移系数集；translaty{i}为y方向的平移系数集；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在缩放区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在缩放区域的纵向缩放系数；
S3-2-2、分别对平移系数集translatx{i}和translaty{i}进行k均值聚类，剔除孤立参数，将视频帧分为N2个平移区域，以聚类中心值作为各平移区域的横向平移系数translatX{j}和纵向平移系数translatY{j}，j＝1,2,...,N2；
S3-2-3、根据约束条件N3≥max(N1,N2)将整个视频帧重新调整为N3个区域，使视频帧图像每个区域内的像素具有相同的缩放参数和平移参数；当N3＝1时将整个视频帧图像视为一个区域；其中max(·)为取最大值函数。
6.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S4的具体方法包括以下子步骤：
S4-1、以视频帧的每个区域为一个计算单元，根据公式
计算待插入帧的区域缩放系数；其中zoomSx{j}为待插入帧在x方向的区域缩放系数；zoomSy{j}为待插入帧在y方向的区域缩放系数；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在区域的纵向缩放系数；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；n为当前连续两帧视频图像之间待插入帧的总数，由目标帧率与待处理视频流的帧率计算得到；
S4-2、根据公式
Translx{j}＝translatX{j}/(n+1)
Transly{j}＝translatY{j}/(n+1)
j＝1,2,...,N3
计算待插入帧的区域平移系数；其中Translx{j}为待插入帧在x方向的区域平移系数；Transly{j}为待插入帧在y方向的区域平移系数；translatX{j}为该区域的横向平移系数；translatY{j}为该区域的纵向平移系数；
S4-3、根据公式
对待插入帧的每个区域进行上采样后得到预测帧集合frameS{t}，frameS{j}{t}∈frameS{t}；其中t＝1,2,...,n；ix＝max(1,Translx{j}×t×zoomSx{j}+1)；max(·)表示取最大值；
iy＝max(1,Transly{j}×t×zoomSy{j}+1)；
upscale(f,a,b)表示采用双cubic插值法将参考图像区域f放大a×b倍；Ft1{j}(ix:ox,iy:oy)和Ft2{j}(ix:ox,iy:oy)为待插入视频帧的某个图像区域在原始视频流中对应的前帧和后帧图像区域。
7.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S6中根据明暗变化参数调整预测帧的像素值得到上变换插入帧的具体方法为：
根据公式
frame{t}＝frameS{j}{t}×Valuescaler{j}
调整预测帧各个区域的像素值得到上变换插入帧frame{t}；其中frameS{j}{t}为第t帧预测帧的第j区域；Valuescaler{j}为第j区域的明暗变化参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910752518.3A CN110446107B (zh) | 2019-08-15 | 2019-08-15 | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910752518.3A CN110446107B (zh) | 2019-08-15 | 2019-08-15 | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110446107A CN110446107A (zh) | 2019-11-12 |
| CN110446107B true CN110446107B (zh) | 2020-06-23 |
Family
ID=68435626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910752518.3A Active CN110446107B (zh) | 2019-08-15 | 2019-08-15 | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110446107B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022183325A1 (zh) * | 2021-03-01 | 2022-09-09 | 京东方科技集团股份有限公司 | 视频块处理方法及装置、神经网络的训练方法和存储介质 |
| CN116366886B (zh) * | 2023-02-27 | 2024-03-19 | 泰德网聚(北京)科技股份有限公司 | 基于平滑处理的视频快编系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101023678A (zh) * | 2004-07-21 | 2007-08-22 | 高通股份有限公司 | 运动矢量分配的方法和装置 |
| CN101189882A (zh) * | 2004-07-20 | 2008-05-28 | 高通股份有限公司 | 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置 |
| CN104301736A (zh) * | 2014-10-13 | 2015-01-21 | 上海交通大学 | 一种减少存储带宽需求的超高清帧率上变换系统 |
| CN104915966A (zh) * | 2015-05-08 | 2015-09-16 | 上海交通大学 | 基于卡尔曼滤波的帧率上变换运动估计方法及系统 |
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及系统 |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| CN106331723A (zh) * | 2016-08-18 | 2017-01-11 | 上海交通大学 | 一种基于运动区域分割的视频帧率上变换方法及系统 |
| CN109068174A (zh) * | 2018-09-12 | 2018-12-21 | 上海交通大学 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
| CN109379550A (zh) * | 2018-09-12 | 2019-02-22 | 上海交通大学 | 基于卷积神经网络的视频帧率上变换方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110032331A1 (en) * | 2009-08-07 | 2011-02-10 | Xuemin Chen | Method and system for 3d video format conversion |
| US9384568B2 (en) * | 2014-09-03 | 2016-07-05 | General Electric Company | Method and system for enhanced frame rate upconversion in ultrasound imaging |
| EP3451664A1 (en) * | 2017-09-01 | 2019-03-06 | Thomson Licensing | Motion compensation at a finer precision than motion vector differential |
-
2019
- 2019-08-15 CN CN201910752518.3A patent/CN110446107B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101189882A (zh) * | 2004-07-20 | 2008-05-28 | 高通股份有限公司 | 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置 |
| CN101023678A (zh) * | 2004-07-21 | 2007-08-22 | 高通股份有限公司 | 运动矢量分配的方法和装置 |
| CN104301736A (zh) * | 2014-10-13 | 2015-01-21 | 上海交通大学 | 一种减少存储带宽需求的超高清帧率上变换系统 |
| CN104915966A (zh) * | 2015-05-08 | 2015-09-16 | 上海交通大学 | 基于卡尔曼滤波的帧率上变换运动估计方法及系统 |
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及系统 |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| CN106331723A (zh) * | 2016-08-18 | 2017-01-11 | 上海交通大学 | 一种基于运动区域分割的视频帧率上变换方法及系统 |
| CN109068174A (zh) * | 2018-09-12 | 2018-12-21 | 上海交通大学 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
| CN109379550A (zh) * | 2018-09-12 | 2019-02-22 | 上海交通大学 | 基于卷积神经网络的视频帧率上变换方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 任政.《帧速率上变换算法研究》.《中国优秀硕士学位论文全文数据库》.2012,全文. * |
| 李贵锐.《超高清视频的低复杂度帧率上变换算法研究》.《中国优秀硕士论文全文数据库》.2017,全文. * |
| 路庆春.《视频帧率上变换算法研究》.《中国优秀硕博士学位论文全文数据库》.2015,全文. * |
| 郭勇.《帧率上变换算法与实现研究》.《中国优秀硕博士学位论文全文数据库》.2016,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110446107A (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peleg et al. | Im-net for high resolution video frame interpolation | |
| Wang et al. | Motion-based video retargeting with optimized crop-and-warp | |
| Kim et al. | Video deraining and desnowing using temporal correlation and low-rank matrix completion | |
| TWI432017B (zh) | 用於移動補償畫面速率轉換器之系統與方法 | |
| CN105517671B (zh) | 一种基于光流法的视频插帧方法及系统 | |
| Grundmann et al. | Discontinuous seam-carving for video retargeting | |
| US8144255B2 (en) | Still subtitle detection apparatus and image processing method therefor | |
| US8891009B2 (en) | System and method for retargeting video sequences | |
| Shedligeri et al. | Photorealistic image reconstruction from hybrid intensity and event-based sensor | |
| CN106878612B (zh) | 一种基于在线全变差优化的视频稳定方法 | |
| Gal et al. | Progress in the restoration of image sequences degraded by atmospheric turbulence | |
| CN110446107B (zh) | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 | |
| CN104867111A (zh) | 一种基于分块模糊核集的非均匀视频盲去模糊方法 | |
| US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
| Niu et al. | Warp propagation for video resizing | |
| KR101987079B1 (ko) | 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 | |
| Keller et al. | Video super-resolution using simultaneous motion and intensity calculations | |
| Shimano et al. | Video temporal super-resolution based on self-similarity | |
| Crawford et al. | Gradient based dominant motion estimation with integral projections for real time video stabilisation | |
| Chen et al. | High-order relational generative adversarial network for video super-resolution | |
| CN103327261B (zh) | 一种简单快速的视频重定向方法 | |
| Xiang et al. | Video retargeting for aesthetic enhancement | |
| Li et al. | L0 structure-prior assisted blur-intensity aware efficient video deblurring | |
| Liu et al. | Noisy video super-resolution | |
| Peng et al. | Image restoration for interlaced scan CCD image with space-variant motion blurs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |