CN112995677B - 一种基于像素语义匹配的视频帧率上转换方法 - Google Patents

一种基于像素语义匹配的视频帧率上转换方法 Download PDF

Info

Publication number
CN112995677B
CN112995677B CN202110169892.8A CN202110169892A CN112995677B CN 112995677 B CN112995677 B CN 112995677B CN 202110169892 A CN202110169892 A CN 202110169892A CN 112995677 B CN112995677 B CN 112995677B
Authority
CN
China
Prior art keywords
frame
reference frame
pixel
block
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110169892.8A
Other languages
English (en)
Other versions
CN112995677A (zh
Inventor
李然
郝培男
沈克琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinyang Normal University
Original Assignee
Xinyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinyang Normal University filed Critical Xinyang Normal University
Priority to CN202110169892.8A priority Critical patent/CN112995677B/zh
Publication of CN112995677A publication Critical patent/CN112995677A/zh
Application granted granted Critical
Publication of CN112995677B publication Critical patent/CN112995677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及基于像素语义匹配的视频帧率上转换方法，有效解决现有技术中采用块间语义所造成抑制BME块失配能力受限，严重影响内插帧预测质量的问题，将视频序列中第t帧F t 作为待插帧、视频序列中第t‑1帧F t‑1作为待插帧F t 的前向的参考帧、视频序列中第t+1帧F t+1作为待插帧F t 的后向的参考帧，针对前向的参考帧F t‑1、后向的参考帧F t+1，逐像素提取语义特征，生成前向的参考帧F t‑1的前语义层L t‑1、后向的参考帧F t+1的后语义层L t+1；将L t‑1、L t+1分别作为F t‑1、F t+1的新通道，合并计为X t‑1、X t+1，以F t 为中心，根据F t‑1新通道X t‑1、F t+1新通道X t+1实施双向块匹配，生成待插帧F t 的运动向量场V t ；根据相邻F t‑1、F t+1及F t 的运动向量场V t 进行重叠块运动补偿内插，获取待插帧F t 。

Description

一种基于像素语义匹配的视频帧率上转换方法
技术领域
本发明涉及视频编码技术领域，特别是一种基于像素语义匹配的视频帧率上转换方法。
背景技术
帧率上转换(Frame Rate Up-Conversion，FRUC)是一种视频后处理技术，其通过在相 邻帧插入中间帧的方式，提升视频帧率。帧率是决定视频视觉质量的重要指标，然而，落后 的成像技术、行业标准造成低帧率普及于各视觉媒体之中。当前，5G技术飞速发展，其高传 输带宽极大刺激了大众对高帧率视频的需求，这给予FRUC以新的挑战。在普及的低速成像 设备中，如何发掘蕴含在视频序列中的潜在时空相关性，利用FRUC技术尽最大可能输出逼 近真实的高帧率视频，是目前亟待解决的难题。
简单有效的FRUC技术是帧复制或帧平均，其直接通过复制或平均相邻帧提升视频帧率， 该方法适用范围较窄，对含有复杂运动的视频序列，会产生画面模糊、抖动等现象。为了更 好地复原物体运动细节，运动补偿概念引入到FRUC，提出了运动补偿FRUC(MotionCompensated FRUC，MC-FRUC)，相比于帧复制或帧平均，其可有效抑制运动模糊。MC-FRUC主要由运动估计(Motion Estimation，ME)和运动补偿插值(Motion CompensatedInterpolation， MCI)组成，其中ME用于计算相邻帧间的运动向量场(Motion VectorField，MVF)，而MCI 根据ME输出的MVF由相邻帧内插出中间帧。大多数MC-FRUC实施方案采用文献 “Motion-Compensated Frame Interpolation Using Bilateral MotionEstimation and Adaptive Overlapped Block Motion Compensation(Byung-Doo Choi,Jong-Woo Han,Chang-su Kim and Sung-JeaKo,IEEE Transactions on Circuits andSystems for Video Technology,2007,vol.17,no.4, pp.407-416.)”提出的双向ME(Bilateral ME，BME)，其直接在内插帧上实施块匹配(Block Matching Algorithm，BMA)，根据运动对称性假设，为内插帧各块分配唯一运动向量(Motion Vector，MV)。BME的优势在于执行快速高效，且可避免内插帧中出现像素重叠、空洞。在 BME中，BMA采用双向绝对误差和(Sum of Bidirectional Absolute Differences，SBAD)作 为匹配准则，然而，受运动对称性假设影响，内插块的真实MV并不总是具有最小SBAD值， 尤其在遮挡、纹理区域，块失配现象较严重。为了解决该问题，现有技术“Con-Patch:When a Patch Meets Its Context(Yaniv Romano and MichaelElad,IEEE Transactions on Image Processing, 2016,vol.25,no.9,pp.3967-3978.)”提出构造出语义子块(Context Patch，Con-Patch)，利用自相似描述子表示各块的语义特征，度量各块与其周围块间的相似性，并将其作为匹配项融 入BMA，以增强各块的区分特征，从而缓解由运动对称性假设失效带来的块失配，改善BME 准确度。然而，由于Con-Patch仅表达出各块的语义关联，而忽略了像素间的语义关联，导 致提升FRUC性能仍存在不足。
综上所述，为了进一步提升FRUC技术的性能，有待于设计像素语义特征匹配，而现有 FRUC技术仅是提取块间语义特征，不足以提升各块区分度，造成抑制BME中的块失配能力 受限，严重影响内插帧的预测质量。
发明内容
针对上述情况，为克服现有技术之缺陷，本发明之目的就是提供一种基于像素语义匹配 的视频帧率上转换方法，可有效解决现有技术中采用块间语义所造成抑制BME块失配能力 受限，严重影响内插帧预测质量的问题。
本发明解决的技术方案是，一种基于像素语义匹配的视频帧率上转换方法，包括以下步 骤：
(1)、将视频序列中第t帧Ft作为待插帧、视频序列中第t-1帧Ft-1作为待插帧Ft的前向的参考帧、视频序列中第t+1帧Ft+1作为待插帧Ft的后向的参考帧，待插帧Ft是位于前向的参考帧Ft-1、后向的参考帧Ft+1之间的中间帧，针对前向的参考帧Ft-1、后向的参考帧Ft+1，逐像素提取语义特征，生成前向的参考帧Ft-1的前语义层Lt-1、后向的参考帧Ft+1的后语义层Lt+1；
(2)、将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的 新通道，合并计为Xt-1、Xt+1，以待插帧Ft为中心，根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配，生成待插帧Ft的运动向量场Vt；
(3)、根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行 重叠块运动补偿内插，获取待插帧Ft，实现基于像素语义匹配的视频帧率上转换。
本发明方法新颖独特，易操作，可有效解决现有技术中采用块间语义所造成抑制BME 块失配能力受限，严重影响内插帧预测质量的问题，显著提升内插视频帧的客观质量效果和 有效抑制块失配，显著改善内插质量，是视频编码技术上的一大创新，有显著的经济和社会 效益。
附图说明
图1为本发明方法流程框示图。
图2为本发明参考帧、待插帧排列关系图。
图3为本发明新通道与待插帧的转换关系图。
图4为本发明中重叠块运动补偿模块实施示例图。
图5、图6为本发明图像处理对比图。
具体实施方式
以下结合具体情况和附图对本发明的具体实施方式作详细说明。
本发明在具体实施中，一种基于像素语义匹配的视频帧率上转换方法，包括以下步骤：
(1)、针对待插帧Ft前向的参考帧Ft-1和后向的参考帧Ft+1，待插帧Ft是位于前向的参 考帧Ft-1(又称前向帧，以下同)、后向的参考帧Ft+1(又称后向帧，以下同)之间的中间帧，逐像素提取语义特征，生成前向的参考帧Ft-1的前语义层Lt-1、后向的参考帧Ft+1的后语义层Lt+1，具体包括以下步骤：
步骤a1、分别以尺寸为M×N的前向的参考帧Ft-1、后向的参考帧Ft+1的第m行、第n列像素位置为中心，提取尺寸为p×p的图像参考帧前子块
Figure BDA0002938658900000031
参考帧后子块
Figure BDA0002938658900000032
步骤a2、分别以Ft-1、Ft+1的第m行、第n列像素位置为中心，建立尺寸为h×h的前邻域
Figure BDA0002938658900000033
后邻域
Figure BDA0002938658900000034
再以前邻域
Figure BDA0002938658900000035
后邻域
Figure BDA0002938658900000036
内第x行、第y列像素位置为中心，提取 尺寸为p×p的图像前邻域子块
Figure BDA0002938658900000037
后邻域子块
Figure BDA0002938658900000038
步骤a3、计算图像参考帧前子块
Figure BDA0002938658900000039
与图像前邻域子块
Figure BDA00029386589000000310
参考帧后子块
Figure BDA00029386589000000311
与后邻域 子块
Figure BDA00029386589000000312
之间的相关系数，公式如下：
Figure BDA00029386589000000313
Figure BDA00029386589000000314
式中
Figure BDA00029386589000000315
分别代表
Figure BDA00029386589000000316
的第i行、第j列像 素的取值，σ为尺度因子；
步骤a4、遍历前邻域
Figure BDA00029386589000000317
后邻域
Figure BDA00029386589000000318
内所有像素，即x、y分别由1取至h，按式(1)、(2)计算相应相关系数，将所有相关系数组成尺寸为h×h的二维相关前平面
Figure BDA00029386589000000319
二维相关后平面
Figure BDA00029386589000000320
步骤a5、将二维相关前平面
Figure BDA00029386589000000321
二维相关后平面
Figure BDA00029386589000000322
的取值范围[0,1]等间隔划分为bin 份，分别统计二维相关前平面
Figure BDA0002938658900000041
二维相关后平面
Figure BDA0002938658900000042
的取值在各等间隔上的出现次数，并 除以相关平面取值总数h2，生成相应的归一化的前直方图
Figure BDA0002938658900000043
后直方图
Figure BDA0002938658900000044
步骤a6、计算前直方图
Figure BDA0002938658900000045
后直方图
Figure BDA0002938658900000046
的偏度如下：
Figure BDA0002938658900000047
Figure BDA0002938658900000048
其中
Figure BDA0002938658900000049
分别为前直方图
Figure BDA00029386589000000410
后直方图
Figure BDA00029386589000000411
的第k个取值；
步骤a7、遍历前向的参考帧Ft-1、后向的参考帧Ft+1的所有像素，即m由1取至M，n 由1取至N，按式(3)、式(4)计算各像素对应的偏度，将所有偏度组成尺寸为M×N的前 语义层Lt-1、后语义层Lt+1，公式为：
Figure BDA00029386589000000412
(2)、将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的 新通道，合并计为Xt-1、Xt+1，以待插帧Ft为中心，根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配，生成待插帧Ft的运动向量场Vt；具体包括以下步骤：
步骤b1、前向的参考帧Ft-1与前语义层Lt-1合并成尺寸为M×N×2的Xt-1，后向的参考帧 Ft+1与后语义层Lt+1合并成尺寸为M×N×2的Xt+1，即：
Figure BDA00029386589000000413
Figure BDA00029386589000000414
步骤b2、将待插帧Ft划分为尺寸为b×b的互不重叠块，针对待插帧Ft内第r行、第c列的块
Figure BDA0002938658900000051
通过其中心像素沿时间轴在Ft-1内确定参考像素
Figure BDA0002938658900000052
以
Figure BDA0002938658900000053
位置为中心在Ft-1内设立尺寸为w×w的搜索窗口
Figure BDA0002938658900000054
步骤b3、遍历
Figure BDA0002938658900000055
内所有像素，逐一计算与块
Figure BDA0002938658900000056
中心像素的相对位置偏移，组成块
Figure BDA0002938658900000057
的 候选运动向量集合
Figure BDA0002938658900000058
步骤b4、对于任一候选运动向量
Figure BDA0002938658900000059
计算其双向匹配误差值如下：
Figure BDA00029386589000000510
式中(m,n)为块
Figure BDA00029386589000000511
内任一像素在Ft内的坐标位置，Xt-1(m+vx,n+vy,1)、Xt-1(m+vx,n+vy,2)分别 为在Xt-1内坐标位置(m+vx,n+vy,1)、(m+vx,n+vy,2)的取值，Xt+1(m-vx,n-vy,1)、Xt+1(m-vx,n-vy,2) 分别为在Xt+1内坐标位置(m-vx,n-vy,1)、(m-vx,n-vy,2)的取值，α为正则化因子；
步骤b5、计算
Figure BDA00029386589000000512
内所有候选运动向量的双向匹配误差值，取其中具有最小双向匹配误 差值的候选运动向量作为
Figure BDA00029386589000000513
的最终运动向量
Figure BDA00029386589000000514
Figure BDA00029386589000000515
步骤b6、遍历Ft内所有非重叠块，即r由1取至M/b，c由1取至N/b，按式(9)生成 所有块的运动向量，组成Ft的运动向量场Vt；
(3)、根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行 重叠块运动补偿内插，获取待插帧Ft，实现重叠块运动补偿内插，方法是：
根据待插帧Ft的运动向量场Vt，利用参考帧Ft-1、Ft+1，实施重叠块运动补偿生成待插帧 Ft，对于Ft中任一块B4，其与左上角3个相邻块B1、B2、B3重叠，而B1、B2、B3、B4各自 具有运动向量v1、v2、v3、v4；对于O1区域，B1、B2、B3、B4四个块在此重叠(见图4)，则 该区域执行内插公式：
Figure BDA00029386589000000516
对于O2区域，B3、B4两个块在此重叠，则该区域执行内插公式：
Figure BDA0002938658900000061
对于O3区域，其完全包含在B4块内，则执行内插公式：
Figure BDA0002938658900000062
其中，式(10)-(12)中s为像素坐标，Ft(s)、Ft-1(s)、Ft+1(s)分别代表Ft、Ft-1、Ft+1位于像素坐标s处的亮度值。对于B4与右上角、左下角、右下角相邻块的四块重叠区域按式(10) 计算，而两块重叠区域按式(11)计算，实现基于像素语义匹配的视频帧率上转换。
由上述可以看出，本发明公开了一种基于像素语义匹配的视频帧率上转换方法，涉及视 频编码技术领域，该基于像素语义匹配的视频帧率上转换方法，包括：针对待插帧Ft的前向 帧Ft-1和后向帧Ft+1，逐像素提取语义特征，生成前向帧Ft-1的语义层Lt-1、后向帧Ft+1的语 义层Lt+1；将语义层Lt-1、Lt+1分别作为Ft-1、Ft+1的新通道，合并为Xt-1、Xt+1，以待插帧Ft为中心，根据Xt-1、Xt+1实施双向块匹配，生成Ft的运动向量场Vt；根据相邻参考帧Ft-1、Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插，获取待插帧Ft。本发明通过逐像素提取语义特征，构造语义层融入双向块匹配过程，有效抑制双向运动估计中块失配问题，显著提升上转视频的视觉质量。并经实验和测试，效果非常好，有关资料如下：
本发明采用CIF格式的13组测试视频序列，实验和测试本发明技术效果，具体是：
1)文献“Motion-Compensated Frame Interpolation Using Bilateral MotionEstimation and Adaptive Overlapped Block Motion Compensation(Byung-Doo Choi,Jong-Woo Han,Chang-su Kim and Sung-JeaKo,IEEE Transactions on Circuits andSystems for Video Technology,2007,vol. 17,no.4,pp.407-416.”提出的基于双向运动估计的视频帧率上转换方法，记作BME，其块尺 寸b设置为16，搜索窗尺寸w设置为21；
2)文献“Con-Patch:When a Patch Meets Its Context(Yaniv Romano andMichaelElad,IEEE Transactions on Image Processing,2016,vol.25,no.9,pp.3967-3978.)提出的基于语义子块的视 频帧率上转换方法，记作Con-Patch，块尺寸b设为16，搜索窗尺寸w设为21，邻域尺寸h 设为21，尺度因子设为10，间隔数bin设为10，正则化因子设为1.69。
采用本发明方法和对比方法从测试视频序列前100帧中的偶数帧内插出奇数帧，计算内 插奇数帧与原始奇数帧间的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性 (Structural SIMilarity，SSIM)，作为内插帧的客观质量评价性能指标。对于本发明，块尺寸 b设为16，子块尺寸p设为3，搜索窗尺寸w设为21，邻域尺寸h设为21，尺度因子设为 10，间隔数bin设为10，正则化因子设为4。硬件平台为主频3.10GHz、内存4GB的酷睿i5CPU计算机，软件平台为Windows 7 64位操作系统和MatlabR2014b仿真实验软件。
表1列出不同帧率上转换技术内插视频帧的平均PSNR、SSIM值。对比PSNR值，可看到对于任何序列本发明均优于BME、Con-Patch，其中在上转Mobile序列时，相比于BME、Con-Patch，均产生了3.70dB、3.64dB的最大PSNR增幅。对于所有序列的平均PSNR值， 本发明分别比BME、Con-Patch高出0.88dB、1.12dB。对比SSIM值，可看到对于任何序列 Con-Cube依旧保持优势，对于所有序列的平均SSIM值，本发明分别比BME、Con-Patch高 出0.0110、0.0144。由表1所示PSNR、SSIM值的结果可知，相比于对比方法BME，本发明 提升内插视频帧的客观质量效果显著。
表1不同帧率上转换技术内插视频帧的平均PSNR、SSIM值对比
Figure BDA0002938658900000071
*数值表示测试结果对比中的最高值。
经图像对比，见图5、图6，图5清楚地显示本发明方法与对比方法内插生成CIF格式的 foreman测试视频序列第78帧、mobile测试视频序列第50帧的主观质量对比情况。foreman 测试视频序列第78帧包含了大面积的静止背景、头部移动以及面部表情的变化，BME、 Con-Patch的内插结果在面部与背景的边界和鼻部区域产生了严重的块效应，而本发明复原出 了清晰的面部，且人物与背景的交界区域也不存在任何模糊。mobile测试视频序列第50帧包 含了画面的整体平移、火车运动及球体滚动。由图6可看出，在台历的数字区域，BME、 Con-Patch的内插结果产生了严重的错乱，且滚动的球体也出现重影，而本发明产生了清晰的 数字，且火车、球体均有良好的复原质量。由此可知，本发明采用像素语义匹配，可有效抑 制块失配，显著改善内插质量。
上述给出的仅是实施例，是为了说明本发明的具体实施方式，而不是用于限定本发明的 保护范围，凡是采用等同、等效替代手段所作出在本质上与本发明相同的技术方案，尽管已 描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这 些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入 本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范 围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则 本发明也意图包含这些改动和变型在内，均属于本发明的保护范围。
以上清楚表明，本发明方法新颖独特，易操作，可有效解决现有技术中采用块间语义所 造成抑制BME块失配能力受限，严重影响内插帧预测质量的问题，显著提升内插视频帧的 客观质量效果和有效抑制块失配，显著改善内插质量，是视频编码技术上的一大创新，有显 著的经济和社会效益。

Claims (2)

1.一种基于像素语义匹配的视频帧率上转换方法，其特征在于，包括以下步骤：
(1)、将视频序列中第t帧Ft作为待插帧、视频序列中第t-1帧Ft-1作为待插帧Ft的前向的参考帧、视频序列中第t+1帧Ft+1作为待插帧Ft的后向的参考帧，待插帧Ft是位于前向的参考帧Ft-1、后向的参考帧Ft+1之间的中间帧，针对前向的参考帧Ft-1、后向的参考帧Ft+1，逐像素提取语义特征，生成前向的参考帧Ft-1的前语义层Lt-1、后向的参考帧Ft+1的后语义层Lt+1；具体是：
步骤a1、分别以尺寸为M×N的前向的参考帧Ft-1、后向的参考帧Ft+1的第m行、第n列像素位置为中心，提取尺寸为p×p的图像参考帧前子块
Figure FDA0003611025580000011
参考帧后子块
Figure FDA0003611025580000012
步骤a2、分别以Ft-1、Ft+1的第m行、第n列像素位置为中心，建立尺寸为h×h的前邻域
Figure FDA0003611025580000013
后邻域
Figure FDA0003611025580000014
再以前邻域
Figure FDA0003611025580000015
后邻域
Figure FDA0003611025580000016
内第x行、第y列像素位置为中心，提取尺寸为p×p的图像前邻域子块
Figure FDA0003611025580000017
后邻域子块
Figure FDA0003611025580000018
步骤a3、计算图像参考帧前子块
Figure FDA0003611025580000019
与图像前邻域子块
Figure FDA00036110255800000110
参考帧后子块
Figure FDA00036110255800000111
与后邻域子块
Figure FDA00036110255800000112
之间的相关系数，公式如下：
Figure FDA00036110255800000113
Figure FDA00036110255800000114
式中
Figure FDA00036110255800000115
分别代表
Figure FDA00036110255800000116
的第i行、第j列像素的取值，σ为尺度因子；
步骤a4、遍历前邻域
Figure FDA00036110255800000117
后邻域
Figure FDA00036110255800000118
内所有像素，即x、y分别由1取至h，按式(1)、(2)计算相应相关系数，将所有相关系数组成尺寸为h×h的二维相关前平面
Figure FDA00036110255800000119
二维相关后平面
Figure FDA00036110255800000120
步骤a5、将二维相关前平面
Figure FDA00036110255800000121
二维相关后平面
Figure FDA00036110255800000122
的取值范围[0,1]等间隔划分为bin份，分别统计二维相关前平面
Figure FDA0003611025580000021
二维相关后平面
Figure FDA0003611025580000022
的取值在各等间隔上的出现次数，并除以相关平面取值总数h2，生成相应的归一化的前直方图
Figure FDA0003611025580000023
后直方图
Figure FDA0003611025580000024
步骤a6、计算前直方图
Figure FDA0003611025580000025
后直方图
Figure FDA0003611025580000026
的偏度如下：
Figure FDA0003611025580000027
Figure FDA0003611025580000028
其中
Figure FDA0003611025580000029
分别为前直方图
Figure FDA00036110255800000210
后直方图
Figure FDA00036110255800000211
的第k个取值；
步骤a7、遍历前向的参考帧Ft-1、后向的参考帧Ft+1的所有像素，即m由1取至M，n由1取至N，按式(3)、式(4)计算各像素对应的偏度，将所有偏度组成尺寸为M×N的前语义层Lt-1、后语义层Lt+1，公式为：
Figure FDA00036110255800000212
(2)、将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的新通道，合并计为Xt-1、Xt+1，以待插帧Ft为中心，根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配，生成待插帧Ft的运动向量场Vt；
(3)、根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插，获取待插帧Ft，实现基于像素语义匹配的视频帧率上转换。
2.根据权利要求1所述的基于像素语义匹配的视频帧率上转换方法，其特征在于，包括以下步骤：
将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的新通道，合并计为Xt-1、Xt+1，以待插帧Ft为中心，根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配，生成待插帧Ft的运动向量场Vt；具体包括以下步骤：
步骤b1、前向的参考帧Ft-1与前语义层Lt-1合并成尺寸为M×N×2的Xt-1，后向的参考帧Ft+1与后语义层Lt+1合并成尺寸为M×N×2的Xt+1，即：
Figure FDA0003611025580000031
Figure FDA0003611025580000032
步骤b2、将待插帧Ft划分为尺寸为b×b的互不重叠块，针对待插帧Ft内第r行、第c列的块
Figure FDA0003611025580000033
通过其中心像素沿时间轴在Ft-1内确定参考像素
Figure FDA0003611025580000034
以
Figure FDA0003611025580000035
位置为中心在Ft-1内设立尺寸为w×w的搜索窗口
Figure FDA0003611025580000036
步骤b3、遍历
Figure FDA0003611025580000037
内所有像素，逐一计算与块
Figure FDA0003611025580000038
中心像素的相对位置偏移，组成块
Figure FDA0003611025580000039
的候选运动向量集合
Figure FDA00036110255800000310
步骤b4、对于任一候选运动向量
Figure FDA00036110255800000311
计算其双向匹配误差值如下：
Figure FDA00036110255800000312
式中(m,n)为块
Figure FDA00036110255800000313
内任一像素在Ft内的坐标位置，Xt-1(m+vx,n+vy,1)、Xt-1(m+vx,n+vy,2)分别为在Xt-1内坐标位置(m+vx,n+vy,1)、(m+vx,n+vy,2)的取值，Xt+1(m-vx,n-vy,1)、Xt+1(m-vx,n-vy,2)分别为在Xt+1内坐标位置(m-vx,n-vy,1)、(m-vx,n-vy,2)的取值，α为正则化因子；
步骤b5、计算
Figure FDA00036110255800000314
内所有候选运动向量的双向匹配误差值，取其中具有最小双向匹配误差值的候选运动向量作为
Figure FDA00036110255800000315
的最终运动向量
Figure FDA00036110255800000316
Figure FDA00036110255800000317
步骤b6、遍历Ft内所有非重叠块，即r由1取至M/b，c由1取至N/b，按式(9)生成所有块的运动向量，组成Ft的运动向量场Vt；
根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插，获取待插帧Ft，实现重叠块运动补偿内插，方法是：
根据待插帧Ft的运动向量场Vt，利用参考帧Ft-1、Ft+1，实施重叠块运动补偿生成待插帧Ft，对于Ft中任一块B4，其与左上角3个相邻块B1、B2、B3重叠，而B1、B2、B3、B4各自具有运动向量v1、v2、v3、v4；对于O1区域，B1、B2、B3、B4四个块在此重叠，则该区域执行内插公式：
Figure FDA0003611025580000041
对于O2区域，B3、B4两个块在此重叠，则该区域执行内插公式：
Figure FDA0003611025580000042
对于O3区域，其完全包含在B4块内，则执行内插公式：
Figure FDA0003611025580000043
其中，式(10)-(12)中s为像素坐标，Ft(s)、Ft-1(s)、Ft+1(s)分别代表Ft、Ft-1、Ft+1位于像素坐标s处的亮度值；对于B4与右上角、左下角、右下角相邻块的四块重叠区域按式(10)计算，而两块重叠区域按式(11)计算，实现基于像素语义匹配的视频帧率上转换。
CN202110169892.8A 2021-02-08 2021-02-08 一种基于像素语义匹配的视频帧率上转换方法 Active CN112995677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110169892.8A CN112995677B (zh) 2021-02-08 2021-02-08 一种基于像素语义匹配的视频帧率上转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169892.8A CN112995677B (zh) 2021-02-08 2021-02-08 一种基于像素语义匹配的视频帧率上转换方法

Publications (2)

Publication Number Publication Date
CN112995677A CN112995677A (zh) 2021-06-18
CN112995677B true CN112995677B (zh) 2022-05-31

Family

ID=76349081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169892.8A Active CN112995677B (zh) 2021-02-08 2021-02-08 一种基于像素语义匹配的视频帧率上转换方法

Country Status (1)

Country Link
CN (1) CN112995677B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483960A (zh) * 2017-09-15 2017-12-15 信阳师范学院 一种基于空间预测的运动补偿帧率上转换方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070044455A (ko) * 2004-07-20 2007-04-27 콸콤 인코포레이티드 비디오 압축에 대한 인코더 보조-프레임 레이트 업컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치
JP5121852B2 (ja) * 2007-01-26 2013-01-16 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 画像ブロックの分類
KR101431046B1 (ko) * 2013-02-13 2014-08-22 서강대학교산학협력단 Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
CN109788297B (zh) * 2019-01-31 2022-10-18 信阳师范学院 一种基于元胞自动机的视频帧率上转换方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483960A (zh) * 2017-09-15 2017-12-15 信阳师范学院 一种基于空间预测的运动补偿帧率上转换方法

Also Published As

Publication number Publication date
CN112995677A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN105517671B (zh) 一种基于光流法的视频插帧方法及系统
Wang et al. Frame rate up-conversion using trilateral filtering
CN106210767B (zh) 一种智能提升运动流畅性的视频帧率上变换方法及系统
Jeong et al. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization
KR100530223B1 (ko) 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
Huang et al. Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation
CN100479495C (zh) 采用运动检测和自适应加权滤波的去隔行方法
US8781253B2 (en) Method and apparatus for video object segmentation
CN107483960B (zh) 一种基于空间预测的运动补偿帧率上转换方法
TW200535717A (en) Directional video filters for locally adaptive spatial noise reduction
CN108574844B (zh) 一种时空显著感知的多策略视频帧率提升方法
SG183888A1 (en) Method and device for video predictive encoding
Kaviani et al. Frame rate upconversion using optical flow and patch-based reconstruction
Shimano et al. Video temporal super-resolution based on self-similarity
Cho et al. Temporal frame interpolation based on multiframe feature trajectory
Huang et al. Algorithm and architecture design of multirate frame rate up-conversion for ultra-HD LCD systems
Guo et al. Frame rate up-conversion using linear quadratic motion estimation and trilateral filtering motion smoothing
CN112995677B (zh) 一种基于像素语义匹配的视频帧率上转换方法
Zhang et al. A real-time time-consistent 2D-to-3D video conversion system using color histogram
Lee et al. High frame rate motion compensated frame interpolation in high-definition video processing
Zhao et al. Multiframe joint enhancement for early interlaced videos
CN109788297B (zh) 一种基于元胞自动机的视频帧率上转换方法
Zhao et al. Frame rate up-conversion based on edge information
Doan et al. Efficient view synthesis based error concealment method for multiview video plus depth
Chiu et al. Voting-based depth map refinement and propagation for 2D to 3D conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant