CN107124611B - 一种视频帧率的转换方法和装置 - Google Patents

一种视频帧率的转换方法和装置 Download PDF

Info

Publication number
CN107124611B
CN107124611B CN201710225478.8A CN201710225478A CN107124611B CN 107124611 B CN107124611 B CN 107124611B CN 201710225478 A CN201710225478 A CN 201710225478A CN 107124611 B CN107124611 B CN 107124611B
Authority
CN
China
Prior art keywords
edge
matching blocks
pixel point
sum
absolute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710225478.8A
Other languages
English (en)
Other versions
CN107124611A (zh
Inventor
刘国卿
田广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shunjiu Electronic Technology Co ltd
Original Assignee
Shanghai Shunjiu Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shunjiu Electronic Technology Co ltd filed Critical Shanghai Shunjiu Electronic Technology Co ltd
Priority to CN201710225478.8A priority Critical patent/CN107124611B/zh
Publication of CN107124611A publication Critical patent/CN107124611A/zh
Application granted granted Critical
Publication of CN107124611B publication Critical patent/CN107124611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种视频帧率的转换方法和装置，所述方法包括：计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp，所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块；对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；当所述运动矢量评价参数小于预设阈值时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换，消除了光线变化带来的影响，提高了运动矢量在光线变化场景下的准确性，进而提高了视频帧率转换的效率和准确性。

Description

一种视频帧率的转换方法和装置
技术领域
本申请涉及视频处理技术领域，特别是涉及一种视频帧率的转换方法和一种视频帧率的转换装置。
背景技术
基于运动估计和运动补偿的视频帧率转换是把低的输入视频帧率转换为高的视频帧率，以适应液晶电视的需求。运动估计是视频帧率转换中的一个重要技术，如果运动估计不够准确，很容易对视频画面产生影响。在进行运动估计时，首先需要确定一个合适的运动矢量，运动矢量的准确性越高，运动估计也就越准确。
但是，光线的变化会对运动矢量的评价造成较大的影响，从而引起误判，已有技术中通常使用计算全局或者局部的亮度平均值的方法消除运动估计中光线变化带来的影响。例如，在运动估计计算匹配块之间的像素值的绝对差和时，可以先将每个块的像素值统一减去该平均值，再用去除亮度的值计算绝对差和。但是，光线的变化通常都是局部的，计算全局或者局部的平均值，只能粗略的估计匹配块的亮度，不能准确的去除亮度变化带来的影响。而且，当一个块内同时包含光线变化区域和没有光线变化的区域时，采用上述方法根本无法准确评价两个匹配块之间的运动矢量。
发明内容
鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频帧率的转换方法和相应的一种视频帧率的转换装置。
为了解决上述问题，本申请实施例公开了一种视频帧率的转换方法，包括：
计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp，所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块；
对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；
当所述运动矢量评价参数小于预设阈值时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换。
可选地，所述两个匹配块中包括有多个对应的像素点，在所述计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad以及像素值的绝对差和sadp的步骤前，还包括：
分别计算两个匹配块中对应的每个像素点的边缘大小和边缘方向。
可选地，所述每个像素点的边缘方向包括水平方向x、垂直方向y、45度方向xy和135度方向yx，所述分别计算两个匹配块中对应的每个像素点的边缘大小和边缘方向的步骤包括：
分别计算每个像素点的水平方向x的边缘大小Ex、垂直方向y的边缘大小Ey、45度方向xy的边缘大小Exy和135度方向yx的边缘大小Eyx；以所述Ex、Ey、Exy和Eyx中的最大值作为所述像素点的边缘大小，以所述最大值对应的方向作为所述像素点的边缘方向；
或，
分别计算每个像素点的水平方向x的边缘大小Ex和垂直方向y的边缘大小Ey；以所述Ex和Ey的平方和的算术平方根作为所述像素点的边缘大小，以所述Ey与Ex的比值的反正切函数对应的角度作为所述像素点的边缘方向。
可选地，计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE和边缘方向的绝对差和sada的步骤包括：
分别计算两个匹配块中对应的每个像素点的边缘大小的差的绝对值和边缘方向的差的绝对值；
累加所述边缘大小的差的绝对值，作为所述边缘大小的绝对差和sadE；
累加所述边缘方向的差的绝对值，作为所述边缘方向的绝对差和sada。
可选地，计算相邻的两张图像的两个匹配块之间的梯度的绝对差和sadgrad的步骤包括：
计算两个匹配块中每个像素点的梯度，所述两个匹配块中包括有多个对应的像素点；
分别计算所述两个匹配块中对应的像素点之间的梯度的差的绝对值；
累加所述梯度的差的绝对值，作为所述梯度的绝对差和sadgrad。
可选地，所述计算两个匹配块中每个像素点的梯度的步骤包括：
分别计算每个像素点的水平梯度gradx和垂直梯度grady；
累加所述gradx和grady值作为所述像素点的梯度。
可选地，计算相邻的两张图像的两个匹配块之间的像素值的绝对差和sadp的步骤包括：
计算两个匹配块中每个像素点的像素值，所述两个匹配块中包括有多个对应的像素点；
分别计算所述两个匹配块中对应的像素点之间的像素值的差的绝对值；
累加所述像素值的差的绝对值，作为所述像素值的绝对差和sadp。
为了解决上述问题，本申请实施例公开了一种视频帧率的转换装置，包括：
计算模块，用于计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp，所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块；
加权模块，用于对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；
转换模块，用于当所述运动矢量评价参数小于预设阈值时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换。
可选地，所述两个匹配块中包括有多个对应的像素点，所述计算模块包括：
边缘大小和边缘方向计算子模块，用于分别计算两个匹配块中对应的每个像素点的边缘大小和边缘方向。
可选地，所述每个像素点的边缘方向包括水平方向x、垂直方向y、45度方向xy和135度方向yx，所述边缘大小和边缘方向计算子模块包括：
第一边缘大小和边缘方向计算单元，用于分别计算每个像素点的水平方向x的边缘大小Ex、垂直方向y的边缘大小Ey、45度方向xy的边缘大小Exy和135度方向yx的边缘大小Eyx；以所述Ex、Ey、Exy和Eyx中的最大值作为所述像素点的边缘大小，以所述最大值对应的方向作为所述像素点的边缘方向；
或，
第二边缘大小和边缘方向计算单元，用于分别计算每个像素点的水平方向x的边缘大小Ex和垂直方向y的边缘大小Ey；以所述Ex和Ey的平方和的算术平方根作为所述像素点的边缘大小，以所述Ey与Ex的比值的反正切函数对应的角度作为所述像素点的边缘方向。
可选地，所述计算模块还包括：
边缘大小和边缘方向的差的绝对值计算子模块，用于分别计算两个匹配块中对应的每个像素点的边缘大小的差的绝对值和边缘方向的差的绝对值；
边缘大小的差的绝对值累加子模块，用于累加所述边缘大小的差的绝对值，作为所述边缘大小的绝对差和sadE；
边缘方向的差的绝对值累加子模块，用于累加所述边缘方向的差的绝对值，作为所述边缘方向的绝对差和sada。
可选地，所述计算模块还包括：
梯度计算子模块，用于计算两个匹配块中每个像素点的梯度，所述两个匹配块中包括有多个对应的像素点；
梯度的差的绝对值计算子模块，用于分别计算所述两个匹配块中对应的像素点之间的梯度的差的绝对值；
梯度的差的绝对值累加子模块，用于累加所述梯度的差的绝对值，作为所述梯度的绝对差和sadgrad。
可选地，所述梯度计算子模块包括：
水平梯度和垂直梯度计算单元，用于分别计算每个像素点的水平梯度gradx和垂直梯度grady；
水平梯度和垂直梯度累加单元，用于累加所述gradx和grady值作为所述像素点的梯度。
可选地，所述计算模块还包括：
像素值计算子模块，用于计算两个匹配块中每个像素点的像素值，所述两个匹配块中包括有多个对应的像素点；
像素值的差的绝对值计算子模块，用于分别计算所述两个匹配块中对应的像素点之间的像素值的差的绝对值；
像素值的差的绝对值累加子模块，用于累加所述像素值的差的绝对值，作为所述像素值的绝对差和sadp。
与背景技术相比，本申请实施例包括以下优点：
本申请实施例，通过确定相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp，然后对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数，从而当所述运动矢量评价参数满足预设要求时，可以采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换，由于在光线变化时,像素间的梯度和边缘基本不会发生变化，因此，本申请实施例在计算两个匹配块之间的运动矢量评价参数时，增加了两个匹配块之间的梯度的绝对差和以及边缘大小和边缘方向的绝对差和，即使在光线有变化时，像素值的绝对差和很大，但是边缘和梯度的绝对差和仍然很小，从而可以据此正确的判定两个块的匹配，有效地消除了光线变化带来的影响，提高了运动估计中运动矢量在光线变化场景下的准确性，进而提高了视频帧率转换的效率和准确性。
附图说明
图1是本申请的一种视频帧率的转换方法实施例一的步骤流程图；
图2是本申请的一种视频帧率的转换方法实施例二的步骤流程图；
图3是本申请的一种视频帧率的转换装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请的一种视频帧率的转换方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤101，计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp；
通常，为了满足液晶电视对视频画质的要求，需要将输入的较低的帧率的视频转换为较高的帧率的视频。在进行视频帧率转化时，主要时通过运动估计和运动补偿来实现的。
运动估计(Motion Estimation)是视频编码和视频处理中广泛使用的一种技术，其基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有像素的位移量都相同，然后针对每个宏块，找到相对应的匹配块，所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块，匹配块与当前块的相对位移即为运动矢量。
运动补偿(Motion Compensation)是一种描述相邻帧差别的方法，能够通过先前的局部图像来预测、补偿当前的局部图像，可以有效地减少帧序列冗余信息。
通常，在进行运动估计和运动补偿时，首先需要计算两个匹配块之间地运动矢量，而运动矢量是否正确，则严重影响运动估计以及视频帧率转换的效果。
一般地，当光线变化时,图像内像素间的亮度差值是不会变化或者变化非常微小的,因此，可以采用图像之间的梯度和边缘作为反映像素间亮度差值的特征。
在本申请实施例中，为了消除光线变化对运动矢量计算造成的影响，可以首先确定相邻的两张图像的两个匹配块之间的绝对差和(sad,the sum of absolutedifference)，具体地，所述绝对差和可以包括边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp。
在具体实现中，可以首先分别计算相邻两张图像的两个匹配块上对应的每个像素点的边缘大小的差的绝对值，然后通过累加所有像素点的边缘大小的差的绝对值，获得边缘大小的绝对差和sadE。
类似地，可以采用上述方法计算获得边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及，像素值的绝对差和sadp，本申请实施例对此不再赘述。
步骤102，对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；
在具体实现中，在获得边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及，像素值的绝对差和sadp后，可以为上述四类绝对差和分别设定一权重，通过加权求和的方式获得两个匹配块之间的运动矢量评价参数。本领域技术人员可以根据实际需要选定每个绝对差和的权重的大小，本申请实施例对此不作限定。
步骤103，当所述运动矢量评价参数满足预设要求时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换。
在本申请实施例中，在通过步骤102获得运动矢量评价参数后，可以根据该评价参数，评价当前的运动矢量是否为正确的运动矢量。
通常，步骤102获得的运动矢量评价参数越小，可以认为两个匹配块之间的匹配度越高，当前的运动矢量越好；而当该评价参数越大，则可以认为两个匹配块之间的匹配度越低，当前的运动矢量越差。因此，可以设定一预设阈值，当在步骤102中获得的运动矢量评价参数小于该预设阈值时可以认为当前的运动矢量较好，两张图像的匹配块之间的匹配度较高，从而可以采用当前的运动矢量进行视频帧率转换。当然，本领域技术人员可以根据实际需要设定预设阈值的大小，本申请实施例对此不作限定。
在本申请实施例中，通过确定相邻的两张图像的两个匹配块之间的绝对差和，所述绝对差和包括边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，和/或，以及像素值的绝对差和sadp，然后依据对所述sadE、sada、sadgrad和/或sadp加权求和，确定获得所述两个匹配块之间的运动矢量评价参数，从而当所述运动矢量评价参数满足预设要求时，可以采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换，由于在光线变化时,像素间的梯度和边缘基本不会发生变化，因此，本申请实施例在计算两个匹配块之间的运动矢量评价参数时，增加了两个匹配块之间的梯度的绝对差和以及边缘大小和边缘方向的绝对差和，即使在光线有变化时，像素值的绝对差和很大，但是边缘和梯度的绝对差和仍然很小，从而可以据此正确的判定两个块的匹配从而通过在计算运动矢量评价参数时融合了匹配块之间的梯度和边缘，有效地消除了光线变化带来的影响，提高了运动估计中运动矢量在光线变化场景下的准确性，进而提高了视频帧率转换的效率和准确性。
参照图2，示出了本申请的一种视频帧率的转换方法实施例二的步骤流程图，具体可以包括如下步骤：
步骤201，计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE和边缘方向的绝对差和sada；
通常，为了满足液晶电视对视频画质的要求，需要对输入的较低的帧率的视频进行视频帧率转换，所述视频帧率转换是指将输入的低帧率的视频转换为高帧率的视频。在进行视频帧率转换时，运动估计便是其中的关键环节。在进行运动估计时，首先需要判断所获得的运动矢量是否正确。
在本申请实施例中，为了消除光线变化对运动矢量的判断的影响，可以计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE和边缘方向的绝对差和sada。
通常，可以通过使用边缘检测算子如Sobel算子，Prewitt算子等，对当前像素点进行边缘检测，得到该像素点的边缘信息，所述边缘信息包括边缘的大小和方向。
因此，在具体实现中，可以首先分别计算两个匹配块中对应的每个像素点的边缘大小和边缘方向。
作为本申请的一种示例，可以通过边缘检测算子及其变形算子，分别计算每个像素点的水平方向x的边缘大小Ex、垂直方向y的边缘大小Ey、45度方向xy的边缘大小Exy和135度方向yx的边缘大小Eyx，然后以所述Ex、Ey、Exy和Eyx中的最大值作为所述像素点的边缘大小，以所述最大值对应的方向作为所述像素点的边缘方向。即：
E＝max(Ex,Ey,Exy,Eyx)
Figure BDA0001265068890000091
其中，E为像素点的边缘大小的表达式，a为像素点的边缘方向的表达式。
作为本申请的另一种示例，还可以通过边缘检测算子，得到两个方向的边缘的大小，即分别计算每个像素点的水平方向x的边缘大小Ex和垂直方向y的边缘大小Ey，然后以所述Ex和Ey的平方和的算术平方根作为所述像素点的边缘大小，以所述Ey与Ex的比值的反正切函数对应的角度作为所述像素点的边缘方向。
具体地，可以采用如下公式计算像素点地边缘大小和边缘方向：
Figure BDA0001265068890000092
Figure BDA0001265068890000093
其中，E为像素点的边缘大小的表达式，a为像素点的边缘方向的表达式。
在分别获得两个匹配块之间的每个像素点的边缘大小和边缘方向后，进一步可以分别计算两个匹配块中对应的每个像素点的边缘大小的差的绝对值和边缘方向的差的绝对值，通过累加所述边缘大小的差的绝对值，作为所述边缘大小的绝对差和sadE，累加所述边缘方向的差的绝对值，作为所述边缘方向的绝对差和sada。
具体地，可以采用如下公式计算两个匹配块之间的边缘大小的绝对差和sadE：
Figure BDA0001265068890000101
其中，sadE为两个匹配块之间的边缘大小的绝对差和，EAcur和EBpre分别表示两个匹配块上对应的像素点的边缘大小，Usad表示匹配块的范围。
可以采用如下公式计算两个匹配块之间的边缘方向的绝对差和sada：
Figure BDA0001265068890000102
其中，sada为两个匹配块之间的边缘方向的绝对差和，aAcur和aBpre分别表示两个匹配块上对应的像素点的边缘方向，Usad表示匹配块的范围。
步骤202，计算相邻的两张图像的两个匹配块之间的梯度的绝对差和sadgrad；
在本申请实施例中，可以首先计算两个匹配块中每个像素点的梯度。具体地，可以通过在图像上对像素点使用梯度算子来获得每个像素点的梯度。
通常，不同的梯度算子有不同的计算复杂度，作为本申请实施例的一种示例，从成本和效果综合考虑，可以使用简单的梯度算子来计算梯度。例如，可以分别计算每个像素点的水平梯度gradx和垂直梯度grady，通过累加所述gradx和grady值作为所述像素点的梯度。
在具体实现中，可以采用如下公式计算每个像素点的水平梯度gradx：
gradx＝|Pcur-Plpre|
可以采用如下公式计算每个像素点的垂直梯度grady：
grady＝|Pcur-Pdpre|
进而获得每个像素点的梯度为：
grad＝gradx+grady
其中，Pcur表示当前像素点，Plpre表示当前像素左边的相邻像素点，Pdpre表示当前像素点下边的相邻像素点，gradx为水平梯度，grady为垂直梯度，grad表示最终的梯度。
在获得每个像素点的梯度后，进一步可以分别计算所述两个匹配块中对应的像素点之间的梯度的差的绝对值，然后累加所述梯度的差的绝对值，作为所述梯度的绝对差和sadgrad。
具体地，可以采用如下公式计算两个匹配块之间的梯度的绝对差和sadgrad：
Figure BDA0001265068890000111
其中，gradAcur和gradBpre分别表示两个匹配块上对应的像素点的梯度，Usad表示匹配块的范围，sadgrad表示两个匹配块之间的梯度的绝对差和。
步骤203，计算相邻的两张图像的两个匹配块之间的像素值的绝对差和sadp；
在具体实现中，可以首先计算两个匹配块中每个像素点的像素值，由于两个匹配块中包括有多个对应的像素点，因此，在计算出两个匹配块中每个像素点的像素值之后，可以分别计算所述两个匹配块中对应的像素点之间的像素值的差的绝对值，通过累加所述像素值的差的绝对值，作为所述像素值的绝对差和sadp。
具体地，可以采用如下公式计算两个匹配块之间的像素值的绝对差和sadp：
Figure BDA0001265068890000112
其中，Pixelcur和Pixelpre分别表示两个匹配块上对应的像素点的像素值，Usad表示匹配块的范围，sadp表示两个匹配块之间的像素值的绝对差和。
步骤204，对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；
在具体实现中，在获得边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及，像素值的绝对差和sadp后，可以为上述四类绝对差和分别设定一权重值，通过加权求和的方式获得两个匹配块之间的运动矢量评价参数。本领域技术人员可以根据实际需要选定每个绝对差和的权重的大小，本申请实施例对此不作限定。
例如，可以设定边缘大小的绝对差和sadE的权重值为wE、设定边缘方向的绝对差和sada的权重值为wa、设定梯度的绝对差和sadgrad的权重值为wgrad，以及，设定像素值的绝对差和sadp的权重值为wp，然后采用如下公式计算出两个匹配块之间的运动矢量评价参数：
sad＝sadp×wp+sadgrad×wgrad+sadE×wE+sada×wa
其中，sad为两个匹配块之间的运动矢量评价参数的表达式。
通常，sad越小，表示两个匹配块之间的匹配度越高，当前的运动矢量越好；sad越大，表示两个匹配块之间的匹配度越低，当前的运动矢量越差。
步骤205，当所述运动矢量评价参数满足预设要求时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换。
在本申请实施例中，在获得运动矢量评价参数sad后，可以根据该sad的大小，评价当前的运动矢量是否为正确的运动矢量。
具体地，可以设定一预设阈值，当sad小于该预设阈值时可以认为当前的运动矢量较好，两张图像的匹配块之间的匹配度较高，从而可以采用当前的运动矢量进行视频帧率转换。当然，本领域技术人员可以根据实际需要设定预设阈值的大小，本申请实施例对此不作限定。
在本申请实施例中，在评价相邻两张图像地两个匹配块之间地运动矢量是否正确时，通过增加梯度和边缘的绝对差和，能够有效地消除光线变化对运动矢量地判断带来的影响，提高了运动估计中运动矢量在光线变化场景下的准确性，也提高了视频帧率转换的准确性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图3，示出了本申请的一种视频帧率的转换装置实施例的结构框图，具体可以包括如下模块：
计算模块301，用于计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp，所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块；
加权模块302，用于对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；
转换模块303，用于当所述运动矢量评价参数小于预设阈值时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换。
在本申请实施例中，所述两个匹配块中包括有多个对应的像素点，所述计算模块301具体可以包括如下子模块：
边缘大小和边缘方向计算子模块，用于分别确定两个匹配块中对应的每个像素点的边缘大小和边缘方向。
在本申请实施例中，所述每个像素点的边缘方向包括水平方向x、垂直方向y、45度方向xy和135度方向yx，所述边缘大小和边缘方向计算子模块具体可以包括如下单元：
第一边缘大小和边缘方向计算单元，用于分别计算每个像素点的水平方向x的边缘大小Ex、垂直方向y的边缘大小Ey、45度方向xy的边缘大小Exy和135度方向yx的边缘大小Eyx；以所述Ex、Ey、Exy和Eyx中的最大值作为所述像素点的边缘大小，以所述最大值对应的方向作为所述像素点的边缘方向；
或，
第二边缘大小和边缘方向计算单元，用于分别计算每个像素点的水平方向x的边缘大小Ex和垂直方向y的边缘大小Ey；以所述Ex和Ey的平方和的算术平方根作为所述像素点的边缘大小，以所述Ey与Ex的比值的反正切函数对应的角度作为所述像素点的边缘方向。
在本申请实施例中，所述计算模块301还可以包括如下子模块：
边缘大小和边缘方向的差的绝对值计算子模块，用于分别计算两个匹配块中对应的每个像素点的边缘大小的差的绝对值和边缘方向的差的绝对值；
边缘大小的差的绝对值累加子模块，用于累加所述边缘大小的差的绝对值，作为所述边缘大小的绝对差和sadE；
边缘方向的差的绝对值累加子模块，用于累加所述边缘方向的差的绝对值，作为所述边缘方向的绝对差和sada。
在本申请实施例中，所述计算模块301还可以包括如下子模块：
梯度计算子模块，用于计算两个匹配块中每个像素点的梯度，所述两个匹配块中包括有多个对应的像素点；
梯度的差的绝对值计算子模块，用于分别计算所述两个匹配块中对应的像素点之间的梯度的差的绝对值；
梯度的差的绝对值累加子模块，用于累加所述梯度的差的绝对值，作为所述梯度的绝对差和sadgrad。
在本申请实施例中，所述梯度计算子模块具体可以包括如下单元：
水平梯度和垂直梯度计算单元，用于分别计算每个像素点的水平梯度gradx和垂直梯度grady；
水平梯度和垂直梯度累加单元，用于累加所述gradx和grady值作为所述像素点的梯度。
在本申请实施例中，所述计算模块301还可以包括如下子模块：
像素值计算子模块，用于计算两个匹配块中每个像素点的像素值，所述两个匹配块中包括有多个对应的像素点；
像素值的差的绝对值计算子模块，用于分别计算所述两个匹配块中对应的像素点之间的像素值的差的绝对值；
像素值的差的绝对值累加子模块，用于累加所述像素值的差的绝对值，作为所述像素值的绝对差和sadp。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种视频帧率的转换方法和一种视频帧率的转换装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种视频帧率的转换方法，其特征在于，包括：
计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp，所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块；具体地，计算所述像素值的绝对差和sadp的步骤包括：计算两个匹配块中每个像素点的像素值，所述两个匹配块中包括有多个对应的像素点；分别计算所述两个匹配块中对应的像素点之间的像素值的差的绝对值；累加所述像素值的差的绝对值，作为所述像素值的绝对差和sadp；
对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；
当所述运动矢量评价参数小于预设阈值时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换。
2.根据权利要求1所述的方法，其特征在于，所述两个匹配块中包括有多个对应的像素点，在所述计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad以及像素值的绝对差和sadp的步骤前，还包括：
分别计算两个匹配块中对应的每个像素点的边缘大小和边缘方向。
3.根据权利要求2所述的方法，其特征在于，所述每个像素点的边缘方向包括水平方向x、垂直方向y、45度方向xy和135度方向yx，所述分别计算两个匹配块中对应的每个像素点的边缘大小和边缘方向的步骤包括：
分别计算每个像素点的水平方向x的边缘大小Ex、垂直方向y的边缘大小Ey、45度方向xy的边缘大小Exy和135度方向yx的边缘大小Eyx；以所述Ex、Ey、Exy和Eyx中的最大值作为所述像素点的边缘大小，以所述最大值对应的方向作为所述像素点的边缘方向；
或，
分别计算每个像素点的水平方向x的边缘大小Ex和垂直方向y的边缘大小Ey；以所述Ex和Ey的平方和的算术平方根作为所述像素点的边缘大小，以所述Ey与Ex的比值的反正切函数对应的角度作为所述像素点的边缘方向。
4.根据权利要求2或3所述的方法，其特征在于，计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE和边缘方向的绝对差和sada的步骤包括：
分别计算两个匹配块中对应的每个像素点的边缘大小的差的绝对值和边缘方向的差的绝对值；
累加所述边缘大小的差的绝对值，作为所述边缘大小的绝对差和sadE；
累加所述边缘方向的差的绝对值，作为所述边缘方向的绝对差和sada。
5.根据权利要求1所述的方法，其特征在于，计算相邻的两张图像的两个匹配块之间的梯度的绝对差和sadgrad的步骤包括：
计算两个匹配块中每个像素点的梯度，所述两个匹配块中包括有多个对应的像素点；
分别计算所述两个匹配块中对应的像素点之间的梯度的差的绝对值；
累加所述梯度的差的绝对值，作为所述梯度的绝对差和sadgrad。
6.根据权利要求5所述的方法，其特征在于，所述计算两个匹配块中每个像素点的梯度的步骤包括：
分别计算每个像素点的水平梯度gradx和垂直梯度grady；
累加所述gradx和grady值作为所述像素点的梯度。
7.一种视频帧率的转换装置，其特征在于，包括：
计算模块，用于计算相邻的两张图像的两个匹配块之间的边缘大小的绝对差和sadE、边缘方向的绝对差和sada、梯度的绝对差和sadgrad，以及像素值的绝对差和sadp，所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块；具体地，所述计算模块包括：像素值计算子模块，用于计算两个匹配块中每个像素点的像素值，所述两个匹配块中包括有多个对应的像素点；像素值的差的绝对值计算子模块，用于分别计算所述两个匹配块中对应的像素点之间的像素值的差的绝对值；像素值的差的绝对值累加子模块，用于累加所述像素值的差的绝对值，作为所述像素值的绝对差和sadp；
加权模块，用于对所述sadE、sada、sadgrad和sadp加权求和，获得所述两个匹配块之间的运动矢量评价参数；
转换模块，用于当所述运动矢量评价参数小于预设阈值时，采用当前的运动矢量对所述相邻的两张图像进行视频帧率转换。
8.根据权利要求7所述的装置，其特征在于，所述两个匹配块中包括有多个对应的像素点，所述计算模块包括：
边缘大小和边缘方向计算子模块，用于分别计算两个匹配块中对应的每个像素点的边缘大小和边缘方向。
9.根据权利要求8所述的装置，其特征在于，所述每个像素点的边缘方向包括水平方向x、垂直方向y、45度方向xy和135度方向yx，所述边缘大小和边缘方向计算子模块包括：
第一边缘大小和边缘方向计算单元，用于分别计算每个像素点的水平方向x的边缘大小Ex、垂直方向y的边缘大小Ey、45度方向xy的边缘大小Exy和135度方向yx的边缘大小Eyx；以所述Ex、Ey、Exy和Eyx中的最大值作为所述像素点的边缘大小，以所述最大值对应的方向作为所述像素点的边缘方向；
或，
第二边缘大小和边缘方向计算单元，用于分别计算每个像素点的水平方向x的边缘大小Ex和垂直方向y的边缘大小Ey；以所述Ex和Ey的平方和的算术平方根作为所述像素点的边缘大小，以所述Ey与Ex的比值的反正切函数对应的角度作为所述像素点的边缘方向。
CN201710225478.8A 2017-04-07 2017-04-07 一种视频帧率的转换方法和装置 Active CN107124611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710225478.8A CN107124611B (zh) 2017-04-07 2017-04-07 一种视频帧率的转换方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710225478.8A CN107124611B (zh) 2017-04-07 2017-04-07 一种视频帧率的转换方法和装置

Publications (2)

Publication Number Publication Date
CN107124611A CN107124611A (zh) 2017-09-01
CN107124611B true CN107124611B (zh) 2020-06-05

Family

ID=59724691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710225478.8A Active CN107124611B (zh) 2017-04-07 2017-04-07 一种视频帧率的转换方法和装置

Country Status (1)

Country Link
CN (1) CN107124611B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803175B (zh) * 2019-03-12 2021-03-26 京东方科技集团股份有限公司 视频处理方法及装置、设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217953A (zh) * 2011-06-17 2011-10-19 四川省医学科学院（四川省人民医院） 基于多邻域辅助二维超声形变组织图像跟踪方法及装置
CN103220488A (zh) * 2013-04-18 2013-07-24 北京大学 一种视频帧率上转换装置及方法
CN104796721A (zh) * 2015-04-24 2015-07-22 宏祐图像科技(上海)有限公司 应用memc技术对图像光线变化场景进行运动估计的方法
CN104811726A (zh) * 2015-04-24 2015-07-29 宏祐图像科技(上海)有限公司 帧率转换中运动估计的候选运动矢量选择方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861853B2 (en) * 2010-03-19 2014-10-14 Panasonic Intellectual Property Corporation Of America Feature-amount calculation apparatus, feature-amount calculation method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217953A (zh) * 2011-06-17 2011-10-19 四川省医学科学院（四川省人民医院） 基于多邻域辅助二维超声形变组织图像跟踪方法及装置
CN103220488A (zh) * 2013-04-18 2013-07-24 北京大学 一种视频帧率上转换装置及方法
CN104796721A (zh) * 2015-04-24 2015-07-22 宏祐图像科技(上海)有限公司 应用memc技术对图像光线变化场景进行运动估计的方法
CN104811726A (zh) * 2015-04-24 2015-07-29 宏祐图像科技(上海)有限公司 帧率转换中运动估计的候选运动矢量选择方法

Also Published As

Publication number Publication date
CN107124611A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
Zhuo et al. Defocus map estimation from a single image
US8810692B2 (en) Rolling shutter distortion correction
CN104980626B (zh) 用于降低图像噪声的方法和设备
CN109791695B (zh) 基于图像块的运动向量确定所述块的方差
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
US8520084B2 (en) Video stabilization system and method
JP2009147807A (ja) 画像処理装置
US11062464B2 (en) Image processing apparatus, method, and storage medium to derive optical flow
US8111877B2 (en) Image processing device and storage medium storing image processing program
JPWO2013054499A1 (ja) 画像処理装置、撮像装置および画像処理方法
JP2015100066A5 (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
CN104065854A (zh) 一种图像处理方法及一种电子设备
CN108010059B (zh) 电子防抖算法的性能分析方法及装置
JP2010093779A (ja) 動き補償において周期的構造に対処する方法および装置
US20150206289A1 (en) Joint Video Deblurring and Stabilization
US20180184115A1 (en) Refining motion vectors in video motion estimation
CN105516579A (zh) 一种图像处理方法、装置和电子设备
US8942503B1 (en) Global motion vector calculation using phase plane correlation
CN107124611B (zh) 一种视频帧率的转换方法和装置
CN113469025B (zh) 应用于车路协同的目标检测方法、装置、路侧设备和车辆
US20170069104A1 (en) Image processing apparatus and image processing method
CN113743357A (zh) 视频表征自监督对比学习方法和装置
CN106993108B (zh) 一种确定视频图像在运动估计中的随机量的方法和装置
CN107645663A (zh) 一种运动估计搜索范围的确定方法以及装置
US20190050966A1 (en) Method and apparatus for detecting noise of satellite image and restoring image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant