CN116016807A - 一种视频处理方法、系统、可存储介质和电子设备 - Google Patents
一种视频处理方法、系统、可存储介质和电子设备 Download PDFInfo
- Publication number
- CN116016807A CN116016807A CN202211724556.6A CN202211724556A CN116016807A CN 116016807 A CN116016807 A CN 116016807A CN 202211724556 A CN202211724556 A CN 202211724556A CN 116016807 A CN116016807 A CN 116016807A
- Authority
- CN
- China
- Prior art keywords
- image
- video frame
- block
- blocks
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 230000009467 reduction Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000004931 aggregating effect Effects 0.000 claims abstract description 13
- 238000004220 aggregation Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005336 cracking Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Abstract
本申请提供一种视频处理方法、系统、可存储介质和电子设备,用于对视频进行时域降噪,解决了基于块匹配的时域降噪方法的块效应问题。该视频处理方法包括:将第一视频帧划分为多个第一图像块;针对每个第一图像块,在第二视频帧中确定与第一图像块最为相似的第二图像块;将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像;基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像。通过本申请的方案,解决了视频降噪中使用块匹配方法导致像素叠加之后边界具有割裂感的问题,在不产生明显运动拖影的前提下提高了运动物体的降噪质量,具备很好的实用性。
Description
技术领域
本发明涉及视频降噪领域,具体涉及一种视频处理方法、系统、可存储介质和电子设备。
背景技术
在视频降噪领域,对视频图像在时域进行降噪通常是对视频图像序列中的每一帧都进行处理,利用其时间轴上与前后相邻图像的相关性,对噪声进行算法上的消除或者降低。
在此基础上,为了使视频中对于运动物体的降噪效果更好,通常会利用块匹配的方法得到与当前处理的视频帧相似的缓冲帧,再基于缓冲帧对当前视频帧进行降噪。但是在利用传统块匹配的方法对当前视频进行处理时,容易产生块效应,使得降噪后的图像边界不明确,有割裂感。
发明内容
有鉴于此,本申请实施例致力于提供一种视频处理方法、系统、存储介质和电子设备,以解决基于块匹配的时域降噪方法的块效应问题。
第一方面,本申请提供了一种视频处理方法,包括:将第一视频帧划分为多个第一图像块,其中,在多个第一图像块中,相邻的第一图像块之间部分重叠,并且多个第一图像块的并集完全覆盖第一视频帧;针对每个第一图像块,在第二视频帧中确定与第一图像块最为相似的第二图像块,所述第二视频帧为第一视频帧对应的经降噪处理后的前一帧视频帧;将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像;基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像。
结合第一方面,在第一方面的某些实现方式中,多个第一图像块各自的尺寸完全相同,每个第一图像块的宽和高均为2的整数倍,相邻的第一图像块之间的重叠面积等于第一图像块的面积的1/2。
结合第一方面,在第一方面的某些实现方式中,将第一视频帧划分为多个第一图像块,包括:对第一视频帧进行边界填充,以便填充后的第一视频帧能够划分为多个尺寸完全相同的第一图像块;将进行边界填充后的第一视频帧划分为多个第一图像块。
结合第一方面,在第一方面的某些实现方式中,将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像,包括:获取多个第一图像块各自的像素权重;针对多个第一图像块中的每个第一图像块,基于第一图像块的像素权重将第一图像块对应的第二图像块中的像素值进行加权聚合,得到第一视频帧对应的相似图像。
结合第一方面,在第一方面的某些实现方式中,基于第一图像块的像素权重将第一图像块对应的第二图像块中的像素值进行加权聚合,包括:对第一图像块中的像素权重进行比例缩放;基于比例缩放后的像素权重将第一图像块对应的第二图像块中的像素值进行缩放相加。
结合第一方面,在第一方面的某些实现方式中,在第二视频帧中确定与第一图像块最为相似的第二图像块,包括:基于第一图像块,在第二视频帧中进行块匹配,得到与第一图像块最为相似的第二图像块。
结合第一方面,在第一方面的某些实现方式中,基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像,包括:分别将第一视频帧和与相似图像划分为不重叠的矩形像素块,第一视频帧中的矩形像素块和相似图像中的矩形像素块为一一对应关系;针对第一视频帧中的每个矩形像素块,确定第一视频帧的矩形像素块和相似图像的对应位置的矩形像素块的平均像素值和平均值偏差;根据平均像素值和平均值偏差确定同一位置的第一视频帧的矩形像素块和相似图像的矩形像素块的叠加权重;基于叠加权重对第一视频帧的每个矩形像素块和相似图像的对应的每个矩形像素块的各像素值进行加权叠加以得到第一视频帧的降噪图像。
结合第一方面,在第一方面的某些实现方式中,第一视频帧为多通道图像序列中的视频帧。
第二方面,本申请一实施例提供了一种视频处理系统,该系统包括:划分模块,用于将第一视频帧划分为多个第一图像块,其中,在多个第一图像块中,相邻的所述第一图像块之间部分重叠,并且多个第一图像块的并集完全覆盖第一视频帧;确定模块,用于针对每个第一图像块,在第二视频帧中确定与第一图像块最为相似的第二图像块,第二视频帧为第一视频帧对应的经降噪处理后的前一帧视频帧;聚合模块,用于将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像;降噪模块,用于基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像。
第三方面,本申请一实施例提供了一种计算机可读存储介质,存储介质存储有计算机程序,计算机程序用于执行上述第一方面提及的视频处理方法。
第四方面,本申请一实施例提供了一种电子设备,该设备包括:处理器,用于执行上述第一方面提及的视频处理方法;用于存储处理器可执行指令的存储器。
本实施例提供的视频处理方法,解决了视频降噪中使用块匹配方法导致像素叠加之后边界具有割裂感的问题,在不产生明显运动拖影的前提下提高了运动物体的降噪质量,具备很好的实用性。
附图说明
图1所示为本申请一实施例提供的视频处理方法的流程示意图。
图2所示为本申请一实施例提供的第一视频帧的分割示意图。
图3所示为本申请另一实施例提供的视频处理方法的流程示意图。
图4所示为本申请又一实施例提供的视频处理方法的流程示意图。
图5所示为本申请又一实施例提供的视频处理方法的流程示意图。
图6所示为本申请一实施例提供的第一图像块的示意图。
图7所示为本申请一实施例提供的第一图像块的重叠状态示意图。
图8所示为本申请又一实施例提供的视频处理方法的流程示意图。
图9所示为本申请又一实施例提供的视频处理方法的流程示意图。
图10所示为本申请一实施例提供的视频处理系统的结构示意图。
图11所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
申请概述
在时域视频降噪技术中,一种常见的方法是将视频中的待处理帧的像素或像素组与上一帧经降噪处理后的视频帧中相同位置的像素或像素组进行动静判决,例如通过计算两个像素的差值或两个像素组的平均值的差值,差值越大,说明当前的像素或像素组的运动强度越大。基于运动强度确定像素或像素组的权重来进行降噪,运动强度越大,前一帧作为缓冲帧的权重越小。然而,缓冲帧的权重过小会导致降噪效果变弱。因而,为解决运动强度大时视频降噪效果差的问题,引入了块匹配的方法。通过在缓冲帧中匹配与当前的像素或像素组最相似的像素或像素组并进行叠加,可以使降噪后的视频没有明显的运动拖影。
而在使用块匹配对当前像素或像素组进行相似块匹配时,由于相邻像素块匹配到的相似块不一定是相邻的,将相似块中的像素值进行叠加时,会产生边界的割裂感。
为解决上述传统技术中存在的采用块匹配进行视频降噪时由于块效应而产生割裂感的问题,本申请实施例提供了一种视频处理方法。
图1为本申请一实施例提供的视频处理方法的流程示意图。下面将结合图2,详细描述图1所示的本申请一实施例提供的视频处理方法的流程示意图,该方法包括以下步骤。
步骤S20:将第一视频帧划分为多个第一图像块。
其中,在多个第一图像块中,相邻的第一图像块之间部分重叠,并且多个第一图像块的并集完全覆盖第一视频帧。
示例性地,如图2所示,若图2为第一视频帧所包括的全部第一图像块,将图2所示的第一视频帧划分为多个重叠的第一图像块,每个第一图像块为宽×高为M×N的方块。
具体地,多个重叠的第一图像块各自的尺寸完全相同,每个第一图像块的宽和高均为2的整数倍,相邻的第一图像块之间的重叠面积等于第一图像块的面积的1/2。
示例性地,如图2所示,M和N都是2的整数倍,可以取8,与左上角第一个M×N大小的第一图像块相邻的另一个第一图像块为向右平移M/2个距离的M×N块,即图2中第一条竖直方向的虚线和第二条竖直方向的虚线之间的最上层的M×N块;同理,其他第一图像块都与相邻的第一图像块重叠面积的1/2。
步骤S22:针对每个第一图像块,在第二视频帧中确定与第一图像块最为相似的第二图像块,第二视频帧为第一视频帧对应的经降噪处理后的前一帧视频帧。
示例性地,可以在第二视频帧中确定搜索窗口,并在搜索窗口中搜索与第一图像块最相似的第二相似块。
具体地,若当前第一视频帧无对应的经降噪处理后的前一帧视频帧,则直接将前一帧视频帧作为第二视频帧。
步骤S24:将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像。
具体地,将第二图像块按照第一图像块重叠的方式进行聚合以得到第一视频帧对应的相似图像。
步骤S26:基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像。
示例性地,将相似图像和第一视频帧进行对比以得到各自叠加时所占权重,并根据权重对第一视频帧和相似图像进行叠加以进行降噪,并得到第一视频帧的降噪图像。
本申请实施例提供的视频处理方法,通过对重叠的第一图像块进行相似的第二图像块的搜索,使聚合后的相似图像无明显的边界割裂感,避免了基于块匹配的时域降噪方法的块效应问题。
图3为本申请另一实施例提供的视频处理方法的流程示意图,在图1所示实施例基础上延伸出图3所示实施例,下面将结合图2,着重叙述图3所示实施例与图1所示实施例的不同之处,相同之处不再赘述。
步骤S201:对第一视频帧进行边界填充,以便填充后的第一视频帧能够划分为多个尺寸完全相同的第一图像块。
示例性地,若第一视频帧的宽×高为(2M-1)×(2N-1),则对第一视频帧的左边界或右边界填充1列,对第一视频帧的上边界或下边界填充1行,使填充后的第一视频帧的宽和高能够分别被M和N整除,以划分为多个尺寸都为M×N的第一图像块。
步骤S202:将进行边界填充后的第一视频帧划分为多个第一图像块。
示例性地,如图2所示,在对边界进行填充后,将第一视频帧划分为尺寸都为M×N的多个第一图像块。
通过本申请实施例提供的视频处理方法,可以使其应用于任意宽高的视频帧中,提高了通用性。
图4为本申请又一实施例提供的视频处理方法的流程示意图,在图1所示实施例基础上延伸出图4所示实施例,下面着重叙述图4所示实施例与图1所示实施例的不同之处,相同之处不再赘述。
步骤S240:获取多个第一图像块各自的像素权重。
具体地,多个第一图像块可以共用同一个权重矩阵,取值大于零,第一图像块中间的像素权重值较高,边界的像素权重值较低。
步骤S242:针对多个第一图像块中的每个第一图像块,基于第一图像块的像素权重将第一图像块对应的第二图像块中的像素值进行加权聚合,得到第一视频帧对应的相似图像。
具体地,将第二图像块中对应第一视频帧同一位置的像素按照权重值进行加权叠加。遍历第一视频帧的每一个像素以得到对应每一个像素的叠加权重和,对其进行归一化运算后可以得到第一视频帧对应的相似图像。
通过本申请实施例提供的视频处理方法,由于所选取的权重矩阵中,其中间位置的像素权重值较高,边界的像素权重值较低,因此可以进一步降低第二图像块聚合时的块效应,同时不会对图像造成太大的破坏。
图5为本申请又一实施例提供的视频处理方法的流程示意图,图6为本申请一实施例提供的第一图像块的示意图,图7为本申请一实施例提供的第一图像块的重叠状态示意图。在图4所示实施例基础上延伸出图5所示实施例,下面将结合图2、图6和图7着重叙述图5所示实施例与图4所示实施例的不同之处,相同之处不再赘述。
步骤S2420:对第一图像块中的像素权重进行比例缩放。
示例性地,结合图2,当第一图像块的大小为M×N时,根据下式求得二维Kaiser权重矩阵KMN(i,j):
KMN(i,j)=KM(i)*KN(j);
其中,I0(x)为零阶修正的贝塞尔函数,β常取2。然后计算
基于A(p,q)对KMN(i,j)进行比例缩放即可得到聚合权重w(i,j),即
w(p,q)=KMN(p,q)/A(p,q),
步骤S2422:基于比例缩放后的像素权重将第一图像块对应的第二图像块中的像素值进行缩放相加,得到第一视频帧对应的相似图像。
示例性地,结合图6,图6中每个第一图像块中的阴影部分对应第一视频帧中的同一部分像素组,第1个第一图像块的右下角阴影部分区域的比例缩放后的权重对应第2个第一图像块的左下角阴影部分区域的比例缩放后的权重对应第3个第一图像块的右上角阴影部分区域的比例缩放后的权重对应 第4个第一图像块的左上角阴影部分区域的比例缩放后的权重对应w(p,q)。将各自阴影区域对应的第二图像块的像素值与对应的比例缩放后的权重值相乘得到的四个值为进行缩放后的像素值。将进行缩放后的像素值相加即得到进行缩放相加后的像素值。
示例性地,结合图7,以上计算的缩放聚合权重只能直接应用于不在第一视频帧图像边界的第一图像块。即图7所示的斜线阴影区域的每个(M/2)×(N/2)的小块。由于斜线阴影线中的小块每个都会被四个第一图像块所包含重叠,这时聚合权重和恒为1;但对于图7所示的垂直阴影区域,即图像的四个角处的(M/2)×(N/2)的小块,只会被一个第一图像块所包含;而对于图7所示的水平阴影区域,即图像边界处的(M/2)×(N/2)的小块,只会被两个第一图像块所包含重叠。因此,对于位于图像边界的第一图像块,如果直接使用以上求得的w(i,j),则会使得水平和垂直阴影处像素的聚合权重和不为1。为了解决这一问题,可以在输入的第一视频帧的左右边界分别填充M/2列的数据,同时在图像的上下边界分别填充N/2行的数据,填充方式不作限制。当所有第一图像块对应的第二图像块都聚合完成时,只需丢弃所填充的行列数据即可。
本申请实施例提供的视频处理方法,可以保证聚合权重值恒为1,进而省去归一化的运算步骤,以及对应的权重和缓冲区的存储空间,降低了芯片的制造成本。
图8为本申请又一实施例提供的视频处理方法的流程示意图,在图1所示实施例基础上延伸出图8所示实施例,下面着重叙述图8所示实施例与图1所示实施例的不同之处,相同之处不再赘述。
步骤S220:基于第一图像块,在第二视频帧中进行块匹配,得到与第一图像块最为相似的第二图像块。
示例性地,在第二视频帧中划出固定大小的搜索窗口,对于搜索窗口的每一个像素,都视为大小为M×N的候选第二图像块的左上角像素,分别计算当前第一图像块和搜索窗口中每一个候选第二图像块的平均差值绝对值,计算公式如下:
MAD越小,表明两个块越相似,MAD值最小的位置对应的候选第二图像块可视为与第一图像块最为相似的第二图像块。
通过本申请实施例提供的视频处理方法,可以通过复杂度较低的计算方法找到与第一图像块最为相似的第二图像块,降低了计算复杂度的同时得到的第二图像块的相似度也很高。
图9为本申请又一实施例提供的视频处理方法的流程示意图,在图1所示实施例基础上延伸出图9所示实施例,下面着重叙述图9所示实施例与图1所示实施例的不同之处,相同之处不再赘述。
步骤S260:分别将第一视频帧和与相似图像划分为不重叠的矩形像素块。
其中,第一视频帧中的矩形像素块和相似图像中的矩形像素块为一一对应关系。
示例性地,可以将第一视频帧和相似图像划分为宽×高为A×B大小的不重叠的矩形像素块,所选A和B可以分别被第一视频帧的宽和高整除。
具体地,A和B相对于前述M和N无相互关联,都是独立选取的。
示例性地,记第一视频帧中的像素值为Icur,相似图像中的像素值为Isim。
步骤S262:针对第一视频帧中的每个矩形像素块,确定第一视频帧的矩形像素块和相似图像的对应位置的矩形像素块的平均像素值和平均值偏差。
示例性地,针对第一视频帧的每一个A×B的矩形像素块,假设左上角坐标为(x,y),分别计算该矩形像素块与相似图像对应位置的矩形像素块的平均像素值和平均值偏差,即
Diff=|Mcur-Msim|.
步骤S264:根据平均像素值和平均值偏差确定同一位置的第一视频帧的矩形像素块和相似图像的矩形像素块的叠加权重。
示例性地,根据Diff计算第一视频帧的矩形像素块和相似图像的矩形像素块的叠加权重,即
Wgt=p·exp(-q·Diff).
其中p和q都大于0且p≤1,可取p=0.9,q=0.05。Diff越大,意味着相似图像上的当前矩形像素块与第一视频帧上的对应的矩形像素块的相似度越低,因此在叠加时相似图像上的块的权重需要更低。但事实上,由于相似图像本身已经做了运动补偿,所以Diff通常是比较小的。
步骤S266:基于叠加权重对第一视频帧的每个矩形像素块和相似图像的对应的每个矩形像素块的各像素值进行加权叠加以得到第一视频帧的降噪图像。
示例性地,进行加权叠加的公式可以为如下公式:
Iout(x,y)=Isim(x,y)·Wgt+Icur(x,y)·(1-Wgt).
对第一视频帧的每个矩形像素块和相似图像的对应的每个矩形像素块各像素值使用上述公式进行加权叠加以得到第一视频帧的降噪图像。
通过本申请实施例提供的视频处理方法,可以通过简单的方法实现较高质量的降噪。
在本申请一实施例中,第一视频帧可以为多通道图像序列中的视频帧。
示例性地,对于RGB格式的多通道图像序列,三个通道的尺寸是一样的,第一图像块可以为一个M×N×3的三维块。
而对于YUV格式的多通道图像序列,由于色度分量通常需要进行下采样,所以参考单元不能够直接用一个三维块来表示。
示例性地,对于YUV4:2:2格式的多通道图像序列,每一帧图像由一个W×H的亮度通道与两个(W/2)×H的色度通道组成,因此图像划分后得到的第一图像块包含一个M×N的亮度块与两个(M/2)×N的色度块,其中,M/2仍为2的倍数。在步骤22:在第二视频帧中确定与第一图像块最为相似的第二图像块中,可以综合亮度块与色度块的信息,例如计算第一图像块与候选第二图像块所有像素的平均值偏差,在第二视频帧中找到对应的由一个M×N的色度块与两个(M/2)×N的色度块组成的与第一图像块最相似的第二图像块。在步骤24:将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像中,即对W×H的亮度第二图像块和两个(W/2)×H的色度第二图像块进行聚合时,因为亮度块与色度块的大小不一样,可以根据上述权重计算方式分别计算亮度块的聚合权重与色度块的聚合权重,然后分别把第二图像块中的亮度块和色度块聚合到相应的亮度与色度聚合缓冲区中,从而得到相应的YUV4:2:2格式的相似图像。在步骤26:基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像中,相似图像与第一视频帧进行时域叠加降噪时,同样可以按照以上的划分方法进行处理,也可以对每个通道单独进行处理。
通过本申请实施例提供的视频处理方法,通过对多通道的图像序列进行三维的处理,使本视频处理方法可以应用于不同格式的视频降噪中,提高了视频处理方法的通用性。
图10为本申请一实施例提供的视频处理系统的结构示意图。如图10所示,本申请实施例提供的视频处理系统1000包括:划分模块100,确定模块200,聚合模块300和降噪模块400。
具体地,划分模块100,用于将第一视频帧划分为多个第一图像块,其中,在多个第一图像块中,相邻的第一图像块之间部分重叠,并且多个第一图像块的并集完全覆盖第一视频帧;确定模块200,用于针对每个第一图像块,在第二视频帧中确定与第一图像块最为相似的第二图像块,第二视频帧为第一视频帧对应的经降噪处理后的前一帧视频帧;聚合模块300,用于将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像;降噪模块400,用于基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像。
在本申请一实施例中,划分模块100在执行步骤:将第一视频帧划分为多个第一图像块时,执行下述步骤:对第一视频帧进行边界填充,以便填充后的第一视频帧能够划分为多个尺寸完全相同的第一图像块;将进行边界填充后的第一视频帧划分为多个第一图像块。
在本申请一实施例中,聚合模块300在执行步骤:将多个第一图像块各自对应的第二图像块进行聚合,得到第一视频帧对应的相似图像,执行下述步骤:获取多个第一图像块各自的像素权重;针对多个第一图像块中的每个第一图像块,基于第一图像块的像素权重将第一图像块对应的第二图像块中的像素值进行加权聚合,得到第一视频帧对应的相似图像。
在本申请一实施例中,聚合模块300在执行步骤:基于第一图像块的像素权重将第一图像块对应的第二图像块中的像素值进行加权聚合,执行下述步骤:对第一图像块中的像素权重进行比例缩放;基于比例缩放后的像素权重将第一图像块对应的第二图像块中的像素值进行缩放相加。
在本申请一实施例中,确定模块200在执行步骤:在第二视频帧中确定与第一图像块最为相似的第二图像块,执行下述步骤:基于第一图像块,在第二视频帧中进行块匹配,得到第一图像块最为相似的第二图像块。
在本申请一实施例中,降噪模块400在执行步骤:基于相似图像对第一视频帧进行降噪,得到第一视频帧对应的降噪图像,执行下述步骤:分别将第一视频帧和与相似图像划分为不重叠的矩形像素块,第一视频帧中的矩形像素块和相似图像中的矩形像素块为一一对应关系;针对第一视频帧中的每个矩形像素块,确定第一视频帧的矩形像素块和相似图像的对应位置的矩形像素块的平均像素值和平均值偏差;根据平均像素值和平均值偏差确定同一位置的第一视频帧的矩形像素块和相似图像的矩形像素块的叠加权重;基于叠加权重对第一视频帧的每个矩形像素块和相似图像的对应的每个矩形像素块的各像素值进行加权叠加以得到第一视频帧的降噪图像。
在本申请一实施例中,第一视频帧为多通道图像序列中的视频帧。
图11所示为本申请一实施例提供的电子设备的结构示意图。如图11所示,电子设备1100包括一个或多个处理器1110和存储器1120。
处理器1110可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备1100中的其他组件以执行期望的功能。
存储器1120可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器1110可以运行程序指令,以实现上文所述的本申请的各个实施例的视频处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如聚合权重,平均像素值等各种内容。
在一个示例中,电子设备1100还可以包括:输入装置1130和输出装置1140,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置1130可以包括例如键盘、鼠标等等。
该输出装置1140可以向外部输出各种信息,包括提醒信息等。该输出装置1140可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图11中仅示出了该电子设备1100中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备1100还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的视频处理方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种视频处理方法,其特征在于,包括:
将第一视频帧划分为多个第一图像块,其中,在所述多个第一图像块中,相邻的所述第一图像块之间部分重叠,并且所述多个第一图像块的并集完全覆盖所述第一视频帧;
针对每个所述第一图像块,在第二视频帧中确定与所述第一图像块最为相似的第二图像块,所述第二视频帧为所述第一视频帧对应的经降噪处理后的前一帧视频帧;
将所述多个第一图像块各自对应的第二图像块进行聚合,得到所述第一视频帧对应的相似图像;
基于所述相似图像对所述第一视频帧进行降噪,得到所述第一视频帧对应的降噪图像。
2.根据权利要求1所述的视频处理方法,其特征在于,所述多个第一图像块各自的尺寸完全相同,每个所述第一图像块的宽和高均为2的整数倍,相邻的所述第一图像块之间的重叠面积等于所述第一图像块的面积的1/2。
3.根据权利要求2所述的视频处理方法,其特征在于,所述将第一视频帧划分为多个第一图像块,包括:
对所述第一视频帧进行边界填充,以便填充后的第一视频帧能够划分为多个尺寸完全相同的第一图像块;
将进行所述边界填充后的第一视频帧划分为所述多个第一图像块。
4.根据权利要求1所述的视频处理方法,其特征在于,所述将所述多个第一图像块各自对应的第二图像块进行聚合,得到所述第一视频帧对应的相似图像,包括:
获取所述多个第一图像块各自的像素权重;
针对所述多个第一图像块中的每个第一图像块,基于所述第一图像块的像素权重将所述第一图像块对应的第二图像块中的像素值进行加权聚合,得到所述第一视频帧对应的相似图像。
5.根据权利要求4所述的视频处理方法,其特征在于,所述基于所述第一图像块的像素权重将所述第一图像块对应的第二图像块中的像素值进行加权聚合,包括:
对所述第一图像块中的像素权重进行比例缩放;
基于比例缩放后的像素权重将所述第一图像块对应的第二图像块中的像素值进行缩放相加。
6.根据权利要求1所述的视频处理方法,其特征在于,所述在第二视频帧中确定与所述第一图像块最为相似的第二图像块,包括:
基于所述第一图像块,在所述第二视频帧中进行块匹配,得到所述与所述第一图像块最为相似的第二图像块。
7.根据权利要求1所述的视频处理方法,其特征在于,所述基于所述相似图像对所述第一视频帧进行降噪,得到所述第一视频帧对应的降噪图像,包括:
分别将所述第一视频帧和与所述相似图像划分为不重叠的矩形像素块,所述第一视频帧中的矩形像素块和所述相似图像中的矩形像素块为一一对应关系;
针对所述第一视频帧中的每个矩形像素块,
确定所述第一视频帧的矩形像素块和所述相似图像的对应位置的矩形像素块的平均像素值和平均值偏差;
根据所述平均像素值和平均值偏差确定同一位置的所述第一视频帧的矩形像素块和所述相似图像的矩形像素块的叠加权重;
基于所述叠加权重对所述第一视频帧的每个所述矩形像素块和所述相似图像的对应的每个所述矩形像素块的各像素值进行加权叠加以得到所述第一视频帧的降噪图像。
8.根据权利要求1所述的视频处理方法,其特征在于,所述第一视频帧为多通道图像序列中的视频帧。
9.一种视频处理系统,其特征在于,包括:
划分模块,用于将第一视频帧划分为多个第一图像块,其中,在所述多个第一图像块中,相邻的所述第一图像块之间部分重叠,并且所述多个第一图像块的并集完全覆盖所述第一视频帧;
确定模块,用于针对每个所述第一图像块,在第二视频帧中确定与所述第一图像块最为相似的第二图像块,所述第二视频帧为所述第一视频帧对应的经降噪处理后的前一帧视频帧;
聚合模块,用于将所述多个第一图像块各自对应的第二图像块进行聚合,得到所述第一视频帧对应的相似图像;
降噪模块,用于基于所述相似图像对所述第一视频帧进行降噪,得到所述第一视频帧对应的降噪图像。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至8任一项所述的视频处理方法。
11.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述权利要求1至8任一项所述的视频处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211724556.6A CN116016807B (zh) | 2022-12-30 | 2022-12-30 | 一种视频处理方法、系统、可存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211724556.6A CN116016807B (zh) | 2022-12-30 | 2022-12-30 | 一种视频处理方法、系统、可存储介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116016807A true CN116016807A (zh) | 2023-04-25 |
CN116016807B CN116016807B (zh) | 2024-04-19 |
Family
ID=86036860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211724556.6A Active CN116016807B (zh) | 2022-12-30 | 2022-12-30 | 一种视频处理方法、系统、可存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116016807B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116993626A (zh) * | 2023-09-26 | 2023-11-03 | 成都市晶林科技有限公司 | 一种基于时空域的红外图像降噪方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100091194A1 (en) * | 2007-03-31 | 2010-04-15 | Sony Deutschland Gmbh | Noise reduction method and unit for an image frame |
US20110085084A1 (en) * | 2009-10-10 | 2011-04-14 | Chirag Jain | Robust spatiotemporal combining system and method for video enhancement |
CN107172322A (zh) * | 2017-06-16 | 2017-09-15 | 北京飞识科技有限公司 | 一种视频降噪方法和装置 |
CN111754411A (zh) * | 2019-03-27 | 2020-10-09 | Tcl集团股份有限公司 | 图像降噪方法、图像降噪装置及终端设备 |
CN112311962A (zh) * | 2019-07-29 | 2021-02-02 | 深圳市中兴微电子技术有限公司 | 一种视频去噪方法和装置、计算机可读存储介质 |
CN113284065A (zh) * | 2021-05-26 | 2021-08-20 | Oppo广东移动通信有限公司 | 视频图像的去噪方法、装置、电子设备和可读存储介质 |
CN114862734A (zh) * | 2022-05-23 | 2022-08-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN115526798A (zh) * | 2022-09-27 | 2022-12-27 | 苏州一目万相科技有限公司 | 医用x光视频序列图像降噪方法及系统、可读存储介质 |
-
2022
- 2022-12-30 CN CN202211724556.6A patent/CN116016807B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100091194A1 (en) * | 2007-03-31 | 2010-04-15 | Sony Deutschland Gmbh | Noise reduction method and unit for an image frame |
US20110085084A1 (en) * | 2009-10-10 | 2011-04-14 | Chirag Jain | Robust spatiotemporal combining system and method for video enhancement |
CN107172322A (zh) * | 2017-06-16 | 2017-09-15 | 北京飞识科技有限公司 | 一种视频降噪方法和装置 |
CN111754411A (zh) * | 2019-03-27 | 2020-10-09 | Tcl集团股份有限公司 | 图像降噪方法、图像降噪装置及终端设备 |
CN112311962A (zh) * | 2019-07-29 | 2021-02-02 | 深圳市中兴微电子技术有限公司 | 一种视频去噪方法和装置、计算机可读存储介质 |
CN113284065A (zh) * | 2021-05-26 | 2021-08-20 | Oppo广东移动通信有限公司 | 视频图像的去噪方法、装置、电子设备和可读存储介质 |
CN114862734A (zh) * | 2022-05-23 | 2022-08-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN115526798A (zh) * | 2022-09-27 | 2022-12-27 | 苏州一目万相科技有限公司 | 医用x光视频序列图像降噪方法及系统、可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116993626A (zh) * | 2023-09-26 | 2023-11-03 | 成都市晶林科技有限公司 | 一种基于时空域的红外图像降噪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116016807B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10614603B2 (en) | Color normalization for a multi-camera system | |
US9240033B2 (en) | Image super-resolution reconstruction system and method | |
EP2164040B1 (en) | System and method for high quality image and video upscaling | |
WO2019041842A1 (zh) | 一种图像处理方法及装置、存储介质和计算机设备 | |
CN116016807B (zh) | 一种视频处理方法、系统、可存储介质和电子设备 | |
CN109194878B (zh) | 视频图像防抖方法、装置、设备和存储介质 | |
WO2018113224A1 (zh) | 一种图像缩小方法及装置 | |
US20160042498A1 (en) | System and method for increasing the bit depth of images | |
CN112399120A (zh) | 电子装置及其控制方法 | |
WO2019090580A1 (en) | System and method for image dynamic range adjusting | |
KR20140107044A (ko) | 이미지 서브 시스템 | |
US20220148235A1 (en) | Display apparatus and image processing method thereof for applying random patches to pixel block | |
US7916970B2 (en) | Image processing apparatus, method of same, and program for same | |
US8687695B2 (en) | Apparatus and method of determining motion vectors assigned to image regions | |
US8265419B2 (en) | Image processing apparatus and image processing method | |
WO2011121563A1 (en) | Detecting saliency in an image | |
US20200043141A1 (en) | Image processing apparatus and method | |
US9594955B2 (en) | Modified wallis filter for improving the local contrast of GIS related images | |
US20190005633A1 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2020000333A1 (en) | Image processing method and apparatus | |
US9928577B2 (en) | Image correction apparatus and image correction method | |
CN110580880B (zh) | 一种基于rgb三角亚像素布局式的亚像素渲染方法、系统以及显示装置 | |
CN114495812A (zh) | 显示面板亮度补偿方法、装置、电子设备及可读存储介质 | |
US8743180B2 (en) | Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data | |
WO2023031999A1 (ja) | 映像情報処理装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |