CN117292285A - 视频处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
视频处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117292285A CN117292285A CN202210662608.5A CN202210662608A CN117292285A CN 117292285 A CN117292285 A CN 117292285A CN 202210662608 A CN202210662608 A CN 202210662608A CN 117292285 A CN117292285 A CN 117292285A
- Authority
- CN
- China
- Prior art keywords
- region
- target
- image
- pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 67
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种视频处理方法、装置、电子设备及计算机可读存储介质。方法包括:获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像;确定第一图像中的第一区域;根据第一图像和第一区域,确定第二图像中的第二区域;根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。采用本申请实施例,可以提升对视频画面的防抖处理效果。
Description
技术领域
本申请涉及视频处理技术领域,具体涉及一种视频处理方法、装置、电子设备及计算机可读存储介质。
背景技术
视频拍摄设备在进行视频的拍摄时,视频的稳定性是确定拍摄视频质量的重要因素。为了避免视频拍摄设备在拍摄时出现的抖动,或者拍摄运动物体时,导致的视频画面发生位移或者畸变等问题,故需要对拍摄视频进行防抖处理,从而提高视频画面的拍摄质量。
然而,现有防抖方法对视频画面进行防抖处理时的防抖效果不好,无法满足用户的拍摄要求。
发明内容
本申请实施例提供一种视频处理方法、装置、电子设备及计算机可读存储介质,可以提升对视频画面的防抖处理效果,满足用户的拍摄要求。
第一方面,本申请实施例提供一种视频处理方法,包括:
获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像;
确定第一图像中的第一区域;
根据第一图像和第一区域,确定第二图像中的第二区域;
根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。
第二方面,本申请实施例还提供一种视频处理装置,包括:
获取单元,用于获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像;
第一确定单元,用于确定第一图像中的第一区域;
第二确定单元,用于根据第一图像和第一区域,确定第二图像中的第二区域;
第三确定单元,用于根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。
第三方面,本申请实施例还提供一种电子设备,电子设备包括存储器、处理器以及存储于存储器中并可在处理器上运行的视频处理程序,处理器执行视频处理程序时实现本申请实施例所提供的任一种视频处理方法中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有视频处理程序,视频处理程序被处理器执行实现本申请实施例所提供的任一种视频处理方法中的步骤。
在本申请中,可以通过获取目标视频相邻的两帧图像,通过将两帧图像上处于共同位置的第一区域和第二区域进行相似度比对,确定相似部分和不相似部分的比例,从而更好确定目标视频是否在拍摄设备抖动的情况下出现了视频图像的畸变,从而避免传统判断的方法中,无法确定有移动物体时的情况和拍摄设备抖动时的情况,从而错误的对拍摄的视频中有移动物体移动的拍摄图像进行防抖处理,进而导致背景图像中处于固定状态下的背景部分发生畸变,影响了成像的质量,同时本申请中还通过确定第一区域内的目标像素,从而减少对第一区域的提取数量,从而减少整个方法的计算量,并避免了在第一区域处于单一图像背景中进行相似度计算不准确的问题。由此,减少了计算时间,并避免检测,提升了提升对视频画面的防抖处理效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的视频处理方法的场景示意图;
图1b是本申请实施例提供的视频处理方法的流程示意图;
图1c是本申请实施例提供的确定第一区域的方法的流程示意图;
图1d是本申请实施例提供的确定第一区域中的目标区域以及目标区域的数量的方法的流程示意图;
图2a是本申请实施例提供的视频处理方法的一个实施例流程示意图;
图2b是本申请实施例提供的视频处理方法的一个实施例的方法流程示意图;
图3是本申请实施例提供的视频处理装置的第一种结构示意图;
图4是本申请实施例提供的终端的结构示意图;
图5是本申请实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种视频处理方法、装置、电子设备及计算机可读存储介质。
其中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,可以由多个电子设备或者,可以集成在多个服务器中,由多个服务器来实现本申请的视频处理方法。
在一些实施例中,服务器也可以以终端的形式来实现。
例如,参考图1a,该电子设备可以是服务器,本申请实施例中的服务器用于获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像;确定第一图像中的第一区域;根据第一图像和第一区域,确定第二图像中的第二区域根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中,提供了一种视频处理方法,如图1b所示,该视频处理方法的具体流程可以如下:
110、获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像。
目标视频是指例如带有拍摄功能的手机、相机、监控设备、行车记录仪等拍摄设备拍摄的视频图像。在一些实施例中,目标视频可以是已经拍摄好并存储于用户终端存储空间的视频文件,还可以是实时录制的视频文件或者在即时通讯应用中进行视频通话的实时视频文件。
帧图像是通过对目标视频进行图像分割得到的图像,其中,在对目标视频进行图像分割时,可以通过对目标视频解析,得到目标视频中的各帧图像,然后从各帧图像中抽取相邻的两帧图像。其中,在一些实施例中,相邻的两帧图像可以包括第t帧图像和第t-1帧图像,其中,t为大于1的整数,例如,在本申请实施例中,相邻的两帧图像可以包括第一图像和第二图像,第一图像可以为第t帧图像或第t-1帧图像,第二图像可以为第t-1帧图像或第t帧图像。其中,在一些实施例中,由于相邻的两帧图像是通过从目标视频中分割得到的,因此相邻的两帧图像的大小尺寸是相同的,当相邻的两帧图像的尺寸不相同时,也可以通过对相邻的两帧图像进行尺寸调整,使得相邻的两帧图像的大小尺寸相同。
120、确定第一图像中的第一区域。
第一区域是指用于第一图像上用于进行比对的区域,其中,第一区域可以为第一图像上处于背景较为复杂的区域,即可以是背景图案复杂的区域或背景色彩复杂的区域。
其中,在本申请实施例中,如图1c所示,确定第一图像中的第一区域的方法可以包括:
121、对第一图像进行划分处理,得到第一图像的i个局部区域,第一图像为两帧图像中的任一帧,i为正整数。
划分处理是指将第一图像分割为i个局部区域。其中,在一些实施例中,对第一图像进行划分处理时,可以基于第一图像的尺寸大小的需要通过滑窗对第一图像进行划分处理,也可以根据第一图像上像素点的矩阵大小对第一图像进行划分处理。其中,在一些实施例中,划分处理后得到的局部区域可以是规则形状的局部图形,也可以是不规则形状的局部图形,也可以是沿行数方向设置的一行或多行像素点,也可以是沿列数方向设置的一列或多列像素点。
其中,在本申请实施例中,对第一图像进行划分处理,得到第一图像的i个局部区域的方法可以包括:
对第一图像进行像素矩阵划分处理,得到第一像素矩阵图;
对第一像素矩阵图进行区域划分处理,得到i个局部区域。
其中,像素矩阵划分处理是指根据第一图像上的像素点或像素块对第一图像进行划分,划分得到第一像素矩阵图是由M*N个像素点或像素块组成的图像。其中,在一些实施例中,可以通过将第一图像转化为灰度图的方式进行像素矩阵划分处理,其中,灰度图是指每个像素只有一个采样颜色的图像,灰度图上像素值的范围为0~255。在一些实施例中,对第一图像进行转化处理得到第一图像的灰度图的方法可以通过获取第一图像上每一个像素的红值、绿值、蓝值,然后使用灰度算法,算出灰度值,最后用算出的灰度值代替像素原始的红值、绿值、蓝值。
在将第一图像转化为灰度图后,可以对转化后灰度图进行像素矩阵划分处理,从而确定出由M*N个像素点组成的第一图像。其中,M个像素点可以用于表征转化后灰度图的行数,N个像素点可以用于表征转化后灰度图的列数。
区域划分处理是指将第一图像按照行或列分为i个局部区域,其中,每个局部区域可以由m行像素点构成,也可以由n列像素点构成。例如,在一些实施例中,第一图像的第一像素矩阵图的像素点尺寸为1000*500,即M为1000,N为500,当第一图像可以由50个局部区域构成时,每个局部区域可以由m=20行像素点构成,也可以由n=10列像素点构成。
其中,在一些实施例中,局部区域可以沿着第一图像的边缘抽取,例如,当M为1000,N为500时,局部区域可以选取4个,且分别为第1行像素点,第1000行像素点、第1列像素点和第500列像素点。
其中,在一些实施例中,局部区域也可以按照第一图像位置的上部、中部、下部、左部、右部的规则进行抽取,例如,当M为1000,N为500时,局部区域可以选取6个,且分别为第2行像素点,第499行像素点,第998行像素点、第1列像素点、第250列像素点和第500列像素点。
122、在i个局部区域中选取至少一个目标局部区域,并将选取得到的目标局部区域作为第一区域。
目标局部区域是指局部区域中存在目标像素的区域,目标像素是指处于第一图像上非平滑区域的像素,即与梯度较大的像素,其中,目标像素的数量可以根据使用需要进行选择提取。第一区域是指存在有目标像素的区域,由于目标像素的数量可以有多个,因此存在有目标像素的区域也可以有多个。
其中,在进行视频抖动的判断时,若在局部区域为背景单一的区域,即局部区域中的像素点在x和y两个方向上的变化率(与相邻像素比较)较低,在进行相似度计算时,无法准确的进行相似度的判断。因此,为了更加准确的进行相似度的判断,故要确定局部区域中存在像素点在x和y两个方向上的变化率(与相邻像素比较)较大的目标像素,当局部区域中存在目标像素时,可以更好的反映因图像抖动导致的变化。其中,在一些实施例中,目标像素可以为一个像素点,当目标像素为像素点时,目标像素的像素值为像素点的像素值,目标像素也可以为一个像素区域,当目标像素为像素区域时,目标像素的像素值可以为所有像素点的像素平均值。
其中,在本申请实施例中,在i个局部区域中选取至少一个目标局部区域,并将选取得到的目标局部区域作为第一区域的方法包括:
获取每个局部区域内的像素点,以及像素点的像素。
局部区域由多个像素点构成,例如,在本申请实施例中,当M为10,N为10时,局部区域为行数为第6行像素点,则局部区域由10个像素点构成,每个像素点的像素可通过像素的灰度值来确定。
对局部区域内的像素点进行邻域平均值的计算,得到像素点的邻域平均值。
其中,邻域平均值是指通过邻域均值法求得的邻域窗口内的所有像素点灰度值的平均值所采用的窗口大小一般为3*3、5*5、7*7。其中,在本申请实施例中,计算邻域平均值的公式包括:
其中,为邻域平均值;Ft(x,y)为像素点的像素,k和l为邻域窗口的窗口大小,例如,在本申请实施例中,k和l的数值为3。
根据像素点的邻域平均值和像素进行梯度的计算处理,得到像素点的梯度值;
当像素点的梯度值大于预设的梯度阈值时,将像素点作为目标像素;
确定局部区域中存在有目标像素,以及目标像素的数量大于预设数量的目标局部区域,将目标局部区域作为第一区域。
其中,根据像素点的邻域平均值和像素点的像素进行梯度的计算处理的公式为:
其中,Ft(i,j)为像素点的像素;T_g为预设的梯度阈值;当像素点的邻域平均值与像素点的像素的差的绝对值大于预设的梯度阈值时,则将像素点作为目标像素。
为了提高进行相似度计算的鲁棒性,故设定目标局部区域内的目标像素的数量要符合预设数量。例如,在本申请实施例中,第一图像中一共有10列局部区域,其中,有5列局部区域中存在目标像素,且该5列局部区域中只有3列局部区域的目标像素数量大于预设的数量,因此,10列局部区域中的目标局部区域有3列。
130、根据第一图像和第一区域,确定第二图像中的第二区域。
其中,根据第一图像和第一区域,确定第二图像中的第二区域是指根据第一图像和第一区域的位置关系,确定第二图像中的第二区域。其中,第一图像和第一区域的位置关系可以通过确定第一区域所在的像素点坐标进行确定。其中,在本申请实施例中,当第一区域有多个时,第二区域也有多个,且第一区域和第二区域的位置一一对应。
由于第一图像和第二图像为同一视频帧图像,因此,在确定第一图像和第一区域的位置关系后,可以根据第一图像和第一区域的位置关系,确定第二图像中与第一区域位置对应的第二区域。例如,当第一区域在第一图像中的位置为第m行时,第二区域在第二图像中的位置也为第m行。
140、根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。
其中,相似比例条件是指第一图像和第二图像的相似程度,在本申请实施例中,可以通过确定与第二区域相似的第一区域和局部区域的比例确定。其中,在本申请实施例中,如图1d所示,确定第一区域中的目标区域以及目标区域的数量的方法包括:
141、确定第一区域的数量、第一区域内的目标像素以及第二区域内的比对像素。
其中,比对像素是指与目标像素位置相同,且用于与目标像素进行比对的像素,其中,与目标像素位置相同是指比对像素在第二图像上的坐标位置与目标像素在第一图像上的坐标位置相同,第二区域是指与第一区域位置相同,且用于与第一区域进行比对的区域。
其中,在本申请实施例中,确定第二区域内的比对像素的方法包括:确定目标像素在第一区域中的位置和第一区域在第一图像中的位置;根据目标像素在第一区域中的位置和第一区域在第一图像中的位置,确定目标像素与第一图像的位置关系;根据目标像素与第一图像的位置关系,确定第二图像中的比对像素。
其中,目标像素与第一图像的位置关系是指,目标像素在第一图像上的坐标位置,例如,在本申请实施例中,当M为10,N为10时,第一区域为行数为第6行像素点,目标像素为第6行、第6列的像素点,则目标像素在第一图像上的坐标位置可以为(6,6)。由于第一图像和第二图像相同,因此根据目标像素与第一图像的位置关系,可以确定第二图像中的第二区域和第二区域中的比对像素的位置。其中,第二区域是指与第一区域位置相对应的区域,例如,在本申请实施例中,当第一区域在第一图像上的位置为第6行时,第二区域在第二图像上的位置为第6行;比对像素是指用于与目标像素进行相似度比对的像素,比对像素与目标像素的位置相对,例如,在本申请实施例中,当目标像素在第一图像上的坐标位置可以为(6,6)时,比对像素在第二图像上的坐标位置为(6,6)。
142、根据第一区域内的目标像素和第二区域内的比对像素,确定第一区域中的目标区域以及目标区域的第二数量,其中,目标区域内的目标像素与第二区域内的比对像素满足预设相似度要求。
其中,目标区域为第一图像中与第二图像中相似度较高的区域。即为满足预设相似度要求的区域,其中,满足预设相似度要求是指目标像素和比对像素的相似度较高的像素,即相似度的值大于预设相似度阈值的像素。
其中,本申请实施例中,根据第一区域内的目标像素和第二区域内的比对像素,确定第一区域中的目标区域以及目标区域的第二数量的方法可以包括:
对第一区域内的目标像素与第二区域内的比对像素进行相似度计算,得到第一区域和第二区域之间的区域相似度。
相似度是指相似程度,其中,第一区域和第二区域之间的区域相似度是指第一区域和第二区域的相似程度。
其中,在本申请实施例中,对第一区域内的目标像素与第二区域内的比对像素进行相似度计算,得到第一区域和第二区域之间的区域相似度的方法包括:
对第一区域内的目标像素和第二区域内的比对像素分别进行邻域平均值的计算,得到目标像素的邻域平均值和比对像素的邻域平均值。
其中,在本申请实施例中,得到目标像素的邻域平均值和比对像素的邻域平均值的方法包括:
确定待采集像素以及邻域窗口的采集范围,待采集像素为目标像素或比对像素;
根据待采集像素以及邻域窗口的采集范围,确定邻域窗口的采集范围内的多个像素;
将邻域窗口的采集范围内的多个像素进行加权求平均值处理,得到待采集像素的邻域平均值,待采集像素的邻域平均值为目标像素的邻域平均值或比对像素的邻域平均值。
其中,在一些实施例中,邻域窗口的采集范围是指采集像素点的数量,例如,邻域窗口的采集范围可以为3*3,邻域窗口内采集9个像素点的像素。对9个像素点的像素进行加权求平均值处理,得到待采集像素的邻域平均值。
根据目标像素的邻域平均值和比对像素的邻域平均值,确定第一区域与第二区域之间的区域相似度。
其中,在本申请实施例中,确定第一区域与第二区域之间的区域相似度的方法包括:
确定第一区域内目标像素的个数h,h为正整数;
根据第一区域内目标像素的个数h,确定第二区域内比对像素的个数h;
对第一区域内的h个目标像素和第二区域内的h个比对像素分别进行邻域平均值的计算,得到h个目标像素的邻域平均值和h个比对像素的邻域平均值。
例如,在本申请实施例中,为了提高计算的鲁棒性,本申请实施例中确定第一区域内目标像素的个数和比对像素的个数均为8个,对每个目标像素和每个比对像素进行计算后,得到了8个目标像素的邻域平均值和8个比对像素的邻域平均值。
按照位置关系,将一一对应的目标像素和比对像素进行邻域平均值的求差处理,得到h个邻域平均值的差值;
对h个邻域平均值的差值进行平方和的累加处理,得到h个邻域平均值的峰值信噪比的均方差。例如,在本申请实施例中,8个目标像素的邻域平均值为别为A1、A2、…、A8,8个比对像素的邻域平均值为B1、B2、…、B8。其中,得到峰值信噪比的均方差的公式为mse=(A1-B1)2+(A2-B2)2+……+(A8-B8)2。
根据峰值信噪比的均方差,确定第一区域与第二区域之间的区域相似度。
在本申请实施例中,根据峰值信噪比的均方差,确定第一区域和第二区域之间的区域相似度的方法可以基于PSNR(Peak Signal to Noise Ratio,图像的峰值信噪比)进行计算,其中,峰值信噪比的公式为:PSNR=10.0*log10((255*255)/mse)),其中,mse为峰值信噪比的均方差,PSNR为峰值信噪比的值,PSNR的取值范围在0~100。
当区域相似度大于预设的区域相似度阈值时,将第一区域作为目标区域。
其中,区域相似度阈值可以人为设定的区域相似度阈值,例如,在本申请实施例中,区域相似度为峰值信噪比,PSNR的取值范围在0~100,则可以设定区域相似度阈值为30,当PSNR>30,则第一区域与第二区域相似度高。当PSNR≤30,则第一区域与第二区域相似度低。
对第一图像中的目标区域进行统计处理,得到目标区域的第二数量。
统计处理是指是对目标区域进行数量统计,即确定第一图像中的所有目标区域的数量是指确定第一区域中满足与第二区域为相似的目标区域的数量。
143、当第二数量与第一数量的比值小于预设的图像相似度阈值时,对目标视频进行防抖处理。
图像相似度是指第一图像和第二图像中相似度的比例,图像相似度阈值是指第一图像和第二图像中图像相似的比例,相似的比例越高,说明目标视频越稳定,反正,相似的比例越低,说明目标视频抖动程度越高,图像相似度阈值为判断的基准值,可以通过人为进行设置。例如,在本申请实施例中,当目标区域的第二数量为2,第一区域的第一数量为6时,图像相似度为2/6=0.33,图像相似度阈值为0.5,0.33小于0.5,说明目标视频图像不稳定,故对目标视频进行防抖处理。
根据上述实施例所描述的方法,以下将作进一步详细说明。
在本实施例中,将以视频处理为例,对本申请实施例的方法进行详细说明。
如图2a和2b所示,一种视频处理方法具体流程如下:
210、获取目标视频的当前帧图像和前一帧图像。
获取到的当前帧图像和前一帧图像均为Y通道图像,即黑白灰图像。
220、在当前帧图像中均匀的抽取x行像素和y列像素。
沿当前帧图像的上、中、下和左、中、右分别均匀的抽取3行像素和3列像素。
230、基于PSNR算法对当前帧图像中的x行像素和y列像素,与前一帧图像进行相似度计算,获取x+y个相似度。
根据PSNR算法计算当前帧图像中3行像素与前一帧图像中一一对位置的3行像素,从而得到3个相似度;根据PSNR算法计算当前帧图像中3列像素与前一帧图像中一一对位置的3行列像素,从而得到3个相似度;即一共得到了6个相似度。
240、确定x+y个相似度中满足相似度阈值的个数以及比例。
确定6个相似度中大于相似度阈值的相似度,例如,当6个相似度为分别10、15、70、25、5、50,相似度阈值为30,则6个相似度中大于相似度阈值的个数为2,比例为2∶6。
当x+y个相似度中满足相似度阈值的个数未达到设定的比例时,对目标视频进行防抖处理。
当设定的比例为0.5时,比例:2/6小于设定的比例:0.5,因此,对目标视频进行防抖处理。
当x+y个相似度中满足相似度阈值的个数未达到设定的比例时,对目标视频无需进行防抖处理。
当设定的比例为0.2时,比例:2/6大于或等于设定的比例:0.2,因此,对目标视频无需进行防抖处理。
在本申请实施例中,通过获取目标视频相邻的两帧图像,通过将两帧图像上处于共同位置的第一区域和第二区域进行相似度比对,确定相似部分和不相似部分的比例,从而更好确定目标视频是否在拍摄设备抖动的情况下出现了视频图像的畸变,从而避免传统判断的方法中,无法确定有移动物体时的情况和拍摄设备抖动时的情况,从而错误的对拍摄的视频中有移动物体移动的拍摄图像进行防抖处理,进而导致背景图像中处于固定状态下的背景部分发生畸变,影响了成像的质量,同时本申请中还通过确定第一区域内的目标像素,从而减少对第一区域的提取数量,从而减少整个方法的计算量,并避免了在第一区域处于单一图像背景中进行相似度计算不准确的问题。由此,减少了计算时间,并避免检测,提升了提升对视频画面的防抖处理效果。
为了更好地实施以上方法,本申请实施例还提供一种视频处理装置,如图3所示,该视频处理装置可以包括:
获取单元301,用于获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像;
第一确定单元302,用于确定第一图像中的第一区域;
第二确定单元303,用于根据第一图像和第一区域,确定第二图像中的第二区域;
第三确定单元304,用于根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。
在本申请一些实施例中,第一确定单元302具体用于:
对第一图像进行划分处理,得到第一图像的i个局部区域,第一图像为两帧图像中的任一帧,i为正整数;
在i个局部区域中选取至少一个目标局部区域,并将选取得到的目标局部区域作为第一区域。
在本申请一些实施例中,第一确定单元302还具体用于:
对第一图像进行像素矩阵划分处理,得到第一像素矩阵图;
对第一像素矩阵图进行区域划分处理,得到i个局部区域。
在本申请一些实施例中,第一确定单元302还具体用于:
获取每个局部区域内的像素点,以及像素点的像素;
对局部区域内的像素点进行邻域平均值的计算,得到像素点的邻域平均值;
根据像素点的邻域平均值和像素进行梯度的计算处理,得到像素点的梯度值;
当像素点的梯度值大于预设的梯度阈值时,将像素点作为目标像素;
确定局部区域中存在有目标像素,以及目标像素的数量大于预设数量的目标局部区域,将目标局部区域作为第一区域。
在本申请一些实施例中,第三确定单元304还具体用于:
确定第一区域的数量、第一区域内的目标像素以及第二区域内的比对像素;
根据第一区域内的目标像素和第二区域内的比对像素,确定第一区域中的目标区域以及目标区域的第二数量,其中,目标区域内的目标像素与第二区域内的比对像素满足预设相似度要求;
当第二数量与第一数量的比值小于预设的图像相似度阈值时,对目标视频进行防抖处理。
在本申请一些实施例中,第三确定单元304具体用于:
对第一区域内的目标像素与第二区域内的比对像素进行相似度计算,得到第一区域和第二区域之间的区域相似度;
当区域相似度大于预设的区域相似度阈值时,将第一区域作为目标区域;
对第一图像中的目标区域进行统计处理,得到目标区域的第二数量。
在本申请一些实施例中,第三确定单元304具体用于:
对第一区域内的目标像素和第二区域内的比对像素分别进行邻域平均值的计算,得到目标像素的邻域平均值和比对像素的邻域平均值;
根据目标像素的邻域平均值和比对像素的邻域平均值,确定第一区域与第二区域之间的区域相似度。
在本申请一些实施例中,第三确定单元304具体用于:
确定待采集像素以及邻域窗口的采集范围,待采集像素为目标像素或比对像素;
根据待采集像素以及邻域窗口的采集范围,确定邻域窗口的采集范围内的多个像素;
将邻域窗口的采集范围内的多个像素进行加权求平均值处理,得到待采集像素的邻域平均值,待采集像素的邻域平均值为目标像素的邻域平均值或比对像素的邻域平均值。
在本申请一些实施例中,第三确定单元304具体用于:
确定第一区域内目标像素的个数h,h为正整数;
根据第一区域内目标像素的个数h,确定第二区域内比对像素的个数h;
对第一区域内的h个目标像素和第二区域内的h个比对像素分别进行邻域平均值的计算,得到h个目标像素的邻域平均值和h个比对像素的邻域平均值;
按照位置关系,将一一对应的目标像素和比对像素进行邻域平均值的求差处理,得到h个邻域平均值的差值;
对h个邻域平均值的差值进行平方和的累加处理,得到h个邻域平均值的峰值信噪比的均方差;
根据峰值信噪比的均方差,确定第一区域与第二区域之间的区域相似度。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的视频处理装置由获取单元301,用于获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像;由第一确定单元302,用于确定第一图像中的第一区域;由第二确定单元303,用于根据第一图像和第一区域,确定第二图像中的第二区域;由第三确定单元304,用于根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。由此,本申请实施例可以提升对视频画面的防抖处理效果,满足用户的拍摄要求。
本申请实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
在一些实施例中,该视频处理装置还可以集成在多个电子设备中,比如,视频处理装置可以集成在多个服务器中,由多个服务器来实现本申请的视频处理方法。
在本实施例中,将以本实施例的电子设备是终端为例进行详细描述,比如,如图4所示,其示出了本申请实施例所涉及的终端的结构示意图,具体来讲:
该终端可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解,图4中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行终端的各种功能和处理数据。在一些实施例中,处理器401可包括一个或多个处理核心;在一些实施例中,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
终端还包括给各个部件供电的电源403,在一些实施例中,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该终端还可包括输入模块404,该输入模块404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该终端还可包括通信模块405,在一些实施例中通信模块405可以包括无线模块,终端可以通过该通信模块405的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出,终端还可以包括显示单元等,在此不再赘述。具体在本实施例中,终端中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取目标视频的第一图像和第二图像,其中,第一图像和第二图像为目标视频中相邻的两帧图像;
确定第一图像中的第一区域;
根据第一图像和第一区域,确定第二图像中的第二区域;
根据第一区域、第二区域以及预设的相似比例条件,对目标视频进行防抖处理。
在一些实施例中,还提出一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述任一种视频处理方法中的步骤。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有视频处理程序,该视频处理程序被处理器执行,以执行本申请实施例所提供的任一种视频处理方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种视频处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种视频处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种视频处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种视频处理方法,其特征在于,包括:
获取目标视频的第一图像和第二图像,其中,所述第一图像和所述第二图像为所述目标视频中相邻的两帧图像;
确定所述第一图像中的第一区域;
根据所述第一图像和所述第一区域,确定所述第二图像中的第二区域;
根据所述第一区域、所述第二区域以及预设的相似比例条件,对所述目标视频进行防抖处理。
2.根据权利要求1所述的方法,其特征在于,所述确定所述第一图像中的第一区域,包括:
对所述第一图像进行划分处理,得到第一图像的i个局部区域,所述第一图像为所述两帧图像中的任一帧,所述i为正整数;
在i个所述局部区域中选取至少一个目标局部区域,并将选取得到的所述目标局部区域作为所述第一区域。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一图像进行划分处理,得到第一图像的i个局部区域,包括:
对所述第一图像进行像素矩阵划分处理,得到第一像素矩阵图;
对所述第一像素矩阵图进行区域划分处理,得到i个局部区域。
4.根据权利要求3所述的方法,其特征在于,所述在i个所述局部区域中选取至少一个目标局部区域,并将选取得到的所述目标局部区域作为所述第一区域,包括:
获取每个所述局部区域内的像素点,以及所述像素点的像素;
对所述局部区域内的像素点进行邻域平均值的计算,得到所述像素点的邻域平均值;
根据所述像素点的邻域平均值和像素进行梯度的计算处理,得到所述像素点的梯度值;
当所述像素点的梯度值大于预设的梯度阈值时,将所述像素点作为目标像素;
确定所述局部区域中存在有所述目标像素,以及所述目标像素的数量大于预设数量的目标局部区域,将所述目标局部区域作为所述第一区域。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一区域、所述第二区域以及预设的相似比例条件,对所述目标视频进行防抖处理,包括:
确定所述第一区域的数量、所述第一区域内的目标像素以及所述第二区域内的比对像素;
根据所述第一区域内的目标像素和所述第二区域内的比对像素,确定所述第一区域中的目标区域以及所述目标区域的第二数量,其中,所述目标区域内的目标像素与所述第二区域内的比对像素满足预设相似度要求;
当所述第二数量与所述第一数量的比值小于预设的图像相似度阈值时,对所述目标视频进行防抖处理。
6.根据权利要求5所述的方法,其特征在于,所述据所述第一区域内的目标像素和所述第二区域内的比对像素,确定所述第一区域中的目标区域以及所述目标区域的第二数量,包括:
对所述第一区域内的目标像素与所述第二区域内的比对像素进行相似度计算,得到所述第一区域和所述第二区域之间的区域相似度;
当所述区域相似度大于预设的区域相似度阈值时,将所述第一区域作为目标区域;
对所述第一图像中的目标区域进行统计处理,得到所述目标区域的第二数量。
7.根据权利要求6所述的方法,其特征在于,所述对所述第一区域内的目标像素与所述第二区域内的比对像素进行相似度计算,得到所述第一区域和所述第二区域之间的区域相似度,包括:
对所述第一区域内的目标像素和所述第二区域内的比对像素分别进行邻域平均值的计算,得到所述目标像素的邻域平均值和所述比对像素的邻域平均值;
根据所述目标像素的邻域平均值和所述比对像素的邻域平均值,确定所述第一区域与所述第二区域之间的区域相似度。
8.根据权利要求7所述的方法,其特征在于,对所述第一区域内的目标像素和所述第二区域内的比对像素分别进行邻域平均值的计算,得到所述目标像素的邻域平均值和所述比对像素的邻域平均值,包括:
确定待采集像素以及邻域窗口的采集范围,所述待采集像素为所述目标像素或所述比对像素;
根据所述待采集像素以及所述邻域窗口的采集范围,确定所述邻域窗口的采集范围内的多个像素;
将所述邻域窗口的采集范围内的多个像素进行加权求平均值处理,得到所述待采集像素的邻域平均值,所述待采集像素的邻域平均值为所述目标像素的邻域平均值或所述比对像素的邻域平均值。
9.根据权利要求7所述的方法,其特征在于,所述根据所述目标像素的邻域平均值和所述比对像素的邻域平均值,确定所述第一区域与所述第二区域之间的区域相似度,包括:
确定所述第一区域内所述目标像素的个数h,所述h为正整数;
根据所述第一区域内所述目标像素的个数h,确定所述第二区域内所述比对像素的个数h;
对所述第一区域内的h个所述目标像素和所述第二区域内的h个所述比对像素分别进行邻域平均值的计算,得到h个所述目标像素的邻域平均值和h个所述比对像素的邻域平均值;
按照所述位置关系,将一一对应的目标像素和比对像素进行邻域平均值的求差处理,得到h个邻域平均值的差值;
对所述h个邻域平均值的差值进行平方和的累加处理,得到所述h个邻域平均值的峰值信噪比的均方差;
根据所述峰值信噪比的均方差,确定所述第一区域与所述第二区域之间的区域相似度。
10.一种视频处理装置,其特征在于,包括:
获取单元,用于获取目标视频的第一图像和第二图像,其中,所述第一图像和所述第二图像为所述目标视频中相邻的两帧图像;
第一确定单元,用于确定所述第一图像中的第一区域;
第二确定单元,用于根据所述第一图像和所述第一区域,确定所述第二图像中的第二区域;
第三确定单元,用于根据所述第一区域、所述第二区域以及预设的相似比例条件,对所述目标视频进行防抖处理。
11.一种电子设备,其特征在于,所述电子设备包括存储器、处理器以及存储于所述存储器中并可在所述处理器上运行的视频处理程序,所述处理器执行所述视频处理程序时实现如权利要求1~9任一项所述的视频处理方法中的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有视频处理程序,所述视频处理程序被处理器执行实现如权利要求1~9中任一项所述的视频处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210662608.5A CN117292285A (zh) | 2022-06-13 | 2022-06-13 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210662608.5A CN117292285A (zh) | 2022-06-13 | 2022-06-13 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117292285A true CN117292285A (zh) | 2023-12-26 |
Family
ID=89250395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210662608.5A Pending CN117292285A (zh) | 2022-06-13 | 2022-06-13 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117292285A (zh) |
-
2022
- 2022-06-13 CN CN202210662608.5A patent/CN117292285A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108492287B (zh) | 一种视频抖动检测方法、终端设备及存储介质 | |
CN108337551B (zh) | 一种屏幕录制方法、存储介质及终端设备 | |
DE102013017122B4 (de) | Verfahren zum Herstellen automatischer Cinemagramme auf einer Bildgebungsvorrichtung | |
US8508599B2 (en) | Motion vector detection apparatus, motion vector detection method, and image capturing apparatus | |
KR20110033801A (ko) | L₁거리 척도에 기초한 국소 이미지 유사성 측정 방법 | |
EP3940633B1 (en) | Image alignment method and apparatus, electronic device, and storage medium | |
CN109194878B (zh) | 视频图像防抖方法、装置、设备和存储介质 | |
CN113055615B (zh) | 会议一体机、屏幕切分显示方法以及存储装置 | |
WO2018058476A1 (zh) | 一种图像校正方法及装置 | |
CN115496668A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN104202448A (zh) | 一种解决移动终端摄像头拍照亮度不均的系统及其方法 | |
CN113132695A (zh) | 镜头阴影校正方法、装置及电子设备 | |
CN112712569A (zh) | 一种肤色检测方法、装置、移动终端和存储介质 | |
CN113628259A (zh) | 图像的配准处理方法及装置 | |
CN109672829B (zh) | 图像亮度的调整方法、装置、存储介质及终端 | |
CN108513068A (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
CN111885371A (zh) | 图像遮挡检测方法、装置、电子设备和计算机可读介质 | |
CN112115295A (zh) | 视频图像检测方法、装置、及电子设备 | |
CN117292285A (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
WO2022242568A1 (zh) | 防抖效果评估方法、装置、计算机设备和存储介质 | |
WO2022156319A1 (zh) | 摄像头移动的检测方法、设备、电子设备、存储介质和程序 | |
CN115174807A (zh) | 防抖检测方法、装置、终端设备和可读存储介质 | |
CN111091513B (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
CN111754411B (zh) | 图像降噪方法、图像降噪装置及终端设备 | |
CN116363238A (zh) | 视差图生成方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |