CN111754417A - 视频图像的降噪方法、视频抠像方法、装置和电子系统 - Google Patents
视频图像的降噪方法、视频抠像方法、装置和电子系统 Download PDFInfo
- Publication number
- CN111754417A CN111754417A CN202010410928.2A CN202010410928A CN111754417A CN 111754417 A CN111754417 A CN 111754417A CN 202010410928 A CN202010410928 A CN 202010410928A CN 111754417 A CN111754417 A CN 111754417A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- value
- denoised
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 135
- 230000009467 reduction Effects 0.000 title claims abstract description 121
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明提供了一种视频图像的降噪方法、视频抠像方法、装置和电子系统,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;根据像素值范围,对待降噪图像进行降噪处理。该方式中,通过前序视频帧的降噪后图像,确定当前视频帧的待降噪图像中各个像素的像素值范围,进而基于该像素值范围对待降噪图像进行降噪处理,该方式无需获取目标视频帧的后续视频帧的相关数据,在实时视频降噪场景中,避免了画面延迟、拖影等问题,能够准确地去除噪声,对待降噪图像的边缘处理也较为清晰,且运算量较低。
Description
技术领域
本发明涉及图像降噪技术领域,尤其是涉及一种视频图像的降噪方法、视频抠像方法、装置和电子系统。
背景技术
抠像是指将特定物体在画面中所处的区域标识出来的技术,通常,在手机等功耗敏感的便携设备上,对视频流数据进行抠像操作时,由于设备功耗和计算性能的限制,抠像的结果往往含有大量噪声。相关技术中,通常利用空间域或时域降噪的方法,对抠像的结果进行降噪。但是,空间域降噪方法会削弱抠像结果的边缘清晰度,且运算量较大;而时域降噪方法在进行实时视频降噪的过程中,会导致画面延迟、拖影等问题,同时抠像结果边缘画面的准确度较低,无法应用于实时视频降噪。
发明内容
有鉴于此,本发明的目的在于提供一种视频图像的降噪方法、视频抠像方法、装置和电子系统,以在实时视频降噪场景中,避免画面延迟、拖影等问题,能够准确地去除噪声。
第一方面,本发明实施例提供了一种视频图像的降噪方法,该方法包括:获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;根据像素值范围,对待降噪图像进行降噪处理。
进一步的,根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围的步骤,包括:针对待降噪图像中的每个当前像素,从前序视频帧的降噪后图像中获取与该当前像素相关联的图像区域;其中,与该当前像素相关联的图像区域,包括:该当前像素在降噪后图像中相应位置上的目标像素所处的预设大小的图像区域;根据与该像素相关联的图像区域中各个指定像素的像素值,确定待降噪图像中该当前像素的最大值和最小值。
进一步的,从前序视频帧的降噪后图像中获取与该当前像素相关联的图像区域的步骤,包括:确定该当前像素在降噪后图像中相应位置上的目标像素;根据预设的尺度参数,以目标像素为区域中心,从降噪后图像中获取图像区域。
进一步的,根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定待降噪图像中该当前像素的最大值的步骤,包括:针对待降噪图像中的边缘像素,将边缘像素的最大值设置为预设的第一数值;针对待降噪图像中除边缘像素点以外的内部像素,分别将每个内部像素作为当前像素,获取与该当前像素相关联的图像区域中各个指定像素的最大像素值,根据图像区域中各个指定像素的最大像素值,确定该当前像素的最大值。
进一步的,根据图像区域中各个指定像素的最大像素值,确定该当前像素的最大值的步骤,包括:将图像区域中各个指定像素的最大像素值与预设的比较参数相加,得到相加结果;如果相加结果小于第一数值,将相加结果确定为该当前像素的最大值;如果相加结果大于第一数值,将第一数值确定为该当前像素的最大值。
进一步的,根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定待降噪图像中该当前像素的最小值的步骤,包括:针对待降噪图像中的边缘像素,将边缘像素的最小值设置为预设的第二数值;针对待降噪图像中除边缘像素点以外的内部像素,分别将每个内部像素作为当前像素,获取与该当前像素相关联的图像区域中各个指定像素的最小像素值,根据图像区域中各个指定像素的最小像素值,确定该当前像素的最小值。
进一步的,根据图像区域中各个指定像素的最小像素值,确定该当前像素的最小值的步骤,包括:将图像区域中各个指定像素的最小像素值与预设的比较参数相减,得到相减结果;如果相减结果大于第二数值,将相减结果确定为该当前像素的最小值;如果相减结果小于第二数值,将第二数值确定为该当前像素的最小值。
进一步的,待降噪图像中各个像素的像素值范围,包括待降噪图像中各个像素的最大值和最小值;根据像素值范围,对待降噪图像进行降噪处理的步骤,包括:针对待降噪图像中的每个像素,如果该像素的当前像素值大于该像素的最大值,将该像素的最大值确定为该像素的像素值;如果该像素的当前像素值小于该像素的最小值,将该像素的最小值确定为该像素的像素值。
进一步的,上述方法还包括:如果目标视频帧属于预设视频帧序列中的第一帧视频帧,根据第一帧视频帧指定的像素值范围,对待降噪图像进行降噪处理。
第二方面,本发明实施例提供了一种视频抠像方法,该方法包括:对目标视频帧进行抠像处理,得到初始抠像结果;其中,初始抠像结果包括目标视频帧的前景掩膜图像;获取来自目标视频帧的前序视频帧的降噪后抠像结果;根据前序视频帧的降噪后抠像结果,确定初始抠像结果中各个像素的像素值范围;根据像素值范围,对初始抠像结果进行降噪处理,得到目标视频帧的降噪后抠像结果。
第三方面,本发明实施例提供了一种视频图像的降噪装置,该装置包括:获取模块,用于获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;确定模块,用于根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;降噪模块,用于根据像素值范围,对待降噪图像进行降噪处理。
第四方面,本发明实施例提供了一种视频抠像装置,该装置包括:抠像处理模块,用于对目标视频帧进行抠像处理,得到初始抠像结果;其中,初始抠像结果包括目标视频帧的前景掩膜图像;结果获取模块,用于获取来自目标视频帧的前序视频帧的降噪后抠像结果;范围确定模块,用于根据前序视频帧的降噪后抠像结果,确定初始抠像结果中各个像素的像素值范围;结果降噪模块,用于根据像素值范围,对初始抠像结果进行降噪处理,得到目标视频帧的降噪后抠像结果。
第五方面,本发明实施例提供了一种电子系统,该电子系统包括:处理设备和存储装置;存储装置上存储有计算机程序,计算机程序在被处理设备运行时执行第一方面任一实施方式的视频图像的降噪方法和第二方面任一实施方式的视频抠像方法。
第六方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理设备运行时执行第一方面任一实施方式的视频图像的降噪方法和第二方面任一实施方式的视频抠像方法的步骤。
本发明实施例带来了以下有益效果:
本发明实施例提供了一种视频图像的降噪方法、视频抠像方法、装置和电子系统,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;根据像素值范围,对待降噪图像进行降噪处理。该方式中,通过前序视频帧的降噪后图像,确定当前视频帧的待降噪图像中各个像素的像素值范围,进而基于该像素值范围对待降噪图像进行降噪处理,该方式无需获取目标视频帧的后续视频帧的相关数据,在实时视频降噪场景中,避免了画面延迟、拖影等问题,能够准确地去除噪声,对待降噪图像的边缘处理也较为清晰,且运算量较低。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统结构示意图;
图2为本发明实施例提供的一种视频图像的降噪方法流程图;
图3为本发明实施例提供的另一种视频图像的降噪方法流程图;
图4为本发明实施例提供的另一种视频图像的降噪方法流程图;
图5为本发明实施例提供的一种确定当前像素的最大值的方法流程图;
图6为本发明实施例提供的一种确定当前像素的最小值的方法流程图;
图7为本发明实施例提供的另一种视频图像的降噪方法流程图;
图8为本发明实施例提供的另一种视频图像的降噪方法流程图;
图9为本发明实施例提供的一种视频抠像方法的流程图;
图10为本发明实施例提供的一种视频图像的降噪装置的结构示意图;
图11为本发明实施例提供的一种视频抠像装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
抠像是指将特定物体在画面中所处的区域标识出来的技术,通常利用神经网络、光流、Matting算法、色键等技术实现。通常,在手机等功耗敏感的便携设备上,对视频流数据进行抠像操作时,由于设备功耗和计算性能的限制,抠像的结果往往含有大量噪声。为了避免抠像噪声对最终应用效果的干扰,相关技术中,通常利用空间域降噪和时域降噪的方法,对抠像的结果进行降噪。
其中,空间域降噪方法主要是基于图像降噪算法和低通滤波器等技术,通过消除高频率信号消除一帧图像的噪声,再对视频流中的每一帧图像分别进行独立处理,最终得到降噪后的视频流;但是,由于抠像结果中的噪声和物体边缘都是高频信号,空间域降噪方法往往会削弱抠像结果的边缘清晰度;另外,空间域降噪方法通常中包括卷积、中值滤波等算法,若要对分辨率较高的图像进行降噪,得到较好的降噪效果,会使得运算量增加,性能消耗增大。
时域降噪方法主要是利用了视频流中相邻帧图像之间的相似关系,分为离线视频降噪和实时视频降噪两类;针对离线视频降噪,时域降噪方法能够精确地去除噪声和保留真实信号,但是,利用时域降噪方法处理当前帧图像数据时,需要已知当前帧前后的连续多帧图像数据,因此在需要实时预览的场景中,时域降噪方法无法满足需求;针对实时视频降噪,在未知后序视频帧图像数据的前提下,仅利用前序视频帧图像数据中的时域信息进行降噪,往往会引入画面延迟、拖影等问题,导致运动画面的抠像边缘不准确。
基于此,本发明实施例提供的一种视频图像的降噪方法、视频抠像方法、装置和电子系统,该技术可以应用于计算机、智能手机、摄像机、平板电脑等具有视频摄像和播放功能的设备中,该技术可以采用相关软件和硬件实现,下面通过实施例进行描述。为便于对本实施例进行理解,首先对本发明实施例所公开的一种视频图像的降噪方法进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的视频图像的降噪方法、视频抠像方法、装置和电子系统的示例电子系统100。
如图1所示的一种电子系统的结构示意图,电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108,另外可以包括一个或多个图像采集设备110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子系统100的组件和结构只是示例性的,而非限制性的,根据需要,电子系统也可以具有其他组件和结构。
处理设备102可以是网关,也可以为智能终端,或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备,可以对电子系统100中的其它组件的数据进行处理,还可以控制电子系统100中的其它组件以执行期望的功能。
存储装置104可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理设备102可以运行程序指令,以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以采集预览视频帧或图片数据(如目标视频帧的待降噪图像或目标视频帧),并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的视频图像的降噪方法、视频抠像方法、装置和电子系统的示例电子系统中的各器件可以集成设置,也可以分散设置,诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体,而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时,该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端、摄像机等智能终端。
实施例二:
本实施例提供了一种视频图像的降噪方法,如图2所示,该方法包括如下步骤:
步骤S202,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;
上述目标视频帧可以是视频流中的一帧原始图像,上述待降噪图像可以是目标视频帧本身,也可以是目标视频帧中部分图像区域,也可以是对目标视频帧进行图像处理的图像,如抠像结果、分割结果、编码压缩结果等。上述降噪后图像可以是前序视频帧本身经过降噪后处理的图像,也可以是前序视频帧中部分图像区域经过降噪处理后的图像,也可以是对前序视频帧进行图像处理的图像降噪处理后的图像。另外,来自目标视频帧的前序视频帧的待降噪图像经过降噪处理后,得到降噪后图像;其中,前序视频帧可以是当前视频帧的前一帧视频帧,也可以是前两个视频帧,具体的帧数量可以根据当前视频帧的特性设定。
具体的,可以通过手机、计算机、摄像机等具有视频摄像和播放功能的设备,在实时播放视频流的过程中,依次获取每一帧目标视频帧的待降噪图像,同时获取当前待降噪图像的前序视频帧的待降噪图像经降噪处理后的降噪后图像。
步骤S204,根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;
可以根据待降噪图像的宽度和高度信息确定待降噪图像中像素的个数,每个像素都是由图像中预设的小方格组成,这些小方块都有一个明确的位置和被分配的色彩数值,可以称为像素值,每个像素的像素值和位置可以决定该图像所呈现出的画面。上述像素值的范围可以包括该像素的最大值、最小值、平均值、中值、众数值等。
具体的,待降噪图像与降噪后图像所包括的所有像素,每个像素之间的位置都是相互对应的,因此,针对待降噪图像中的每个像素,可以在前序视频帧的降噪后图像中获取到该像素的像素值;可以通过预设的选取范围,获取降噪后图像中包括该像素的多个像素的像素值,通过排列组合方式、分离的膨胀与腐蚀算法、统计分析、机器学习等方法,确定待降噪图像中每个像素的像素值范围;或者,也可以根据当前像素的具体位置,以及前序视频帧的降噪后图像中该位置像素的像素值,确定待降噪图像中各个像素的像素值范围。
步骤S206,根据像素值范围,对待降噪图像进行降噪处理。
上述降噪处理可以是根据上述步骤计算得到的像素值范围,对待降噪图像中每个像素的像素值进行限制。具体的,可以根据像素值范围包括的数值,对待降噪图像中对应像素的像素值进行比较,根据比较的结果,将待降噪图像中对应像素的像素值限制在像素值范围内;或者,也可以根据像素值范围包括的数值,利用滤波器等降噪技术,将待降噪图像中包含噪声的像素值进行滤除、替换、赋值等。
本发明实施例提供了一种视频图像的降噪方法,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;根据像素值范围,对待降噪图像进行降噪处理。该方式中,通过前序视频帧的降噪后图像,确定当前视频帧的待降噪图像中各个像素的像素值范围,进而基于该像素值范围对待降噪图像进行降噪处理,该方式无需获取目标视频帧的后续视频帧的相关数据,在实时视频降噪场景中,避免了画面延迟、拖影等问题,能够准确地去除噪声,对待降噪图像的边缘处理也较为清晰,且运算量较低。
实施例三:
本实施例提供了另一种视频图像的降噪方法,该方法在上述实施例的基础上实现。本实施例重点描述根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围的步骤的具体实现过程(通过步骤S304-S306实现)如图3所示,该方法包括如下步骤:
步骤S302,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;
步骤S304,针对待降噪图像中的每个当前像素,从前序视频帧的降噪后图像中获取与该当前像素相关联的图像区域;其中,与该当前像素相关联的图像区域,包括:该当前像素在降噪后图像中相应位置上的目标像素所处的预设大小的图像区域;
视频流中所有视频帧的待降噪图像和降噪后图像,其中包括的所有像素的位置都是相互对应的,待降噪图像中的每个当前像素,可以在前序视频帧的降噪后图像中得到相对应位置的像素。上述与该当前像素相关联的图像区域,可以通过该当前像素在降噪后图像中的具体位置,以及预设的选取范围确定,可以是降噪后图像中包含该当前像素的具有一定大小形状的图像区域,比如,圆形、长方形、正方形等图像区域,当然也可以是不规则图像区域。具体的,针对待降噪图像中的每个当前像素,可以从前序视频帧的降噪后图像中确定该当前像素的相应位置,根据该当前像素的位置,可以以预设有固定面积的圆形、正方形、菱形等形状为选取范围,在降噪后图像中选取相应形状大小的区域,该区域中至少包含有该当前像素的像素值,最后将该区域确定为与该当前像素相关联的图像区域。
步骤S306,根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定待降噪图像中该当前像素的最大值和最小值;
上述与该当前像素相关联的图像区域中通常包含有多个指定像素的像素值;图像区域中各个指定像素的像素值,可以通过排列组合、统计分析、分离的膨胀与腐蚀等方法,对图像区域中包括的多个指定像素的像素值进行分析计算,确定待降噪图像中该当前像素的最大值和最小值;比如,可以通过统计分析得到多个指定像素的像素值的极大值和极小值,将得到的极大值和极小值确定为待降噪图像中该当前像素的最大值和最小值。或者,还可以根据该当前像素的具体位置信息,确定待降噪图像中各个当前像素的最大值和最小值;比如,当该当前像素的位置在待降噪图像的边缘区域时,可以直接根据实际的应用场景以及预设的数值,确定待降噪图像中该当前像素的最大值和最小值。
步骤S308,根据像素值范围,对待降噪图像进行降噪处理。
该方式中,利用前序视频帧的降噪后图像中与该当前像素相关联的图像区域中各个指定像素的像素值,确定待降噪图像中该当前像素的最大值和最小值;不需要后序视频帧的图像数据,能够实时处理视频流图像,同时提高了待降噪图像中大部分区域的降噪效果;利用当前像素的最大值和最小值,进行降噪处理,对运动物体抠像处理得到的边缘信息能够被很好地保留,且计算量较小,避免了因降噪产生的模糊、延迟、拖影等问题。
实施例四:
本实施例提供了另一种视频图像的降噪方法,该方法在上述实施例的基础上实现。本实施例重点描述从前序视频帧的降噪后图像中获取与该当前像素相关联的图像区域的步骤的具体实现过程(通过步骤S404-S406实现),以及根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定待降噪图像中该当前像素的最大值和最小值的步骤的具体实现过程(通过步骤S408-S414实现);如图4所示,该方法包括如下步骤:
步骤S402,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;
步骤S404,针对待降噪图像中的每个当前像素,确定该当前像素在降噪后图像中相应位置上的目标像素;
上述目标像素可以是当前待降噪图像的前序视频帧的降噪后图像中相应位置上的像素。具体的,可以根据待降噪图像实际的宽度和高度,确定待降噪图像中当前像素的个数和位置,每个当前像素都是由图像中预设的小方格组成,因此上述待降噪图像可以用矩阵表示:
上式中,Si表示待降噪图像;i表示第i帧图像;H表示图像的高度值;W表示图像的宽度值;xiHW表示每个当前像素的像素值,其下标表示该当前像素的位置,比如,xi22,表示图像中第二行,第二列的位置方格的当前像素。
与待降噪图像相对应,前序视频帧的降噪后图像也可以用矩阵表示,例如,待降噪图像前一个视频帧降噪后图像可以用矩阵表示为:
上式中,Fi-1表示待降噪图像前一个视频帧的降噪后图像;i-1表示第i-1帧图像;H表示图像的高度值;W表示图像的宽度值;xi-1,HW表示每个像素的像素值,其下标表示该像素的位置。
本实施例以前序视频帧为前一个视频帧为例进行说明,针对第i帧待降噪图像中的每个当前像素xijk,可以确定该当前像素在降噪后图像Fi-1中相应位置上的目标像素为fi-1,jk,其中,j和k表示每个像素的具体位置。
步骤S406,根据预设的尺度参数,以目标像素为区域中心,从降噪后图像中获取图像区域;
上述预设的尺度参数可以根据实际的图像数据特性设定,该预设的尺度参数可以用E进行表示。具体的,上述目标像素可以设置为fi-1,jk,以fi-1,jk为区域中心,通过预设的尺度参数E对j和k进行范围限制,可以获取降噪后图像的图像区域。上述过程可以通过如下公式表示:
j-E≤m≤j+E∩k-E≤n≤k+E (3);
上式中,m和n表示降噪后图像中的图像区域的范围值。
需要说明的是,上述预设的尺度参数,通常会根据视频画面中前景物体的移动速度进行调整,比如,目前播放的视频流的视频画面中前景物体的移动速度较快,可以相应的增加预设的尺度参数,通常预设的尺度参数越大,有效降噪的面积会相应减少,因此,预设的尺度参数需要根据实际播放的视频流的图像数据特性,以及预期的降噪效果进行设定。
步骤S408,针对待降噪图像中的边缘像素,将边缘像素的最大值设置为预设的第一数值;
上述边缘像素可以是图像的边缘区域的像素,可以表示为j=1或j=H或k=1或k=W,其对应的像素值可以是xi1k、xiHk、xij1、xijW,对应上述Si矩阵边缘行和列的像素值。上述预设的第一数值可以根据实际像素的数据特性设定,可以是根据实际像素的数据特性预先设定的像素的最大阈值。由于超出边缘区域的位置通常没有像素信息,因此可以假设边缘位置的像素有信息,将边缘像素的最大值设置为预先设定的像素的最大阈值。本实施例以预设的第一数值为1为例进行说明,因此,上述边缘像素的最大值可以设置为1。具体的,边缘像素的最大值可以通过如下公式表示:
uijk=1,j=1∪j=H∪k=1∪k=W (4);
式中上uijk表示像素的最大值。
步骤S410,针对待降噪图像中除边缘像素点以外的内部像素,分别将每个内部像素作为当前像素,获取与该当前像素相关联的图像区域中各个指定像素的最大像素值,根据图像区域中各个指定像素的最大像素值,确定该当前像素的最大值;
具体的,根据j-E≤m≤j+E∩k-E≤n≤k+E的限制范围,可以得到与该当前像素相关联的图像区域,其中该图像区域中的各个指定像素的像素值可以表示为fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E,可以通过max()函数,获取与该当前像素相关联的图像区域中各个指定像素的最大像素值,该最大像素值可以表示为:
max(fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E) (5);
根据获取得到的最大像素值,可以直接将获取得到的最大像素值,确定为该当前像素的最大值,也可以通过与预设第一数值进行比较,确定该当前像素的最大值。
针对上述根据图像区域中各个指定像素的最大像素值,确定该当前像素的最大值的步骤,参见图5的确定当前像素的最大值的方法流程图,该方法包括如下步骤:
步骤S502,将图像区域中各个指定像素的最大像素值与预设的比较参数相加,得到相加结果;
上述预设的比较参数可以根据实际的图像数据特性设定,该预设的比较参数可以用C进行表示。具体的,将计算得到图像区域中各个指定像素的最大像素值与预设的比较参数相加,得到相加结果,其结果可以表示为:
max(fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E)+C (6);
步骤S504,如果相加结果小于第一数值,将相加结果确定为该当前像素的最大值;
步骤S506,如果相加结果大于第一数值,将第一数值确定为该当前像素的最大值。
本实施例以第一数值为1为例进行说明,上述步骤计算得到的当前像素的最大值可以通过如下公式表示:
uijk=min(1,max(fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E)+C) (7);
综上所述,针对待降噪图像中的每个当前像素,待降噪图像中各个当前像素的最大值可以表示为:
步骤S412,针对待降噪图像中的边缘像素,将边缘像素的最小值设置为预设的第二数值;
上述预设的第二数值可以根据实际像素的数据特性设定,可以是根据实际像素的数据特性预先设定的像素的最小阈值。与步骤S408计算边缘像素的最大值的过程相似,由于超出边缘区域的位置通常没有像素信息,因此可以假设边缘位置的像素有信息,将边缘像素的最小值设置为预先设定的像素的最小阈值。本实施例以预设的第二数值为0为例进行说明,因此,上述边缘像素的最小值可以设置为0。具体的,边缘像素的最小值可以通过如下公式表示:
lijk=0,j=1∪j=H∪k=1∪k=W (9);
式中上lijk表示像素的最小值。
步骤S414,针对待降噪图像中除边缘像素点以外的内部像素,分别将每个内部像素作为当前像素,获取与该当前像素相关联的图像区域中各个指定像素的最小像素值,根据图像区域中各个指定像素的最小像素值,确定该当前像素的最小值;
具体的,根据j-E≤m≤j+E∩k-E≤n≤k+E的限制范围,可以得到与该当前像素相关联的图像区域,其中该图像区域中的各个指定像素的像素值可以表示为fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E,可以通过min()函数,获取与该当前像素相关联的图像区域中各个指定像素的最小像素值,该最小像素值可以表示为:
min(fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E) (10);
根据获取得到的最小像素值,可以直接将获取得到的最小像素值,确定为该当前像素的最小值,也可以通过与预设第二数值进行比较,确定该当前像素的最小值。
针对上述根据图像区域中各个指定像素的最小像素值,确定该当前像素的最小值的步骤,参见图6的确定当前像素的最小值的方法流程图,该方法包括如下步骤:
步骤S602,将图像区域中各个指定像素的最小像素值与预设的比较参数相减,得到相减结果;
具体的,将计算得到图像区域中各个指定像素的最小像素值与预设的比较参数相减,得到相减结果,其结果可以表示为:
min(fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E)-C (11);
步骤S604,如果相减结果大于第二数值,将相减结果确定为该当前像素的最小值;
步骤S606,如果相减结果小于第二数值,将第二数值确定为该当前像素的最小值。
具体的,本实施例以第二数值为0为例进行说明,上述步骤计算得到的当前像素的最小值可以通过如下公式表示:
lijk=max(0,min(fi-1,m,n,j-E≤m≤j+E∩k-E≤n≤k+E)-C) (12);
综上所述,针对待降噪图像中的每个当前像素,待降噪图像中各个当前像素的最小值可以表示为:
经过上述过程,最后得到待降噪图像中每个当前像素的最大值uijk和最小值lijk对应的矩阵,具体可以表示为:
上式中,Ui表示第i帧待降噪图像中每个当前像素的最大值矩阵;Li表示第i帧待降噪图像中每个当前像素的最小值矩阵。
步骤S416,根据像素值范围,对待降噪图像进行降噪处理。
该方式中,利用前序视频帧的降噪后图像中与该当前像素相关联的图像区域中该当前像素的像素值,通过可分离的膨胀与腐蚀算法,可以高效快速的计算待降噪图像中各个当前像素的合理的变化范围以及各个当前像素的最大值和最小值;不需要后序视频帧的图像数据,能够实时处理视频流图像,同时提高了待降噪图像中大部分区域的降噪效果;利用当前像素的最大值和最小值,进行降噪处理,对运动物体抠像处理得到的边缘信息能够被很好地保留,且计算量较小,避免了因降噪产生的模糊、延迟、拖影等问题。
实施例五:
本实施例提供了另一种视频图像的降噪方法,上述待降噪图像中各个像素的像素值范围,包括待降噪图像中各个像素的最大值和最小值;该方法在上述实施例的基础上实现。本实施例重点描述根据像素值范围,对待降噪图像进行降噪处理的步骤的具体实现过程(通过步骤S708-S710实现);如图7所示,该方法包括如下步骤:
步骤S702,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;
步骤S704,针对待降噪图像中的每个像素,从前序视频帧的降噪后图像中获取与该像素相关联的图像区域;
步骤S706,根据与该像素相关联的图像区域中各个像素的像素值,确定待降噪图像中各个像素的最大值和最小值;
步骤S708,针对待降噪图像中的每个像素,如果该像素的当前像素值大于该像素的最大值,将该像素的最大值确定为该像素的像素值;
经过上述步骤可以得到待降噪图像Si,像素的最大值矩阵Ui,该步骤中最后得到该像素的像素值,即为待降噪图像中该像素降噪后的像素值。具体的,可以通过如下公式表示:
fijk=uijk,xijk>uijk (16);
如果待降噪图像中各个像素的当前像素值大于该像素的最大值,说明该像素的当前像素值超过了预设的最大像素阈值,该像素点具有噪声,为了避免该像素最后呈现的画面存在噪声,可以将该像素的最大值该像素的最大值,以消除该像素点的噪声,得到降噪后的该像素的像素值。
步骤S710,如果该像素的当前像素值小于该像素的最小值,将该像素的最小值确定为该像素的像素值。
经过上述步骤可以得到待降噪图像Si矩阵,像素的最小值矩阵Li,上述步骤中最后得到该像素的像素值,即为待降噪图像降噪后对应的像素值。具体的,可以通过如下公式表示:
fijk=lijk,xijk<lijk (17);
如果待降噪图像中各个像素的当前像素值小于该像素的最小值,说明该像素的当前像素值低于预设的最小像素阈值,该像素点具有噪声,为了避免该像素最后呈现的画面存在噪声,可以将该像素的最小值确定为该像素的像素值,以消除该像素点的噪声,得到降噪后的该像素的像素值。
综上所述,根据计算得到的像素的最大值矩阵和最小值矩阵,对待降噪图像中对应的各个像素的像素值进行限制,以达到降噪的效果,其可以表示为:
该方式中,利用前序视频帧的降噪后图像中与该像素相关联的图像区域中各个像素的像素值,通过可分离的膨胀与腐蚀算法,可以高效快速的计算待降噪图像中各个像素的合理的变化范围以及各个像素的最大值和最小值;不需要后序视频帧的图像数据,能够实时处理视频流图像,同时提高了待降噪图像中大部分区域的降噪效果;利用像素的最大值和最小值,对待降噪图像中对应的各个像素的像素值进行限制,进行降噪处理,对运动物体抠像处理得到的边缘信息能够被很好地保留,且计算量较小,避免了因降噪产生的模糊、延迟、拖影等问题。
进一步的,上述方法还包括:如果目标视频帧属于预设视频帧序列中的第一帧视频帧,根据第一帧视频帧指定的像素值范围,对待降噪图像进行降噪处理。
由于第一帧视频帧获取不到前序视频帧,因此,在对第一帧视频帧进行降噪处理时,可以直接指定设置该视频帧的待降噪图像中各个像素的最大值和最小值,直接根据指定的各个像素的最大值和最小值,对待降噪图像中对应的各个像素的像素值进行限制,进行降噪处理,得到的第一帧视频帧的降噪后图像;以便后续视频帧能够利用前序视频帧图像进行降噪处理。
具体的,以预设的第一数值为1,预设的第二数值为0为例,参见图8所示的视频图像的降噪方法的流程图,进行举例说明,初始状态时,设置i=1,U1=1,L1=0,获取得到第一帧待降噪图像S1,通过上述公式(18),利用U1、L1和S1,计算出降噪结果F1;基于上述公式(8),利用F1,通过分离膨胀算法计算U2,基于上述公式(13)利用F1,通过分离膨胀算法计算L2,然后,令i=i+1,判断视频是否播放完毕,如果没有播放完毕,继续获取下一帧待降噪图像S2,继续执行下述流程,直到视频播放完毕,结束视频图像降噪处理。
实施例六:
本发明提供了一种视频抠像方法,如图9所示,该方法包括如下步骤:
步骤S902,对目标视频帧进行抠像处理,得到初始抠像结果;其中,初始抠像结果包括目标视频帧的前景掩膜图像;
上述初始抠像结果可以是一个alpha mask图,该图是一种单通道图像;上述前景掩膜图像可以是初始抠像结果中亮度较高的像素对应原图像中的前景像素,另外,上述初始抠像结果中还包括亮度较低的像素对应原图像中的背景像素。具体实现时,首先获取视频流的第i帧视频帧,可以表示为Pi,可以通过抠像算法,比如Seg抠像算法,计算得到一帧带有噪声的初始抠像结果Si。
步骤S904,获取来自目标视频帧的前序视频帧的降噪后抠像结果;
步骤S906,根据前序视频帧的降噪后抠像结果,确定初始抠像结果中各个像素的像素值范围;
步骤S908,根据像素值范围,对初始抠像结果进行降噪处理,得到目标视频帧的降噪后抠像结果。
本发明实施例提供了一种视频抠像方法,对目标视频帧进行抠像处理,得到初始抠像结果,获取来自目标视频帧的前序视频帧的降噪后抠像结果;根据前序视频帧的降噪后抠像结果,确定初始抠像结果中各个像素的像素值范围;根据像素值范围,对初始抠像结果进行降噪处理,得到目标视频帧的降噪后抠像结果。该方式中,通过前序视频帧的降噪后抠像结果,确定当前视频帧的初始抠像结果中各个像素的像素值范围,进而基于该像素值范围对初始抠像结果进行降噪处理,该方式无需获取目标视频帧的后续视频帧的相关数据,在实时视频降噪场景中,避免了画面延迟、拖影等问题,能够准确地去除噪声,对初始抠像结果的边缘处理也较为清晰,且运算量较低。
本发明实施例提供的视频抠像方法,得到初始抠像结果后,其具体的降噪处理的实现方法与上述实施例提供的视频图像的降噪方法中待降噪图片的降噪处理的实现方法相同,所以也能解决相同的技术问题,达到相同的技术效果,为简要描述,可以参考上述实施例的相关内容,在此不做赘述。
实施例七:
对应于上述方法实施例,参见图10所示的一种视频图像的降噪装置的结构示意图,该装置包括:
获取模块1010,用于获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;
确定模块1020,用于根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;
降噪模块1030,用于根据像素值范围,对待降噪图像进行降噪处理。
本发明实施例提供了一种视频图像的降噪装置,获取来自目标视频帧的待降噪图像,以及来自目标视频帧的前序视频帧的降噪后图像;根据前序视频帧的降噪后图像,确定待降噪图像中各个像素的像素值范围;根据像素值范围,对待降噪图像进行降噪处理。该方式中,通过前序视频帧的降噪后图像,确定当前视频帧的待降噪图像中各个像素的像素值范围,进而基于该像素值范围对待降噪图像进行降噪处理,该方式无需获取目标视频帧的后续视频帧的相关数据,在实时视频降噪场景中,避免了画面延迟、拖影等问题,能够准确地去除噪声,对待降噪图像的边缘处理也较为清晰,且运算量较低。
进一步的,上述确定模块用于:针对待降噪图像中的每个当前像素,从前序视频帧的降噪后图像中获取与该当前像素相关联的图像区域;其中,与该当前像素相关联的图像区域,包括:该当前像素在降噪后图像中相应位置上的目标像素所处的预设大小的图像区域;根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定待降噪图像中各个当前像素的最大值和最小值。
进一步的,上述确定模块用于:确定该当前像素在降噪后图像中相应位置上的目标像素;根据预设的尺度参数,以目标像素为区域中心,从降噪后图像中获取图像区域。
进一步的,上述确定模块用于:针对待降噪图像中的边缘像素,将边缘像素的最大值设置为预设的第一数值;针对待降噪图像中除边缘像素点以外的内部像素,获取与该内部像素相关联的图像区域中的最大像素值,根据图像区域中的最大像素值,确定该内部像素的最大值。
进一步的,上述确定模块用于:将图像区域中的最大像素值与预设的比较参数相加,得到相加结果;如果相加结果小于第一数值,将相加结果确定为该内部像素的最大值;如果相加结果大于第一数值,将第一数值确定为该内部像素的最大值。
进一步的,上述确定模块用于:针对待降噪图像中的边缘像素,将边缘像素的最小值设置为预设的第二数值;针对待降噪图像中除边缘像素点以外的内部像素,获取与该内部像素相关联的图像区域中的最小像素值,根据图像区域中的最小像素值,确定该内部像素的最小值。
进一步的,上述确定模块用于:将图像区域中的最小像素值与预设的比较参数相减,得到相减结果;如果相减结果大于第二数值,将相减结果确定为该内部像素的最小值;如果相减结果小于第二数值,将第二数值确定为该内部像素的最小值。
进一步的,上述待降噪图像中各个像素的像素值范围,包括待降噪图像中各个像素的最大值和最小值;上述降噪模块用于:针对待降噪图像中的每个像素,如果该像素的当前像素值大于该像素的最大值,将该像素的最大值确定为该像素的像素值;如果该像素的当前像素值小于该像素的最小值,将该像素的最小值确定为该像素的像素值。
进一步的,上述装置用于:如果目标视频帧属于预设视频帧序列中的第一帧视频帧,根据第一帧视频帧指定的像素值范围,对待降噪图像进行降噪处理。
本发明实施例提供的视频图像的降噪装置,与上述实施例提供的视频图像的降噪方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
实施例八:
对应于上述方法实施例,参见图11所示的一种视频抠像装置的结构示意图,该装置包括:
抠像处理模块1110,用于对目标视频帧进行抠像处理,得到初始抠像结果;其中,初始抠像结果包括目标视频帧的前景掩膜图像;
结果获取模块1120,用于获取来自目标视频帧的前序视频帧的降噪后抠像结果;
范围确定模块1130,用于根据前序视频帧的降噪后抠像结果,确定初始抠像结果中各个像素的像素值范围;
结果降噪模块1140,用于根据像素值范围,对初始抠像结果进行降噪处理,得到目标视频帧的降噪后抠像结果。
本发明实施例提供了一种视频抠像装置,对目标视频帧进行抠像处理,得到初始抠像结果,获取来自目标视频帧的前序视频帧的降噪后抠像结果;根据前序视频帧的降噪后抠像结果,确定初始抠像结果中各个像素的像素值范围;根据像素值范围,对初始抠像结果进行降噪处理,得到目标视频帧的降噪后抠像结果。该方式中,通过前序视频帧的降噪后抠像结果,确定当前视频帧的初始抠像结果中各个像素的像素值范围,进而基于该像素值范围对初始抠像结果进行降噪处理,该方式无需获取目标视频帧的后续视频帧的相关数据,在实时视频降噪场景中,避免了画面延迟、拖影等问题,能够准确地去除噪声,对初始抠像结果的边缘处理也较为清晰,且运算量较低。
本发明实施例提供的视频抠像装置,与上述实施例提供的视频抠像方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
实施例九:
本发明实施例提供了一种电子系统,该电子系统包括:图像采集设备、处理设备和存储装置;图像采集设备,用于获取预览视频帧或图像数据;存储装置上存储有计算机程序,计算机程序在被处理设备运行时执行如上述视频图像的降噪方法、视频抠像方法,或者上述视频图像的降噪方法、视频抠像方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的电子系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理设备运行时执行如上述视频图像的降噪方法、视频抠像方向,或者上视频图像的降噪方法、视频抠像方向的步骤。
本发明实施例所提供的视频图像的降噪方法、视频抠像方法、装置和电子系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种视频图像的降噪方法,其特征在于,所述方法包括:
获取来自目标视频帧的待降噪图像,以及来自所述目标视频帧的前序视频帧的降噪后图像;
根据所述前序视频帧的降噪后图像,确定所述待降噪图像中各个像素的像素值范围;
根据所述像素值范围,对所述待降噪图像进行降噪处理。
2.根据权利要求1所述的方法,其特征在于,根据所述前序视频帧的降噪后图像,确定所述待降噪图像中各个像素的像素值范围的步骤,包括:
针对所述待降噪图像中的每个当前像素,从所述前序视频帧的降噪后图像中获取与该当前像素相关联的图像区域;其中,与该当前像素相关联的图像区域,包括:该当前像素在所述降噪后图像中相应位置上的目标像素所处的预设大小的图像区域;
根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定所述待降噪图像中该当前像素的最大值和最小值。
3.根据权利要求2所述的方法,其特征在于,从所述前序视频帧的降噪后图像中获取与该当前像素相关联的图像区域的步骤,包括:
确定该当前像素在所述降噪后图像中相应位置上的目标像素;
根据预设的尺度参数,以所述目标像素为区域中心,从所述降噪后图像中获取所述图像区域。
4.根据权利要求2所述的方法,其特征在于,根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定所述待降噪图像中该当前像素的最大值的步骤,包括:
针对所述待降噪图像中的边缘像素,将所述边缘像素的最大值设置为预设的第一数值;
针对所述待降噪图像中除所述边缘像素以外的内部像素,分别将每个内部像素作为当前像素,获取与该当前像素相关联的图像区域中各个指定像素的最大像素值,根据所述图像区域中各个指定像素的最大像素值,确定该当前像素的最大值。
5.根据权利要求4所述的方法,其特征在于,根据所述图像区域中各个指定像素的最大像素值,确定该当前像素的最大值的步骤,包括:
将所述图像区域中各个指定像素的最大像素值与预设的比较参数相加,得到相加结果;
如果所述相加结果小于所述第一数值,将所述相加结果确定为该当前像素的最大值;
如果所述相加结果大于所述第一数值,将所述第一数值确定为该当前像素的最大值。
6.根据权利要求2所述的方法,其特征在于,根据与该当前像素相关联的图像区域中各个指定像素的像素值,确定所述待降噪图像中该当前像素的最小值的步骤,包括:
针对所述待降噪图像中的边缘像素,将所述边缘像素的最小值设置为预设的第二数值;
针对所述待降噪图像中除所述边缘像素以外的内部像素,分别将每个内部像素作为当前像素,获取与该当前像素相关联的图像区域中各个指定像素的最小像素值,根据所述图像区域中各个指定像素的最小像素值,确定该当前像素的最小值。
7.根据权利要求6所述的方法,其特征在于,根据所述图像区域中各个指定像素的最小像素值,确定该当前像素的最小值的步骤,包括:
将所述图像区域中各个指定像素的最小像素值与预设的比较参数相减,得到相减结果;
如果所述相减结果大于所述第二数值,将所述相减结果确定为该当前像素的最小值;
如果所述相减结果小于所述第二数值,将所述第二数值确定为该当前像素的最小值。
8.根据权利要求1所述的方法,其特征在于,所述待降噪图像中各个像素的像素值范围,包括所述待降噪图像中各个像素的最大值和最小值;
所述根据所述像素值范围,对所述待降噪图像进行降噪处理的步骤,包括:
针对待降噪图像中的每个像素,如果该像素的当前像素值大于该像素的最大值,将该像素的最大值确定为该像素的像素值;
如果该像素的当前像素值小于该像素的最小值,将该像素的最小值确定为该像素的像素值。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述目标视频帧属于预设视频帧序列中的第一帧视频帧,根据所述第一帧视频帧指定的像素值范围,对所述待降噪图像进行降噪处理。
10.一种视频抠像方法,其特征在于,所述方法包括:
对目标视频帧进行抠像处理,得到初始抠像结果;其中,所述初始抠像结果包括所述目标视频帧的前景掩膜图像;
获取来自所述目标视频帧的前序视频帧的降噪后抠像结果;
根据所述前序视频帧的降噪后抠像结果,确定所述初始抠像结果中各个像素的像素值范围;
根据所述像素值范围,对所述初始抠像结果进行降噪处理,得到所述目标视频帧的降噪后抠像结果。
11.一种视频图像的降噪装置,其特征在于,所述装置包括:
获取模块,用于获取来自目标视频帧的待降噪图像,以及来自所述目标视频帧的前序视频帧的降噪后图像;
确定模块,用于根据所述前序视频帧的降噪后图像,确定所述待降噪图像中各个像素的像素值范围;
降噪模块,用于根据所述像素值范围,对所述待降噪图像进行降噪处理。
12.一种视频抠像装置,其特征在于,所述装置包括:
抠像处理模块,用于对目标视频帧进行抠像处理,得到初始抠像结果;其中,所述初始抠像结果包括所述目标视频帧的前景掩膜图像;
结果获取模块,用于获取来自所述目标视频帧的前序视频帧的降噪后抠像结果;
范围确定模块,用于根据所述前序视频帧的降噪后抠像结果,确定所述初始抠像结果中各个像素的像素值范围;
结果降噪模块,用于根据所述像素值范围,对所述初始抠像结果进行降噪处理,得到所述目标视频帧的降噪后抠像结果。
13.一种电子系统,其特征在于,所述电子系统包括:处理设备和存储装置;
所述存储装置上存储有计算机程序,所述计算机程序在被所述处理设备运行时执行如权利要求1至9任一项所述的视频图像的降噪方法和权利要求10所述的视频抠像方法。
14.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理设备运行时执行如权利要求1至9任一项所述的视频图像的降噪方法和权利要求10所述的视频抠像方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010410928.2A CN111754417A (zh) | 2020-05-14 | 2020-05-14 | 视频图像的降噪方法、视频抠像方法、装置和电子系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010410928.2A CN111754417A (zh) | 2020-05-14 | 2020-05-14 | 视频图像的降噪方法、视频抠像方法、装置和电子系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111754417A true CN111754417A (zh) | 2020-10-09 |
Family
ID=72674265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010410928.2A Pending CN111754417A (zh) | 2020-05-14 | 2020-05-14 | 视频图像的降噪方法、视频抠像方法、装置和电子系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111754417A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114070960A (zh) * | 2021-12-28 | 2022-02-18 | 苏州工业园区智在天下科技有限公司 | 用于视频的降噪方法及其装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106303157A (zh) * | 2016-08-31 | 2017-01-04 | 广州市百果园网络科技有限公司 | 一种视频降噪处理方法及视频降噪处理装置 |
US10652552B1 (en) * | 2019-02-01 | 2020-05-12 | Google Llc | Efficient noise reduction coding |
-
2020
- 2020-05-14 CN CN202010410928.2A patent/CN111754417A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106303157A (zh) * | 2016-08-31 | 2017-01-04 | 广州市百果园网络科技有限公司 | 一种视频降噪处理方法及视频降噪处理装置 |
US10652552B1 (en) * | 2019-02-01 | 2020-05-12 | Google Llc | Efficient noise reduction coding |
Non-Patent Citations (1)
Title |
---|
崔建伟;谷源涛;唐昆;: "采用背景提取和自适应滤波的视频降噪算法", 电视技术, no. 2 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114070960A (zh) * | 2021-12-28 | 2022-02-18 | 苏州工业园区智在天下科技有限公司 | 用于视频的降噪方法及其装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
US7542600B2 (en) | Video image quality | |
CN109993712B (zh) | 图像处理模型的训练方法、图像处理方法及相关设备 | |
US8908989B2 (en) | Recursive conditional means image denoising | |
CN109064504B (zh) | 图像处理方法、装置和计算机存储介质 | |
KR20160044979A (ko) | 영상 처리 방법 및 장치 | |
CN111161136B (zh) | 图像虚化方法、图像虚化装置、设备及存储装置 | |
CN113132695A (zh) | 镜头阴影校正方法、装置及电子设备 | |
CN110348425B (zh) | 去底纹的方法、装置、设备及计算机可读存储介质 | |
CN111539895A (zh) | 一种视频去噪方法、装置、移动终端和存储介质 | |
CN113628259A (zh) | 图像的配准处理方法及装置 | |
CN111754417A (zh) | 视频图像的降噪方法、视频抠像方法、装置和电子系统 | |
CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
CN111080683B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN116095291B (zh) | 一种用于媒体流图像传输的图像预处理方法 | |
CN110689496A (zh) | 降噪模型的确定方法、装置、电子设备和计算机存储介质 | |
WO2022206679A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN116188535A (zh) | 基于光流估计的视频跟踪方法、装置、设备及存储介质 | |
CN115439386A (zh) | 图像融合方法、装置、电子设备和存储介质 | |
CN114782280A (zh) | 图像处理方法和装置 | |
CN109727193B (zh) | 图像虚化方法、装置及电子设备 | |
JP2015076676A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112927142B (zh) | 一种基于时域插值的高速高分辨率视频生成方法和装置 | |
CN116506732B (zh) | 一种图像抓拍防抖的方法、装置、系统和计算机设备 | |
US9508020B2 (en) | Image processing system with artifact suppression mechanism and method of operation thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |