CN113674316A - 一种视频降噪方法和装置及设备 - Google Patents

一种视频降噪方法和装置及设备 Download PDF

Info

Publication number
CN113674316A
CN113674316A CN202110891957.XA CN202110891957A CN113674316A CN 113674316 A CN113674316 A CN 113674316A CN 202110891957 A CN202110891957 A CN 202110891957A CN 113674316 A CN113674316 A CN 113674316A
Authority
CN
China
Prior art keywords
target
noise reduction
image
frame image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110891957.XA
Other languages
English (en)
Inventor
冯亮
马东星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110891957.XA priority Critical patent/CN113674316A/zh
Publication of CN113674316A publication Critical patent/CN113674316A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明提供了一种视频降噪方法和装置及设备,所述方法包括:对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;针对各帧图像中的所述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。利用本发明提供的方法,根据各目标的运动速度和类型,分别确定对应的空域降噪和时域降噪的比重,并对各目标分别进行降噪处理,可以提升视频降噪效果、降低编码码率。

Description

一种视频降噪方法和装置及设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种视频降噪方法和装置及设备。
背景技术
由于通过终端拍摄获得的数字图像,在数字化和数据传输的过程中,常受到成像设备和外部环境的噪声干扰等影响,均包含有噪声,而噪声会影响图像效果、增加图像的编码码率,因此为了获得更好的图像效果并降低编码码率,需要对上述噪声图像进行降噪处理。
相关技术一般使用时域降噪、空域降噪及二者结合的方式进行图像降噪:其中,空域降噪,又被称为帧内降噪或2D降噪,仅需要输入单张图片,利用各类降噪滤波器对输入的图片进行降噪,降噪效果取决于滤波器的设计以及滤波器参数;但是,空域降噪强度越强,降噪后图片的细节丢失越严重,画面越模糊。时域降噪,又被称为3D降噪,在当前帧和前后多帧图像构建的图像层中,通过运动估计技术,沿着物体的运动轨迹进行时域帧间滤波,去除视频序列中的噪声,同时保持视频图像的细节。虽然时域降噪不会像空域降噪一样损失画面细节,但由于运动估计存在局限性,在时域降噪强度过强时,运动物体的轨迹上会产生明显的拖影现象,影响视频画面效果。现有技术中最普遍的对视频画面的降噪方法是通过空域降噪结合时域降噪,对每帧图进行降噪处理,但是具体如何设置空域降噪的参数及强度、时域降噪及强度,以获得更高的图像效果、降低编码码率是一个有待解决的问题。
发明内容
本发明提供一种视频降噪方法和装置及设备,可以获得更好的视频降噪效果,并降低图像的编码码率。
第一方面,本发明提供一种视频降噪方法,该方法包括:
对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;
针对各帧图像中的所述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;
根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
本发明提供的视频降噪方法,通过目标识别提取图像中的目标,区分上述目标的类型和坐标,并根据上述坐标计算目标的运动速度,基于上述类型和运动速度进行空域降噪参数及时域降噪参数的匹配,能够针对图像画面中的不同目标的类型及其运动强度、静止状态,采用不同的空域降噪参数及时域降噪参数,进行区别降噪;在保障目标的画面细节的前提下,去除图像噪声,提升画质,并降低图像的编码码率;可以解决运动拖影问题,保障不同运动强度的目标的降噪效果。
可选地,根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪,包括:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
本发明提供的视频降噪方法,将当前帧图像划分成N个大小一样的图像区域,并对该目标对应的至少一个图像区域进行分区降噪,提升了视频降噪的效果、降低了图像的编码码率。
可选地,确定该目标对应的空域降噪参数及时域降噪参数之后,所述方法还包括:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪。
本发明提供的视频降噪方法,可以针对非目标区域,强化空域降噪参数及时域降噪参数,可以有效降低图像的编码码率。
可选地,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪,包括:
以图像区域为单位,对N块图像区域中的,所述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪;
其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的。
本发明提供的视频降噪方法,采用分区的方式对每一个图像区域进行降噪,提供了一种具体的降噪处理方式,提升了本发明实施例的可实施性。
可选地,确定该目标对应的至少一个图像区域,包括:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域;
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度;
根据该目标的运动方向和运动速度,在所述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域;
确定所述第一图像区域和所述第二图像区域,为该目标对应的至少一个图像区域。
本发明提供的视频降噪方法,将当前帧图像划分成N个大小一样的图像区域,并根据目标的坐标及运动速度,预判预设时间后该目标的位置,并将当前位置与预测位置所在的图像区域作为该目标的降噪区域,为时域降噪预留了处理时间,提升了视频降噪的效果、降低了图像的编码码率。
可选地,根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,确定该目标的运动速度,包括:
计算该目标的预设点在当前帧图像中对应的像素的坐标,和所述预设点在上一帧图像中对应的像素的坐标之间的位移,作为该目标的像素位移;
将所述像素位移与相邻帧之间的时间间隔做比,得到该目标的像素移动速度;
将所述像素移动速度与所述当前帧图像的像素宽度做比,得到该目标的运动速度。
本发明提供的视频降噪方法,通过同一目标的预设点在相邻两帧中的坐标与相邻帧之间的时间间隔,计算得出目标的运动速度,提供了一种具体的计算目标的运动速度的实施方式,为之后确定空域降噪参数及时域降噪参数提供了必要的技术基础,有助于提升视频降噪的效果,并降低编码码率。
可选地,根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数,包括:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,所述运动参数包括类型和运动强度等级,所述降噪参数包括空域降噪参数及时域降噪参数;
其中,所述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,所述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
本发明提供的视频降噪方法,根据各目标的运动速度为各目标匹配对应的运动强度等级,并且对不同目标的类型和运动强度等级进行区分,为不同类型和/或运动强度等级的目标匹配对应的空域降噪参数和时域降噪参数,可以保证更高的降噪效果,并降低编码码率。
可选地,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级,包括:
当该目标的运动速度小于预设阈值时,确定该目标的运动强度等级为预设值;
当该目标的运动速度不小于预设阈值时,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;其中,运动速度越大对应的运动强度等级越高。
本发明提供的视频降噪方法,通过为目标的运动速度设置预设阈值,并将运动速度小于上述预设阈值的目标的运动强度等级设为预设值,可以减轻目标识别的误差对视频降噪的影响,提高视频降噪效果。
可选地,所述运动参数与降噪参数的对应关系具有如下原则:
对于同一类型的目标,对应的空域降噪的强度与运动强度等级成正相关关系,对应的时域降噪的强度与运动强度等级成负相关关系;和/或
对于同一运动强度等级的目标,对应的空域降噪参数及时域降噪参数为根据不同类型的目标对应的图像清晰度要求及图像效果要求调整得到的。
本发明提供的视频降噪方法,根据不同的运动强度等级和不同的类型分别调整对应的空域降噪参数及时域降噪参数,并确定上述运动参数与降噪参数的对应关系,可以提升视频降噪的效果、降低编码码率。
第二方面,本发明提供一种视频降噪设备,包括存储器和处理器,其中:
所述存储器用于存储计算机程序;
所述处理器用于读取所述存储器中的程序并执行如下步骤:
对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;
针对各帧图像中的所述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;
根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
可选地,所述处理器根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪,包括:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
可选地,确定该目标对应的空域降噪参数及时域降噪参数之后,所述处理器还用于:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪。
可选地,所述处理器对所述当前帧图像中的所述至少一个目标之外的区域进行降噪,包括:
以图像区域为单位,对N块图像区域中的,所述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪;
其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的。
可选地,所述处理器确定该目标对应的至少一个图像区域,包括:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域;
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度;
根据该目标的运动方向和运动速度,在所述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域;
确定所述第一图像区域和所述第二图像区域,为该目标对应的至少一个图像区域。
可选地,所述处理器根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,确定该目标的运动速度,包括:
计算该目标的预设点在当前帧图像中对应的像素的坐标,和所述预设点在上一帧图像中对应的像素的坐标之间的位移,作为该目标的像素位移;
将所述像素位移与相邻帧之间的时间间隔做比,得到该目标的像素移动速度;
将所述像素移动速度与所述当前帧图像的像素宽度做比,得到该目标的运动速度。
可选地,所述处理器根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数,包括:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,所述运动参数包括类型和运动强度等级,所述降噪参数包括空域降噪参数及时域降噪参数;
其中,所述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,所述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
可选地,所述处理器根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级,包括:
当该目标的运动速度小于预设阈值时,确定该目标的运动强度等级为预设值;
当该目标的运动速度不小于预设阈值时,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;其中,运动速度越大对应的运动强度等级越高。
可选地,所述运动参数与降噪参数的对应关系具有如下原则:
对于同一类型的目标,对应的空域降噪的强度与运动强度等级成正相关关系,对应的时域降噪的强度与运动强度等级成负相关关系;和/或
对于同一运动强度等级的目标,对应的空域降噪参数及时域降噪参数为根据不同类型的目标对应的图像清晰度要求及图像效果要求调整得到的。
第三方面,本发明提供一种视频降噪装置,包括:
目标识别单元,用于对视频的各帧图像进行目标识别,得到各帧图像中的各目标的坐标和类型;
速度确定单元,用于针对各帧图像中的各目标,根据该目标在当前帧图像和上一帧图像中的坐标及所述当前帧图像和上一帧图像的时间间隔,确定该目标的运动速度;
参数确定单元,用于针对各帧图像中的各目标,根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
图像降噪单元,用于针对各帧图像中的各目标,根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
可选地,所述图像降噪单元根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪,包括:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
可选地,确定该目标对应的空域降噪参数及时域降噪参数之后,所述图像降噪单元还用于:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪。
可选地,所述图像降噪单元对所述当前帧图像中的所述至少一个目标之外的区域进行降噪,包括:
以图像区域为单位,对N块图像区域中的,所述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪;
其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的。
可选地,所述图像降噪单元确定该目标对应的至少一个图像区域,包括:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域;
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度;
根据该目标的运动方向和运动速度,在所述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域;
确定所述第一图像区域和所述第二图像区域,为该目标对应的至少一个图像区域。
可选地,所述速度确定单元根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,确定该目标的运动速度,包括:
计算该目标的预设点在当前帧图像中对应的像素的坐标,和所述预设点在上一帧图像中对应的像素的坐标之间的位移,作为该目标的像素位移;
将所述像素位移与相邻帧之间的时间间隔做比,得到该目标的像素移动速度;
将所述像素移动速度与所述当前帧图像的像素宽度做比,得到该目标的运动速度。
可选地,所述参数确定单元根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数,包括:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,所述运动参数包括类型和运动强度等级,所述降噪参数包括空域降噪参数及时域降噪参数;
其中,所述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,所述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
可选地,所述参数确定单元根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级,包括:
当该目标的运动速度小于预设阈值时,确定该目标的运动强度等级为预设值;
当该目标的运动速度不小于预设阈值时,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;其中,运动速度越大对应的运动强度等级越高。
可选地,所述运动参数与降噪参数的对应关系具有如下原则:
对于同一类型的目标,对应的空域降噪的强度与运动强度等级成正相关关系,对应的时域降噪的强度与运动强度等级成负相关关系;和/或
对于同一运动强度等级的目标,对应的空域降噪参数及时域降噪参数为根据不同类型的目标对应的图像清晰度要求及图像效果要求调整得到的。
第四方面,本发明提供一种计算机程序介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面提供的视频降噪方法的步骤。
第五方面,本发明提供一种芯片,所述芯片与设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的视频降噪方法。
第六方面,本发明提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的视频降噪方法。
附图说明
图1为本发明实施例提供的一种视频降噪方法的应用场景的示意图;
图2为本发明实施例提供的另一种视频降噪方法的应用场景的示意图;
图3为本发明实施例提供的一种视频降噪方法的流程图;
图4为本发明实施例提供的一种目标识别结果的示意图;
图5为本发明实施例提供的一种图像区域的示意图;
图6为本发明实施例提供的一种视频降噪方法的实施方式的流程图;
图7为本发明实施例提供的一种视频降噪设备的示意图;
图8为本发明实施例提供的一种视频降噪装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个,其它量词与之类似应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
以下,对本发明实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)本发明实施例中术语“硬盘录像机(Digital Video Recorder,DVR)”,即数字视频录像机,相对于传统的模拟视频录像机,采用硬盘录像,因此也常常被称为硬盘录像机,是一套进行图像存储处理的计算机系统,具有对图像和/或语音进行长时间录像、录音、远程监视和控制的功能。
(2)本发明实施例中术语“图像信号处理器(Image Signal Processor,ISP)”,被管道化的图像处理专用引擎,可以高速处理图像信号,在相机系统中占有核心主导的地位,是构成相机的重要设备。
(3)本发明实施例中术语“中央处理器(Central Processing Unit,CPU)”,是电子计算机的主要设备之一,电脑中的核心配件,其功能是解释计算机指令以及处理计算机软件中的数据。
(4)本发明实施例中术语“每秒传输帧数(Frame Per Second,FPS)”,是图像领域中的定义,指动画或视频的画面数。
(5)本发明实施例中术语“像素宽度”,也叫分辨率,指可以显示出的水平和垂直像素的数组,是图片或者屏幕在横向上划分的像素点的数量,例如,分辨率为1240×768时,就是指在图片或者屏幕的横向上划分了1240个像素点,竖向上划分了768个像素点,其中1240就是其像素宽度。
鉴于相关技术的视频降噪方法存在的上述问题,本申请提出一种视频降噪方法和装置及设备。
下面结合附图对本申请实施例中的一种视频降噪方法和装置及设备进行详细说明。
实施例1
如图1所示,本发明实施例提供一种视频降噪方法的应用场景的示意图,包括:
摄像设备101,用于采集视频图像,并将采集的视频图像传输给硬盘录像机。
硬盘录像机102,用于对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;针对各帧图像中的上述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
其中,上述硬盘录像机中包括中央处理器,上述摄像设备将采集的视频信号传输给上述硬盘录像机,上述硬盘录像机使用上述中央处理器对上述视频信号进行降噪处理。
需要说明的是,任意可以实现上述摄像设备和上述硬盘录像机的功能的设备都可以应用到本发明实施例中,可以根据具体的实施情况对上述摄像设备和上述硬盘录像机的种类、型号、规格等进行具体的设置,例如,设置上述摄像设备的种类为摄像头,本发明实施例对此不进行任何限定。
需要说明的是,上述应用场景仅是对本发明实施例中一种可能的实施方式的说明,并不对本发明实施例产生限定,相反,本申请的实施方式可以应用于适用的任何场景,且上述应用场景可以根据具体的实施情况进行实体的增减、删改,例如,使用多个摄像设备采集视频图像等。
如图2所示,本发明实施例提供另一种视频降噪方法的应用场景的示意图,包括:
图像传感器201,用于采集视频图像,并将采集的视频图像传输给图像信号处理器。
图像信号处理器202,用于处理上述图像传感器输出的图像信号,并将处理后的图像信号传输至中央处理器;
中央处理器203,用于对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;针对各帧图像中的上述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
上述图2提供了一种摄像头架构,上述图像信号处理器输出视频图像给上述中央处理器,上述中央处理器对输入的视频图像进行降噪处理。
需要说明的是,任意可以实现上述图像传感器、图像信号处理器和中央处理器的功能的设备都可以应用到本发明实施例中,可以根据具体的实施情况对上述图像传感器、图像信号处理器和中央处理器的种类、型号、规格等进行具体的设置,本发明实施例对此不进行任何限定。
需要说明的是,上述应用场景仅是对本发明实施例中一种可能的实施方式的说明,并不对本发明实施例产生限定,相反,本申请的实施方式可以应用于适用的任何场景,且上述应用场景可以根据具体的实施情况进行实体的增减、删改,例如,将上述中央处理器更改为图形处理器等。
本发明实施例提供一种视频降噪方法的流程图,应用于上述硬盘录像机102,和/或上述中央处理器203,如图3所示,包括:
步骤S301,对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;
对输入的视频的每一帧图像,分别利用目标识别算法结合预设的模型进行目标识别,得到该帧图像中的至少一个目标的坐标和类型。
上述目标识别算法可以为任意可以实现目标识别功能的算法,包括但不限于:(1)基于候选区域(Region Proposal)的区域-卷积神经网络(Region-Convolutional NeuralNetworks,R-CNN)系算法:例如,区域-卷积神经网络(Region-Convolutional NeuralNetworks,R-CNN)算法,快速区域-卷积神经网络(Fast Region-Convolutional NeuralNetworks,Fast R-CNN)算法,更快区域-卷积神经网络(Faste Region-ConvolutionalNeural Networks,Faste R-CNN)算法等);(2)你只用看一次(You Only Look Once,YOLO)算法、单阶段多框检测(Single Shot MultiBox Detector,SSD)算法等。
上述预设的模型是根据样本数据,通过神经网络预先训练获得的一组神经网路参数,是目标识别算法的重要组件。
通过上述目标识别算法结合上述预设的模型,可以实现识别输入的图像中的目标的类型及其坐标位置的功能。
需要说明的是,任意可以实现目标识别效果的目标识别方法都可以应用到本发明实施例中,并不局限于目标识别算法与预设的模型结合的实施方式,本发明实施例对此不进行任何限定。
在具体实施时,可以设置对上述图像中的全部目标进行识别,也可以设置对上述图像中的部分目标,即感兴趣的目标进行识别。
例如,在输入的视频为交通视频的安防监控场景下,可以设置识别的目标的类型包括以下任一或任多:人、动物、植物、机动车、非机动车、指示牌,也可以对上述类型进行扩展。
需要说明的是,上述感兴趣的目标的类型可以根据具体的实施场景进行具体的设置,例如在自动取款机(Automated Teller Machine,ATM)的安防监控场景下,可以将上述感兴趣的目标的类型设置为钱包、银行卡、现金等,本发明实施例对此不进行任何限定。
上述目标的坐标可以采用数值的形式表示,例如(left,top,right,bottom),其中,left表示目标最左侧在上述图像中的位置,right表示目标最右侧在上述图像中的位置,top表示目标最上端在上述图像中的位置,bottom表示目标最下端在上述图像中的位置;上述目标的坐标也可以采用区域标记的形式表示,例如采用矩形区域在上述图像中标记各个目标,其中,(left,top)表示矩形区域的左上角坐标,(right,bottom)表示矩形区域的右下角坐标。
如图4所示,本发明实施例提供一种目标识别结果的示意图。
在上述图像中,识别到第一目标,输出上述第一目标的类型为人,并采用矩形区域标记上述第一目标,其中,使用(left1,top1)表示上述第一目标的矩形区域的左上角坐标,使用(right1,bottom1)表示上述第一目标的矩形区域的右下角坐标。
识别到第二目标,输出上述第二目标的类型为人,并采用矩形区域标记上述第二目标,其中,使用(left2,top2)表示上述第二目标的矩形区域的左上角坐标,使用(right2,bottom2)表示上述第二目标的矩形区域的右下角坐标。
识别到第三目标,输出上述第三目标的类型为机动车辆,并采用矩形区域标记上述第三目标,其中,使用(left3,top3)表示上述第三目标的矩形区域的左上角坐标,使用(right3,bottom3)表示上述第三目标的矩形区域的右下角坐标。
步骤S302,针对各帧图像中的所述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;
对于每一帧图像中的每一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,计算该目标的预设点在相邻帧之间的像素位移,并将上述像素位移除以图像宽度得到的相对像素速度,确定为该目标的运动速度。
步骤S303,根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
其中,上述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,上述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
上述空域降噪参数和上述时域降噪参数可以根据具体的实施场景进行具体的设置,例如,设置上述空域降噪参数包括空域亮度去噪强度,取值范围为0~2047,值越大,强度越大,默认值为128;空域色度去噪强度,取值范围为0~255,值越大,强度越大,默认值为12。设置上述时域降噪参数包括时域亮度去噪强度,取值范围为0~63,值越大,强度越大,默认值为12;时域色度去噪强度,取值范围为0~32,值越大,强度越大,默认值为16。
本发明实施例综合考虑目标的类型和运动速度,对不同的目标分别确定对应的空域降噪参数及时域降噪参数,有利于提升视频降噪的效果。
需要说明的是,上述空域降噪参数及时域降噪参数不仅包括参数的类型,还包括参数的具体数值。
步骤S304,根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
根据各目标对应的空域降噪参数及时域降噪参数,分别对各个目标进行图像降噪。
本发明实施例采用如下实施方式根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,确定该目标的运动速度:
计算该目标的预设点在当前帧图像中对应的像素的坐标,和上述预设点在上一帧图像中对应的像素的坐标之间的位移,作为该目标的像素位移;
将上述像素位移与相邻帧之间的时间间隔做比,得到该目标的像素移动速度;
将上述像素移动速度与上述当前帧图像的像素宽度做比,得到该目标的运动速度。
其中,上述像素移动速度与上述当前帧图像的像素宽度做比得到的运动速度为相对像素移动速度。
当上述预设点为该目标的中心点时,采用公式:
Figure BDA0003196493420000171
计算该目标的运动速度;
其中,
Figure BDA0003196493420000172
为该目标的中心点在当前帧图像中的横坐标,
Figure BDA0003196493420000173
为该目标的中心点在当前帧图像中的纵坐标,
Figure BDA0003196493420000174
为该目标的中心点在上一帧图像中的横坐标,
Figure BDA0003196493420000175
为该目标的中心点在上一帧图像中的纵坐标,
Figure BDA0003196493420000176
为相邻帧之间的时间间隔,W为当前帧图像的像素宽度。
其中,(left,top,right,bottom)为该目标在当前帧图像中的坐标,(left’,top’,right’,bottom’)为该目标在上一帧图像中的坐标,Fps为视频每秒传输帧数。
需要说明的是,上述预设点可以为上述目标中的任意点,计算方法与上述计算方法基本相同,只需要将上述X、Y、X’、Y’的计算公式进行适应性修改。
本发明实施例在确定空域降噪参数及时域降噪参数时,考虑了目标的运动速度,并提供了一种具体的计算目标的运动速度的实施方式:通过同一目标的预设点在相邻两帧中的坐标与相邻帧之间的时间间隔,计算得出目标的运动速度,为之后确定空域降噪参数及时域降噪参数提供了必要的技术基础,有助于提升视频降噪的效果、降低编码码率。
基于上述步骤S301确定的目标的类型,和上述步骤S302确定的目标的运动速度,本发明实施例采用如下实施方式确定该目标对应的空域降噪参数及时域降噪参数:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,上述运动参数包括类型和运动强度等级,上述降噪参数包括空域降噪参数及时域降噪参数。
作为一种可选的实施方式,上述预设的运动速度和运动强度等级的对应关系可以采用下述第一索引表格的形式:
Figure BDA0003196493420000181
需要说明的是,上述第一索引表格的具体数值以及等级划分的数量可以根据具体的实施情况进行具体的设置,本发明实施例对此不进行任何限制。
上述A为预设阈值,可以根据具体的实施情况进行具体的设置,本发明实施例对此不进行任何限制。
作为一种可选的实施方式,上述预设的运动参数与降噪参数的对应关系可以采用下述第二索引表格的形式:
Figure BDA0003196493420000191
Figure BDA0003196493420000201
需要说明的是,上述第二索引表格中的空域降噪参数和时域降噪参数为泛指,是指影响空域降噪、时域降噪强度或效果的1个或多个参数。
在上述第二索引表格中,不同的运动强度等级及不同的类型均对应不同的空域降噪参数和时域降噪参数。
需要说明的是,上述第二索引表格中的空域降噪参数和时域降噪参数是预先调试好的预设值,预设值的具体数值可以根据具体的实施情况进行具体的设置,本发明实施例对此不进行任何限制。
本发明实施例通过各目标的相对像素速度,为各目标匹配对应的运动强度等级;对不同目标的类型和运动强度等级进行区分,为不同类型和/或运动强度等级的目标匹配对应的空域降噪参数和时域降噪参数,可以保证更高的降噪效果,及降低编码码率。
本发明实施例采用如下实施方式根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级:
当该目标的运动速度小于预设阈值时,确定该目标的运动强度等级为预设值;
当该目标的运动速度不小于预设阈值时,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;其中,运动速度越大对应的运动强度等级越高。
作为一种可选的实施方式,上述预设值为0。
考虑到目标识别算法自身的误差,例如,对于静止的目标,在前后两帧中的坐标仍然存在差异,为了消除目标识别算法自身的抖动,利用上述第一索引表格中的A表示上述预设阈值,当目标的运动速度小于上述预设阈值时,认为目标就是静止的,对应运动强度等级为0;当目标的运动速度不小于上述预设阈值,且落在表中任意区间时,对应会得到一个运动强度等级,表示改目标运动的强度,运动强度等级越大,表示该目标的运动越剧烈。
本发明实施例通过为目标的运动速度设置预设阈值,并将运动速度小于上述预设阈值的目标的运动强度等级设为预设值,可以减轻目标识别的误差,提高视频降噪效果。
其中,上述运动参数与降噪参数的对应关系具有如下原则:
对于同一类型的目标,对应的空域降噪的强度与运动强度等级成正相关关系,对应的时域降噪的强度与运动强度等级成负相关关系;和/或
对于同一运动强度等级的目标,对应的空域降噪参数及时域降噪参数为根据不同类型的目标对应的图像清晰度要求及图像效果要求调整得到的。
对于同一类型的目标,运动强度等级越低,时域降噪的强度越强,空域降噪的强度适当降低,可以充分发挥时域降噪优势,去除视频序列中的噪声的同时保持视频图像的细节;运动强度等级越高,时域降噪的强度越弱,空域降噪的强度适当加强,避免产生拖影现象,并尽量利用空余降噪压低噪声,保障图像效果。
对于同一运动强度等级的目标,在实际应用场景中,不同类型的目标会对画面效果要求会有一定区别,例如希望能看清人脸的五官,能看清车的车牌号,对动物的清晰度要求并不高,而且人脸和车牌的纹理、颜色区间等差别很大,可以通过微调不同的降噪参数以对不同类型的目标进行针对性的优化,确定对应的空域降噪参数及时域降噪参数。
本发明实施例采用上述原则确定上述运动参数与降噪参数的对应关系,对不同的运动强度等级和不同的类型的目标,调整对应的空域降噪参数及时域降噪参数,可以提升视频降噪的效果、降低编码码率。
本发明实施例采用如下实施方式根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,上述N块图像区域为按照预设大小划分上述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
上述N的具体数值可以根据具体的实施情况进行具体设置,上述图像区域的划分方式也可以根据具体的实施情况进行具体设置,本发明实施例对此不进行任何限定。
考虑到输入的视频的图像一般为矩形,可以将当前帧图像划分为N块大小相等的矩形区域。
作为一种可选的实施方式,确定该目标对应的至少一个图像区域,包括:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域;
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度;
根据该目标的运动方向和运动速度,在上述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域;
确定上述第一图像区域和上述第二图像区域,为该目标对应的至少一个图像区域。
当该目标与某一图像区域存在交集时,即确定上述图像区域为上述第一图像区域。
上述预设时间的具体数值可以根据具体的实施情况进行具体的设置,例如设置为2~3帧的时间,本发明实施例对此不进行任何限定。
本发明实施例将当前帧图像划分成N个大小一样的图像区域,根据目标的坐标及运动速度,预判预设时间后该目标的位置,并将当前位置与预测位置所在的图像区域作为该目标的降噪区域,考虑到了时域降噪的处理时间,提升了视频降噪的效果、降低了图像的编码码率。
如图5所示,本发明实施例提供一种图像区域的示意图。
在上述图5中,N=63,即图像被划分为63等份,每一份有一个数字编号(1~63)。以第三目标,也就是上述图5中的汽车为例,说明目标对应的至少一个图像区域的确定过程:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域A={40、41、42、49、50、51}。
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度。
上述运动方向和运动速度可以用矢量形式的运动速度
Figure BDA0003196493420000231
表示,其中a=(X′-X)/T,表示目标在横坐标方向的移动速度,b=(Y′-Y)/T,表示目标在纵坐标方向的移动速度,X′为该目标的预设点在上一帧图像中的横坐标,Y′为该目标的预设点在上一帧图像中的纵坐标,X该目标的预设点在当前帧图像中的横坐标,Y为该目标的预设点在当前帧图像中的横坐标,
Figure BDA0003196493420000232
为相邻帧之间的时间间隔,Fps为视频每秒传输帧数。
其中,上述预设点可以为上述目标中的任意点,作为一种可选的实施方式,上述预设点为目标的中心点。
根据该目标的运动方向和运动速度,在上述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域。
确定上述运动速度
Figure BDA0003196493420000233
后,预判再过t1时间后,目标的预设点的新位置:
X″=X+a*t1;Y″=X+b*t1;其中,X″为目标的预设点的新位置的横坐标,Y″为目标的预设点的新位置的纵坐标。
如上述图5中上述第二目标汽车,汽车的移动方向为向右,经过预设时间t后,向右移了一小段距离,移至虚线区域,则第二图像区域B={41,42,43,50,51,52}。
确定上述第一图像区域和上述第二图像区域,为该目标对应的至少一个图像区域。
最终确定目标对应的至少一个图像区域,即目标的降噪区域集合C=A∪B,即为{40、41、42、43、49、50、51、52},该图像区域将使用同一组空域降噪参数及时域降噪参数。
作为一种可选的实施方式,确定该目标对应的空域降噪参数及时域降噪参数之后,还包括:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对上述当前帧图像中的上述至少一个目标之外的区域进行降噪。
本发明实施例对非目标区域,采用预设的空域降噪参数及时域降噪参数,作为一种可选的实施方式,上述预设的空域降噪参数及时域降噪参数的强度大于目标对应的空域降噪参数及时域降噪参数的强度,可以降低非感兴趣区域的画面细节,以降低后续的编码码率。
本发明实施例采用如下实施方式对上述当前帧图像中的上述至少一个目标之外的区域进行降噪:
以图像区域为单位,对N块图像区域中的,上述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪;
其中,上述N块图像区域为按照预设大小划分上述当前帧图像得到的。
本发明实施例采用分区的方式对每一个图像区域进行降噪,提供了一种具体的降噪处理方式,提升了本发明实施例的可实施性。
确定好当前帧的每个目标的降噪区域后,匹配到目标对应的降噪参数,所在降噪区域的所有图像区域均使用该降噪参数;将剩余的非目标降噪区域的每个图像区域均使用一组默认的降噪参数,该降噪参数可适当更强一些,以降低码率;在所有图像区域完成降噪参数匹配后,以图像区域为单位分别进行降噪处理。
相关技术中每帧图像的空域降噪参数及强度、时域降噪参数及强度是静态不变的,也不对画面内容进行区分对待,无法保证在不同场景下的图像的降噪效果,也不利于场景化的降低编码码率。而本申请综合考虑目标的类型和运动速度,为不同类型和/或运动速度的目标匹配对应的空域降噪参数及时域降噪参数,保证了不同场景下的图像的降噪效果,场景化的降低了编码码率。
如图6所示,本发明实施例提供一种视频降噪方法的实施方式的流程图,包括:
步骤S601,对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;
步骤S602,针对各帧图像中的上述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;
步骤S603,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
步骤S604,根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;
其中,上述运动参数包括类型和运动强度等级,上述降噪参数包括空域降噪参数及时域降噪参数;
其中,上述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,上述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
步骤S605,在N块图像区域中,确定该目标对应的至少一个图像区域;
其中,上述N块图像区域为按照预设大小划分上述当前帧图像得到的;
步骤S606,以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪;
步骤S607,针对各帧图像,根据预设的空域降噪参数及时域降噪参数,以图像区域为单位,对N块图像区域中的,上述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪。
实施例2
本发明实施例提供一种视频降噪设备700的示意图,包括存储器701和处理器702,如图7所示,其中:
所述存储器用于存储计算机程序;
所述处理器用于读取所述存储器中的程序并执行如下步骤:
对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;
针对各帧图像中的所述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;
根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
可选地,所述处理器根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪,包括:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
可选地,确定该目标对应的空域降噪参数及时域降噪参数之后,所述处理器还用于:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪。
可选地,所述处理器对所述当前帧图像中的所述至少一个目标之外的区域进行降噪,包括:
以图像区域为单位,对N块图像区域中的,所述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪;
其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的。
可选地,所述处理器确定该目标对应的至少一个图像区域,包括:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域;
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度;
根据该目标的运动方向和运动速度,在所述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域;
确定所述第一图像区域和所述第二图像区域,为该目标对应的至少一个图像区域。
可选地,所述处理器根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,确定该目标的运动速度,包括:
计算该目标的预设点在当前帧图像中对应的像素的坐标,和所述预设点在上一帧图像中对应的像素的坐标之间的位移,作为该目标的像素位移;
将所述像素位移与相邻帧之间的时间间隔做比,得到该目标的像素移动速度;
将所述像素移动速度与所述当前帧图像的像素宽度做比,得到该目标的运动速度。
可选地,所述处理器根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数,包括:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,所述运动参数包括类型和运动强度等级,所述降噪参数包括空域降噪参数及时域降噪参数;
其中,所述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,所述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
可选地,所述处理器根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级,包括:
当该目标的运动速度小于预设阈值时,确定该目标的运动强度等级为预设值;
当该目标的运动速度不小于预设阈值时,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;其中,运动速度越大对应的运动强度等级越高。
可选地,所述运动参数与降噪参数的对应关系具有如下原则:
对于同一类型的目标,对应的空域降噪的强度与运动强度等级成正相关关系,对应的时域降噪的强度与运动强度等级成负相关关系;和/或
对于同一运动强度等级的目标,对应的空域降噪参数及时域降噪参数为根据不同类型的目标对应的图像清晰度要求及图像效果要求调整得到的。
本发明实施例提供一种视频降噪装置的示意图,如图8所示,包括:
目标识别单元801,用于对视频的各帧图像进行目标识别,得到各帧图像中的各目标的坐标和类型;
速度确定单元802,用于针对各帧图像中的各目标,根据该目标在当前帧图像和上一帧图像中的坐标及所述当前帧图像和上一帧图像的时间间隔,确定该目标的运动速度;
参数确定单元803,用于针对各帧图像中的各目标,根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
图像降噪单元804,用于针对各帧图像中的各目标,根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
可选地,所述图像降噪单元根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪,包括:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
可选地,确定该目标对应的空域降噪参数及时域降噪参数之后,所述图像降噪单元还用于:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪。
可选地,所述图像降噪单元对所述当前帧图像中的所述至少一个目标之外的区域进行降噪,包括:
以图像区域为单位,对N块图像区域中的,所述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪;
其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的。
可选地,所述图像降噪单元确定该目标对应的至少一个图像区域,包括:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域;
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度;
根据该目标的运动方向和运动速度,在所述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域;
确定所述第一图像区域和所述第二图像区域,为该目标对应的至少一个图像区域。
可选地,所述速度确定单元根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,确定该目标的运动速度,包括:
计算该目标的预设点在当前帧图像中对应的像素的坐标,和所述预设点在上一帧图像中对应的像素的坐标之间的位移,作为该目标的像素位移;
将所述像素位移与相邻帧之间的时间间隔做比,得到该目标的像素移动速度;
将所述像素移动速度与所述当前帧图像的像素宽度做比,得到该目标的运动速度。
可选地,所述参数确定单元根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数,包括:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,所述运动参数包括类型和运动强度等级,所述降噪参数包括空域降噪参数及时域降噪参数;
其中,所述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,所述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
可选地,所述参数确定单元根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级,包括:
当该目标的运动速度小于预设阈值时,确定该目标的运动强度等级为预设值;
当该目标的运动速度不小于预设阈值时,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;其中,运动速度越大对应的运动强度等级越高。
可选地,所述运动参数与降噪参数的对应关系具有如下原则:
对于同一类型的目标,对应的空域降噪的强度与运动强度等级成正相关关系,对应的时域降噪的强度与运动强度等级成负相关关系;和/或
对于同一运动强度等级的目标,对应的空域降噪参数及时域降噪参数为根据不同类型的目标对应的图像清晰度要求及图像效果要求调整得到的。
本发明还提供一种计算机程序介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例1中提供的视频降噪方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
以上对本申请所提供的技术方案进行了详细介绍,本申请中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种视频降噪方法,其特征在于,包括:
对视频的各帧图像进行目标识别,得到各帧图像中的至少一个目标的坐标和类型;
针对各帧图像中的所述至少一个目标,根据该目标在当前帧图像和上一帧图像中的坐标以及相邻帧之间的时间间隔,确定该目标的运动速度;
根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
2.根据权利要求1所述的方法,其特征在于,根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪,包括:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
3.根据权利要求1所述的方法,其特征在于,确定该目标对应的空域降噪参数及时域降噪参数之后,还包括:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪。
4.根据权利要求3所述的方法,其特征在于,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪,包括:
以图像区域为单位,对N块图像区域中的,所述至少一个目标对应的至少一个图像区域之外的图像区域进行降噪;
其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的。
5.根据权利要求2所述的方法,其特征在于,确定该目标对应的至少一个图像区域,包括:
根据该目标的坐标,确定与该目标有交集的至少一个第一图像区域;
根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,计算该目标的运动方向和运动速度;
根据该目标的运动方向和运动速度,在所述N块图像区域中,预测预设时间后与该目标有交集的第二图像区域;
确定所述第一图像区域和所述第二图像区域,为该目标对应的至少一个图像区域。
6.根据权利要求1所述的方法,其特征在于,根据该目标在当前帧图像和上一帧图像中的坐标及相邻帧之间的时间间隔,确定该目标的运动速度,包括:
计算该目标的预设点在当前帧图像中对应的像素的坐标,和所述预设点在上一帧图像中对应的像素的坐标之间的位移,作为该目标的像素位移;
将所述像素位移与相邻帧之间的时间间隔做比,得到该目标的像素移动速度;
将所述像素移动速度与所述当前帧图像的像素宽度做比,得到该目标的运动速度。
7.根据权利要求1~6任一所述的方法,其特征在于,根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数,包括:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,所述运动参数包括类型和运动强度等级,所述降噪参数包括空域降噪参数及时域降噪参数;
其中,所述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,所述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
8.根据权利要求7所述的方法,其特征在于,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级,包括:
当该目标的运动速度小于预设阈值时,确定该目标的运动强度等级为预设值;
当该目标的运动速度不小于预设阈值时,根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;其中,运动速度越大对应的运动强度等级越高。
9.根据权利要求7所述的方法,其特征在于,所述运动参数与降噪参数的对应关系具有如下原则:
对于同一类型的目标,对应的空域降噪的强度与运动强度等级成正相关关系,对应的时域降噪的强度与运动强度等级成负相关关系;和/或
对于同一运动强度等级的目标,对应的空域降噪参数及时域降噪参数为根据不同类型的目标对应的图像清晰度要求及图像效果要求调整得到的。
10.一种视频降噪设备,其特征在于,包括存储器和处理器,其中:
所述存储器用于存储计算机程序;
所述处理器用于读取所述存储器中的程序并执行权利要求1~9任一所述的视频降噪方法的步骤。
11.一种视频降噪装置,其特征在于,包括:
目标识别单元,用于对视频的各帧图像进行目标识别,得到各帧图像中的各目标的坐标和类型;
速度确定单元,用于针对各帧图像中的各目标,根据该目标在当前帧图像和上一帧图像中的坐标及所述当前帧图像和上一帧图像的时间间隔,确定该目标的运动速度;
参数确定单元,用于针对各帧图像中的各目标,根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数;
图像降噪单元,用于针对各帧图像中的各目标,根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪。
12.根据权利要求11所述的装置,其特征在于,所述图像降噪单元根据该目标对应的空域降噪参数及时域降噪参数,对该目标进行图像降噪,包括:
在N块图像区域中,确定该目标对应的至少一个图像区域;其中,所述N块图像区域为按照预设大小划分所述当前帧图像得到的;
以图像区域为单位,根据该目标对应的空域降噪参数及时域降噪参数,对该目标对应的至少一个图像区域进行降噪。
13.根据权利要求11所述的装置,其特征在于,确定该目标对应的空域降噪参数及时域降噪参数之后,所述图像降噪单元还用于:
针对各帧图像,根据预设的空域降噪参数及时域降噪参数,对所述当前帧图像中的所述至少一个目标之外的区域进行降噪。
14.根据权利要求11~13任一所述的装置,其特征在于,所述参数确定单元根据该目标的类型和运动速度,确定该目标对应的空域降噪参数及时域降噪参数,包括:
根据预设的运动速度和运动强度等级的对应关系及该目标的运动速度,确定该目标的运动强度等级;
根据预设的运动参数与降噪参数的对应关系及该目标的运动参数,确定该目标对应的空域降噪参数及时域降噪参数;其中,所述运动参数包括类型和运动强度等级,所述降噪参数包括空域降噪参数及时域降噪参数;
其中,所述空域降噪参数包括影响空域降噪强度的不同类型的参数中的至少一个,所述时域降噪参数包括影响时域降噪强度的不同类型的参数中的至少一个。
15.一种计算机程序介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1~9任一所述视频降噪方法的步骤。
CN202110891957.XA 2021-08-04 2021-08-04 一种视频降噪方法和装置及设备 Pending CN113674316A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110891957.XA CN113674316A (zh) 2021-08-04 2021-08-04 一种视频降噪方法和装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110891957.XA CN113674316A (zh) 2021-08-04 2021-08-04 一种视频降噪方法和装置及设备

Publications (1)

Publication Number Publication Date
CN113674316A true CN113674316A (zh) 2021-11-19

Family

ID=78541370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110891957.XA Pending CN113674316A (zh) 2021-08-04 2021-08-04 一种视频降噪方法和装置及设备

Country Status (1)

Country Link
CN (1) CN113674316A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908190A (zh) * 2022-12-08 2023-04-04 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960036690A (ko) * 1995-03-18 1996-10-28 김광호 영상 잡음제거필터
CN1541482A (zh) * 2001-08-14 2004-10-27 ���dz� 用于数字视频信号的运动自适应降噪预处理
WO2012145989A1 (zh) * 2011-04-29 2012-11-01 杭州海康威视软件有限公司 级联滤波器及其标定去噪强度的动态设定方法
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
CN107016650A (zh) * 2017-02-27 2017-08-04 苏州科达科技股份有限公司 视频图像3d降噪方法及装置
CN109859126A (zh) * 2019-01-17 2019-06-07 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质
US20200084460A1 (en) * 2019-09-27 2020-03-12 Intel Corporation Method and system of content-adaptive denoising for video coding
CN111556227A (zh) * 2020-05-19 2020-08-18 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN111784733A (zh) * 2020-07-06 2020-10-16 深圳市安健科技股份有限公司 图像处理方法、装置、终端和计算机可读存储介质
CN113011433A (zh) * 2019-12-20 2021-06-22 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN113012061A (zh) * 2021-02-20 2021-06-22 百果园技术(新加坡)有限公司 降噪处理方法、装置及电子设备
CN113177438A (zh) * 2021-04-02 2021-07-27 深圳小湃科技有限公司 图像处理方法、设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960036690A (ko) * 1995-03-18 1996-10-28 김광호 영상 잡음제거필터
CN1541482A (zh) * 2001-08-14 2004-10-27 ���dz� 用于数字视频信号的运动自适应降噪预处理
WO2012145989A1 (zh) * 2011-04-29 2012-11-01 杭州海康威视软件有限公司 级联滤波器及其标定去噪强度的动态设定方法
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
CN107016650A (zh) * 2017-02-27 2017-08-04 苏州科达科技股份有限公司 视频图像3d降噪方法及装置
CN109859126A (zh) * 2019-01-17 2019-06-07 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质
US20200084460A1 (en) * 2019-09-27 2020-03-12 Intel Corporation Method and system of content-adaptive denoising for video coding
CN113011433A (zh) * 2019-12-20 2021-06-22 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN111556227A (zh) * 2020-05-19 2020-08-18 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN111784733A (zh) * 2020-07-06 2020-10-16 深圳市安健科技股份有限公司 图像处理方法、装置、终端和计算机可读存储介质
CN113012061A (zh) * 2021-02-20 2021-06-22 百果园技术(新加坡)有限公司 降噪处理方法、装置及电子设备
CN113177438A (zh) * 2021-04-02 2021-07-27 深圳小湃科技有限公司 图像处理方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶庆伟;谢永昌;狄红卫;: "基于Non_local means的时空联合视频降噪算法", 微型电脑应用, no. 05, 20 May 2012 (2012-05-20) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908190A (zh) * 2022-12-08 2023-04-04 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统
CN115908190B (zh) * 2022-12-08 2023-10-13 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统

Similar Documents

Publication Publication Date Title
US10963993B2 (en) Image noise intensity estimation method, image noise intensity estimation device, and image recognition device
US9158985B2 (en) Method and apparatus for processing image of scene of interest
CN107133969B (zh) 一种基于背景反投影的移动平台运动目标检测方法
US8682109B2 (en) Method and system of reconstructing super-resolution image
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
CN111144337B (zh) 火灾检测方法、装置及终端设备
Jin et al. Quaternion-based impulse noise removal from color video sequences
CN105046719B (zh) 一种视频监控方法及系统
Aloraini et al. Statistical sequential analysis for object-based video forgery detection
CN109255799A (zh) 一种基于空间自适应相关滤波器的目标跟踪方法及系统
US20130027550A1 (en) Method and device for video surveillance
CN113674316A (zh) 一种视频降噪方法和装置及设备
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN104185012A (zh) 三维视频格式自动检测方法及装置
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN115082326A (zh) 视频去模糊的处理方法、边缘计算设备及中心处理器
Gao et al. Single image haze removal algorithm using pixel-based airlight constraints
KR20210008574A (ko) 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
CN112560557A (zh) 人数检测方法、人脸检测方法、装置及电子设备
CN115830513A (zh) 一种图像场景变化确定的方法、装置、系统及存储介质
CN115147318A (zh) 隐私遮挡方法及装置
CN115115546A (zh) 一种图像处理方法、系统、电子设备及可读存储介质
CN111754417B (zh) 视频图像的降噪方法、视频抠像方法、装置和电子系统
US20140193072A1 (en) Adaptive background estimation
CN114897720A (zh) 一种图像增强装置及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination