CN112837248B - 一种视频流去噪方法及系统 - Google Patents

一种视频流去噪方法及系统 Download PDF

Info

Publication number
CN112837248B
CN112837248B CN202110437415.5A CN202110437415A CN112837248B CN 112837248 B CN112837248 B CN 112837248B CN 202110437415 A CN202110437415 A CN 202110437415A CN 112837248 B CN112837248 B CN 112837248B
Authority
CN
China
Prior art keywords
noise
value
video stream
free
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110437415.5A
Other languages
English (en)
Other versions
CN112837248A (zh
Inventor
罗晶宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinmai Microelectronics Co ltd
Original Assignee
Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiongmai Integrated Circuit Technology Co Ltd filed Critical Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority to CN202110437415.5A priority Critical patent/CN112837248B/zh
Publication of CN112837248A publication Critical patent/CN112837248A/zh
Application granted granted Critical
Publication of CN112837248B publication Critical patent/CN112837248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明提供一种视频流去噪方法及系统,方法包括:将不同增益倍数待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到不同增益倍数的待计算视频流中的视频帧的每个像素点的无噪声值和噪声梯度值;根据建立的散点矩阵获取无噪声值对应的第一噪声梯度值集合,第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值,并对第一噪声梯度值集合进行筛选操作,采用预设的权重值计算公式对筛选后的第一噪声梯度值集合进行计算得到无噪声图像对应的噪声标准值;根据噪声标准值对待处理视频流进行去噪操作。有益效果:兼容多增益的去噪环境,提高获取得到的噪声标准值的精确度,进而提高图像处理的处理效率。

Description

一种视频流去噪方法及系统
技术领域
本发明涉及数字图像技术领域,尤其涉及一种视频流去噪方法及系统。
背景技术
在视频流的图像传输与数据采集过程中,会产生噪声。噪声可以破坏信号的真实测量,导致任何图像数据均包括信号和噪声。各种与图像相关的应用,通常需要使用有效噪声抑制方法来进一步生成可信结果。因此,在图像处理和计算机视觉中,去噪处理已成为其中一个重要且广泛被学习的技术。所以在整个isp(Image Signal Processing,图像信号处理)处理过程中,会采用去噪技术对噪声进行去噪处理,以提升信噪比。
但是目前的现有技术通常是在制定去噪算法后,简单根据某个现场调试,确定各个去噪参数,并且采用确定的去噪参数进行去噪处理,从而实现去噪效果。
上述现有技术存在以下缺陷:
不能兼容多场景和多增益的视频流,即缺少真正稳定可靠的去噪参数,一旦场景和增益中的一个改变就有可能出现去噪参数不适应的情况,从而导致去噪处理后的图像信噪比差,去噪效果不明显。
发明内容
针对现有技术中存在的上述问题,现提供一种旨在兼容多场景多增益的视频流去噪方法及系统。
具体技术方案如下:
一种视频流去噪方法,其中,包括以下步骤:
获取源视频流,并对源视频流进行处理,以得到不同增益倍数的待计算视频流;
将增益倍数的待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到增益倍数的待计算视频流中的视频帧的每个像素点的无噪声值和噪声梯度值;
建立包括有每个增益倍数下的每个视频帧的每个像素点的无噪声值和噪声梯度值的散点矩阵;
根据散点矩阵获取无噪声值对应的第一噪声梯度值集合,第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值,并对第一噪声梯度值集合进行筛选操作,采用预设的权重值计算公式对筛选后的第一噪声梯度值集合进行计算得到无噪声值对应的噪声标准值;
获取增益倍数对应的噪声标准值集合,噪声标准值集合包括增益倍数下的所有无噪声值对应的噪声标准值;
获取待处理视频流,并获取得到待处理视频流的无噪声值集合,根据噪声标准值集合结合无噪声值集合对待处理视频流进行去噪操作。
优选的,视频流去噪方法,其中,权重值计算公式包括第一权重值计算子公式和第二权重值计算子公式;
计算得到无噪声值对应的噪声标准值,具体包括以下步骤:
根据散点矩阵获取无噪声值对应的第一噪声梯度值集合,第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值;
根据噪声梯度值的大小顺序将噪声梯度值集合的对应的像素点和与像素点相关联的噪声梯度值进行排列,以得到排列后的第二噪声梯度值集合;
于第二噪声梯度值集合中选取预设范围的像素点,以获取得到第三噪声梯度值集合,第三噪声梯度值集合包括选取到的像素点和与选取到的像素点相关联的噪声梯度值;
根据预设的第一权重值计算子公式获取第三噪声梯度值集合中的每个噪声梯度值对应的权重值;
根据预设的第二权重值计算子公式结合每个噪声梯度值的权重值获取得到无噪声值对应的噪声标准值。
优选的,视频流去噪方法,其中,当非极点的无噪声值对应的噪声标准出现无点时,将与非极点的无噪声值相邻的两个无噪声值分别对应的噪声标准值输入到插值算法中,以计算得到非极点的无噪声值的噪声标准值。
优选的,视频流去噪方法,其中,当极点的无噪声值对应的噪声标准出现无点时,将与极点的无噪声值相邻的无噪声值对应的噪声标准值作为极点的无噪声值的噪声标准值。
优选的,视频流去噪方法,其中,建立散点矩阵具体包括:
建立第一矩阵:将每个增益倍数为一列,并且增益倍数所在列包括增益倍数下的待计算视频流的所有像素点的无噪声值;
建立第二矩阵:将每个增益倍数为一列,并且增益倍数所在列包括增益倍数下的待计算视频流所有像素点的噪声梯度值;
将第一矩阵和第二矩阵相结合,以得到散点矩阵。
优选的,视频流去噪方法,其中,对源视频流进行帧数控制和图像处理,以获取得到符合处理条件的待计算视频流。
优选的,视频流去噪方法,其中,将增益倍数的待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到增益倍数的待计算视频流中的视频帧的每个像素点的无噪声值和噪声梯度值;具体包括以下步骤:
将待计算视频流的RGB格式转换成YUV格式;
对转换后的每个视频帧的亮度分量分别进行滤波处理和梯度计算,以分别得到每个视频帧的视频无噪声值集合和视频噪声梯度值集合。
优选的,视频流去噪方法,其中,对转换后的每个视频帧的亮度分量分别进行滤波处理和梯度计算,以分别得到每个视频帧的视频无噪声值集合和视频噪声梯度值集合,具体包括以下步骤:
根据两个相邻的视频帧的数据计算得到待计算视频流的视频帧的视频噪声梯度值集合;
采用滤波器将待计算视频流的每个视频帧的数据进行滤波处理,以得到待计算视频流的每个视频帧的视频无噪声值集合;
其中,视频帧的视频噪声梯度值集合包括视频帧的每个像素点的噪声梯度值;
视频帧的视频无噪声值集合包括视频帧的每个像素点的无噪声值。
优选的,视频流去噪方法,其中,还包括:
采用散点矩阵对获取得到的无噪声值对应的噪声标准值进行校验,采用通过校验的噪声标准值集合对待处理视频流进行去噪操作。
还提供一种视频流去噪系统,其中,包括:
预处理模块,用于获取源视频流,并对源视频流进行处理,以得到不同增益倍数的待计算视频流;
初步处理模块,用于将增益倍数的待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到增益倍数的待计算视频流中的视频帧的每个像素点的无噪声值和噪声梯度值;
散点矩阵建立模块,用于建立包括有每个增益倍数下的每个视频帧的每个像素点的无噪声值和噪声梯度值的散点矩阵;
标准值计算模块,用于根据散点矩阵获取无噪声值对应的第一噪声梯度值集合,第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值,并对第一噪声梯度值集合进行筛选操作,采用预设的权重值计算公式对筛选后的第一噪声梯度值集合进行计算得到无噪声值对应的噪声标准值;
标准值集合获取模块,用于获取增益倍数对应的噪声标准值集合,噪声标准值集合包括增益倍数下的所有无噪声值对应的噪声标准值;
去噪模块,用于获取待处理视频流,并获取得到待处理视频流的无噪声值集合,根据噪声标准值集合结合无噪声值集合对待处理视频流进行去噪操作。
上述技术方案具有如下优点或有益效果:
获取不同增益倍数下的噪声标准值,从而实现兼容多场景多增益的去噪处理。
通过建立散点矩阵实现数据之间的相互关联,并且对第一噪声梯度值集合进行筛选操作,使得提高获取得到的噪声标准值的精确度,进而提高isp的处理效果。
在进行随机噪声处理过程中,使用噪声标准值进行处理,改进算法结构,提高isp效果。
通过建立散点矩阵的方式,实现了将数据可视化,从而实现了通过将数据可视化来处理isp随机噪声,让算法效果更加稳定,实用,让所有数据更加直观,为后续的获取噪声标准值达到更好的isp处理效果打下基础。
附图说明
参考所附附图,以更加充分的描述本发明的实施例。然而,所附附图仅用于说明和阐述,并不构成对本发明范围的限制。
图1为本发明视频流去噪方法的实施例的流程图一;
图2为本发明视频流去噪方法的实施例的流程图二;
图3为本发明视频流去噪方法的具体实施方式的流程图;
图4为本发明视频流去噪方法的实施例的散点矩形图;
图5为本发明视频流去噪方法的实施例的视频帧的每个像素点的无噪声值与噪声梯度值之间的关系图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
本发明包括一种视频流去噪方法,如图1所示,包括以下步骤:
获取源视频流,并对源视频流进行处理,以得到不同增益倍数的待计算视频流;
将增益倍数的待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到增益倍数的待计算视频流中的视频帧的每个像素点的无噪声值和噪声梯度值;
建立包括有每个增益倍数下的每个视频帧的每个像素点的无噪声值和噪声梯度值的散点矩阵;
根据散点矩阵获取无噪声值对应的第一噪声梯度值集合,第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值,并对第一噪声梯度值集合进行筛选操作,采用预设的权重值计算公式对筛选后的第一噪声梯度值集合进行计算得到无噪声值对应的噪声标准值;
获取增益倍数对应的噪声标准值集合,噪声标准值集合包括增益倍数下的所有无噪声值对应的噪声标准值;
获取待处理视频流,并获取得到待处理视频流的无噪声值集合,根据噪声标准值集合结合无噪声值集合对待处理视频流进行去噪操作。
在上述实施例中,获取不同增益倍数下的噪声标准值,从而实现兼容多场景多增益的去噪处理。
在上述实施例中,通过建立散点矩阵实现数据之间的相互关联,并且对第一噪声梯度值集合进行筛选操作,使得提高噪声标准值的精确度,进而提高isp的处理效果。
在上述实施例中,在进行随机噪声处理过程中,使用噪声标准值进行处理,改进算法结构,提高isp处理中的去噪处理的效果。
在上述实施方式,通过建立散点矩阵的方式,实现了将数据可视化,从而实现了通过将数据可视化来处理isp随机噪声,让算法效果更加稳定,实用,让所有数据更加直观,为后续的获取噪声标准值达到更好的isp处理中的去噪处理的效果打下基础。
在上述实施方式,通过建立散点矩阵的方式,可以简单快速的得出图像的讯息以及图像之间的规律。
在具体的实施方式中,得到不同增益倍数的待计算视频流其中,增益倍数分别为:1倍增益(sensor增益为1),2倍增益,4倍增益,8倍增益,16倍增益,32倍增益,64倍增益,128倍增益和256倍增益,如图3所示。
进一步地,在上述实施例中,对源视频流进行帧数控制和图像处理,以获取得到符合处理条件的待计算视频流。
在上述实施例中,获取得到符合处理条件的待计算视频流,从而提高后续获取得到的噪声标准值的精确度。
优选的,获取得到的源视频流可以为raw数据,其中,获取得到的源视频流包括有不同的增益倍数(sensor)和不同场景下的视频流数据;
需要说明的是,场景可能和增益倍数相关联,例如,白天场景对应的增益数倍较高,夜晚场景对应的增益倍数较低。
优选的,获取得到的源视频流可以满足下述条件:
第一、场景中没有任何运动的物体;
第二、场景中没有任何光晕和亮度上的变换;
可以采用本实施例对满足上述条件的源视频流进行后续的噪声标准值获取步骤,从而获取精确度更高的噪声标准值,进而实现后续对待处理视频流进行随机去噪操作时,提高去噪效率和去噪精度。
在上述实施例中,可以对源视频流的帧数进行控制,从而实现灵活处理,例如,可以将源视频流的帧数控制在100帧,具体的帧数控制的数量可以由用户自设定。
在上述实施例中,图像处理包括:亮度提升处理和解马赛克处理(demosaic)。
在上述具体的实施方式中,获取得到的源视频流满足上述条件;
并且对源视频流依次进行帧数控制、亮度提升处理和解马赛克处理,以得到符合处理条件的待计算视频流,以后续的提高计算精度;
其中,待计算视频流的视频帧的帧数为100;
待计算视频流相较于源视频流,提升了亮度。
进一步地,在上述实施例中,将增益倍数的待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到增益倍数的待计算视频流中的视频帧的每个像素点的无噪声值和噪声梯度值;具体包括以下步骤:
将待计算视频流的RGB格式转换成YUV格式;
对转换后的每个视频帧的亮度分量分别进行滤波处理和梯度计算,以分别得到每个视频帧的视频无噪声值集合和视频噪声梯度值集合。
在上述具体的实施方式中,对待计算视频流进行格式转换,主要体现为:将待计算视频流的RGB格式转换成YUV格式,如下述公式所示,
Y=0.299R+0.582G+0.114B;
U=-0.1687R-0.3313G+0.5B+128;
V=0.5R-0.4187G-0.813B+128;
其中,Y用于表示亮度分量;
U用于表示YUV分量中表示色度与浓度的分量之一;
V用于表示YUV分量中表示色度与浓度的分量之一;
R用于表示红色分量;
G用于表示绿色分量;
B用于表示蓝色分量。
进一步地,在上述实施例中,对转换后的每个视频帧的亮度分量分别进行滤波处理和梯度计算,以分别得到每个视频帧的视频无噪声值集合和视频噪声梯度值集合,具体包括以下步骤:
根据两个相邻的视频帧的数据计算得到待计算视频流的视频帧的视频噪声梯度值集合;
采用滤波器将待计算视频流的每个视频帧的数据进行滤波处理,以得到待计算视频流的每个视频帧的视频无噪声值集合;
其中,视频帧的视频噪声梯度值集合包括视频帧的每个像素点的噪声梯度值;
视频帧的视频无噪声值集合包括视频帧的每个像素点的无噪声值。
其中,一个增益倍数下的所有视频帧的每个像素点的噪声梯度值和无噪声值之间的关系图如图5所示。
其中,在图5中,横表示噪声梯度值,纵表示无噪声值。
在上述实施例中,通过两个相邻的视频帧的数据之间的关系计算得到单帧视频帧的视频噪声梯度值集合;
在上述实施例中,通过滤波器获取计算单帧视频帧的视频无噪声值集合。
在上述具体的实施方式中,对每个增益倍数的待计算视频流的每个视频帧中的每个像素点的无噪声值和噪声梯度值进行计算,具体包括:
根据两个相邻的视频帧的数据计算得到待计算视频流的视频帧的视频噪声梯度值集合,如下述公式所示:
datagn=datan-datan-1;(n≥2)
其中,n用于表示视频流的编号;
datagn用于表示视频帧的视频噪声梯度值集合;
datan用于表示视频帧的数据;
在上述公式中,采用第n帧的数据减去前一帧的数据(第n-1帧的数据)得到第n帧的视频噪声梯度值集合。
采用滤波器将待计算视频流的每个视频帧的数据进行滤波处理,以得到待计算视频流的每个视频帧的视频无噪声值集合,如下述公式所示:
datafn=fix(filter2(ones(7,7),datan)/49);
其中,datan用于表示视频帧的数据;
datafn用于表示视频帧的视频无噪声值集合;
filter2(ones(7,7))用于表示大小为7*7的均值滤波器;
“49”用于表示均值滤波器中的系数和;
fix()用于表示一种四舍五入的取整函数。
具体的,将视频帧定位到datafn与datagn的每个像素点上,datafn为该点像素点的‘纵坐标’,把其当作为‘无噪声’情况下该点应该有的无噪声值;
datagn为该点像素点的‘横坐标’,把其当作为‘无噪声’情况下该点应该有的无噪声值对应的噪声梯度值,如图5所示,可以使得每个视频帧中的每个像素点都对应有对应无噪声值和噪声梯度值。
进一步地,在上述实施例中,如图2所示,建立散点矩阵具体包括:
建立第一矩阵:将每个增益倍数为一列,并且增益倍数所在列包括增益倍数下的待计算视频流的所有像素点的无噪声值;
建立第二矩阵:将每个增益倍数为一列,并且增益倍数所在列包括增益倍数下的待计算视频流所有像素点的噪声梯度值;
将第一矩阵和第二矩阵相结合,以得到散点矩阵。
在上述实施例中,得到的散点矩阵为:将每个增益倍数为一列,增益倍数所在列为增益倍数对应的待计算视频流的所有像素点的无噪声值和噪声梯度值的关系图;
在上述实施例中,形成散点矩阵图的方式是,由 X 的各列相对 Y 的各列数据组成的散点图,每列为一个增益倍数,可以从图中发现其规律,其中图中从列来看,每列为一种增益倍数下的待计算视频流的从第0帧的第一个像素点到第99帧的最后一个像素点的无噪声值和噪声梯度值的关系图,如图4中每列的一个框,该框为待计算视频流的所有像素点的无噪声值和噪声梯度值的关系图,即‘无噪声’像素值对应的像素梯度关系。
从图4中可以看出,增益倍数越大,对应关系图的无噪声值对应的噪声梯度值也会更大,且在同一增益下,随着无噪声值增加,噪声梯度值也会随之增加最后达到一个稳定值。
其中,散点矩阵如图4所示,在图4中,每列为一个增益倍数,其中每个增益倍数下包括待计算视频流的所有像素点的无噪声值和噪声梯度值的关系图,例如图5就是1倍增益中的待计算视频流的所有像素点的无噪声值和噪声梯度值的关系图。
在上述实施方式,通过建立散点矩阵的方式,实现了将数据可视化,从而实现了通过将数据可视化来处理isp随机噪声,让算法效果更加稳定,实用,让所有数据更加直观,为后续的获取噪声标准值达到更好的isp处理效果打下基础。
在上述实施方式,通过建立散点矩阵的方式,可以简单快速的得出图像的讯息以及图像之间的规律。
在上述具体的实施方式中,为了方便演示,只用增益倍数为1倍、16倍、64倍和256倍的待计算视频流来举例说明如何建立散点矩阵;
其中待计算视频流的视频帧的数量为100;
准备两组矩阵:第一矩阵lutx与第二矩阵luty;
其中,第一矩阵lutx将其分为4列;即每个列都代表其中一种增益倍数,每列中的一个框图就代表第0帧视频帧的第一个像素点的无噪声值到第99帧视频帧的最后一个像素点的无噪声值。
其中,第二矩阵luty也将其分为4列;即每列代表其中一种增益情况,每列中的一个框图就代表第0帧视频流的第一个像素点的噪声梯度值到第99帧视频流最后一个像素点的噪声梯度值。
从而实现通过观察散点矩阵发现噪声梯度值和无噪声值之间的关系,进而为后续的校验提供方案。
进一步地,在上述实施例中,计算得到无噪声值对应的噪声标准值,具体包括以下步骤:
根据散点矩阵获取无噪声值对应的第一噪声梯度值集合,第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值;
根据噪声梯度值的大小顺序将噪声梯度值集合的对应的像素点和与像素点相关联的噪声梯度值进行排列,以得到排列后的第二噪声梯度值集合;
于第二噪声梯度值集合中选取预设范围的像素点,以获取得到第三噪声梯度值集合,第三噪声梯度值集合包括选取到的像素点和与选取到的像素点相关联的噪声梯度值;
根据预设的第一权重值计算子公式获取第三噪声梯度值集合中的每个噪声梯度值对应的权重值;
根据预设的第二权重值计算子公式结合每个噪声梯度值的权重值获取得到无噪声值对应的噪声标准值。
在上述实施例中,预设范围可以为[a,b],即从第二噪声梯度值集合中选取[a,b]范围中的像素点,也就是说,将[0,a)和(b,1]的像素点去除,即将两端一定范围的像素点去除,从而提高后续获取得到的噪声标准值的精确度。
进一步地,在上述实施例中,当非极点的无噪声值对应的噪声标准出现无点时,将与非极点的无噪声值相邻的两个无噪声值分别对应的噪声标准值输入到插值算法中,以计算得到非极点的无噪声值的噪声标准值。
进一步地,在上述实施例中,当极点的无噪声值对应的噪声标准出现无点时,将与极点的无噪声值相邻的无噪声值对应的噪声标准值作为极点的无噪声值的噪声标准值。
在上述具体的实施方式,以需要计算增益倍数为1的每个亮度分量的噪声标准值为例,需要将1倍增益统计出来的像素点的无噪声值对应噪声梯度值找出来;
其中,第一矩阵lutx与第二矩阵luty;
其中,lutx1=lutx(:,1),代表取第一矩阵lutx的第一列,luty1=luty(:,1),代表取第二矩阵luty的第一列。
由于此时的待计算视频流的数据为8bit数据,即需要获取lutx1分别等于0到255对应luty1的噪声梯度值有哪些;
举例说明,查找到lutx1=0的所有像素点的无噪声值对应的噪声梯度值,将其命名为第一噪声梯度值集合luty1=0;对得到所有噪声梯度值进行升序排序,以得到第二噪声梯度值集合luty1_s0,其中,luty1_s0=sort(luty1_0),随后得到第二噪声梯度值luty1_s0的无噪声值个数[i,j]=size(luty1_s0);
其中,i用于表示第二噪声梯度值集合luty1_s0的高,j用于表示第二噪声梯度值集合luty1_s0的宽。
取第二噪声梯度值集合luty1_s0的预设范围的像素点,以获取得到第三噪声梯度值集合luty1_s0f;
例如,以预设范围为[10%,90%]为例,如下述公式所示:
luty1_s0f=luty1_s0(fix(i×j×0.1:i×j×0.9),1);
其中,在上述公式中,luty1_s0f用于表示第三噪声梯度值集合;
luty1_s0用于表示第二噪声梯度值集合;
其中fix函数是一种取整函数、截断函数,取整规则是向最靠近零取整。
设第三噪声梯度值集合luty1_s0f第1个关联数到最后一个关联数的顺序标号为:1,2,3……k,那么通过下列第一权重值计算子公式计算得到该关联数中的噪声梯度值对应的权重值;
需要说明的是,关联数为选取到的像素点和与选取到的像素点相关联的噪声梯度值;
Figure 467785DEST_PATH_IMAGE001
在上述公式中,k用于表示关联数的顺序标号;
sk用于表示标号为k的关联数中的噪声梯度值对应的权重值;
根据下述第二权重值计算子公式结合每个噪声梯度值的权重值获取得到无噪声值对应的噪声标准值;
lut1_f0=(sum(sk×luty1_s0f))/sum(sk);
其中,在上述公式中,lut1_f0用于表示1倍增益下的无噪声值为0对应的噪声标准值;
以此规律将lut1_f0到lut1_f255都计算出来,就将整个1倍增益下的噪声标准值集合,噪声标准值集合包括1倍增益下的无噪声值为0到255(即所有的无噪声值)对应的噪声标准值;
如果碰到lut1_f0到lut1_f255中(不包括lut1_f0和lut1_f255)无点这种特殊情况,使用左右两个点的数,按照插值算法计算出来,如下述公式所示:
a无点=(a无点左点值+a无点右点值)/2;
在上述公式中,a无点用于表示无点,无点是指该无噪声值对应的噪声标准值为空值;
a无点左点值用于表示该无点的左边的噪声标准值;
a无点右点值用于表示该无点的右边的噪声标准值;
例如,当无点为lut1_f8对应的噪声标准值时,则此时的lut1_f8对应的噪声标准值可以用lut1_f7和lut1_f9对应的噪声标准值之间的平均值表示;
如果碰到lut1_f0或lut1_f255中为无点的特殊情况,即直接取旁边数为当前点值。通过上述方法可以将所有增益倍数下的每个亮度分量的噪声标准值都计算出来。
进一步地,在上述实施例中,还包括:
采用散点矩阵对获取得到的无噪声值对应的噪声标准值进行校验,采用通过校验的噪声标准值集合对待处理视频流进行去噪操作。
在上述实施例中,将图像处理与可视化算法结合起来,将图像处理效果变得更稳定。
在上述具体的实施方式中,将计算得到的无噪声值对应的噪声标准值对照显示出来的散点矩阵,通过无噪声值对应的噪声标准值的趋势与散点矩阵的趋势来检验获取得到的噪声标准值是否通过校验;
例如,可以判断无噪声值对应的噪声标准值的趋势与散点矩阵的趋势的大致中心值是否超过校验范围,如果否,判断噪声标准值通过验证。
进一步地,在上述实施例中,获取待处理视频流,并获取得到待处理视频流的无噪声值集合,根据噪声标准值集合结合无噪声值集合对待处理视频流进行去噪操作,具体包括以下步骤:
获取待处理视频流,并采用空域滤波算法(也可以采用其它算法是获取无噪声值)获取得到待处理视频流的无噪声值集合,该无噪声值集合包括待处理视频流的每个视频帧的每个像素点的无噪声值;
获取待处理视频流的增益倍数;
根据增益倍数和每个像素点的无噪声值查找对应的噪声标准值,并将像素点的像素值和无噪声值之间的差值和噪声标准值进行比较;
需要说明的是,像素点的像素值是指待处理视频流为进行空域滤波算法前的该像素点的值;而像素点的无噪声值是指待处理视频流为进行空域滤波算法后的该像素点的值;
当差值大于噪声标准值时,确定该差值对应的像素点为正常像素点,需要保留;
当差值小于或等于噪声标准值时,确定该差值对应的像素点为噪声像素点,需要采用时域滤波算法将噪声像素点进行去噪处理。
采用时域滤波算法继续找到该像素点对应的噪声标准值,并计算得到的该像素点的噪声梯度值和噪声标准值进行比较。当噪声梯度值大于噪声标准值时,确定噪声梯度值对应的像素点为运动的像素点,不需要进行去噪处理;当噪声梯度值小于或等于噪声标准值时,确定噪声梯度值对应的像素点为噪声像素点,并对噪声像素点进行时域滤波。
随后设定每个增益倍数下的配置值,由此完成整个isp流程的去噪算法,同时将其转为rgb格式输出,转回rgb格式的方式如下述公式所示:
R=Y+1.42(V-128);
G=Y-0.33414(U-128)-0.71414(V-128);
B=Y+0.772(U-128);
一种视频流去噪系统,包括:
预处理模块,用于获取源视频流,并对源视频流进行处理,以得到不同增益倍数的待计算视频流;
初步处理模块,用于将增益倍数的待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到增益倍数的待计算视频流中的视频帧的每个像素点的无噪声值和噪声梯度值;
散点矩阵建立模块,用于建立包括有每个增益倍数下的每个视频帧的每个像素点的无噪声值和噪声梯度值的散点矩阵;
标准值计算模块,用于根据散点矩阵获取无噪声值对应的第一噪声梯度值集合,第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值,并对第一噪声梯度值集合进行筛选操作,采用预设的权重值计算公式对筛选后的第一噪声梯度值集合进行计算得到无噪声值对应的噪声标准值;
标准值集合获取模块,用于获取增益倍数对应的噪声标准值集合,噪声标准值集合包括增益倍数下的所有无噪声值对应的噪声标准值;
去噪模块,用于获取待处理视频流,并获取得到待处理视频流的无噪声值集合,根据噪声标准值集合结合无噪声值集合对待处理视频流进行去噪操作。
在上述实施例中,视频流去噪系统的实施例和视频流去噪方法的实施例一致,在此不做赘述。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (10)

1.一种视频流去噪方法,其特征在于,包括以下步骤:
获取源视频流,并对所述源视频流进行处理,以得到不同增益倍数的待计算视频流;
将所述增益倍数的所述待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到所述增益倍数的所述待计算视频流中的所述视频帧的每个像素点的无噪声值和噪声梯度值;
建立包括有每个所述增益倍数下的每个所述视频帧的每个像素点的无噪声值和噪声梯度值的散点矩阵;
根据所述散点矩阵获取无噪声值对应的第一噪声梯度值集合,所述第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值,并对所述第一噪声梯度值集合进行筛选操作,采用预设的权重值计算公式对筛选后的所述第一噪声梯度值集合进行计算得到无噪声值对应的噪声标准值;
获取所述增益倍数对应的噪声标准值集合,所述噪声标准值集合包括所述增益倍数下的所有所述无噪声值对应的所述噪声标准值;
获取待处理视频流,并获取得到所述待处理视频流的无噪声值集合,根据所述噪声标准值集合结合所述无噪声值集合对所述待处理视频流进行去噪操作。
2.如权利要求1所述的视频流去噪方法,其特征在于,所述权重值计算公式包括第一权重值计算子公式和第二权重值计算子公式;
计算得到所述无噪声值对应的噪声标准值,具体包括以下步骤:
根据所述散点矩阵获取无噪声值对应的所述第一噪声梯度值集合,所述第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值;
根据噪声梯度值的大小顺序将所述噪声梯度值集合的对应的像素点和与像素点相关联的噪声梯度值进行排列,以得到排列后的第二噪声梯度值集合;
于所述第二噪声梯度值集合中选取预设范围的像素点,以获取得到第三噪声梯度值集合,所述第三噪声梯度值集合包括选取到的像素点和与选取到的像素点相关联的噪声梯度值;
根据预设的所述第一权重值计算子公式获取所述第三噪声梯度值集合中的每个噪声梯度值对应的权重值;
根据预设的所述第二权重值计算子公式结合每个噪声梯度值的权重值获取得到所述无噪声值对应的噪声标准值。
3.如权利要求2所述的视频流去噪方法,其特征在于,当非极点的无噪声值对应的噪声标准出现无点时,将与所述非极点的无噪声值相邻的两个无噪声值分别对应的噪声标准值输入到插值算法中,以计算得到所述非极点的无噪声值的噪声标准值。
4.如权利要求2所述的视频流去噪方法,其特征在于,当极点的无噪声值对应的噪声标准出现无点时,将与所述极点的无噪声值相邻的无噪声值对应的噪声标准值作为所述极点的无噪声值的噪声标准值。
5.如权利要求1所述的视频流去噪方法,其特征在于,建立所述散点矩阵具体包括:
建立第一矩阵:将每个所述增益倍数为一列,并且所述增益倍数所在列包括所述增益倍数下的所述待计算视频流的所有像素点的无噪声值;
建立第二矩阵:将每个所述增益倍数为一列,并且所述增益倍数所在列包括所述增益倍数下的所述待计算视频流所有像素点的噪声梯度值;
将所述第一矩阵和所述第二矩阵相结合,以得到散点矩阵。
6.如权利要求1所述的视频流去噪方法,其特征在于,对所述源视频流进行帧数控制和图像处理,以获取得到符合处理条件的所述待计算视频流。
7.如权利要求1所述的视频流去噪方法,其特征在于,所述将所述增益倍数的所述待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到所述增益倍数的所述待计算视频流中的所述视频帧的每个像素点的无噪声值和噪声梯度值;具体包括以下步骤:
将所述待计算视频流的RGB格式转换成YUV格式;
对转换后的每个视频帧的亮度分量分别进行滤波处理和梯度计算,以分别得到每个视频帧的视频无噪声值集合和视频噪声梯度值集合。
8.如权利要求7所述的视频流去噪方法,其特征在于,所述对转换后的每个视频帧的亮度分量分别进行滤波处理和梯度计算,以分别得到每个视频帧的视频无噪声值集合和视频噪声梯度值集合,具体包括以下步骤:
根据两个相邻的视频帧的数据计算得到所述待计算视频流的视频帧的视频噪声梯度值集合;
采用滤波器将所述待计算视频流的每个视频帧的数据进行滤波处理,以得到所述待计算视频流的每个视频帧的视频无噪声值集合;
其中,视频帧的所述视频噪声梯度值集合包括视频帧的每个像素点的噪声梯度值;
视频帧的所述视频无噪声值集合包括视频帧的每个像素点的无噪声值。
9.如权利要求1所述的视频流去噪方法,其特征在于,还包括:
采用所述散点矩阵对获取得到的所述无噪声值对应的噪声标准值进行校验,采用通过校验的噪声标准值集合对待处理视频流进行去噪操作。
10.一种视频流去噪系统,其特征在于,包括:
预处理模块,用于获取源视频流,并对所述源视频流进行处理,以得到不同增益倍数的待计算视频流;
初步处理模块,用于将所述增益倍数的所述待计算视频流中的视频帧的亮度分量分别进行滤波处理和梯度计算,以得到所述增益倍数的所述待计算视频流中的所述视频帧的每个像素点的无噪声值和噪声梯度值;
散点矩阵建立模块,用于建立包括有每个所述增益倍数下的每个所述视频帧的每个像素点的无噪声值和噪声梯度值的散点矩阵;
标准值计算模块,用于根据所述散点矩阵获取无噪声值对应的第一噪声梯度值集合,所述第一噪声梯度值集合包括无噪声值对应的每个像素点和每个像素点对应的噪声梯度值,并对所述第一噪声梯度值集合进行筛选操作,采用预设的权重值计算公式对筛选后的所述第一噪声梯度值集合进行计算得到无噪声值对应的噪声标准值;
标准值集合获取模块,用于获取所述增益倍数对应的噪声标准值集合,所述噪声标准值集合包括所述增益倍数下的所有所述无噪声值对应的所述噪声标准值;
去噪模块,用于获取待处理视频流,并获取得到所述待处理视频流的无噪声值集合,根据所述噪声标准值集合结合所述无噪声值集合对所述待处理视频流进行去噪操作。
CN202110437415.5A 2021-04-22 2021-04-22 一种视频流去噪方法及系统 Active CN112837248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437415.5A CN112837248B (zh) 2021-04-22 2021-04-22 一种视频流去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437415.5A CN112837248B (zh) 2021-04-22 2021-04-22 一种视频流去噪方法及系统

Publications (2)

Publication Number Publication Date
CN112837248A CN112837248A (zh) 2021-05-25
CN112837248B true CN112837248B (zh) 2021-07-23

Family

ID=75929851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437415.5A Active CN112837248B (zh) 2021-04-22 2021-04-22 一种视频流去噪方法及系统

Country Status (1)

Country Link
CN (1) CN112837248B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338957B (zh) * 2022-03-14 2022-07-29 杭州雄迈集成电路技术股份有限公司 一种视频降噪方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873743A (zh) * 2014-03-24 2014-06-18 中国人民解放军国防科学技术大学 一种基于结构张量和卡尔曼滤波的视频去噪方法
CN106846275A (zh) * 2017-01-24 2017-06-13 西安科技大学 一种红外视频图像条状噪声实时消除方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873743A (zh) * 2014-03-24 2014-06-18 中国人民解放军国防科学技术大学 一种基于结构张量和卡尔曼滤波的视频去噪方法
CN106846275A (zh) * 2017-01-24 2017-06-13 西安科技大学 一种红外视频图像条状噪声实时消除方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种提取抖动视频中前景目标的新方法;顾扬等;《计算机技术与发展》;20210131;第31卷(第01期);全文 *
复杂场景下的交通视频显著性前景目标提取;郎洪等;《中国图象图形学报》;20190131;第24卷(第01期);全文 *

Also Published As

Publication number Publication date
CN112837248A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN108205796B (zh) 一种多曝光图像的融合方法及装置
CN103854259B (zh) 图像处理设备以及处理图像的方法
US6807300B1 (en) Noise reduction method utilizing color information, apparatus, and program for digital image processing
JP4395789B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4036391B2 (ja) ディジタル画像を改善する方法
CN107680056B (zh) 一种图像处理方法及装置
CN105915909B (zh) 一种高动态范围图像分层压缩方法
CN110570374B (zh) 一种对红外传感器所获得图像的处理方法
KR101958910B1 (ko) 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US20080291287A1 (en) Dynamic Range Compensation by Filter Cascade
JP2011521521A (ja) 最適映像選択
JPWO2006064913A1 (ja) 画像処理方法
US11526962B2 (en) Image processing apparatus, image processing method, and storage medium
WO2014208434A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN107895350B (zh) 一种基于自适应双伽玛变换的hdr图像生成方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
JPH0214748B2 (zh)
CN111260580A (zh) 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
US20120249827A1 (en) Method for Image Processing of High-Bit Depth Sensors
WO2019210707A1 (zh) 一种图像清晰度评测方法、装置及电子设备
CN112837248B (zh) 一种视频流去噪方法及系统
US7903901B2 (en) Recursive filter system for a video signal
CN115661008A (zh) 一种图像增强处理方法、装置、设备及介质
CN114998122A (zh) 一种低照度图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system of video stream denoising

Effective date of registration: 20221109

Granted publication date: 20210723

Pledgee: Zhejiang Fuyang Rural Commercial Bank branch Limited by Share Ltd. Silver Lake

Pledgor: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

Registration number: Y2022980021287

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 311422 4th floor, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Xinmai Microelectronics Co.,Ltd.

Address before: 311400 4th floor, building 9, Yinhu innovation center, No.9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20210723

Pledgee: Zhejiang Fuyang Rural Commercial Bank branch Limited by Share Ltd. Silver Lake

Pledgor: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

Registration number: Y2022980021287