CN116723413A - Raw域图像去噪方法及拍摄装置 - Google Patents

Raw域图像去噪方法及拍摄装置 Download PDF

Info

Publication number
CN116723413A
CN116723413A CN202310764405.1A CN202310764405A CN116723413A CN 116723413 A CN116723413 A CN 116723413A CN 202310764405 A CN202310764405 A CN 202310764405A CN 116723413 A CN116723413 A CN 116723413A
Authority
CN
China
Prior art keywords
image
denoising
raw domain
channel
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310764405.1A
Other languages
English (en)
Inventor
孙利虎
苏文凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haowei Technology Wuhan Co ltd
Original Assignee
Haowei Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haowei Technology Wuhan Co ltd filed Critical Haowei Technology Wuhan Co ltd
Priority to CN202310764405.1A priority Critical patent/CN116723413A/zh
Publication of CN116723413A publication Critical patent/CN116723413A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种RAW域图像去噪方法及拍摄装置，包括：获取原始RAW域图像，采集不同预设光照强度下不同预设倍数增益的噪声水平的RAW数据，作为训练数据样本；将增强后的训练数据样本拆分，分别训练G通道、R通道和B通道噪声估计子网络模型，得到RGB各通道的噪声估计图像；将各通道的噪声估计图像进行采样并融合得到全尺寸噪声图像；将原始RAW域图像与全尺寸噪声图像作差，获得初始去噪图像；将初始去噪图像输入去噪子网络模型训练得到RAW域去噪图像。本发明针对RAW域图像设计并且分通道训练做到精准去噪，模型更为轻量化，时间消耗更小，得到准确的简单的噪声图像，能适应更大的噪声强度变化。去噪后的图像更为清晰。

Description

RAW域图像去噪方法及拍摄装置
技术领域
本发明属于图像处理的技术领域，具体涉及一种RAW域图像去噪方法及拍摄装置。
背景技术
现有很多智能电子设备具有图像拍摄的功能，例如智能手机、平板电脑、行车记录仪等均设置有摄像装置，摄像装置通常设置有CMOS图像传感器来获取图像。常见的图像传感器所直接采集的图像格式称为RAW格式(Bayer格式)，需要将输出的图像经过图像信号处理器(ISP)处理后，转变为色彩域图像格式(RGB或YUV格式)进行输出。图像传感器在图像采集和传输过程中易受多种因素影响从而产生噪声，使得通过图像传感器直接获取的图像通常是含有噪声的图像。由于噪声信号与图像信号混合在一起，导致存在图像特征不明显、清晰度低的问题，所以通常需要进行去噪处理以提升图像的信噪比。
目前传统的RAW域去噪算法主要有：NLM(Non-Local Means,非局部均值滤波)算法和BM3D(Block Matching 3-D filtering algorithm)等算法。这些算法存在的问题：去噪更容易牺牲原图细节，对于RAW域图像不可接受；BM3D这类算法复杂度更高，硬件资源限制；随着主流图像传感器支持的增益越来越高，对于高倍增益带来的噪声，去除更困难。
基于学习的RAW域图像去噪的模型，容易存在下面的问题：去噪的图像PSNR(PeakSignal to Noise Ratio，峰值信噪比)更高，但丢失了部分细节信息，图像不自然；为了保留更多的高频细节，出现一些伪纹理等；模型大，复杂度高，对硬件资源需求比传统去噪算法更大，对移动端部署有更大挑战。目前常见的用于RAW域图像基于学习的去噪方法：存在结构臃肿，资源消耗大，容易引入伪纹理以及鲁棒性较差的缺点。
在实际应用中，手机相机在采集图像时会自动调整ISO(增益)的值，而不同ISO下所带来的噪声等级是不同的。尤其在夜景等光线不足的情况下，对应的ISO会更加大，对去噪带来了更多大的挑战，尤其随着应用场景越来越广泛，一些夜景的去噪缺陷更容易放大。为消除ISO变量所带来的影响，简单的思路直接收集各种ISO下的数据，放入一个大的网络里进行训练，尽可能的覆盖更多的场景。存在以下问题：训练数据太杂且难收集；不同的ISO带来的数据使得网络会难以学习；如果数据够多，也需要大型网络才能覆盖住，更难部署到相机应用中。
发明内容
本发明的目的在于提供一种RAW域图像去噪方法及拍摄装置，针对RAW域图像设计并且分通道训练做到精准去噪，模型更为轻量化，时间消耗更小，得到准确的简单的噪声图像，能适应更大的噪声强度变化。去噪后的图像更为清晰。
本发明提供一种RAW域图像去噪方法，包括：
获取选定场景的原始RAW域图像，包括：选取至少两个预设光照强度，在每个所述预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW数据，作为训练数据样本；
增强所述训练数据样本；
将增强后的训练数据样本拆分，分别训练G通道、R通道和B通道噪声估计子网络模型，得到RGB各通道噪声估计图像；
将所述RGB各通道的噪声估计图像进行采样并融合得到全尺寸噪声图像；
将所述原始RAW域图像与所述全尺寸噪声图像作差，获得初始去噪图像；将所述初始去噪图像输入去噪子网络模型训练至最优，得到RAW域去噪图像。
进一步的，所述预设光照强度包括1lux、10lux、50lux、100lux、200lux、500lux以及1000lux中的至少两个。
进一步的，所述预设倍数包括1倍至256倍中的至少两个整数倍数。
进一步的，获取所述选定场景的原始RAW域图像之后，增强所述训练数据样本之前，还包括：
对所述原始RAW域图像进行黑电平矫正处理，扣除纯黑的环境下，采集到的所述RAW数据中的基底值。
进一步的，在每个所述预设倍数增益下均连续采集预设帧数的RAW域图像，各所述预设倍数增益下的所述预设帧数的RAW域图像的平均值作为各自所述预设倍数增益对应的真实标签。
进一步的，对于64倍增益及64倍以上增益的训练数据，将1倍增益的预设帧数的RAW域图像的平均值作为64倍增益和64倍以上增益对应的真实标签，调整曝光以及通过增加一个基于整幅图像的全局补偿系数，使64倍增益和64倍以上增益中各倍数增益下的训练样本的图像灰度值均值和真实标签的图像灰度值均值一致。
进一步的，增强所述训练数据样本包括：
将每帧所述RAW域图像剪裁为MxN大小的中间图像；
基于所述中间图像的梯度进行筛选，去除缺乏纹理的图像；
对筛选后的所述中间图像进行翻转、旋转以及翻转结合旋转的操作，扩充样本容量，得到所述增强后的训练数据样本。
进一步的，所述噪声估计子网络采用全局残差网络结构，所述去噪子网络模型采用UNet网络模型。
进一步的，所述G通道的所述噪声估计子网络模型训练采用L1损失函数，最小化所述G通道的真实标签和噪声估计值之间差值的绝对值的和，得到所述G通道噪声估计图像。
进一步的，所述R通道和所述B通道的所述噪声估计子网络模型训练采用L2损失函数，最小化所述R通道的真实标签和噪声估计值之间差值的平方的和，得到所述R通道噪声估计图像；以及最小化所述B通道的真实标签和噪声估计值之间差值的平方的和，得到所述B通道噪声估计图像。
进一步的，采用L1损失函数联合基于边缘梯度损失函数的加权损失函数作为所述去噪子网络模型的损失函数。
进一步的，所述RAW域图像去噪完成后，进行推理测试以验证去噪效果；所述推理测试包括：
重新获取与所述选定场景不同的新场景的原始RAW域图像；
对所述新场景的原始RAW域图像进行黑电平矫正处理，作为新场景的训练数据样本；
将所述新场景的训练数据样本拆分，将拆分得到的G通道、R通道和B通道图像数据输入训练好的所述噪声估计子网络模型，得到所述新场景的RGB各通道的噪声估计图像；将所述新场景的RGB各通道的噪声估计图像融合得到所述新场景的全尺寸噪声图像；
将所述新场景的原始RAW域图像与所述新场景的全尺寸噪声图像作差，获得所述新场景的初始去噪图像；将所述新场景的初始去噪图像输入训练好的所述去噪子网络模型得到所述新场景的RAW域去噪图像。
进一步的，所述新场景的原始RAW域图像是训练好的所述噪声估计子网络模型和训练好的所述去噪子网络模型未识别过的图片，若所述新场景的RAW域去噪图像效果优良，证明所述噪声估计子网络模型和所述去噪子网络模型训练是合格的。
本发明还提供一种拍摄装置，包括：
图像传感器，用于获取原始RAW域图像；所述图像传感器在至少两个预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW数据，作为训练数据样本；
存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现上述的RAW域图像去噪方法的各个步骤。
与现有技术相比，本发明具有如下有益效果：
本发明提供一种RAW域图像去噪方法及拍摄装置，去噪方法包括：
获取选定场景的原始RAW域图像，包括：选取至少两个预设光照强度，每个所述预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW格式数据，作为训练数据样本；增强所述训练数据样本；将增强后的训练数据样本拆分，分别训练G通道、R通道和B通道噪声估计子网络模型，得到RGB各通道的噪声估计图像；将所述RGB各通道的噪声估计图像进行采样并融合得到全尺寸噪声图像；将所述原始RAW域图像与所述全尺寸噪声图像作差，获得初始去噪图像；将所述初始去噪图像输入去噪子网络模型训练至最优，得到RAW域去噪图像。
本发明RAW格式输入，RAW格式输出，去噪前后格式不变。本发明针对RAW域图像设计，与基于转化后的RGB等格式的图像设置的算法或者模型相比，更好地利用了RAW域图像的所携带的原始信息，从而有助于在去噪时保留更多的细节信息，使得去噪后的图像更为清晰。本发明能适应各种不同的增益水平并且分通道训练做到精准去噪，本发明的模型更为轻量化，时间消耗更小。本方明着手于得到准确的简单的噪声图像，基于全局的残差做最优化，能适应更大的噪声强度变化。能够达到SOTA的PSNR(峰值信噪比)等客观指标，以及主观效果。本发明的模型更为轻量化，在窗口大小和传统图像信号处理一致的前提下，去噪效果更好。
附图说明
图1为本发明实施例的RAW域图像去噪方法流程示意图。
图2为本发明实施例的RAW域图像去噪方法流程图图片形式示意图。
图3为本发明实施例的RAW域图像去噪方法中步骤3和步骤4示意图。
图4为本发明实施例的RAW域图像去噪方法中步骤5示意图。
图5至图9为本发明实施例不同增益下的RAW域图像去噪前后的对比图。
其中，附图标记如下：
10-原始RAW域图像；20-全尺寸噪声图像；21-第一G通道噪声估计图像；22-第二G通道噪声估计图像；23-B通道噪声估计图像；24-R通道噪声估计图像；30-RAW域去噪图像；Subnet1-噪声估计子网络；Subnet2-去噪子网络。
具体实施方式
以下结合附图和具体实施例对本发明进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图均采用非常简化的形式且使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
为了便于描述，本申请一些实施例可以使用诸如“在…上方”、“在…之下”、“顶部”、“下方”等空间相对术语，以描述如实施例各附图所示的一个元件或部件与另一个(或另一些)元件或部件之间的关系。应当理解的是，除了附图中描述的方位之外，空间相对术语还旨在包括装置在使用或操作中的不同方位。例如若附图中的装置被翻转，则被描述为在其它元件或部件“下方”或“之下”的元件或部件，随后将被定位为在其它元件或部件“上方”或“之上”。下文中的术语“第一”、“第二”、等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换。
本发明实施例提供了一种RAW域图像去噪方法，如图1所示，包括：
步骤S1、获取选定场景的原始RAW域图像，包括：选取至少两个预设光照强度，每个预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW数据，作为训练数据样本；
步骤S2、增强训练数据样本；
步骤S3、将增强后的训练数据样本拆分，分别训练G通道、R通道和B通道噪声估计子网络模型，得到RGB各通道噪声估计图像；
步骤S4、将RGB各通道噪声估计图像进行采样并融合得到全尺寸噪声图像；
步骤S5、将原始RAW域图像与全尺寸噪声图像作差，获得初始去噪图像；将初始去噪图像输入去噪子网络模型训练至最优，得到RAW域去噪图像。
RAW域图像是指通过图像传感器获得的未经处理的原始图像，本领域技术人员可以根据“RAW”毫无疑义地理解其描述的图像数据的格式和来源。
下面结合图2至图4详细介绍本发明实施例的RAW域图像去噪方法。
如图2所示，步骤S1、获取选定场景的原始RAW域图像10，包括：选取至少两个预设光照强度，每个预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW数据，作为训练数据样本。
示例性的，预设光照强度小于或者等于1000lux。具体预设光照强度例如包括1lux、10lux、50lux、100lux、200lux、500lux以及1000lux中的至少两个。预设倍数包括1倍至256倍中的至少两个整数倍数。例如包括1倍、2倍、4倍、8倍、16倍、32倍、48倍、64倍、96倍、128倍、144倍、160倍、192倍、224倍以及256倍中的至少两个整数倍数。需理解，不同的预设光照强度和不同的倍数增益的噪声水平两两组合，即，每一个预设光照强度下都要采集每一个预设倍数增益的噪声水平的画面。采集过程中，拍摄装置通过固定机构在不同的预设光照强度以及不同的预设噪声水平下与被摄场景保持相对不动，采集多色温，多场景的图像数据。在其他的实施例中，预设光照强度和预设倍数增益的噪声水平也可以设置为其他的方案。
在每个预设倍数增益下均连续采集预设帧数的RAW域图像，各预设倍数增益下的预设帧数的RAW域图像的平均值作为各自预设倍数增益对应的真实标签(ground truth)或目标图像。对于64倍增益及64倍以上增益的训练数据，将1倍增益的预设帧数的RAW域图像的平均值作为64倍增益和64倍以上增益对应的真实标签，调整曝光以及通过增加一个基于整幅图像的全局补偿系数，使64倍增益和64倍以上增益中各倍数增益下的训练样本的图像灰度值均值和真实标签的图像灰度值均值一致。预设帧数例如可以取64帧、128帧等。
获取选定场景的原始RAW域图像之后，还包括：对原始RAW域图像进行黑电平矫正(Black level correction，BLC)处理，扣除纯黑的环境下，采集到的RAW数据中的基底值。具体的，黑电平也叫做光学暗电流，图像传感器在无任何光照的条件下，依旧会有电流输出，所以导致在纯黑的环境下，采集到的RAW数据并不是零，而是有一个基底值，暗电平矫正的目的就是为了扣除这个基底值。
步骤S2、增强训练数据样本，包括：将每帧RAW域图像剪裁为MxN(例如128x128)大小的中间图像；基于中间图像的梯度进行筛选，去除缺乏纹理的图像，即去除中间图像的梯度不满足预设条件的图像；对筛选后的中间图像进行翻转、旋转以及翻转结合旋转的操作，扩充样本容量，得到增强后的训练数据样本。
如图2和图3所示，步骤S3、将增强后的训练数据样本拆分，分别训练G通道、R通道和B通道噪声估计子网络Subnet1模型，得到RGB各通道的噪声估计图像。具体的，在训练工况下，将增强后的训练数据样本拆分为四个通道的子图像，例如分别为R、G1、G2和B，其中G1和G2都代表G通道，只是它们所处的位置不同。
分通道进行噪声估计，将G1通道和G2通道两通道的子图像输入噪声估计子网络Subnet1输出第一G通道噪声估计图像21和第二G通道噪声估计图像22。将B通道的子图像输入噪声估计子网络Subnet1输出B通道噪声估计图像23；将R通道的子图像输入噪声估计子网络Subnet1输出R通道噪声估计图像24。
在一示例中，噪声估计子网络Subnet1可以是任意的全局残差网络结构。每个噪声估计子网络Subnet1模型需要做一个全局的残差；例如G通道，训练输入为G1和G2两通道的G-raw数据，监督为RAW格式数据中对应的真实标签的G-raw数据；最终的G通道噪声估计模型，以倒数第二层作为输出，得到第一G通道噪声估计图像21和第二G通道噪声估计图像22。
G通道的噪声估计子网络Subnet1模型训练可采用L1损失函数。L1损失函数也称为最小化绝对值误差，是指最小化G通道的真实标签yi和噪声估计值f(xi)之间差值的绝对值的和，n为样本的个数，公式如下：
L1损失函数的导数是常量，有着稳定的梯度，所以不会有梯度爆炸的问题。训练过程是为了得到一个很好的噪声估计子网络模型，这个模型采用损失函数来进行监督训练：步骤1中的拍摄数据是成对的，每一张训练样本需要对应的真实标签，真实标签是需要拍摄连续的预设帧数(例如64帧)的训练样本做平均来得到，多帧平均能很好的去除噪声。噪声估计子网络Subnet1模型以及后续的去噪子网络模型Subnet2都需要用损失函数来进行监督训练。
噪声估计值f(xi)代表模型的输出，训练过程包括：训练样本输入模型，模型会得到一个输出，这个输出就是噪声估计值f(xi),L1损失函数计算的是模型输出噪声估计值f(xi)与真实标签yi的绝对差，然后通过模型训练使这个差值达到最小，这样模型就训练完成了，此时模型的输出噪声估计值f(xi)是最接近真实标签yi的。
R通道和B通道的噪声估计子网络模型训练可采用L2损失函数。L2损失函数也称为最小化平方误差，是指最小化真实标签yi和噪声估计值f(xi)之间差值的平方的和，n为样本的个数，公式如下：
L2损失函数曲线连续，处处可导，随着误差值的减小，梯度也减小，有利于收敛到最小值。采用L2损失函数，最小化R通道的真实标签yi和噪声估计值f(xi)之间差值的平方的和，得到R通道噪声估计图像24。采用L2损失函数，最小化B通道的真实标签yi和噪声估计值f(xi)之间差值的平方的和，得到B通道噪声估计图像23。
RAW域数据(Bayer格式)不同通道(例如R通道、G通道和B通道)有噪声差异。每个通道的灰度值不一样，每个通道的噪声强度也不一样，每个通道的纹理具有一致相关性。RAW域数据的噪声分布是近似符合泊松高斯分布的，而不是简单的高斯噪声。对于去噪来说，平滑区域的去噪更容易，纹理尤其弱纹理的去噪难度较大。不同通道有噪声指标差异，所以本实施例分通道针对不同的通道进行噪声估计，然后进行通道间噪声图谱的融合，最后基于噪声图生成清晰地图像。噪声估计更精确，更有针对性。
本实施例去噪模型针对RAW域图像设计，与基于转化后的RGB等格式的图像设置的算法或者模型相比，更好地利用了RAW域图像的所携带的原始信息，从而有助于在去噪时保留更多的细节信息，使得去噪后的图像更为清晰。
神经网络模型关于输入参数的设置会从根本上改变网络的结构，输入参数划分越合理，越能够从原理实质上贴合研究对象的输入输出关系，从而加快训练速度，提高模型精度。本实施例针对RAW域图像设计并且分通道训练做到精准去噪，模型更为轻量化，时间消耗更小，得到准确的简单的噪声图像，能适应更大的噪声强度变化。去噪后的图像更为清晰。
将不同工况下同一被摄场景的图像进行分类，得到成对的训练输入图像和训练输出图像的过程也可以根据实际需要进行设置，在此不进行展开描述。
步骤S4、将RGB各通道噪声估计图像进行采样并融合得到全尺寸噪声图像20。具体的，将第一G通道噪声估计图像21、第二G通道噪声估计图像22、B通道噪声估计图像23和R通道噪声估计图像24按照原始输入的RAW格式进行采样融合得到全尺寸噪声图像20。
如图4所示，步骤S5、将原始RAW域图像10与全尺寸噪声图像20作差，获得初始去噪图像；将初始去噪图像输入去噪子网络Subnet2模型训练至最优，得到RAW域去噪图像30。采用L1损失函数联合基于边缘梯度损失函数的加权损失函数作为所述去噪子网络Subnet2模型的损失函数。去噪子网络Subnet2模型例如采用UNet网络模型，UNet是图像处理方面著名的图像分割网络。UNet模型可以依靠更少训练图像实现更加准确地像素点类别预测。本步骤中，训练去噪子网络Subnet2模型采用递归的训练思路。一个初始神经网络通过不断的优化自身参数，让自身变得精确，这整个过程称之为训练。将初始去噪图像输入去噪子网络Subnet2模型进行图像修复，对得到的初步清晰图像递归训练至最优，得到RAW域去噪图像30。由于平滑区域的纹理噪声容易估计，所以初始去噪图像的平滑区域基本已经有了很好的去噪效果，优化步骤更多的是优化弱纹理区域的去噪效果。
RAW域图像去噪完成后，进行推理测试以验证去噪效果；所述推理测试包括：
重新获取与选定场景不同的新场景的原始RAW域图像；
对新场景的原始RAW域图像进行黑电平矫正处理，作为新场景的训练数据样本；
将新场景的训练数据样本拆分，将拆分得到的G通道、R通道和B通道图像数据输入训练好的噪声估计子网络模型，得到新场景的RGB各通道的噪声估计图像；将新场景的RGB各通道的噪声估计图像融合得到新场景的全尺寸噪声图像。
将新场景的原始RAW域图像与新场景的全尺寸噪声图像作差，获得新场景的初始去噪图像；将新场景的初始去噪图像输入训练好的去噪子网络模型得到新场景的RAW域去噪图像。
训练好的噪声估计子网络Subnet1模型和训练好的去噪子网络Subnet2模型，在训练数据集中表现良好，但是期望的是它可以对以前未识别过(没看过)的图片进行识别判断。这种未识别过的图片也叫做现场数据，如果现场数据的区分准确率非常高，证明对应的网络训练是非常好的，这个过程称为推理测试。新场景的原始RAW域图像是训练好的噪声估计子网络模型和训练好的去噪子网络模型未识别过的图片，若新场景的RAW域去噪图像效果好，证明噪声估计子网络模型和去噪子网络模型训练是合格的。
相较于得到复杂的清晰地图像，本方明着手于得到准确的简单的噪声图像，基于全局的残差做最优化，能适应更大的噪声强度变化。能够达到SOTA(state of the art)的PSNR(峰值信噪比)等客观指标，以及主观效果。SOTA在该处是指图像处理领域做的性能最好的模型。本发明的模型更为轻量化。在窗口大小和传统图像信号处理一致的前提下，效果更好。本实施例提供的RAW域图像去噪方法，可应用于图像信号处理芯片及相关芯片模组，图像信号处理芯片应用的各种摄像相关的应用如手机终端、监视器、自动驾驶等。
本发明针对RAW格式(Bayer格式)输入，RAW格式输出，去噪前后格式不变。本发明在步骤1和步骤6需进行黑电平矫正处理，否则会存在某些暗光场景平滑区域偏色的问题。本发明可以同步输出全尺寸噪声图像20(中间噪声图)，即可以保存全尺寸噪声图像20作为输出。
在其他示例中，推理测试的图像(数据)也可来自于步骤1中选定场景的原始RAW域图像。选定场景的原始RAW域图像在步骤S2增强训练数据样本中，将每帧RAW域图像剪裁为MxN(例如128x128)大小的中间图像；将剪裁好的中间图像的例如80％划分为训练集，20％划分为测试集，也可利用该测试集中的图像进行推理测试。
为了验证本实施例RAW域图像去噪方法的有效性，本实施例还提供了不同增益下的RAW域图像去噪前后的对比图。图5为4倍增益下RAW域图像去噪前后的对比图。图6为8倍增益下RAW域图像去噪前后的对比图。图7为16倍增益下RAW域图像去噪前后的对比图。图8为32倍增益下RAW域图像去噪前后的对比图。图9为64倍增益下RAW域图像去噪前后的对比图。
试验证明，采用本实施例的RAW域图像去噪方法，在覆盖大范围的不同倍数的增益下都获得了较好的去噪效果，图5至图9各图中，左面的图为去噪前的图，右面的图为去噪后的图，去噪后的图更加清晰。从结果可以看出，RAW域图像去噪方法大大提升了RAW域图像的清晰度。
本实施例还提供了一种拍摄装置，包括：
图像传感器，用于获取原始RAW域图像；所述图像传感器在至少两个预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW数据，作为训练数据样本；
存储器以及处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述RAW域图像去噪方法的各个步骤。
计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
本实施例所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，拍摄装置的其他元件，以及元件之间的连接方式和通讯方式，本领域技术人员可以根据实际需要进行设置，在此不进行展开描述。上述的拍摄装置因为使用了基于本实施例的RAW域图像去噪方法，不同通道有噪声指标差异，所以本实施例分通道针对不同的通道进行噪声估计，然后进行通道间噪声图谱的融合，最后基于噪声图生成清晰地图像。噪声估计更精确，更有针对性，提高了去噪模型的精度。将RAW域图像作为处理的关键对象，与其他基于RGB等格式的数据进行处理的方案比，抓住了问题核心，能够取得更好的去噪效果。
综上所述，本发明提供一种RAW域图像去噪方法及拍摄装置，去噪方法包括：获取选定场景的原始RAW域图像，包括：选取至少两个预设光照强度，每个预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW格式数据，作为训练数据样本；增强训练数据样本；将增强后的训练数据样本拆分，分别训练G通道、R通道和B通道噪声估计子网络模型，得到RGB各通道的噪声估计图像；将RGB各通道的噪声估计图像进行采样并融合得到全尺寸噪声图像；将原始RAW域图像与全尺寸噪声图像作差，获得初始去噪图像；将初始去噪图像输入去噪子网络模型训练至最优，得到RAW域去噪图像。
本发明针对RAW格式输入，RAW格式输出，去噪前后格式不变。去噪模型针对RAW域图像设计，与基于转化后的RGB等格式的图像设置的算法或者模型相比，更好地利用了RAW域图像的所携带的原始信息，从而有助于在去噪时保留更多的细节信息，使得去噪后的图像更为清晰。本发明能适应各种不同的增益水平并且分通道做到精准去噪，本发明的模型更为轻量化，时间消耗更小。本方明着手于得到准确的简单的噪声图像，基于全局的残差做最优化，能适应更大的噪声强度变化。能够达到SOTA的PSNR(峰值信噪比)等客观指标，以及主观效果。本发明的模型更为轻量化。在窗口大小和传统图像信号处理一致的前提下，去噪效果更好。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于与实施例公开的器件相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (14)

1.一种RAW域图像去噪方法，其特征在于，包括：
获取选定场景的原始RAW域图像，包括：选取至少两个预设光照强度，在每个所述预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW数据，作为训练数据样本；
增强所述训练数据样本；
将增强后的训练数据样本拆分，分别训练G通道、R通道和B通道噪声估计子网络模型，得到RGB各通道噪声估计图像；
将所述RGB各通道的噪声估计图像进行采样并融合得到全尺寸噪声图像；
将所述原始RAW域图像与所述全尺寸噪声图像作差，获得初始去噪图像；将所述初始去噪图像输入去噪子网络模型训练至最优，得到RAW域去噪图像。
2.如权利要求1所述的RAW域图像去噪方法，其特征在于，所述预设光照强度包括1lux、10lux、50lux、100lux、200lux、500lux以及1000lux中的至少两个。
3.如权利要求1所述的RAW域图像去噪方法，其特征在于，所述预设倍数包括1倍至256倍中的至少两个整数倍数。
4.如权利要求1所述的RAW域图像去噪方法，其特征在于，获取所述选定场景的原始RAW域图像之后，增强所述训练数据样本之前，还包括：
对所述原始RAW域图像进行黑电平矫正处理，扣除纯黑的环境下，采集到的所述RAW数据中的基底值。
5.如权利要求1所述的RAW域图像去噪方法，其特征在于，在每个所述预设倍数增益下均连续采集预设帧数的RAW域图像，各所述预设倍数增益下的所述预设帧数的RAW域图像的平均值作为各自所述预设倍数增益对应的真实标签。
6.如权利要求5所述的RAW域图像去噪方法，其特征在于，对于64倍增益及64倍以上增益的训练数据，将1倍增益的预设帧数的RAW域图像的平均值作为64倍增益和64倍以上增益对应的真实标签，调整曝光以及通过增加一个基于整幅图像的全局补偿系数，使64倍增益和64倍以上增益中各倍数增益下的训练样本的图像灰度值均值和所述真实标签的图像灰度值均值一致。
7.如权利要求5所述的RAW域图像去噪方法，其特征在于，增强所述训练数据样本包括：
将每帧所述RAW域图像剪裁为MxN大小的中间图像；
基于所述中间图像的梯度进行筛选，去除缺乏纹理的图像；
对筛选后的所述中间图像进行翻转、旋转以及翻转结合旋转的操作，扩充样本容量，得到所述增强后的训练数据样本。
8.如权利要求1至7任意一项所述的RAW域图像去噪方法，其特征在于，所述噪声估计子网络采用全局残差网络结构，所述去噪子网络模型采用UNet网络模型。
9.如权利要求1至7任意一项所述的RAW域图像去噪方法，其特征在于，所述G通道的所述噪声估计子网络模型训练采用L1损失函数，最小化所述G通道的真实标签和噪声估计值之间差值的绝对值的和，得到所述G通道噪声估计图像。
10.如权利要求1至7任意一项所述的RAW域图像去噪方法，其特征在于，所述R通道和所述B通道的所述噪声估计子网络模型训练采用L2损失函数，最小化所述R通道的真实标签和噪声估计值之间差值的平方的和，得到所述R通道噪声估计图像；以及最小化所述B通道的真实标签和噪声估计值之间差值的平方的和，得到所述B通道噪声估计图像。
11.如权利要求1至7任意一项所述的RAW域图像去噪方法，其特征在于，采用L1损失函数联合基于边缘梯度损失函数的加权损失函数作为所述去噪子网络模型的损失函数。
12.如权利要求1至7任意一项所述的RAW域图像去噪方法，其特征在于，所述RAW域图像去噪完成后，进行推理测试以验证去噪效果；
所述推理测试包括：
重新获取与所述选定场景不同的新场景的原始RAW域图像；
对所述新场景的原始RAW域图像进行黑电平矫正处理，作为新场景的训练数据样本；
将所述新场景的训练数据样本拆分，将拆分得到的G通道、R通道和B通道图像数据输入训练好的所述噪声估计子网络模型，得到所述新场景的RGB各通道的噪声估计图像；将所述新场景的RGB各通道的噪声估计图像融合得到所述新场景的全尺寸噪声图像；
将所述新场景的原始RAW域图像与所述新场景的全尺寸噪声图像作差，获得所述新场景的初始去噪图像；将所述新场景的初始去噪图像输入训练好的所述去噪子网络模型得到所述新场景的RAW域去噪图像。
13.如权利要求12所述的RAW域图像去噪方法，其特征在于，
所述新场景的原始RAW域图像是训练好的所述噪声估计子网络模型和训练好的所述去噪子网络模型未识别过的图片，若所述新场景的RAW域去噪图像效果优良，证明所述噪声估计子网络模型和所述去噪子网络模型训练是合格的。
14.一种拍摄装置，包括：
图像传感器，用于获取原始RAW域图像；所述图像传感器在至少两个预设光照强度下分别采集至少两个预设倍数增益的噪声水平的RAW数据，作为训练数据样本；
存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至13任一项所述的RAW域图像去噪方法的各个步骤。
CN202310764405.1A 2023-06-26 2023-06-26 Raw域图像去噪方法及拍摄装置 Pending CN116723413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310764405.1A CN116723413A (zh) 2023-06-26 2023-06-26 Raw域图像去噪方法及拍摄装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310764405.1A CN116723413A (zh) 2023-06-26 2023-06-26 Raw域图像去噪方法及拍摄装置

Publications (1)

Publication Number Publication Date
CN116723413A true CN116723413A (zh) 2023-09-08

Family

ID=87874968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310764405.1A Pending CN116723413A (zh) 2023-06-26 2023-06-26 Raw域图像去噪方法及拍摄装置

Country Status (1)

Country Link
CN (1) CN116723413A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710763A (zh) * 2023-11-23 2024-03-15 广州航海学院 图像噪声识别模型训练方法、图像噪声识别方法及装置
CN117831135A (zh) * 2024-03-04 2024-04-05 陕西一览科技有限公司 一种基于图像处理的人迹检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710763A (zh) * 2023-11-23 2024-03-15 广州航海学院 图像噪声识别模型训练方法、图像噪声识别方法及装置
CN117831135A (zh) * 2024-03-04 2024-04-05 陕西一览科技有限公司 一种基于图像处理的人迹检测方法
CN117831135B (zh) * 2024-03-04 2024-05-10 陕西一览科技有限公司 一种基于图像处理的人迹检测方法

Similar Documents

Publication Publication Date Title
US11037278B2 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111741211B (zh) 图像显示方法和设备
CN116723413A (zh) Raw域图像去噪方法及拍摄装置
CN110619593B (zh) 一种基于动态场景的双曝光视频成像系统
CN101742123B (zh) 图像处理设备和方法
EP3542347B1 (en) Fast fourier color constancy
KR101661215B1 (ko) 영상 처리 방법 및 영상 처리 장치
CN106357987B (zh) 一种曝光方法和装置
WO2016011889A1 (zh) 过曝拍摄方法及装置
KR20170017911A (ko) 디지털 이미지들의 컬러 프로세싱을 위한 방법들 및 시스템들
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN107241558A (zh) 曝光处理方法、装置和终端设备
WO2020062393A1 (zh) 一种基于机器学习的初始数据处理方法和系统
CN116416122B (zh) 图像处理方法及其相关设备
JP2020042760A (ja) 情報処理方法、情報処理装置、及びプログラム
CN112927162A (zh) 一种面向低照度图像的增强方法及系统
CN107920205A (zh) 图像处理方法、装置、存储介质和电子设备
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2023246392A1 (zh) 图像获取方法、装置、设备和非瞬态计算机存储介质
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN107392870A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN115334294B (zh) 一种本地自适应力度的视频降噪方法
CA3236031A1 (en) Efficient video execution method and system
CN115619666A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN111402153B (zh) 一种图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination