CN115713471B - 一种图像降噪方法及装置、存储介质、计算机设备 - Google Patents
一种图像降噪方法及装置、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN115713471B CN115713471B CN202211474516.0A CN202211474516A CN115713471B CN 115713471 B CN115713471 B CN 115713471B CN 202211474516 A CN202211474516 A CN 202211474516A CN 115713471 B CN115713471 B CN 115713471B
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- target
- target gain
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像降噪方法及装置、存储介质、计算机设备，该方法包括：当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值，并基于所述差异比值更新预设存储空间中的目标增益表；若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理。本申请充分考虑了各个对图像进行局部增益处理的目标图像处理单元的局部增益效果，最后根据多次更新之后的目标增益表进行降噪，使得降噪准确率更高，输出的图像质量更好。
Description
技术领域
本申请涉及图像处理技术领域，尤其是涉及到一种图像降噪方法及装置、存储介质、计算机设备。
背景技术
当前在拍摄图像或者视频时，如果拍摄时光线较弱，那么为了能够保证最终拍摄的图像的亮度不变，自动测光算法往往会对图像传感器、图像处理单元等的增益进行调整，以使图像信号整体或者局部放大，但是，与此同时，噪声也被同步放大。
目前常见的降噪处理方式是在产品开发过程中，预先使用不同的增益值拍摄图像，对图像的噪声进行标定，提供标定参数给降噪算法。最终使用时，降噪算法读取当前全局增益对应的标定参数，使得降噪单元能够区分噪声和信号，从而完成降噪。然而，这种降噪方法考虑因素单一，准确度较低。
发明内容
有鉴于此，本申请提供了一种图像降噪方法及装置、存储介质、计算机设备，充分考虑了各个对图像进行局部增益处理的目标图像处理单元的局部增益效果，最后根据多次更新之后的目标增益表进行降噪，使得降噪准确率更高，输出的图像质量更好。
根据本申请的一个方面，提供了一种图像降噪方法，包括：
当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值，并基于所述差异比值更新预设存储空间中的目标增益表，更新后的目标增益表包括所述处理后图像上各个子区域对应的目标增益值；
若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理。
根据本申请的另一方面，提供了一种图像降噪装置，包括：
增益表更新模块，用于当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值，并基于所述差异比值更新预设存储空间中的目标增益表，更新后的目标增益表包括所述处理后图像上各个子区域对应的目标增益值；
增益表获取模块，用于若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理。
依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述图像降噪方法。
依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像降噪方法。
借由上述技术方案，本申请提供的一种图像降噪方法及装置、存储介质、计算机设备，当图像传感器输出第一原始图像之后，第一原始图像通常会经过其它一系列图像处理单元的处理，其中包括多个目标图像处理单元的处理，最终将处理后的图像输入到降噪单元，从降噪单元输出最终的图像。在这里，目标图像处理单元可以是能够对输入的图像进行局部增益处理的图像处理单元。因此，当增益值计算单元接收到其中任意一个目标图像处理单元对应的处理前图像和处理后图像时，可以对处理前图像与处理后图像之间的差异比值进行计算，并根据计算得到的差异比值对预设存储空间中的目标增益表进行更新。当降噪单元接收到前一处理单元的输出图像，那么说明图像已经经过了各个目标图像处理单元的处理，此时可以从预设存储空间中获取最后一次更新后的目标增益表，这样降噪单元即可按照此最后一次更新后的目标增益表对接收到的前一处理单元的输出图像进行降噪处理。本申请实施例充分考虑了各个对图像进行局部增益处理的目标图像处理单元的局部增益效果，最后根据多次更新之后的目标增益表进行降噪，使得降噪准确率更高，输出的图像质量更好。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种图像降噪方法的流程示意图；
图2示出了本申请实施例提供的另一种图像降噪方法的流程示意图；
图3示出了本申请实施例提供的另一种图像降噪方法的流程示意图；
图4示出了本申请实施例提供的一种目标增益表的更新过程示意图；
图5示出了本申请实施例提供的一种降噪单元的降噪流程示意图；
图6示出了本申请实施例提供的另一种图像降噪方法的流程示意图；
图7示出了本申请实施例提供的一种差异比值的计算流程示意图；
图8示出了本申请实施例提供的一种图像降噪装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种图像降噪方法，如图1所示，该方法包括：
步骤101，当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值，并基于所述差异比值更新预设存储空间中的目标增益表，更新后的目标增益表包括所述处理后图像上各个子区域对应的目标增益值；
本申请实施例提供的图像降噪方法，可以应用于客户端一侧，例如可以应用于图像或者视频拍摄软件、图像或者视频拍摄设备等中。图像或者视频拍摄结束后，也即从图像传感器输出第一原始图像之后，为了保证图像的各方面效果，往往还需要对第一原始图像进行一系列的后续处理，例如光学补偿、亮度调整、色彩调整、动态范围压缩等，这些后续处理大部分引入的增益都是对图像局部区域所作用的，因此最终导致图像中不同区域会有不同的增益值，如果此时仍然使用全局增益来作为降噪标定参数的调用条件，则会造成最终图像的局部区域降噪强度过高或过低，从而影响最终输出的图像质量。
当图像传感器输出第一原始图像之后，第一原始图像通常会经过其它一系列图像处理单元的处理，其中包括多个目标图像处理单元的处理，最终将处理后的图像输入到降噪单元，从降噪单元输出最终的图像。在这里，目标图像处理单元可以是能够对输入的图像进行局部增益处理的图像处理单元。因此，当增益值计算单元接收到其中任意一个目标图像处理单元对应的处理前图像和处理后图像时，可以对处理前图像与处理后图像之间的差异比值进行计算，并根据计算得到的差异比值对预设存储空间中的目标增益表进行更新。其中，在目标图像处理单元对接收到的图像进行处理之前，预设存储空间中可以已经存储有目标增益表，预设存储空间可以是RAM(英文全称：Random Access Memory；中文名称：随机存取存储器)、Cache(中文名称：高速缓冲存储器)、Flash(中文名称：非易失性内存)等。目标增益表中可以包括第一原始图像上每个子区域对应的目标增益值。其中，子区域的划分可以分为两种情况：当每个子区域包含一个像素点时，目标增益表中包含每个像素对应的目标增益值；当每个子区域包含多个像素点时，目标增益表中包含每个子区域对应的目标增益值，每个子区域对应的目标增益值可以是该子区域内每个像素对应的目标增益值，此时图像中全部像素被划分在不同的子区域内。
需要注意的是，由于图像传感器输出的第一原始图像通常经过多个目标图像处理单元的处理，因此，每次当经过一个目标图像处理单元的处理之后，都直接对预设存储空间中的目标增益表进行更新，这样，当经过一系列处理后的图像输入到降噪单元中时，预设存储空间中的目标增益表的更新次数与目标图像处理单元的个数是相同的。实际上，在对第一原始图像进行一系列后续处理的过程中涉及到多个图像处理单元，这些图像处理单元中除了目标图像处理单元之外，其余图像处理单元对图像的处理操作并不对图像的增益值加以改变，因此除了目标图像处理单元之外，其余图像处理单元的处理不会引起目标增益表的更新。例如，目标图像处理单元包括5个，那么图像每经过1个目标图像处理单元后，即对目标增益表中目标增益值发生变化的子区域对应的目标增益值进行更新，其余子区域对应的目标增益值不变，最终5个目标图像处理单元处理完毕后，目标增益表经历了5次局部更新，最后处理后的图像输入到降噪单元时，从预设存储空间中获取的目标增益表也是经过5次局部更新之后得到的。本申请实施例每当有目标图像处理单元对图像进行处理之后即对目标增益表进行局部更新，可以保证最终图像传入到降噪单元时即时获得多次更新后的目标增益表，有利于提升降噪单元的处理效率。
在本申请实施例中，可选地，作为步骤101的一种实现方式，提供了另一实施例，如图2所示。图2中RAW即为图像传感器输出的第一原始图像，其中BlackLevel(亮度基准)单元、LSC(镜头阴影补偿)单元、WB Gain(宽带增益)单元、CCM(色彩转换)单元、Gamma(亮度补偿)单元、Tonemapping(色调映射)单元均可称之为图像处理单元，而LSC(镜头阴影补偿)单元、Gamma(亮度补偿)单元、Tonemapping(色调映射)单元可以称之为目标图像处理单元，Tonemapping(色调映射)单元即为Denoise(降噪)单元的前一单元，Tonemapping(色调映射)单元的输出图像即为Denoise(降噪)单元进行降噪处理的图像。为了能够获取每个目标图像处理单元的处理前图像和处理后图像，可以在每个目标图像处理单元的输入端和输出端均接入同一增益值计算单元，通过增益值计算单元计算每个目标图像处理单元对应的增益值(也即差异比值)，并根据每次计算得到的差异比值对存储器(也即预设存储空间)中的目标增益表进行局部更新。
步骤102，若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理。
在该实施例中，当降噪单元接收到前一处理单元的输出图像，那么说明图像已经经过了各个目标图像处理单元的处理，此时可以从预设存储空间中获取最后一次更新后的目标增益表，这样降噪单元即可按照此最后一次更新后的目标增益表对接收到的前一处理单元的输出图像进行降噪处理。由于最后一次更新后的目标增益表考虑到了各个目标图像处理单元的局部增益，因此降噪单元进行降噪时，降噪结果的准确度更高。
通过应用本实施例的技术方案，当图像传感器输出第一原始图像之后，第一原始图像通常会经过其它一系列图像处理单元的处理，其中包括多个目标图像处理单元的处理，最终将处理后的图像输入到降噪单元，从降噪单元输出最终的图像。在这里，目标图像处理单元可以是能够对输入的图像进行局部增益处理的图像处理单元。因此，当增益值计算单元接收到其中任意一个目标图像处理单元对应的处理前图像和处理后图像时，可以对处理前图像与处理后图像之间的差异比值进行计算，并根据计算得到的差异比值对预设存储空间中的目标增益表进行更新。当降噪单元接收到前一处理单元的输出图像，那么说明图像已经经过了各个目标图像处理单元的处理，此时可以从预设存储空间中获取最后一次更新后的目标增益表，这样降噪单元即可按照此最后一次更新后的目标增益表对接收到的前一处理单元的输出图像进行降噪处理。本申请实施例充分考虑了各个对图像进行局部增益处理的目标图像处理单元的局部增益效果，最后根据多次更新之后的目标增益表进行降噪，使得降噪准确率更高，输出的图像质量更好。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种图像降噪方法，如图3所示，该方法包括：
步骤201，获取全局增益值，并基于所述全局增益值，对所述预设存储空间中存储的初始增益表进行更新，得到所述目标增益表；
在该实施例中，除了各个目标图像处理单元对图像进行局部增益处理之外，图像传感器还会对图像进行全局增益，因此在目标图像处理单元对图像进行处理之前，可以获取全局增益值，而预设存储空间中也预先存储有初始增益表。从初始增益表的形式可以看出如何对第一原始图像进行区域划分。例如，如果初始增益表是由M行N列组成的，且M和第一原始图像的像素点的行数不同、N和第一原始图像的像素点的列数不同，那么在对第一原始图像进行区域划分时，也将第一原始图像划分成M行N列，划分得到的每个子区域包含多个像素点；如果初始增益表的行数和列数与第一原始图像的像素点行数以及像素点列数相同，那么在对第一原始图像进行区域划分时，将每个像素点对应的区域作为一个子区域进行划分，也即每个子区域包含一个像素点。初始增益表中的初始增益值可以全部设定一个数值，例如全为1。获取全局增益值和初始增益表之后，可以对初始增益表中的每个初始增益值均乘以全局增益值，即可得到最初的目标增益表，并将该目标增益表存储在预设存储空间中。后续当存在对图像进行处理的目标图像处理单元时，即可对该目标增益表进行不断更新。
步骤202，当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值；
在该实施例中，当图像传感器输出第一原始图像之后，第一原始图像通常会经过其它一系列图像处理单元的处理，其中包括多个目标图像处理单元的处理，最终将处理后的图像输入到降噪单元，从降噪单元输出最终的图像。在这里，目标图像处理单元可以是能够对输入的图像进行局部增益处理的图像处理单元。因此，当增益值计算单元接收到其中任意一个目标图像处理单元对应的处理前图像和处理后图像时，可以对处理前图像与处理后图像之间的差异比值进行计算。
步骤203，确定每个所述差异比值对应的目标子区域，并从所述目标增益表中确定所述目标子区域对应的目标增益值；基于所述差异比值与所述目标增益值的乘积，对所述目标增益表中所述目标子区域对应的所述目标增益值进行更新；
在该实施例中，差异比值的数量，与目标增益表中包括的目标增益值的数量是相等的，且差异比值的形式与目标增益表的形式也是相同的。例如，目标增益表的形式为3行3列的表格，那么差异比值也是由3行3列组成的，且目标增益表中某一位置对应的目标增益值指示的子区域，与该位置对应的差异比值指示的子区域相同。在根据差异比值对目标增益表进行更新时，可以从差异比值中确定第i行第j列的位置对应的差异比值，与此同时从目标增益表中也确定第i行第j列的位置对应的目标增益值，接着利用差异比值与目标增益值之间的乘积，对目标增益表中第i行第j列的位置对应的目标增益值进行更新。如图4所示，最终可以得到更新后的目标增益表。
步骤204，若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元在对所述前一处理单元的输出图像中的任一子区域进行降噪处理时，从所述目标增益表中获取所述任一子区域对应的目标增益值，以及所述目标增益值对应的标定参数，基于所述任一子区域对应的目标增益值以及所述标定参数对所述任一子区域进行降噪处理。
在该实施例中，当降噪单元接收到前一处理单元的输出图像，那么说明图像已经经过了各个目标图像处理单元的处理，此时可以从预设存储空间中获取最后一次更新后的目标增益表，这样降噪单元即可按照此最后一次更新后的目标增益表对接收到的前一处理单元的输出图像进行降噪处理。具体地，降噪单元可以依次对前一处理单元的输出图像中的每个子区域进行降噪操作，当降噪单元对子区域Axy进行降噪处理时，首先可以从子区域Axy对应的目标增益表中确定子区域Axy对应的目标增益值，接着，从预先存储的标定参数中确定该目标增益值对应的标定参数，最后可以依据子区域Axy对应的目标增益值以及该目标增益值对应的标定参数，对子区域Axy进行降噪处理。降噪单元对每个子区域进行降噪处理的过程均与上述过程相同。
在本申请的一个实施例中，如图5所示，降噪单元(图中Denoise)的当前处理子区域是虚线框中的4个像素点对应的子区域，从预设存储空间(例如存储器)中存储的目标增益表可以看出，该子区域对应的目标增益值为4，而预先存储的标定参数中与4这个增益值对应的标定参数为DDD，那么后续降噪单元即可利用目标增益值4以及标定参数DDD对当前处理像素进行降噪处理。
在本申请实施例中，可选地，步骤202之前，所述方法还包括：获取不同预设增益值下图像传感器输出的第二原始图像，并基于预设标定方法对所述第二原始图像进行噪声标定，得到标定结果，所述标定结果包括所述标定参数，以及所述标定参数与所述预设增益值之间的对应关系。
在该实施例中，可以设置有不同的预设增益值，并获取不同的预设增益值下图像传感器输出的第二原始图像，之后，可以利用预设标定方法分别对每个第二原始图像进行噪声标定，得到对应的标定参数。这样，即可建立起预设增益值与标定参数之间的对应关系，得到标定结果。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种图像降噪方法，如图6所示，该方法包括：
步骤301，当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值；
在该实施例中，每个所述子区域至少包括一个像素点。当增益值计算单元接收到其中任意一个目标图像处理单元对应的处理前图像和处理后图像时，可以根据处理前图像以及处理后图像，计算每个子区域对应的差异比值。其中，处理前图像和处理后图像中包含的子区域数量，以及每个子区域包含的像素点数量都是相同的，即对处理前图像和处理后图像进行区域分割时，是按照同样的划分方式进行分割的。
步骤302，基于所述差异比值更新预设存储空间中的目标增益表，更新后的目标增益表包括所述处理后图像上各个子区域对应的目标增益值；
在该实施例中，接着，可以根据计算得到的每个子区域对应的差异比值，对预设存储空间中的目标增益表进行更新，更新之后的目标增益表中可以包括处理后图像上每个子区域对应的目标增益值。
步骤303，若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理。
在该实施例中，当降噪单元接收到前一处理单元的输出图像，那么说明图像已经经过了各个目标图像处理单元的处理，此时可以从预设存储空间中获取最后一次更新后的目标增益表，这样降噪单元即可按照此最后一次更新后的目标增益表对接收到的前一处理单元的输出图像进行降噪处理。本申请实施例充分考虑了各个对图像进行局部增益处理的目标图像处理单元的局部增益效果，最后根据多次更新之后的目标增益表进行降噪，使得降噪准确率更高，输出的图像质量更好。
在本申请实施例中，可选地，步骤301之前，所述方法还包括：将图像传感器输出的第一原始图像按照预设规则进行区域划分处理，得到多个所述子区域；相应地，步骤301中所述“计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值”，包括：确定所述处理前图像对应的第一像素信息表，并按照所述子区域对所述第一像素信息表进行降采样处理，得到第一降采样结果；确定所述处理后图像对应的第二像素信息表，并按照所述子区域对所述第二像素信息表进行降采样处理，得到第二降采样结果；基于所述第一降采样结果以及所述第二降采样结果，得到每个所述子区域对应的差异比值。
在该实施例中，每个所述子区域包含多个像素点。在第一原始图像通过目标图像处理单元进行处理之前，先将图像传感器输出的第一原始图像进行区域划分，具体可以按照预设规则进行划分，在这里，预设规则可以是指定划分为M行×N列等，经过划分之后可以对应得到多个子区域。当第一原始图像被分割成多个子区域，且每个子区域对应多个像素时，此时确定每个子区域对应的差异比值时，具体地，可以确定目标图像处理单元对应的处理前图像的第一像素信息表，并以每一个子区域为基础，对第一像素信息表进行降采样处理，进而可以对应得到第一降采样结果；还可以确定目标图像处理单元对应的处理后图像的第二像素信息表，同样以每一个子区域为基础，对第二像素信息表进行降采样处理，进而可以对应得到第二降采样结果。之后，可以根据第一降采样结果、第二降采样结果计算出每个子区域对应的差异比值。本申请实施例将第一原始图像进行划分，划分成多个子区域，后续计算差异比值时，以及对目标增益表进行更新时，以每个子区域为单元进行计算，可以大大减少计算压力，提升计算速度。
其中，第一像素信息表以及第二像素信息表中可以包含每个像素点对应的亮度值或者RGB(色彩模式)值或者YUV(颜色编码)值等。当第一像素信息表中包含的为处理前图像中每个像素点对应的亮度值时，那么第二像素信息表中包含的为处理后图像中每个像素点对应的亮度值；当第一像素信息表中包含的为处理前图像中每个像素点对应的RGB值时，那么第二像素信息表中包含的为处理后图像中每个像素点对应的RGB值；当第一像素信息表中包含的为处理前图像中每个像素点对应的YUV值时，那么第二像素信息表中包含的为处理后图像中每个像素点对应的YUV值。也即，第一像素信息表中包含的像素信息与第二像素信息表中包含的像素信息相同。
例如，如图7所示，图中输入即为上述处理前图像对应的第一像素信息表，表中每个数值代表处理前图像中对应像素的亮度值；图中输出即为上述处理后图像对应的第二像素信息表，表中每个数值代表处理后图像中对应像素点的亮度值。假如第一原始图像被划分为3行3列，那么可以将处理前图像和处理后图像进行区域划分，同样划分为3行3列，处理前图像以及处理后图像均被划分成9个子区域。接着分别对第一像素信息表和第二像素信息表进行降采样处理，得到输入-降采样(也即上述第一降采样结果)以及输出-降采样(也即上述第二降采样结果)。具体地，可以将每个子区域对应的像素的亮度值求平均值，即可得到该子区域对应的降采样结果。最后，可以根据输入-降采样以及输出-降采样，计算每个子区域对应的差异比值。其中，可以利用输出-降采样以及输入-降采样中对应子区域的值做除法，得到的商即为该子区域对应的差异比值。图7中最终得到的即为各个子区域对应的差异比值。
在本申请实施例中，可选地，步骤301中所述“计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值”，包括：从所述处理前图像中确定每个像素点的第一像素信息值，并从所述处理后图像中确定对应像素点的第二像素信息值，将所述第二像素信息值以及所述第一像素信息值之间的比值，作为每个像素点对应的差异比值。
在该实施例中，每个所述子区域包含一个像素点。此时，针对每个像素点进行差异比值的计算，可以大大提升每个像素点的差异比值的准确性，从而提升后续降噪后输出图像的质量。在计算每个像素点对应的差异比值时，首先可以从处理前图像中确定每个像素点对应的第一像素信息值，以及从处理后图像中确定每个像素点对应的第二像素信息值；接着，将每个像素点对应的第二像素信息值除以该像素点对应的第一像素信息值，即可得到该像素点对应的差异比值。其中，第一像素信息值和第二像素信息值可以是每个像素点对应的亮度值或者RGB(色彩模式)值或者YUV(颜色编码)值等，第一像素信息值与第二像素信息值指示的像素信息相同。
在本申请实施例中，可选地，所述处理前图像和所述处理后图像为单色图像或者彩色图像；当为单色图像时，所述差异比值包括所述处理前图像以及所述处理后图像之间每个子区域对应的亮度比值，所述更新后的目标增益表中每个子区域对应的目标增益值为一个；当为彩色图像时，所述差异比值包括所述处理前图像以及所述处理后图像之间每个子区域对应的三个通道的比值，所述更新后的目标增益表中每个子区域对应的目标增益值为三个，每个子区域对应的每个目标增益值对应一个通道。
在该实施例中，经过图像传感器输出的第一原始图像可以是单色图像，也可以是彩色图像。当第一原始图像是单色图像时，每个目标图像处理单元对应的处理前图像和处理后图像也是单色图像；当第一原始图像是彩色图像时，每个目标图像处理单元对应的处理前图像和处理后图像也是彩色图像。
如果处理前图像和处理后图像是单色图像，此时处理前图像和处理后图像中每个像素点对应的像素值通常是该像素点的亮度值，此时差异比值可以是处理前图像和处理后图像中各个子区域对应的亮度比值，具体地，对于子区域Axy，该子区域Axy包含4个像素点，那么该子区域Axy对应的差异比值可以是处理后图像中子区域Axy中4个像素点的亮度平均值与处理前图像中子区域Axy中4个像素点的亮度平均值之间的比值。由于每个子区域对应的差异比值为1个，那么更新后的目标增益表中每个子区域对应的目标增益值也是1个。
如果处理前图像和处理后图像是彩色图像，此时处理前图像和处理后图像中每个像素点对应的像素值可以包括三个通道的值：当彩色图像为RGB格式时，三个通道的值分别为R(红色)、G(绿色)、B(蓝色)通道的值；当彩色图像为YUV格式时，三个通道的值分别为Y(亮度)、U(色度)、V(色度)通道的值。不论是RGB格式，还是YUV格式，此时每个子区域的差异比值可以包括三个，即每个通道对应一个差异比值，具体地，对于子区域Axy，该子区域Axy包含4个像素点，那么该子区域Axy对应的差异比值可以是处理后图像中子区域Axy中4个像素点的每个通道的值的平均值与处理前图像中子区域Axy中4个像素点的每个通道的值的平均值之间的比值，也即各个通道独立计算差异比值，相互互不影响。由于每个子区域对应的差异比值为3个，那么更新后的目标增益表中每个子区域对应的目标增益值也是3个，且每个目标增益值对应一个通道。
进一步的，作为图1方法的具体实现，本申请实施例提供了一种图像降噪装置，如图8所示，该装置包括：
增益表更新模块，用于当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值，并基于所述差异比值更新预设存储空间中的目标增益表，更新后的目标增益表包括所述处理后图像上各个子区域对应的目标增益值；
增益表获取模块，用于若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理。
可选地，每个所述子区域至少包括一个像素点；所述增益表更新模块，还用于：
计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值。
可选地，当每个所述子区域包含多个像素点时，所述装置还包括：
区域划分模块，用于所述当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像之前，将图像传感器输出的第一原始图像按照预设规则进行区域划分处理，得到多个所述子区域；
所述增益表更新模块，还用于：
确定所述处理前图像对应的第一像素信息表，并按照所述子区域对所述第一像素信息表进行降采样处理，得到第一降采样结果；确定所述处理后图像对应的第二像素信息表，并按照所述子区域对所述第二像素信息表进行降采样处理，得到第二降采样结果；基于所述第一降采样结果以及所述第二降采样结果，得到每个所述子区域对应的差异比值。
可选地，当每个所述子区域包含一个像素点时，所述增益表更新模块，还用于：
从所述处理前图像中确定每个像素点的第一像素信息值，并从所述处理后图像中确定对应像素点的第二像素信息值，将所述第二像素信息值以及所述第一像素信息值之间的比值，作为每个像素点对应的差异比值。
可选地，所述增益表更新模块，还用于：
确定每个所述差异比值对应的目标子区域，并从所述目标增益表中确定所述目标子区域对应的目标增益值；基于所述差异比值与所述目标增益值的乘积，对所述目标增益表中所述目标子区域对应的所述目标增益值进行更新。
可选地，所述装置还包括：
增益值获取模块，用于所述当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像之前，获取全局增益值，并基于所述全局增益值，对所述预设存储空间中存储的初始增益表进行更新，得到所述目标增益表。
可选地，所述增益表获取模块，还用于：
从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元在对所述前一处理单元的输出图像中的任一子区域进行降噪处理时，从所述目标增益表中获取所述任一子区域对应的目标增益值，以及所述目标增益值对应的标定参数，基于所述任一子区域对应的目标增益值以及所述标定参数对所述任一子区域进行降噪处理。
可选地，所述装置还包括：
噪声标定模块，用于所述当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像之前，获取不同预设增益值下图像传感器输出的第二原始图像，并基于预设标定方法对所述第二原始图像进行噪声标定，得到标定结果，所述标定结果包括所述标定参数，以及所述标定参数与所述预设增益值之间的对应关系。
可选地，所述处理前图像和所述处理后图像为单色图像或者彩色图像；当为单色图像时，所述差异比值包括所述处理前图像以及所述处理后图像之间每个子区域对应的亮度比值，所述更新后的目标增益表中每个子区域对应的目标增益值为一个；当为彩色图像时，所述差异比值包括所述处理前图像以及所述处理后图像之间每个子区域对应的三个通道的比值，所述更新后的目标增益表中每个子区域对应的目标增益值为三个，每个子区域对应的每个目标增益值对应一个通道。
需要说明的是，本申请实施例提供的一种图像降噪装置所涉及各功能单元的其他相应描述，可以参考图1至图7方法中的对应描述，在此不再赘述。
基于上述如图1至图7所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1至图7所示的图像降噪方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1至图7所示的方法，以及图8所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1至图7所示的图像降噪方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。当图像传感器输出第一原始图像之后，第一原始图像通常会经过其它一系列图像处理单元的处理，其中包括多个目标图像处理单元的处理，最终将处理后的图像输入到降噪单元，从降噪单元输出最终的图像。在这里，目标图像处理单元可以是能够对输入的图像进行局部增益处理的图像处理单元。因此，当增益值计算单元接收到其中任意一个目标图像处理单元对应的处理前图像和处理后图像时，可以对处理前图像与处理后图像之间的差异比值进行计算，并根据计算得到的差异比值对预设存储空间中的目标增益表进行更新。当降噪单元接收到前一处理单元的输出图像，那么说明图像已经经过了各个目标图像处理单元的处理，此时可以从预设存储空间中获取最后一次更新后的目标增益表，这样降噪单元即可按照此最后一次更新后的目标增益表对接收到的前一处理单元的输出图像进行降噪处理。本申请实施例充分考虑了各个对图像进行局部增益处理的目标图像处理单元的局部增益效果，最后根据多次更新之后的目标增益表进行降噪，使得降噪准确率更高，输出的图像质量更好。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (11)
1.一种图像降噪方法，其特征在于，包括：
当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值，并基于所述差异比值更新预设存储空间中的目标增益表，更新后的目标增益表包括所述处理后图像上各个子区域对应的目标增益值；
若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理；
每个所述子区域至少包括一个像素点；所述计算所述处理前图像以及所述处理后图像之间的差异比值，包括：
计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值。
2.根据权利要求1所述的方法，其特征在于，当每个所述子区域包含多个像素点时，所述当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像之前，所述方法还包括：
将图像传感器输出的第一原始图像按照预设规则进行区域划分处理，得到多个所述子区域；
相应地，所述计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值，包括：
确定所述处理前图像对应的第一像素信息表，并按照所述子区域对所述第一像素信息表进行降采样处理，得到第一降采样结果；
确定所述处理后图像对应的第二像素信息表，并按照所述子区域对所述第二像素信息表进行降采样处理，得到第二降采样结果；
基于所述第一降采样结果以及所述第二降采样结果，得到每个所述子区域对应的差异比值。
3.根据权利要求1所述的方法，其特征在于，当每个所述子区域包含一个像素点时，所述计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值，包括：
从所述处理前图像中确定每个像素点的第一像素信息值，并从所述处理后图像中确定对应像素点的第二像素信息值，将所述第二像素信息值以及所述第一像素信息值之间的比值，作为每个像素点对应的差异比值。
4.根据权利要求1所述的方法，其特征在于，所述基于所述差异比值更新预设存储空间中的目标增益表，包括：
确定每个所述差异比值对应的目标子区域，并从所述目标增益表中确定所述目标子区域对应的目标增益值；
基于所述差异比值与所述目标增益值的乘积，对所述目标增益表中所述目标子区域对应的所述目标增益值进行更新。
5.根据权利要求1所述的方法，其特征在于，所述当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像之前，所述方法还包括：
获取全局增益值，并基于所述全局增益值，对所述预设存储空间中存储的初始增益表进行更新，得到所述目标增益表。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理，包括：
从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元在对所述前一处理单元的输出图像中的任一子区域进行降噪处理时，从所述目标增益表中获取所述任一子区域对应的目标增益值，以及所述目标增益值对应的标定参数，基于所述任一子区域对应的目标增益值以及所述标定参数对所述任一子区域进行降噪处理。
7.根据权利要求6所述的方法，其特征在于，所述当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像之前，所述方法还包括：
获取不同预设增益值下图像传感器输出的第二原始图像，并基于预设标定方法对所述第二原始图像进行噪声标定，得到标定结果，所述标定结果包括所述标定参数，以及所述标定参数与所述预设增益值之间的对应关系。
8.根据权利要求6所述的方法，其特征在于，所述处理前图像和所述处理后图像为单色图像或者彩色图像；
当为单色图像时，所述差异比值包括所述处理前图像以及所述处理后图像之间每个子区域对应的亮度比值，所述更新后的目标增益表中每个子区域对应的目标增益值为一个；
当为彩色图像时，所述差异比值包括所述处理前图像以及所述处理后图像之间每个子区域对应的三个通道的比值，所述更新后的目标增益表中每个子区域对应的目标增益值为三个，每个子区域对应的每个目标增益值对应一个通道。
9.一种图像降噪装置，其特征在于，包括：
增益表更新模块，用于当增益值计算单元接收到任一目标图像处理单元对应的处理前图像和处理后图像时，计算所述处理前图像以及所述处理后图像之间的差异比值，并基于所述差异比值更新预设存储空间中的目标增益表，更新后的目标增益表包括所述处理后图像上各个子区域对应的目标增益值；
增益表获取模块，用于若降噪单元接收到前一处理单元的输出图像，则从所述预设存储空间中获取更新后的目标增益表，以使所述降噪单元依据更新后的目标增益表对所述前一处理单元的输出图像进行降噪处理；
每个所述子区域至少包括一个像素点；所述增益表更新模块，还用于：
计算所述处理前图像以及所述处理后图像之间每个所述子区域对应的差异比值。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
11.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211474516.0A CN115713471B (zh) | 2022-11-23 | 2022-11-23 | 一种图像降噪方法及装置、存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211474516.0A CN115713471B (zh) | 2022-11-23 | 2022-11-23 | 一种图像降噪方法及装置、存储介质、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115713471A CN115713471A (zh) | 2023-02-24 |
| CN115713471B true CN115713471B (zh) | 2023-08-29 |
Family
ID=85234401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211474516.0A Active CN115713471B (zh) | 2022-11-23 | 2022-11-23 | 一种图像降噪方法及装置、存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115713471B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100791391B1 (ko) * | 2007-01-30 | 2008-01-07 | 삼성전자주식회사 | 노이즈 저감 방법 및 장치 |
| CN105894482A (zh) * | 2015-11-06 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 平衡各视点图像间亮度差异的方法及系统 |
| CN106618632A (zh) * | 2016-12-14 | 2017-05-10 | 无锡祥生医学影像有限责任公司 | 自动优化的超声成像系统及方法 |
| CN108038834A (zh) * | 2017-12-28 | 2018-05-15 | 努比亚技术有限公司 | 一种降低噪声的方法、终端和计算机可读存储介质 |
| CN113810674A (zh) * | 2021-09-06 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像处理方法与装置、终端及可读存储介质 |
| CN113890961A (zh) * | 2021-10-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法与装置、终端及可读存储介质 |
| CN114298944A (zh) * | 2021-12-30 | 2022-04-08 | 上海闻泰信息技术有限公司 | 图像增强方法、装置、设备和存储介质 |
-
2022
- 2022-11-23 CN CN202211474516.0A patent/CN115713471B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100791391B1 (ko) * | 2007-01-30 | 2008-01-07 | 삼성전자주식회사 | 노이즈 저감 방법 및 장치 |
| CN105894482A (zh) * | 2015-11-06 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 平衡各视点图像间亮度差异的方法及系统 |
| CN106618632A (zh) * | 2016-12-14 | 2017-05-10 | 无锡祥生医学影像有限责任公司 | 自动优化的超声成像系统及方法 |
| CN108038834A (zh) * | 2017-12-28 | 2018-05-15 | 努比亚技术有限公司 | 一种降低噪声的方法、终端和计算机可读存储介质 |
| CN113810674A (zh) * | 2021-09-06 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像处理方法与装置、终端及可读存储介质 |
| CN113890961A (zh) * | 2021-10-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法与装置、终端及可读存储介质 |
| CN114298944A (zh) * | 2021-12-30 | 2022-04-08 | 上海闻泰信息技术有限公司 | 图像增强方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115713471A (zh) | 2023-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11113795B2 (en) | Image edge processing method, electronic device, and computer readable storage medium | |
| US8103119B2 (en) | Image processing device, image processing method, image processing program product, and image-capturing device | |
| US8248483B2 (en) | Signal processing apparatus, signal processing method, control program, readable recording medium, solid-state image capturing apparatus, and electronic information device | |
| US9578211B2 (en) | Image de-noising methods and apparatuses using the same | |
| US8970745B2 (en) | Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed | |
| US8520969B2 (en) | Digital image processing apparatus and method | |
| KR101023944B1 (ko) | 영상 처리 장치 및 그 방법 | |
| CN111739041B (zh) | 图像边框的裁剪方法、装置及设备 | |
| CN112351195B (zh) | 图像处理方法、装置和电子系统 | |
| US11962917B2 (en) | Color adjustment method, color adjustment device, electronic device and computer-readable storage medium | |
| KR20210053377A (ko) | 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 | |
| US10051252B1 (en) | Method of decaying chrominance in images | |
| CN110351549B (zh) | 屏幕显示状态检测方法、装置、终端设备及可读存储介质 | |
| US11863873B2 (en) | Image capturing apparatus, method of controlling image capturing apparatus, and storage medium | |
| CN115082350A (zh) | 频闪图像处理方法、装置、电子设备和可读存储介质 | |
| CN115713471B (zh) | 一种图像降噪方法及装置、存储介质、计算机设备 | |
| CN117218039A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| JP2008219289A (ja) | 映像補正装置、映像表示装置、撮像装置および映像補正プログラム | |
| JP2010068465A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| US11122188B1 (en) | Image noise reduction device and method thereof | |
| US11828704B2 (en) | Spatial image processing for enhanced gas imaging systems and methods | |
| KR20160069452A (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
| CN113012051A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US20210366086A1 (en) | Method for image processing, image signal processor in terminal device | |
| US11696044B2 (en) | Image capturing apparatus, control method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |