CN114494080A - 一种图像生成方法、装置、电子设备及存储介质 - Google Patents

一种图像生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114494080A
CN114494080A CN202210308798.0A CN202210308798A CN114494080A CN 114494080 A CN114494080 A CN 114494080A CN 202210308798 A CN202210308798 A CN 202210308798A CN 114494080 A CN114494080 A CN 114494080A
Authority
CN
China
Prior art keywords
image
pixel point
pixel
acquisition equipment
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210308798.0A
Other languages
English (en)
Inventor
汝佩哲
周晓
朱才志
王林
孙耀晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelingda Information Technology Shenzhen Co ltd
Original Assignee
Intelingda Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelingda Information Technology Shenzhen Co ltd filed Critical Intelingda Information Technology Shenzhen Co ltd
Priority to CN202210308798.0A priority Critical patent/CN114494080A/zh
Publication of CN114494080A publication Critical patent/CN114494080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像生成方法、装置、电子设备及存储介质。方案如下：获取图像采集设备在无光照条件下采集的第一图像；获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值；针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值；基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像；根据第一图像和第四图像，生成目标图像。通过本申请实施例提供的技术方案，降低了噪声模拟的复杂性，提高了噪声模拟的准确性，从而提高了生成的图像的准确性。

Description

一种图像生成方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像生成方法、装置、电子设备及存储介质。
背景技术
目前，在对图像采集设备采集到的图像进行分析时，除了对白天正常光照下采集到的清晰图像进行分析，还需要对黑夜等低照度情况下采集到的图像进行分析。由于低照度情况下采集到的图像中包括光子散粒噪声、读入噪声、行噪声、量化噪声等噪声信号，这导致图像采集设备所采集到的图像的清晰度较差。为了提高低照度情况下采集到的图像的清晰度，可以利用暗光增强技术，对采集到的图像进行图像增强处理，便于后期的图像分析过程。
相关技术中，暗光增强技术是基于训练好的图像增强模型进行的，该图像增强模型又是通过大量的训练数据训练得到的。在训练数据中包括大量图像组，每一图像组包括亮光条件下采集的亮光图像和该亮光图像对应低照度条件下的目标图像。其中，目标图像是对亮光图像进行亮度调整后，添加各种噪声模拟得到的。
在上述目标图像获取过程中，所有噪声信号均是通过人工标定的方式模拟的，这使得噪声模拟过程较为复杂，影响噪声模拟的准确性，从而影响生成的图像的准确性。
发明内容
本申请实施例的目的在于提供一种图像生成方法、装置、电子设备及存储介质，以降低噪声模拟的复杂性，提高噪声模拟的准确性，从而提高生成的图像的准确性。具体技术方案如下：
本申请实施例还提供了一种图像生成方法，所述方法包括：
获取图像采集设备在无光照条件下采集的第一图像；
获取所述图像采集设备在第一环境光亮度下采集的第二图像，所述第一环境光亮度大于第一亮度阈值；
针对所述第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到所述第二图像在第二环境光亮度下对应的第三图像，所述第二环境光亮度小于所述第一亮度阈值；
基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像；
根据所述第一图像和所述第四图像，生成目标图像。
可选的，所述无光照条件为所述图像采集设备的镜头完全遮挡；或者，
所述无光照条件为所述图像采集设备的镜头完全遮挡，且曝光时长为所述图像采集设备的预设曝光时长的最小值。
可选的，所述基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像的步骤，包括：
针对所述第三图像中的每一像素点，计算该像素点的第二像素值与所述图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；
在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数；
计算每一像素点对应的第二电荷数与所述系统总增益的乘积，得到第四图像。
可选的，所述图像采集设备的系统总增益的计算步骤包括：
获取所述图像采集设备采集的包含灰阶板的多个第五图像；
针对所述第五图像中的每一像素点，计算该像素点在所述多个第五图像中的第三像素值对应的均值和方差；
以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；
将所述目标直线的斜率，确定为所述图像采集设备的系统总增益。
可选的，所述根据所述第一图像和所述第四图像，生成目标图像的步骤，包括：
计算所述第一图像和所述第四图像中相同位置处像素点的像素值的和值，得到目标图像。
可选的，所述方法还包括：
以所述目标图像为输入图像，所述目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至所述待训练图像增强模型收敛，得到训练好的图像增强模型。
本申请实施例还提供了一种图像生成装置，所述装置包括：
第一获取模块，用于获取图像采集设备在无光照条件下采集的第一图像；
第二获取模块，用于获取所述图像采集设备在第一环境光亮度下采集的第二图像，所述第一环境光亮度大于第一亮度阈值；
第一确定模块，用于针对所述第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到所述第二图像在第二环境光亮度下对应的第三图像，所述第二环境光亮度小于所述第一亮度阈值；
添加模块，用于基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像；
生成模块，用于根据所述第一图像和所述第四图像，生成目标图像。
可选的，所述无光照条件为所述图像采集设备的镜头完全遮挡；或者，
所述无光照条件为所述图像采集设备的镜头完全遮挡，且曝光时长为所述图像采集设备的预设曝光时长的最小值。
可选的，所述添加模块，具体用于
针对所述第三图像中的每一像素点，计算该像素点的第二像素值与所述图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；
在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数；
计算每一像素点对应的第二电荷数与所述系统总增益的乘积，得到第四图像。
可选的，所述装置还包括：
第三获取模块，用于获取所述图像采集设备采集的包含灰阶板的多个第五图像；
计算模块，用于针对所述第五图像中的每一像素点，计算该像素点在所述多个第五图像中的第三像素值对应的均值和方差；
拟合模块，用于以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；
第二确定模块，用于将所述目标直线的斜率，确定为所述图像采集设备的系统总增益。
可选的，所述生成模块，具体用于计算所述第一图像和所述第四图像中相同位置处像素点的像素值的和值，得到目标图像。
可选的，所述装置还包括：
训练模块，用于以所述目标图像为输入图像，所述目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至所述待训练图像增强模型收敛，得到训练好的图像增强模型。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像生成方法步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像生成方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像生成方法。
本申请实施例有益效果：
本申请实施例提供的技术方案，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的图像生成方法的第一种流程示意图；
图2为本申请实施例提供的图像生成方法的第二种流程示意图；
图3为本申请实施例提供的系统总增益计算方法的一种流程示意图；
图4为本申请实施例提供的灰阶板的一种示意图；
图5为本申请实施例提供的方差与均值间对应关系的一种示意图；
图6为本申请实施例提供的图像生成方法的第三种流程示意图；
图7为本申请实施例提供的图像增强模型处理过程的一种示意图；
图8为本申请实施例提供的图像增强处理过程的一种示意图；
图9-a为图像采集设备在极暗光条件下采集到的原始图像；
图9-b为采用本申请实施例提供的方法生成的模拟图像；
图9-c为采用相关技术生成的模拟图像；
图9-d为采用本申请实施例生成的图像训练得到的图像增强模型所对应的图像增强效果图；
图9-e采用相关技术生成的图像训练得到的图像增强模型所对应的图像增强效果图；
图10为本申请实施例提供的图像生成装置的一种结构示意图；
图11为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了解决相关技术中的问题，本申请实施例提供了一种图像生成方法。该方法应用于任一电子设备。
如图1所示，图1为本申请实施例提供的图像生成方法的第一种流程示意图。该方法包括以下步骤。
步骤S101，获取图像采集设备在无光照条件下采集的第一图像。
步骤S102，获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值。
步骤S103，针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值。
步骤S104，基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像。
步骤S105，根据第一图像和第四图像，生成目标图像。
通过图1所示的方法，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
下面通过具体的实施例，对本申请实施例进行说明。
针对上述步骤S101，即获取图像采集设备在无光照条件下采集的第一图像。
在本步骤中，图像采集设备可以在无光照环境下进行图像采集，得到第一图像。电子设备获取图像采集设备采集到的第一图像。
上述图像采集设备与上述电子设备可以为同一设备，也可以为不同的设备。在此，对上述电子设备不作具体限定。
一个可选的实施例中，上述无光照条件可以表示为：图像采集设备的镜头完全遮挡。上述第一图像的采集可以表示为：在图像采集设备的镜头完全遮挡的情况下，例如，盖上图像采集设备的镜头盖时，图像采集设备进行图像采集，得到第一图像。
另一个可选的实施例中，上述无光照条件可以表示为：无光照的空间，如暗室。上述第一图像的采集可以表示为：图像采集设备在无光照的空间中进行图像采集，得到第一图像。
再一个可选的实施例中，上述无光照条件还可以表示为：无光照的空间、且图像采集设备的镜头完全遮挡。
考虑到图像采集过程的长时间曝光，可能导致上述第一图像中引入多余的噪声。因此，在采集上述第一图像时，还可以对图像采集设备的曝光时长进行控制。
一个可选的实施例中，上述无光照条件可以表示为：图像采集设备的镜头完全遮挡，且曝光时长为图像采集设备的预设曝光时长的最小值。上述第一图像的采集可以表示为：在图像采集设备的镜头完全遮挡，并且图像采集设备的曝光时长最小的情况下，图像采集设备进行图像采集，得到第一图像。
针对不同的图像采集设备，预设曝光时长有所不同，预设曝光时长的最小值也有所不同。例如，上述预设曝光时长的最小值可以为微秒级的曝光时长，如1微秒等，也可以为毫秒级的曝光时长，如1毫秒等。在此，对上述预设曝光时长不作具体限定。
在本申请实施例中，上述无光照条件可以根据图像采集设备所在的场景进行设置，在此，对上述无光照条件以及第一图像的采集方式不作具体限定。
一个可选的实施例中，上述第一图像可以为图像采集设备采集到的未经加工（RAW）图像，红绿蓝（Red Green Blue，RGB）图像等。在此，对上述第一图像不作具体限定。
一个可选的实施例中，为了提高上述第一图像中每一像素点的像素值的准确性，扩大不同像素点间像素值间的差异性，上述第一图像可以为未经过色调映射（ToneMapping）等处理的图像，如上述RAW图像。也就是第一图像中的图像数据为图像采集设备的CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）或者CCD（Charge Coupled Device，电荷耦合器件）图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
相关技术中，上述RAW图像所对应像素点像素值的取值范围与图像采集设备的位数有关。例如，图像采集设备为10位的，RAW图像中每一像素点像素值的取值范围为：[0，210=1024]。相比于RGB图像中每一像素点像素值的取值范围：[0,255]，RAW图像中每一像素点的像素值的取值范围更大，有效扩大了不同像素点像素值间的差异性，使得后期生成的图像的准确性更高。
在本申请实施例中，由于暗光条件下采集的到图像中的多种噪声中，除光子散粒噪声与光照有关，其他噪声均与光照无关，因此，通过获取图像采集设备在无光照条件下的第一图像，可以使得第一图像准确反映除光子散粒噪声以外的其他噪声对图像采集设备成像效果的影响，也就是第一图像中每一像素点的像素值分布特征满足除光子散粒噪声以外的其他噪声对图像成像效果的影响。
针对上述步骤S102，即获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值。
在本步骤中，当环境光亮度为第一环境光亮度时，图像采集设备进行图像采集，得到第一环境光亮度下的第二图像。电子设备获取该第二图像。其中，第一环境光亮度大于第一亮度阈值。
一个可选的实施例中，为了保证采集得到的第二图像的清晰度，上述第一环境光亮度可以为白天正常光照下的环境光亮度。也就是当环境光亮度大于第一亮度阈值时，指示该环境光亮度为白天正常光照下的环境光亮度。上述第一环境光亮度和第一亮度阈值可以根据图像采集设备的应用场景以及用户需求等进行设定，在此，对上述第一环境光亮度和第一亮度阈值不作具体限定。
一个可选的实施例中，上述第二图像可以为上述RAW图像或RGB图像。关于上述第二图像可参照上述第一图像的描述，在此不作具体说明。
在本申请实施例中，对上述步骤S101和步骤S102的执行顺序不作具体限定。
针对上述步骤S103，即针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值。
在本步骤中，针对上述第二图像中的每一像素点，电子设备可以计算该像素点的像素值（记为第一像素值）与预设数值的商，也就是将该像素点的第一像素值除以预设数值，得到该像素点对应的第二像素值。此时，电子设备可以将上述第二图像中每一像素点所对应的第二像素值所构成的图像，确定为第二图像在第二环境光亮度下对应的第三图像。
上述第三图像中每一像素点对应的像素值即为第二图像中相同位置处像素点所对应的第二像素值。上述第二环境光亮度小于上述第一亮度阈值。
一个可选的实施例中，为了保证后期生成的目标图像更加趋近于真实场景中采集到的黑夜等极端低照度下的图像，上述第二环境光亮度可以为黑夜等低照度情况下对应的环境光亮度。例如，第二环境光亮度可以小于第二亮度阈值，该第二亮度阈值小于上述第一亮度阈值。也就是当环境光亮度小于第二亮度阈值时，指示该环境光亮度为暗光条件下的环境光亮度。上述第二环境光亮度根据图像采集设备的应用场景以及用户需求等进行设定，在此，对上述第二环境光亮度和第二亮度阈值不作具体限定。
一个可选的实施例中，上述预设数值可以为：上述图像采集设备在第一环境光亮度下采集的图像的像素值，与图像采集设备在第二环境光亮度下采集的图像的像素值间的比值。
另一个可选的实施例中，上述预设数据可以为：第一平均值与第二平均值的比值。其中，第一平均值为图像采集设备在第一环境光亮度下采集的多个图像的像素值的平均值，第二平均值为图像采集设备在第二环境光亮度下采集的多个图像的像素值平均值。
例如，根据相关技术中图像采集设备在白天采集到的图像像素值的平均值，与黑夜采集到的图像的像素值的平均值，可以确定上述预设数值的取值范围为：5-15。
由于像素点的像素值越小，图像的视觉效果越接近黑色，因此，在本申请实施例中，通过计算上述第二图像中每一像素点的像素值与预设数值间的商，可以有效降低第二图像中各像素点的像素值，从而使得处理得到的第三图像的亮度相对于第二图像的亮度得到明显的降低。也就是在不改变第二图像所包括的图像细节的前提下，通过预设数值降低图像的亮度，从而得到包括相同图像细节但亮度较低的暗光图像（即上述第三图像）。此时，该第三图像中未包括上述图像采集设备在黑夜等极端低照度情况下引入的噪声信号，即上述光子散粒噪声、读入噪声、行噪声等。
一个可选的实施例中，在将该第二图像中每一像素点的第一像素值除以预设数值得到第二像素值后，基于RAW图像得到的第二像素值所对应的取值范围，大于基于RGB图像得到的第二像素值所对应的取值范围，因此，当第二图像为上述RAW图像时，通过上述步骤S103得到的第三图像中各像素点像素值的差异性更大，更有利于保证图像中的图像细节，提高后期生成的目标图像的准确度。
针对上述步骤S104，即基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像。
在本申请实施例中，上述光子散粒噪声与光照有关。该光子散粒噪声时由于光照导致图像采集设备所发送的电子不均匀而产生的，并且，光子散粒噪声在图像中的分布符合泊松分布，具体可以表示为：
Figure 336331DEST_PATH_IMAGE001
其中，
Figure 551412DEST_PATH_IMAGE002
为光子散粒噪声，函数
Figure 382534DEST_PATH_IMAGE003
表示泊松分布，
Figure 98686DEST_PATH_IMAGE004
为光电转化的电荷数。
电子设备在确定上述第三图像后，可以基于泊松分布，在该第三图像中添加泊松散粒噪声，得到包含光子散粒噪声的第三图像（记为第四图像）。关于泊松散粒噪声的具体添加方式可参见下文描述，在此不作具体说明。
相比于上述第三图像，上述第四图像中包括光子算子噪声，并不包含除光子散粒噪声以外的其他噪声，如上述读入噪声、行噪声等。
针对上述步骤S105，即根据第一图像和第四图像，生成目标图像。
在本申请实施例中，上述电子设备模拟得到的图像采集设备在黑夜等极端低照度情况下采集到的图像（记为目标图像）中的噪声数据
Figure 606022DEST_PATH_IMAGE005
可以表示为：
Figure 319900DEST_PATH_IMAGE006
其中，
Figure 912687DEST_PATH_IMAGE007
为上述图像采集设备的系统总增益，
Figure 42317DEST_PATH_IMAGE004
为上述光电转化的电荷数，
Figure 653427DEST_PATH_IMAGE008
为系统总噪声。
上述系统总噪声
Figure 288938DEST_PATH_IMAGE008
至少包括上述光子散粒噪声、读入噪声、行噪声和量化噪声，该系统总噪声
Figure 415026DEST_PATH_IMAGE008
可以表示为：
Figure 158467DEST_PATH_IMAGE009
其中，
Figure 624083DEST_PATH_IMAGE007
为上述图像采集设备的系统总增益，
Figure 696076DEST_PATH_IMAGE002
为光子散粒噪声，
Figure 919246DEST_PATH_IMAGE010
为读入噪声，
Figure 718575DEST_PATH_IMAGE011
为行噪声、
Figure 851747DEST_PATH_IMAGE012
为量化噪声。
上述噪声数据
Figure 78329DEST_PATH_IMAGE005
可以表示为：
Figure 867425DEST_PATH_IMAGE013
。
上述第一图像可以反映图像采集设备在无光照条件下采集到的图像中的读入噪声、行噪声和量化噪声，上述第四图像为第二图像在第二环境光亮度下对应的包含光子散粒噪声的图像。也就是根据第一图像和第四图像，可以生成包括上述系统总噪声的图像。因此，电子设备可以根据上述第一图像和第四图像生成上述目标图像。
一个可选的实施例中，上述步骤S105，根据第一图像和第四图像，生成目标图像，具体可以表示为：
计算第一图像和第四图像中相同位置处像素点的像素值的和值，得到目标图像。
针对上述第一图像中的每一像素点，该像素点的像素值的分布准确反映了该像素点所在位置处的除上述光子散粒噪声以外的其他噪声对图像成像效果的影响。针对上述第四图像中的每一像素点，该像素点的像素值的分布准确反映了该像素点所在位置在第二环境光亮度下的真实像素值以及光子散粒噪声对成像效果的影响。因此，通过将第一图像和第四图像中相同位置处像素点的像素值相加可以得到目标图像，该目标图像中每一像素点的像素值可以反映在第二环境光亮度下的真实像素值，以及光子散粒噪声和除光子散粒噪声以外的其他噪声对图像成像效果的影响，降低了生成的目标图像与真实场景采集到的图像间的误差，提高了目标图像的准确性。
在本申请实施例中，除光子散粒噪声以外的其他噪声是通过图像采集设备在无光照条件下采集得到，因此，除光子散粒噪声以外的其他噪声是通过图像采集设备真实采集得到的，可以准确反映图像采集设备在黑夜等极端低照度情况下所引入的噪声，有效的提高了除光子散粒噪声以外的其他噪声的准确性，从而提高了生成的目标图像的准确性。
一个可选的实施例中，根据上述图1所示的方法，本申请实施例还提供了图像生成方法。如图2所示，图2为本申请实施例提供的图像生成方法的第二种流程示意图。在图2所示的方法中，上述步骤S104可以细化为以下步骤，即步骤S1041-步骤S1043。
步骤S1041，针对第三图像中的每一像素点，计算该像素点的第二像素值与图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，系统总增益为：基于图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定。
在本申请实施例中，针对上述第三图像中的每一像素点，该像素点的像素值与图像采集设备的系统总增益值（即上述
Figure 470445DEST_PATH_IMAGE007
）的商即为上述光电转换的电荷数。因此，针对上述第三图像中的每一像素点，电子设备可以计算该像素点的第二像素值与图像采集设备的系统总增益的商，也就是将像素点的第二像素值除以图像采集设备的系统总增益，得到该像素点对应的光电转化的电荷数（记为第一电荷数）。
上述图像采集设备的系统总增益的计算可参见下文描述，在此不作具体说明。
步骤S1042，在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数。
在本步骤中，电子设备在确定上述第三图像中每一像素点对应的第一电荷数后，可以针对第三图像中的每一像素点，基于泊松分布，在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数。
步骤S1043，计算每一像素点对应的第二电荷数与系统总增益的乘积，得到第四图像。
在本步骤中，针对上述第三图像中的每一像素点，电子设备可以计算该像素点对应的第二电荷数与图像采集设备的系统总增益的乘积，也就是将该像素点对应的第二电荷数乘以图像采集设备的系统总增益，得到添加光子散粒噪声后该像素点对应像素值。此时，电子设备可以将第三图像中添加光子散粒噪声后每一像素点对应像素值所构成的图像，确定为上述第四图像。
通过上述步骤S1041-步骤S1043，电子设备可以基于泊松分布，在上述第三图像中添加泊松散粒噪声（即光子散粒噪声），得到在第二环境光亮度下、包含光子散粒噪声的第四图像。
基于同一种构思，根据图2所示的方法，本申请实施例还提供了一种系统总增益计算方法，如图3所示，图3为本申请实施例提供的系统总增益计算方法的一种流程示意图。该方法包括以下步骤。
步骤S301，获取图像采集设备采集的包含灰阶板的多个第五图像。
在本步骤中，图像采集设备可以对灰阶板进行图像采集，得到多个包括灰阶板的图像（记为第五图像）。电子设备获取图像采集设备所采集到的多个第五图像。
一个可选的实施例中，上述灰阶板为：表面像素值渐变的灰度图，具体如图4所示，图4为本申请实施例提供的灰阶板的一种示意图。
图像采集设备在对图4所示的灰阶板进行采集后，将得到像素值自左向右逐渐增大的第五图像。
一个可选的实施例中，为了保证采集到的第五图像的清晰度，图像采集设备可以在预设环境光亮度下采集上述第五图像。其中，预设环境光亮度阈值可以为上述第一环境光亮度，也可以小于第一环境光亮度，且大于上述第二环境光亮度。在此，对上述预设环境光亮度阈值不作具体限定。
在本申请实施例中，上述采集到的第五图像的数量可以根据用户需求等进行设置，例如，第五图像的数量可以为100等。在此，对上述第五图像的数量不作具体限定。
步骤S302，针对第五图像中的每一像素点，计算该像素点在多个第五图像中的第三像素值对应的均值和方差。
在本步骤中，电子设备在获取到上述多个第五图像后，针对第五图像中的每一像素点，电子设备可以计算所有第五图像中该像素点对应的第三像素值的均值和方差。也就是计算所有第五图像中相同位置处像素点的第三像素值的均值和方差。
步骤S303，以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线。
在本步骤中，针对上述第五图像中的每一像素点，电子设备将该像素点对应的均值和方差映射到二维坐标系中，该二维坐标系的X轴（即横坐标轴）为均值，Y轴（即纵坐标轴）为方差。此时，可以得到如图5所示的多个坐标点。图5为本申请实施例提供的方差与均值间对应关系的一种示意图。电子设备对映射得到的多个点进行直线拟合，得到目标直线。如图5所示的直线501。
一个可选的实施例中，上述目标直线可以表示为：
Figure 582757DEST_PATH_IMAGE014
其中，
Figure 733903DEST_PATH_IMAGE015
为像素点的像素值，
Figure 56300DEST_PATH_IMAGE016
为像素点对应的均值，
Figure 213742DEST_PATH_IMAGE017
为像素点对应的方差，
Figure 774037DEST_PATH_IMAGE018
为上述系统总增益，也就是目标直线的斜率，
Figure 827575DEST_PATH_IMAGE019
为目标直线的纵截距，也就是目标直线中横坐标（即均值）为0时的纵坐标（即方差）的数值。
步骤S304，将目标直线的斜率，确定为图像采集设备的系统总增益。
在本申请实施例中，上述目标直线的斜率
Figure 778213DEST_PATH_IMAGE007
即为上述图像采集设备的系统总增益。
一个可选的实施例中，在确定上述目标直线的斜率
Figure 723035DEST_PATH_IMAGE007
时，电子设备可以确定上述目标直线所对应的直线方程，从而确定该直线方程的斜率
Figure 622989DEST_PATH_IMAGE007
。
另一个可选的实施例中，在确定上述目标直线的斜率
Figure 362275DEST_PATH_IMAGE007
时，电子设备也可以根据目标直线上任意两点对应的横坐标值和纵坐标值，计算出目标直线的斜率
Figure 407067DEST_PATH_IMAGE007
。
在此，对上述目标直线的斜率
Figure 155580DEST_PATH_IMAGE007
的确定方式不作具体限定。
通过上述步骤S301-步骤S304，电子设备可以根据包含灰阶板的多个第五图像，准确确定出图像采集设备的系统总增益，有效提高了确定出的系统总增益的准确性。
一个可选的实施例中，根据上述图1所示的方法，本申请实施例还提供了一种图像生成方法，如图6所示，图6为本申请实施例提供的图像生成方法的第三种流程示意图。该方法包括以下步骤。
步骤S601，获取图像采集设备在无光照条件下采集的第一图像。
步骤S602，获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值。
步骤S603，针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值。
步骤S604，基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像。
步骤S605，根据第一图像和第四图像，生成目标图像。
上述步骤S601-步骤S605与上述步骤S101-步骤S105相同。
步骤S606，以目标图像为输入图像，目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至待训练图像增强模型收敛，得到训练好的图像增强模型。
在上述实施例中，为便于理解仅以一个第二图像为例，对第二图像对应的目标图像的生成为例。当上述图像采集设备采集到的第二图像的数量为多个时，电子设备可以按照上述步骤S603-步骤S605所示的步骤，生成每一第二图像对应的目标图像。
当上述第二图像的数量为多个时，电子设备在生成每一第二图像对应的目标图像后，针对每一目标图像，电子设备可以将该目标图像作为待训练图像增强模型的输入图像，并将该目标图像对应的第二图像为待训练图像增强模型的目标输出图像，对待训练图像增强模型训练，直至待训练图像增强模型收敛时，将当前时刻的待训练图像增强模型确定为训练好的图像增强模型。关于待训练图像增强模型的训练过程在此不作具体说明。
在上述待训练图像增强模型训练过程中，待训练图像增强模型的损失值为：根据待训练图像增强模型的输出图像与上述目标输出图像间的损失值。在此，对损失值的计算方式不作具体说明。
通过上述步骤S606，电子设备可以根据图像采集设备采集到的第二图像以及第二图像对应的目标图像，训练得到图像增强模型，提高了图像增强模型训练的便利性，以及训练得到的图像增强模型的准确性。
在上述图6所示的实施例中，上述待训练图像增强模型的目标输出图像为上述第二图像，除此以外，上述待训练图像增强模型的目标输出图像还可以为上述第二图像所对应的第三图像。在此，对上述待训练图像增强模型的目标输出图像不作具体限定。
一个可选的实施例中，在训练得到上述图像增强模型后，电子设备可以利用上述训练好的图像增强模型，对图像采集设备在黑夜等极端低照度情况下采集到的图像进行图像增强处理。
一个可选的实施例中，上述图像增强模型可以为U型架构卷积神经网络（U-net）等图像增强模型。在此，对上述图像增强模型不作具体限定。为便于理解，下面以图像增强模型可以为U-net为例进行说明，并不起限定作用。
如图7所示，图7为本申请实施例提供的图像增强模型处理过程的一种示意图。
在图7所示的图像增强模型中，该图像增强网模型可以包含编码部分（即图7中左侧部分）以及解码部分（即图7中右侧部分）。
上述图像增强模型中，编码部分可以包括多个网络层，解码部分也可以包含多个网络层，并且，编码部分和解码部分所包含的网络层的数目相同。例如，图7中自上而下的第一个网络层、第二个网络层、第三个网络层、第四个网络层、第五个网络层。图7仅以5个网络层为例进行说明，并不起任何限定作用。
在上述图像增强模型中，解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
图7所示的图像增强模型中的数字表示通道数，编码部分和解码部分中向右的实心箭头，如箭头701表示卷积（Convolution）操作，卷积核的大小为3*3；向下的实心箭头，如箭头702表示最大池化（Max Pool）操作，池化窗口的大小为2*2；向上的实心箭头，如箭头703表示转置卷积（Transposed Convolution）操作，卷积核的大小为2*2，转置卷积也就是上采样处理；向右的空心箭头，如箭头704表示卷积，卷积核的大小为1*1。编码部分与解码部分之间的箭头，如箭头705表示叠加处理。
图7中，输入数据为输入图像的4个颜色通道（即红绿绿蓝4个颜色通道，简称RGGB）上的图像数据，输出数据为输入图像4个颜色通道上图像数据所对应的经过图像增强处理后的图像数据。每一通道的图像数据可以称为一个特征图。
在图7所示的编码部分的第一个网络层的输入数据为4个颜色通道的特征图，经过该网络层处理后，可以得到32个特征图；经过编码部分的第二个网络层处理后，可以得到64个特征图；经过编码部分的第三个网络层处理后，可以得到128个特征图；经过编码部分的第四个网络层处理后，可以得到256个特征图；经过编码部分的第五个网络层处理后，可以得到512个特征图。
解码部分的第五个网络层的输入数据为512个特征图，经过该网络层处理后，可以得到512个特征图。对该512个特征图进行上采样后，可以得到256个特征图，并分别与编码部分的第四个网络层得到的256个特征图进行叠加，叠加结果仍为256个特征图。然后，可以将叠加得到的256个特征图输入至解码部分的第四个网络层，得到256个特征图。对解码部分的第四个网络层输出的256个特征图进行上采样，得到128个特征图，并分别与编码部分的第三个网络层得到的128个特征图进行叠加，叠加结果仍为128个特征图，并输入至解码部分的第三个网络层。
以此类推，解码部分的第一个网络层的输入数据为：对解码部分的第二个网络层输出的64个特征图上采样得到的32个特征图，与编码部分的第一个网络层输出的32个特征图的叠加结果。解码部分的第一个网络层输出4个颜色通道的特征图。
为便于理解，结合图8为例进行说明。图8为本申请实施例提供的图像增强处理过程的一种示意图。
在图8中，图像采集设备在采集到原始图像后，可以对该原始图像进行拆分，得到4个颜色通道对应的输入图像，并将输入图像分别输出训练好的图像增强模型。图像增强模型将输出每一输入图像对应的输出图像，即RGGB颜色通道分别对应的输出图像，并对RGGB颜色通道分别对应的输出图像进行打包，得到增强后的图像（即图8所示的增强图像）。
在本申请实施例提供所提供的图像生成方法中，通过提高噪声模拟的准确性的方式，提高了生成的图像的准确性，从而提高了基于生成的图像训练得到的图像增强模型的准确性。
为便于理解，结合图9-a、图9-b、图9-c、图9-d、图9-e为例进行说明。图9-a为图像采集设备在极暗光条件下采集到的原始图像；图9-b为采用本申请实施例提供的方法生成的模拟图像，图9-c为采用相关技术生成的模拟图像；图9-d为采用本申请实施例生成的图像训练得到的图像增强模型所对应的图像增强效果图；图9-e采用相关技术生成的图像训练得到的图像增强模型所对应的图像增强效果图。
上述极暗光为环境光亮度小于0.001勒克斯（lux）下采集到的图像。在图9-a所示的原始图像中，由于噪声信号的影响导致该原始图像中存在多个竖条纹。
分别将图9-b和图9-c中的竖条纹与图9-a中的竖条纹进行对比，图9-c中的竖条纹是随机产生的，与图9-a中的竖条纹的分布并不匹配，而图9-b中的竖条纹基本与图9-a中的竖条纹所在的位置匹配，可见，采用本申请实施例所提供的图像生成方法所引入的噪声的准确性，明显高于相关技术中的图像生成方法所引入的噪声的准确性，有效缩小了生成的图像与图像采集设备所采集到的图像间的误差，提高了生成的图像的准确性。
另外，对比图9-d和图9-e，图9-d所示的图像增强效果图在图像细节以及图像清晰度等方面的图像增强效果，明显高于图9-e所示的图像增强效果图在图像细节以及图像清晰度等方面的图像增强效果。可见，基于本申请实施例提供的方法所生成的目标图像进行图像增强模型的训练，可以有效提高训练得到的图像增强模型对图像进行图像增强处理时的图像增强效果。
基于同一种发明构思，根据上述本申请实施例提供的图像生成方法，本申请实施例还提供了一种图像生成装置。如图10所示，图10为本申请实施例提供的图像生成装置的一种结构示意图。该装置包括以下模块。
第一获取模块1001，用于获取图像采集设备在无光照条件下采集的第一图像；
第二获取模块1002，用于获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值；
第一确定模块1003，用于针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值；
添加模块1004，用于基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像；
生成模块1005，用于根据第一图像和第四图像，生成目标图像。
可选的，上述无光照条件为图像采集设备的镜头完全遮挡；或者，
无光照条件为图像采集设备的镜头完全遮挡，且曝光时长为图像采集设备的预设曝光时长的最小值。
可选的，上述添加模块1004，具体可以用于针对第三图像中的每一像素点，计算该像素点的第二像素值与图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，系统总增益为：基于图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；
在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数；
计算每一像素点对应的第二电荷数与系统总增益的乘积，得到第四图像。
可选的，上述图像生成装置还可以包括：
第三获取模块，用于获取图像采集设备采集的包含灰阶板的多个第五图像；
计算模块，用于针对第五图像中的每一像素点，计算该像素点在多个第五图像中的第三像素值对应的均值和方差；
拟合模块，用于以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；
第二确定模块，用于将目标直线的斜率，确定为图像采集设备的系统总增益。
可选的，上述生成模块1005，具体可以用于计算第一图像和第四图像中相同位置处像素点的像素值的和值，得到目标图像。
可选的，上述图像生成装置还可以包括：
训练模块，用于以目标图像为输入图像，目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至待训练图像增强模型收敛，得到训练好的图像增强模型。
通过本申请实施例提供的装置，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
基于同一种发明构思，根据上述本申请实施例提供的图像生成方法，本申请实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现如下步骤：
获取图像采集设备在无光照条件下采集的第一图像；
获取图像采集设备在第一环境光亮度下采集的第二图像，第一环境光亮度大于第一亮度阈值；
针对第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到第二图像在第二环境光亮度下对应的第三图像，第二环境光亮度小于第一亮度阈值；
基于泊松分布，在第三图像中添加光子散粒噪声，得到第四图像；
根据第一图像和第四图像，生成目标图像。
通过本申请实施例提供的电子设备，可以分别获取图像采集设备在无光照条件下采集的第一图像，以及图像采集设备在大于第一亮度阈值的第一环境光亮度下采集的第二图像，针对第二图像中的每一像素点，通过将该像素点的第一像素值与预设数值相除，得到第二图像在小于第一亮度阈值的第二环境光亮度下的第三图像，并在该第三图像中添加光子散粒噪声，得到第四图像，根据第一图像和第四图像生成目标图像。
相比于相关技术，通过第二图像中每一像素点的像素值与预设数值的相除，可以使得第三图像为第二图像所对应的暗光图像，在此基础上，考虑到光子散粒噪声与光照强度有关，并且，光子散粒噪声的分布符合泊松分布，因此，基于泊松分布，在第三图像中添加光子散粒噪声，有效提高了光子散粒噪声的准确性，从而提高了基于第四图像生成的目标图像的准确性。
再者，针对低光照条件下引入的除光子散粒噪声以外的其他噪声，通过获取图像采集设备在无光照条件下的第一图像，可以准确的反映除光子散粒噪声以外的其他噪声对图像成像效果的影响，也就是第一图像中包括了除光子散粒噪声以外的所有噪声，这使得除光子散粒噪声以外的其他噪声不再依赖人工模拟得到，有效降低了其他噪声模拟复杂性，提高了其他噪声的准确性，从而提供了基于第一图像生成的目标图像的准确性。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于同一种发明构思，根据上述本申请实施例提供的图像生成方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像生成方法的步骤。
基于同一种发明构思，根据上述本申请实施例提供的图像生成方法，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序产品等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种图像生成方法，其特征在于，所述方法包括：
获取图像采集设备在无光照条件下采集的第一图像；
获取所述图像采集设备在第一环境光亮度下采集的第二图像，所述第一环境光亮度大于第一亮度阈值；
针对所述第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到所述第二图像在第二环境光亮度下对应的第三图像，所述第二环境光亮度小于所述第一亮度阈值；
基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像；
根据所述第一图像和所述第四图像，生成目标图像。
2.根据权利要求1所述的方法，其特征在于，所述无光照条件为所述图像采集设备的镜头完全遮挡；或者，
所述无光照条件为所述图像采集设备的镜头完全遮挡，且曝光时长为所述图像采集设备的预设曝光时长的最小值。
3.根据权利要求1所述的方法，其特征在于，所述基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像的步骤，包括：
针对所述第三图像中的每一像素点，计算该像素点的第二像素值与所述图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；
在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数；
计算每一像素点对应的第二电荷数与所述系统总增益的乘积，得到第四图像。
4.根据权利要求3所述的方法，其特征在于，所述图像采集设备的系统总增益的计算步骤包括：
获取所述图像采集设备采集的包含灰阶板的多个第五图像；
针对所述第五图像中的每一像素点，计算该像素点在所述多个第五图像中的第三像素值对应的均值和方差；
以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；
将所述目标直线的斜率，确定为所述图像采集设备的系统总增益。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第四图像，生成目标图像的步骤，包括：
计算所述第一图像和所述第四图像中相同位置处像素点的像素值的和值，得到目标图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
以所述目标图像为输入图像，所述目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至所述待训练图像增强模型收敛，得到训练好的图像增强模型。
7.一种图像生成装置，其特征在于，所述装置包括：
第一获取模块，用于获取图像采集设备在无光照条件下采集的第一图像；
第二获取模块，用于获取所述图像采集设备在第一环境光亮度下采集的第二图像，所述第一环境光亮度大于第一亮度阈值；
第一确定模块，用于针对所述第二图像中的每一像素点，将该像素点的第一像素值与预设数值的商确定为该像素点对应的第二像素值，得到所述第二图像在第二环境光亮度下对应的第三图像，所述第二环境光亮度小于所述第一亮度阈值；
添加模块，用于基于泊松分布，在所述第三图像中添加光子散粒噪声，得到第四图像；
生成模块，用于根据所述第一图像和所述第四图像，生成目标图像。
8.根据权利要求7所述的装置，其特征在于，所述无光照条件为所述图像采集设备的镜头完全遮挡；或者，
所述无光照条件为所述图像采集设备的镜头完全遮挡，且曝光时长为所述图像采集设备的预设曝光时长的最小值。
9.根据权利要求7所述的装置，其特征在于，所述添加模块，具体用于
针对所述第三图像中的每一像素点，计算该像素点的第二像素值与所述图像采集设备的系统总增益的商，作为该像素点对应的第一电荷数；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第五图像的第三像素值的分布情况确定；
在该像素点对应的第一电荷数的基础上，添加泊松散粒噪声，得到该像素点对应的第二电荷数；
计算每一像素点对应的第二电荷数与所述系统总增益的乘积，得到第四图像。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取所述图像采集设备采集的包含灰阶板的多个第五图像；
计算模块，用于针对所述第五图像中的每一像素点，计算该像素点在所述多个第五图像中的第三像素值对应的均值和方差；
拟合模块，用于以均值为横坐标，方差为纵坐标，对各像素点对应的均值和方差进行直线拟合，得到目标直线；
第二确定模块，用于将所述目标直线的斜率，确定为所述图像采集设备的系统总增益。
11.根据权利要求7所述的装置，其特征在于，所述生成模块，具体用于计算所述第一图像和所述第四图像中相同位置处像素点的像素值的和值，得到目标图像。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
训练模块，用于以所述目标图像为输入图像，所述目标图像对应的第二图像为目标输出图像，对待训练图像增强模型进行训练，直至所述待训练图像增强模型收敛，得到训练好的图像增强模型。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202210308798.0A 2022-03-28 2022-03-28 一种图像生成方法、装置、电子设备及存储介质 Pending CN114494080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210308798.0A CN114494080A (zh) 2022-03-28 2022-03-28 一种图像生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210308798.0A CN114494080A (zh) 2022-03-28 2022-03-28 一种图像生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114494080A true CN114494080A (zh) 2022-05-13

Family

ID=81488246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210308798.0A Pending CN114494080A (zh) 2022-03-28 2022-03-28 一种图像生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114494080A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051449A (zh) * 2022-08-11 2023-05-02 荣耀终端有限公司 图像噪声估计方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959559A (zh) * 2016-06-08 2016-09-21 维沃移动通信有限公司 一种夜景拍摄方法及移动终端
CN113256537A (zh) * 2021-06-22 2021-08-13 英特灵达信息技术(深圳)有限公司 一种图像数据生成方法和装置
CN113538223A (zh) * 2021-07-28 2021-10-22 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质
CN113645419A (zh) * 2021-08-06 2021-11-12 商汤集团有限公司 图像处理方法及装置、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959559A (zh) * 2016-06-08 2016-09-21 维沃移动通信有限公司 一种夜景拍摄方法及移动终端
CN113256537A (zh) * 2021-06-22 2021-08-13 英特灵达信息技术(深圳)有限公司 一种图像数据生成方法和装置
CN113538223A (zh) * 2021-07-28 2021-10-22 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质
CN113645419A (zh) * 2021-08-06 2021-11-12 商汤集团有限公司 图像处理方法及装置、电子设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051449A (zh) * 2022-08-11 2023-05-02 荣耀终端有限公司 图像噪声估计方法及装置
CN116051449B (zh) * 2022-08-11 2023-10-24 荣耀终端有限公司 图像噪声估计方法及装置

Similar Documents

Publication Publication Date Title
US11995800B2 (en) Artificial intelligence techniques for image enhancement
Xu et al. Real-world noisy image denoising: A new benchmark
US10205896B2 (en) Automatic lens flare detection and correction for light-field images
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Wei et al. Physics-based noise modeling for extreme low-light photography
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN113256537B (zh) 一种图像数据生成方法和装置
US7949182B2 (en) Combining differently exposed images of the same object
WO2023086194A1 (en) High dynamic range view synthesis from noisy raw images
Pan et al. Multi-exposure high dynamic range imaging with informative content enhanced network
CN113538223A (zh) 噪声图像生成方法、装置、电子设备及存储介质
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN114494080A (zh) 一种图像生成方法、装置、电子设备及存储介质
US11443414B2 (en) Image signal processing
CN111726530B (zh) 一种多路视频流获取方法、装置及设备
CN117916765A (zh) 用于去噪和低精度图像处理的非线性图像强度变换的系统和方法
CN117156289A (zh) 色彩风格校正方法、系统、电子设备、存储介质及芯片
WO2023211742A1 (en) Image processing method, electronic system and a non-transitory computer-readable medium
CN114418873B (zh) 一种暗光图像降噪方法及装置
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN112950509A (zh) 一种图像处理方法、装置及电子设备
TWI590192B (zh) 適應性高動態範圍影像合成演算法
CN111479074A (zh) 图像采集方法、装置、计算机设备和存储介质
CN113034553A (zh) 图像配准算法的评估方法、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220513

RJ01 Rejection of invention patent application after publication