CN113256537B - 一种图像数据生成方法和装置 - Google Patents

一种图像数据生成方法和装置 Download PDF

Info

Publication number
CN113256537B
CN113256537B CN202110690725.8A CN202110690725A CN113256537B CN 113256537 B CN113256537 B CN 113256537B CN 202110690725 A CN202110690725 A CN 202110690725A CN 113256537 B CN113256537 B CN 113256537B
Authority
CN
China
Prior art keywords
image
pixel value
pixel
value
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110690725.8A
Other languages
English (en)
Other versions
CN113256537A (zh
Inventor
朱才志
汝佩哲
周晓
王林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelingda Information Technology Shenzhen Co ltd
Original Assignee
Intelingda Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelingda Information Technology Shenzhen Co ltd filed Critical Intelingda Information Technology Shenzhen Co ltd
Priority to CN202110690725.8A priority Critical patent/CN113256537B/zh
Publication of CN113256537A publication Critical patent/CN113256537A/zh
Application granted granted Critical
Publication of CN113256537B publication Critical patent/CN113256537B/zh
Priority to PCT/CN2022/076725 priority patent/WO2022267494A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明实施例提供了一种图像数据生成方法和装置，涉及图像处理技术领域，方法包括：基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到第一图像中每一像素点的第一像素值；将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；第二预设亮度阈值小于第一预设亮度阈值；针对每一像素点，在该像素点对应的第二像素值的基础上，基于图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；基于各个第三像素值，生成第一图像对应的，环境光亮度小于第二预设亮度阈值的目标图像的原始像素值。如此，能够提高图像数据的生成效率。

Description

一种图像数据生成方法和装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像数据生成方法和装置。
背景技术
随着计算机技术的快速发展，利用图像采集设备采集图像，并对图像进行处理的方式，被广泛应用于安防、智能交通等各个方面。然而，当环境光亮度不足时，会导致图像采集设备采集到的图像包含较多的噪声，使得图像不清晰，进而，会降低处理结果的准确度。
为此，可以基于图像增强网络模型对采集到的图像进行图像增强处理，以去除采集到的图像中的噪声。然而，对图像增强网络模型进行训练需要大量的样本图像。相关技术中，通常由技术人员手动通过图像采集设备分别采集环境光亮度充足和环境光亮度不足情况下的样本图像，进而，将采集到的样本图像的图像数据作为训练样本，对预设结构的图像增强网络模型进行训练。
可见，相关技术中，由人工通过图像采集设备采集图像，会降低图像数据的生成效率。
发明内容
本发明实施例的目的在于提供一种图像数据生成方法和装置，以提高图像数据的生成效率。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例公开了一种图像数据生成方法，所述方法包括：
基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值；
将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；其中，所述预设倍数为：所述图像采集设备在环境光亮度大于所述第一预设亮度阈值时采集的第二图像，与在环境光亮度小于第二预设亮度阈值时采集的第三图像的原始像素值的比值；所述第二预设亮度阈值小于所述第一预设亮度阈值；
针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定；
基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
可选的，所述针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值，包括：
针对每一像素点，将该像素点对应的第二像素值除以所述图像采集设备的系统总增益，得到该像素点对应的电荷数，作为第一电荷数；
在该像素点对应的第一电荷数的基础上，添加泊松噪声，得到该像素点对应的第二电荷数；
将该像素点对应的第二电荷数乘以所述系统总增益，得到该像素点对应的第三像素值。
可选的，所述系统总增益的计算过程包括：
获取所述图像采集设备采集的包含灰阶板的多个第四图像；
针对每一像素点，计算该像素点在各个第四图像中的原始像素值的均值和方差；
以均值为横坐标，方差为纵坐标，对各个像素点对应的均值和方差进行直线拟合，得到目标直线；
将所述目标直线的斜率，确定为所述系统总增益。
可选的，所述基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值，包括：
针对各个像素点，在对应的第三像素值的基础上，添加读入噪声和/或行噪声，得到各像素点对应的第四像素值；
基于各个第四像素值，得到所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
可选的，所述读入噪声符合第一高斯分布，所述第一高斯分布的均值为0，方差为所述目标直线中横坐标为0时的纵坐标的数值的平方根；
所述行噪声符合第二高斯分布，所述第二高斯分布的均值为0，方差为所述图像采集设备在曝光时间为0，且入射光强为0时采集的第五图像中各行像素值的标准差；一个行像素值为所述第五图像中一行像素点的原始像素值的均值。
可选的，在所述基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值之后，所述方法还包括：
将所述目标图像的原始像素值作为输入数据，以及将所述第一像素值作为对应的输出数据，对待训练的图像增强网络模型进行训练，直至收敛，得到图像增强网络模型。
可选的，所述图像增强网络模型包含编码部分和解码部分，所述解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与所述编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
可选的，所述基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值，包括：
获取环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的RAW数据中各像素点的像素值，作为待处理像素值；
将每一待处理像素值分别减去所述图像采集设备的黑电平值，得到所述第一图像中每一像素点的第一像素值。
第二方面，为了达到上述目的，本发明实施例公开了一种图像数据生成装置，所述装置包括：
第一像素值获取模块，用于基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值；
第二像素值获取模块，用于将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；其中，所述预设倍数为：所述图像采集设备在环境光亮度大于所述第一预设亮度阈值时采集的第二图像，与在环境光亮度小于第二预设亮度阈值时采集的第三图像的原始像素值的比值；所述第二预设亮度阈值小于所述第一预设亮度阈值；
第三像素值获取模块，用于针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定；
图像数据生成模块，用于基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
可选的，所述第三像素值获取模块，包括：
第一电荷数获取子模块，用于针对每一像素点，将该像素点对应的第二像素值除以所述图像采集设备的系统总增益，得到该像素点对应的电荷数，作为第一电荷数；
第二电荷数获取子模块，用于在该像素点对应的第一电荷数的基础上，添加泊松噪声，得到该像素点对应的第二电荷数；
第三像素值获取子模块，用于将该像素点对应的第二电荷数乘以所述系统总增益，得到该像素点对应的第三像素值。
可选的，所述装置还包括：
第四图像获取模块，用于获取所述图像采集设备采集的包含灰阶板的多个第四图像；
计算模块，用于针对每一像素点，计算该像素点在各个第四图像中的原始像素值的均值和方差；
直线拟合模块，用于以均值为横坐标，方差为纵坐标，对各个像素点对应的均值和方差进行直线拟合，得到目标直线；
系统总增益确定模块，用于将所述目标直线的斜率，确定为所述系统总增益。
可选的，所述图像数据生成模块，包括：
第四像素值获取子模块，用于针对各个像素点，在对应的第三像素值的基础上，添加读入噪声和/或行噪声，得到各像素点对应的第四像素值；
图像数据生成子模块，用于基于各个第四像素值，得到所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
可选的，所述读入噪声符合第一高斯分布，所述第一高斯分布的均值为0，方差为所述目标直线中横坐标为0时的纵坐标的数值的平方根；
所述行噪声符合第二高斯分布，所述第二高斯分布的均值为0，方差为所述图像采集设备在曝光时间为0，且入射光强为0时采集的第五图像中各行像素值的标准差；一个行像素值为所述第五图像中一行像素点的原始像素值的均值。
可选的，所述装置还包括：
训练模块，用于在所述基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值之后，将所述目标图像的原始像素值作为输入数据，以及将所述第一像素值作为对应的输出数据，对待训练的图像增强网络模型进行训练，直至收敛，得到图像增强网络模型。
可选的，所述图像增强网络模型包含编码部分和解码部分，所述解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与所述编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
可选的，所述第一像素值获取模块，包括：
待处理像素值获取子模块，用于获取环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的RAW数据中各像素点的像素值，作为待处理像素值；
第一像素值获取子模块，用于将每一待处理像素值分别减去所述图像采集设备的黑电平值，得到所述第一图像中每一像素点的第一像素值。
在本发明实施的另一方面，为了达到上述目的，本发明实施例还公开了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如上述第一方面所述的图像数据生成方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像数据生成方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像数据生成方法。
本发明实施例有益效果：
本发明实施例提供的图像数据生成方法，可以基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到第一图像中每一像素点的第一像素值；将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；其中，预设倍数为：图像采集设备在环境光亮度大于第一预设亮度阈值时采集的第二图像，与在环境光亮度小于第二预设亮度阈值时采集的第三图像的原始像素值的比值；第二预设亮度阈值小于第一预设亮度阈值；针对每一像素点，在该像素点对应的第二像素值的基础上，基于图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；其中，系统总增益为：基于图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定；基于各个第三像素值，生成第一图像对应的，环境光亮度小于第二预设亮度阈值的目标图像的原始像素值。
生成的目标图像的原始像素值是在第一图像的原始像素值的基础上除以预设倍数得到，即，目标图像的原始像素值能够表示环境光亮度较小时的图像。另外，目标图像的原始像素值为添加泊松噪声得到的，使得目标图像的原始像素值能够有效地模拟图像采集设备采集的图像中的噪声。因此，本发明实施例提供的图像数据生成方法，能够自动生成与环境光亮度充足时的图像对应的，环境光亮度不足的图像的图像数据。相对于现有技术中，由人工手动通过图像采集设备采集环境光亮度不足时的图像，能够提高图像数据的生成效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种图像数据生成方法的流程图；
图2为本发明实施例提供的另一种图像数据生成方法的流程图；
图3为本发明实施例提供的另一种图像数据生成方法的流程图；
图4为本发明实施例提供的一种计算系统总增益的方法的流程图；
图5为本发明实施例提供的一种灰阶板的示意图；
图6为本发明实施例提供的一种目标直线的示意图；
图7为本发明实施例提供的另一种图像数据生成方法的流程图；
图8为本发明实施例提供的一种图像增强网络模型的结构图；
图9为本发明实施例提供的一种基于图像增强网络模型进行图像增强处理的示意图；
图10为本发明实施例提供的一种添加噪声的结果对比图；
图11为本发明实施例提供的一种基于图像增强网络模型处理图像的结果对比图；
图12为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图13为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图14为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图15为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图16为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图17为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图18为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图19为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图20为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图21为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图22为本发明实施例提供的另一种基于图像增强网络模型处理图像的结果对比图；
图23为本发明实施例提供的一种图像数据生成装置的结构图；
图24为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，由人工通过图像采集设备，采集环境光亮度充足和环境光亮度不足情况下的样本图像，会降低图像数据的生成效率。
为了解决上述问题，本发明实施例提供了一种图像数据生成方法，该方法可以应用于电子设备，该电子设备可以获取图像采集设备采集的，环境光亮度大于第一预设亮度阈值时的第一图像的原始像素值。进而，电子设备可以基于本发明实施例提供的图像数据生成方法，生成第一图像对应的，环境光亮度小于第二预设亮度阈值的目标图像的原始像素值，即，电子设备可以直接生成对应的环境光亮度不足的图像的图像数据。
参见图1，图1为本发明实施例提供的一种图像数据生成方法的流程图，该方法可以包括以下步骤：
S101：基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到第一图像中每一像素点的第一像素值。
S102：将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值。
其中，预设倍数为：图像采集设备在环境光亮度大于第一预设亮度阈值时采集的第二图像，与在环境光亮度小于第二预设亮度阈值时采集的第三图像的原始像素值的比值。第二预设亮度阈值小于第一预设亮度阈值。
S103：针对每一像素点，在该像素点对应的第二像素值的基础上，基于图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值。
其中，系统总增益为：基于图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定。
S104：基于各个第三像素值，生成第一图像对应的，环境光亮度小于第二预设亮度阈值的目标图像的原始像素值。
基于本发明实施例提供的图像数据生成方法，生成的目标图像的原始像素值是在第一图像的原始像素值的基础上除以预设倍数得到，即，目标图像的原始像素值能够表示环境光亮度较小时的图像。另外，目标图像的原始像素值为添加泊松噪声得到的，使得目标图像的原始像素值能够有效地模拟图像采集设备采集的图像中的噪声。因此，本发明实施例提供的图像数据生成方法，能够自动生成与环境光亮度充足时的图像对应的，环境光亮度不足的图像的图像数据。相对于现有技术中，由人工手动通过图像采集设备采集环境光亮度不足时的图像，能够提高图像数据的生成效率。
针对步骤S101，第一预设亮度阈值可以由技术人员根据经验进行设置，例如，第一预设亮度阈值可以为25lux，或者，也可以为30lux。环境光亮度大于第一预设亮度阈值，表示当前的环境光亮度充足。
一种实现方式中，图像的原始像素值可以为：图像采集设备采集的图像的RAW数据中记录的像素值。也就是，图像采集设备的CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)或者CCD(Charge Coupled Device，电荷耦合器件)图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
一种实现方式中，可以直接将图像采集设备采集的第一图像的原始像素值，作为第一图像中每一像素点的第一像素值。
另一种实现方式中，参见图2，在图1的基础上，上述步骤S101可以包括以下步骤：
S1011：获取环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的RAW数据中各像素点的像素值，作为待处理像素值。
S1012：将每一待处理像素值分别减去图像采集设备的黑电平值，得到第一图像中每一像素点的第一像素值。
在本发明实施例中，图像采集设备在将光源信号转化为数字信号的原始数据时，通常会加上一个偏移值，该偏移值也就是该图像采集设备的黑电平(Black Level)值。因此，为了提高获取的第一像素值的准确度，可以将待处理像素值减去该黑电平值。另外，若一个待处理像素值减去黑电平值后为负数，则可以确定对应的第一像素值为0。
针对步骤S102，第二预设亮度阈值可以由技术人员根据经验进行设置，例如，第二预设亮度阈值可以为0.1lux，或者，也可以为0.2lux。环境光亮度小于第二预设亮度阈值，表示当前的环境光亮度不足。
在一个实施例中，可以预先利用图像采集设备在环境光亮度大于第一预设亮度阈值时采集多个图像，得到第二图像，以及在环境光亮度小于第二预设亮度阈值时采集多个图像，得到第三图像。
然后，可以计算多个第二图像的原始像素值的平均值(可以称为第一平均值)，以及多个第三图像的原始像素值的平均值(可以称为第二平均值)。进而，可以计算第一平均值与第二平均值的比值，作为预设倍数。
将第一像素值除以预设倍数得到第二像素值，也就使得第二像素值能够体现环境光亮度小于第二预设亮度阈值时的图像，即，能够体现环境光亮度不足时采集的图像。
针对上述步骤S103，图像采集设备在将捕捉到的光源信号转化为数字信号的原始数据的过程中，可以计算每一像素点对应的光电转换的电荷数与系统总增益的乘积，作为该像素点的原始像素值。
在一个实施例中，可以基于每一像素点对应的电荷数添加泊松噪声。参见图3，在图1的基础上，上述步骤S103可以包括以下步骤：
S1031：针对每一像素点，将该像素点对应的第二像素值除以图像采集设备的系统总增益，得到该像素点对应的电荷数，作为第一电荷数。
S1032：在该像素点对应的第一电荷数的基础上，添加泊松噪声，得到该像素点对应的第二电荷数。
S1033：将该像素点对应的第二电荷数乘以系统总增益，得到该像素点对应的第三像素值。
在本发明实施例中，针对每一像素点，可以确定以该像素点对应的第一电荷数为均值和方差的泊松分布。进而，可以生成符合该泊松分布的一个数值，作为第二电荷数，也就是添加泊松噪声后，该像素点对应的电荷数。
在一个实施例中，参见图4，图4为本发明实施例提供的一种计算系统总增益的方法的流程图，该方法可以包括以下步骤：
S401：获取图像采集设备采集的包含灰阶板的多个第四图像。
S402：针对每一像素点，计算该像素点在各个第四图像中的原始像素值的均值和方差。
S403：以均值为横坐标，方差为纵坐标，对各个像素点对应的均值和方差进行直线拟合，得到目标直线。
S404：将目标直线的斜率，确定为系统总增益。
其中，灰阶板的表面为像素值渐变的灰度图，例如，参见图5。
在本发明实施例中，可以预先在预设环境光亮度下，利用图像采集设备拍摄多张(例如，100张)包含该灰阶板的图像(即第四图像)。另外，在拍摄的过程中，使得灰阶板最白的位置不过曝。
然后，可以获取各个第四图像的原始像素值，进而，针对每一像素点，统计该像素点在各个第四图像中的原始像素值，并确定出对应的均值和方差。也就是说，针对每一像素点，均可以确定出其对应的原始像素值的均值和方差。
参见公式(1)。
Figure GDA0003356673050000121
其中，E(x)表示像素点对应的像素值的均值，Var(x)表示像素点对应的像素值的方差，K表示目标直线的斜率，δread 2表示目标直线中横坐标(即均值)为0时的纵坐标(即方差)的数值。
参见图6，图6为本发明实施例提供的一种目标直线的示意图。图6中，横坐标表示像素点对应的像素值的均值，纵坐标表示像素点对应的像素值的方差。根据各个像素点对应的像素值的均值和方差，可以确定出图6中的各个点，进而，确定出图6中各个点拟合得到的直线。
在一个实施例中，还可以在添加泊松噪声的基础上，添加其他噪声，以进一步提高生成的图像数据的真实性。
相应的，上述步骤S104可以包括以下步骤：
步骤一：针对各个像素点，在对应的第三像素值的基础上，添加读入噪声和/或行噪声，得到各像素点对应的第四像素值。
步骤二：基于各个第四像素值，得到第一图像对应的，环境光亮度小于第二预设亮度阈值的目标图像的原始像素值。
在本发明实施例中，在得到第三像素值的基础上，即，在添加泊松噪声后，还可以添加读入噪声和/或行噪声，得到第四像素值。
其中，读入噪声表示由暗电流噪声、热噪声、源极跟随器噪声等导致的图像噪声。针对各个像素点，对应的读入噪声符合高斯分布(即后文中的第一高斯分布)。
例如，可以生成m×n个符合第一高斯分布的数值，m表示第一图像的宽度，n表示第一图像的高度，生成的m×n个数值分别与各个像素点对应。进而，可以将生成的m×n个数值分别与对应的像素点的第三像素值相加，得到第四像素值。
行噪声表示由CMOS图像感应器以行像素点为单位读出数据时所产生的噪声。每一行像素点对应的行噪声相同，各行像素点对应的行噪声符合高斯分布(即后文中的第二高斯分布)。
例如，可以生成n个符合第二高斯分布的数值，n表示第一图像的高度，生成的n个数值分别与各行像素点对应。针对一行像素点，可以将该行像素点对应的第三像素值加上生成的对应的数值，得到第四像素值。
在一个实施例中，上述读入噪声符合第一高斯分布，第一高斯分布的均值为0，方差为目标直线中横坐标为0时的纵坐标的数值的平方根，即上述公式(1)中的δread。
行噪声符合第二高斯分布，第二高斯分布的均值为0，方差为图像采集设备在曝光时间为0，且入射光强为0时采集的第五图像中各行像素值的标准差。一个行像素值为第五图像中一行像素点的原始像素值的均值。
在本发明实施例中，可以获取图像采集设备在曝光时间为0，且入射光强为0时采集的图像(即第五图像)的原始像素值。第五图像也就是图像采集设备采集的Bias Frame(偏移帧)。例如，可以遮盖住图像采集设备的镜头，并设置曝光时间为0，进行图像采集，采集到的图像也就是第五图像。
在得到第五图像的原始像素值后，针对每一行像素点，可以计算该行像素点在第五图像中的原始像素值的均值。然而，可以计算各行像素点对应的各个均值的标准差，将该标准差作为第二高斯分布的方差。
一种实现方式中，在添加读入噪声和/或行噪声，得到第四像素值后，可以直接将第四像素值，作为第一图像对应的，环境光亮度小于第二预设亮度阈值的目标图像的原始像素值。
另一种实现方式中，在得到第四像素值后，还可以在第四像素值的基础上，添加量化噪声。量化噪声可以基于图像采集设备采集图像的原始像素值的位数确定。例如，量化噪声可以为
Figure GDA0003356673050000141
其中，L表示图像采集设备采集图像的原始像素值的位数。
例如，图像采集设备采集图像的原始像素值为12位，也就是说，每一像素点的像素值的取值范围为0至2L-1(即4095)。相应的，量化噪声可以为1/4095，即，将各个第四像素值分别加上1/4095，得到第一图像对应的，环境光亮度小于第二预设亮度阈值的目标图像的原始像素值。
在一个实施例中，在得到目标图像的原始像素值之后，还可以基于第一图像的原始像素值和目标图像的原始像素值，对图像增强网络模型进行训练。
相应的，参见图7，在图1的基础上，在上述步骤S104之后，该方法还可以包括以下步骤：
S105：将目标图像的原始像素值作为输入数据，以及将第一像素值作为对应的输出数据，对待训练的图像增强网络模型进行训练，直至收敛，得到图像增强网络模型。
基于上述处理，使得图像增强网络模型能够学习从目标图像，到第一图像的转换关系。相应的，针对输入的环境光不足时采集的图像的原始像素值，图像增强网络模型能够去除其中的噪声，得到清晰的图像的原始像素值，即，能够得到对应的环境光充足时的图像的图像数据。
在一个实施例中，上述图像增强网络模型可以为U-net。
在一个实施例中，还可以对传统的U-net进行改进，得到上述图像增强网络模型。
一种实现方式中，图像增强网络模型包含编码部分和解码部分，解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
参见图8，图8为本发明实施例提供的一种图像增强网络模型的结构图。
图8中的图像增强网络模型可以分为左侧的编码部分和右侧的解码部分。
编码部分包括多个网络层，解码部分也包含多个网络层，且二者包含的网络层的数目相同。本发明实施例中，仅以二者均包含5个网络层为例进行说明，但并不限于此。
图8中的数字表示通道数，编码部分和解码部分中向右的实心箭头表示卷积(Convolution)，卷积核的大小为3×3；向下的实心箭头表示最大池化(Max Pool)，池化窗口的大小为2×2；向上的实心箭头表示转置卷积(Transposed Convolution)，卷积核的大小为2×2，转置卷积也就是上采样处理；向右的空心箭头表示表示卷积，卷积核的大小为1×1。编码部分与解码部分之间的箭头表示叠加处理。
图8中，针对编码部分和解码部分，从上至下，可以分别称为第一个网络层、第二个网络层、第三个网络层、第四个网络层、第五个网络层。
图8中，输入数据为4通道的数据，输出的也为4通道的数据，每一通道的数据可以称为一个特征图。
可见，图8中编码部分的第一个网络层的输入数据为4通道的特征图，经过该网络层处理后，可以得到32通道的特征图；经过编码部分的第二个网络层处理后，可以得到64通道的特征图；经过编码部分的第三个网络层处理后，可以得到128通道的特征图；经过编码部分的第四个网络层处理后，可以得到256通道的特征图；经过编码部分的第五个网络层处理后，可以得到256通道的特征图。
解码部分的第五个网络层的输入数据为512通道的特征图，经过该网络层处理后，可以得到512通道的特征图。对该512通道的特征图进行上采样后，可以得到256通道的特征图，并分别与编码部分的第四个网络层得到的256通道的特征图进行叠加，叠加结果仍为256通道的特征图。然后，可以将叠加得到的256通道的特征图输入至解码部分的第四个网络层，得到256通道的特征图。对解码部分的第四个网络层输出的256通道的特征图进行上采样，得到128通道的特征图，并分别与编码部分的第三个网络层得到的128通道的特征图进行叠加，叠加结果仍为128通道的特征图，并输入至解码部分的第三个网络层。
以此类推，解码部分的第一个网络层的输入数据为：对解码部分的第二个网络层输出的64通道的特征图上采样得到的32通道的特征图，与编码部分的第一个网络层输出的32通道的特征图的叠加结果。解码部分的第一个网络层输出4通道的特征图。
例如，可以将目标图像的原始像素值拆分(Unpack)为4通道的特征图，即RGGB(RedGreen Green Blue，红绿绿蓝)通道的特征图，作为图8所示图像增强网络模型的输入数据，同时，将第一像素值也拆分为4通道的特征图作为对应的输出数据，对图8所示图像增强网络模进行训练。
进而，当需要对某一图像(待处理图像)进行图像增强处理时，可以将该待处理图像的原始像素值拆分为4通道的特征图，输入至训练好的图像增强网络模型。进而，可以得到图像增强网络模型输出的4通道的特征图，并对输出的4通道的特征图进行打包(Pack)，得到增强处理后的原始像素值。
参见图9，图9为本发明实施例提供的一种基于图像增强网络模型进行图像增强处理的示意图。
图9中，最左侧为初始的Bayer(拜尔)RAW，表示初始的图像RAW数据，经过拆分后，得到4通道的特征图，作为图像增强网络模型的输入。相应的，图像增强网络模型的输出为4通道的特征图，进而，对输出的4通道的特征图进行打包，可以得到增强的Bayer RAW，即，增强的图像Raw数据。
针对原始像素值，即RAW数据中记录的像素值，经过预设的ISP(Image ProcessingPipeline，图像处理管线)进行处理，可以得到对应的图像。
参见图10，左侧的图表示利用图像采集设备采集的Bias Frame的原始像素值，经过预设的ISP处理生成的图像；中间的图表示基于本发明实施例提供的图像数据生成方法，在原始像素值为黑电平值的基础上，添加泊松噪声、读入噪声和行噪声得到的像素值，经过预设的ISP处理生成的图像；右侧的图表示基于相关技术，在原始像素值为黑电平值的基础上，添加泊松噪声、读入噪声和行噪声得到的像素值，经过预设的ISP处理生成的图像。相关技术中，添加泊松噪声时的系统总增益、添加的读入噪声以及行噪声均为经验值。
可见，相对于现有技术，基于本发明实施例提供的图像数据生成方法得到的图像，与利用图像采集设备真实采集的图像的相似度更高，也就是说，基于本发明实施例提供的图像数据方法生成的图像数据能够更真实地模拟图像采集设备真实采集的图像。
参见图11-图22，每一组图包含3个图像。每一组的3个图像中，左侧的图像为环境光不足时采集的包含噪声的图像；中间的图像为基于本发明实施例提供的图像增强网络模型，对左侧的图像进行增强处理得到的图像；右侧的图像为基于相关技术中的图像增强网络模型，对左侧的图像进行增强处理得到的图像。
基于上述图11-图22可见，相对于现有技术中的图像增强网络模型，通过本发明实施例提供的图像增强网络模型增强处理得到的图像中的噪声更少，图像的清晰度更高。
基于相同的发明构思，本发明实施例还提供了一种图像数据生成装置，参见图23，图23为本发明实施例提供的一种图像数据生成装置的结构图，该装置可以包括：
第一像素值获取模块2301，用于基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值；
第二像素值获取模块2302，用于将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；其中，所述预设倍数为：所述图像采集设备在环境光亮度大于所述第一预设亮度阈值时采集的第二图像，与在环境光亮度小于第二预设亮度阈值时采集的第三图像的原始像素值的比值；所述第二预设亮度阈值小于所述第一预设亮度阈值；
第三像素值获取模块2303，用于针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定；
图像数据生成模块2304，用于基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
可选的，所述第三像素值获取模块2303，包括：
第一电荷数获取子模块，用于针对每一像素点，将该像素点对应的第二像素值除以所述图像采集设备的系统总增益，得到该像素点对应的电荷数，作为第一电荷数；
第二电荷数获取子模块，用于在该像素点对应的第一电荷数的基础上，添加泊松噪声，得到该像素点对应的第二电荷数；
第三像素值获取子模块，用于将该像素点对应的第二电荷数乘以所述系统总增益，得到该像素点对应的第三像素值。
可选的，所述装置还包括：
第四图像获取模块，用于获取所述图像采集设备采集的包含灰阶板的多个第四图像；
计算模块，用于针对每一像素点，计算该像素点在各个第四图像中的原始像素值的均值和方差；
直线拟合模块，用于以均值为横坐标，方差为纵坐标，对各个像素点对应的均值和方差进行直线拟合，得到目标直线；
系统总增益确定模块，用于将所述目标直线的斜率，确定为所述系统总增益。
可选的，所述图像数据生成模块2304，包括：
第四像素值获取子模块，用于针对各个像素点，在对应的第三像素值的基础上，添加读入噪声和/或行噪声，得到各像素点对应的第四像素值；
图像数据生成子模块，用于基于各个第四像素值，得到所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
可选的，所述读入噪声符合第一高斯分布，所述第一高斯分布的均值为0，方差为所述目标直线中横坐标为0时的纵坐标的数值的平方根；
所述行噪声符合第二高斯分布，所述第二高斯分布的均值为0，方差为所述图像采集设备在曝光时间为0，且入射光强为0时采集的第五图像中各行像素值的标准差；一个行像素值为所述第五图像中一行像素点的原始像素值的均值。
可选的，所述装置还包括：
训练模块，用于在所述基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值之后，将所述目标图像的原始像素值作为输入数据，以及将所述第一像素值作为对应的输出数据，对待训练的图像增强网络模型进行训练，直至收敛，得到图像增强网络模型。
可选的，所述图像增强网络模型包含编码部分和解码部分，所述解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与所述编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
可选的，所述第一像素值获取模块2301，包括：
待处理像素值获取子模块，用于获取环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的RAW数据中各像素点的像素值，作为待处理像素值；
第一像素值获取子模块，用于将每一待处理像素值分别减去所述图像采集设备的黑电平值，得到所述第一图像中每一像素点的第一像素值。
本发明实施例还提供了一种电子设备，如图24所示，包括处理器2401、通信接口2402、存储器2403和通信总线2404，其中，处理器2401，通信接口2402，存储器2403通过通信总线2404完成相互间的通信，
存储器2403，用于存放计算机程序；
处理器2401，用于执行存储器2403上所存放的程序时，实现如下步骤：
基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值；
将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；其中，所述预设倍数为：所述图像采集设备在环境光亮度大于所述第一预设亮度阈值时采集的第二图像，与在环境光亮度小于第二预设亮度阈值时采集的第三图像的原始像素值的比值；所述第二预设亮度阈值小于所述第一预设亮度阈值；
针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定；
基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像数据生成方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像数据生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种图像数据生成方法，其特征在于，所述方法包括：
基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值；
将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；其中，所述预设倍数为：第一平均值与第二平均值的比值，所述第一平均值为所述图像采集设备在环境光亮度大于所述第一预设亮度阈值时采集的多个第二图像的原始像素值的平均值，所述第二平均值为所述图像采集设备在环境光亮度小于第二预设亮度阈值时采集的多个第三图像的原始像素值的 平均值；所述第二预设亮度阈值小于所述第一预设亮度阈值；
针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定；
基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
2.根据权利要求1所述的方法，其特征在于，所述针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值，包括：
针对每一像素点，将该像素点对应的第二像素值除以所述图像采集设备的系统总增益，得到该像素点对应的电荷数，作为第一电荷数；
在该像素点对应的第一电荷数的基础上，添加泊松噪声，得到该像素点对应的第二电荷数；
将该像素点对应的第二电荷数乘以所述系统总增益，得到该像素点对应的第三像素值。
3.根据权利要求1所述的方法，其特征在于，所述系统总增益的计算过程包括：
获取所述图像采集设备采集的包含灰阶板的多个第四图像；
针对每一像素点，计算该像素点在各个第四图像中的原始像素值的均值和方差；
以均值为横坐标，方差为纵坐标，对各个像素点对应的均值和方差进行直线拟合，得到目标直线；
将所述目标直线的斜率，确定为所述系统总增益。
4.根据权利要求3所述的方法，其特征在于，所述基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值，包括：
针对各个像素点，在对应的第三像素值的基础上，添加读入噪声和/或行噪声，得到各像素点对应的第四像素值；
基于各个第四像素值，得到所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
5.根据权利要求4所述的方法，其特征在于，所述读入噪声符合第一高斯分布，所述第一高斯分布的均值为0，方差为所述目标直线中横坐标为0时的纵坐标的数值的平方根；
所述行噪声符合第二高斯分布，所述第二高斯分布的均值为0，方差为所述图像采集设备在曝光时间为0，且入射光强为0时采集的第五图像中各行像素值的标准差；一个行像素值为所述第五图像中一行像素点的原始像素值的均值。
6.根据权利要求1所述的方法，其特征在于，在所述基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值之后，所述方法还包括：
将所述目标图像的原始像素值作为输入数据，以及将所述第一像素值作为对应的输出数据，对待训练的图像增强网络模型进行训练，直至收敛，得到图像增强网络模型。
7.根据权利要求6所述的方法，其特征在于，所述图像增强网络模型包含编码部分和解码部分，所述解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与所述编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
8.根据权利要求1所述的方法，其特征在于，所述基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值，包括：
获取环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的RAW数据中各像素点的像素值，作为待处理像素值；
将每一待处理像素值分别减去所述图像采集设备的黑电平值，得到所述第一图像中每一像素点的第一像素值。
9.一种图像数据生成装置，其特征在于，所述装置包括：
第一像素值获取模块，用于基于环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的原始像素值，得到所述第一图像中每一像素点的第一像素值；
第二像素值获取模块，用于将每一第一像素值除以预设倍数，得到每一像素点对应的第二像素值；其中，所述预设倍数为：第一平均值与第二平均值的比值，所述第一平均值为所述图像采集设备在环境光亮度大于所述第一预设亮度阈值时采集的多个第二图像的原始像素值的平均值，所述第二平均值为所述图像采集设备在环境光亮度小于第二预设亮度阈值时采集的多个第三图像的原始像素值的 平均值；所述第二预设亮度阈值小于所述第一预设亮度阈值；
第三像素值获取模块，用于针对每一像素点，在该像素点对应的第二像素值的基础上，基于所述图像采集设备的系统总增益添加泊松噪声，得到该像素点对应的第三像素值；其中，所述系统总增益为：基于所述图像采集设备采集的，包含灰阶板的第四图像的原始像素值的分布情况确定；
图像数据生成模块，用于基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
10.根据权利要求9所述的装置，其特征在于，所述第三像素值获取模块，包括：
第一电荷数获取子模块，用于针对每一像素点，将该像素点对应的第二像素值除以所述图像采集设备的系统总增益，得到该像素点对应的电荷数，作为第一电荷数；
第二电荷数获取子模块，用于在该像素点对应的第一电荷数的基础上，添加泊松噪声，得到该像素点对应的第二电荷数；
第三像素值获取子模块，用于将该像素点对应的第二电荷数乘以所述系统总增益，得到该像素点对应的第三像素值。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第四图像获取模块，用于获取所述图像采集设备采集的包含灰阶板的多个第四图像；
计算模块，用于针对每一像素点，计算该像素点在各个第四图像中的原始像素值的均值和方差；
直线拟合模块，用于以均值为横坐标，方差为纵坐标，对各个像素点对应的均值和方差进行直线拟合，得到目标直线；
系统总增益确定模块，用于将所述目标直线的斜率，确定为所述系统总增益。
12.根据权利要求11所述的装置，其特征在于，所述图像数据生成模块，包括：
第四像素值获取子模块，用于针对各个像素点，在对应的第三像素值的基础上，添加读入噪声和/或行噪声，得到各像素点对应的第四像素值；
图像数据生成子模块，用于基于各个第四像素值，得到所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值。
13.根据权利要求12所述的装置，其特征在于，所述读入噪声符合第一高斯分布，所述第一高斯分布的均值为0，方差为所述目标直线中横坐标为0时的纵坐标的数值的平方根；
所述行噪声符合第二高斯分布，所述第二高斯分布的均值为0，方差为所述图像采集设备在曝光时间为0，且入射光强为0时采集的第五图像中各行像素值的标准差；一个行像素值为所述第五图像中一行像素点的原始像素值的均值。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
训练模块，用于在所述基于各个第三像素值，生成所述第一图像对应的，环境光亮度小于所述第二预设亮度阈值的目标图像的原始像素值之后，将所述目标图像的原始像素值作为输入数据，以及将所述第一像素值作为对应的输出数据，对待训练的图像增强网络模型进行训练，直至收敛，得到图像增强网络模型。
15.根据权利要求14所述的装置，其特征在于，所述图像增强网络模型包含编码部分和解码部分，所述解码部分的每一网络层的输入数据为：该网络层的前一网络层输出的第一特征图，与所述编码部分中与该网络层对应的网络层输出的第二特征图叠加得到的。
16.根据权利要求9所述的装置，其特征在于，所述第一像素值获取模块，包括：
待处理像素值获取子模块，用于获取环境光亮度大于第一预设亮度阈值时，图像采集设备采集的第一图像的RAW数据中各像素点的像素值，作为待处理像素值；
第一像素值获取子模块，用于将每一待处理像素值分别减去所述图像采集设备的黑电平值，得到所述第一图像中每一像素点的第一像素值。
17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN202110690725.8A 2021-06-22 2021-06-22 一种图像数据生成方法和装置 Active CN113256537B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110690725.8A CN113256537B (zh) 2021-06-22 2021-06-22 一种图像数据生成方法和装置
PCT/CN2022/076725 WO2022267494A1 (zh) 2021-06-22 2022-02-18 一种图像数据生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110690725.8A CN113256537B (zh) 2021-06-22 2021-06-22 一种图像数据生成方法和装置

Publications (2)

Publication Number Publication Date
CN113256537A CN113256537A (zh) 2021-08-13
CN113256537B true CN113256537B (zh) 2022-01-07

Family

ID=77189121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110690725.8A Active CN113256537B (zh) 2021-06-22 2021-06-22 一种图像数据生成方法和装置

Country Status (2)

Country Link
CN (1) CN113256537B (zh)
WO (1) WO2022267494A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256537B (zh) * 2021-06-22 2022-01-07 英特灵达信息技术(深圳)有限公司 一种图像数据生成方法和装置
CN114494080A (zh) * 2022-03-28 2022-05-13 英特灵达信息技术(深圳)有限公司 一种图像生成方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052096A (zh) * 2006-04-04 2007-10-10 广达电脑股份有限公司 用以调整图像的对比度的方法及装置
CN101600113A (zh) * 2008-06-02 2009-12-09 索尼株式会社 图像处理装置及图像处理方法
CN104050645A (zh) * 2014-06-23 2014-09-17 小米科技有限责任公司 图像处理方法及装置
CN104702852A (zh) * 2013-12-09 2015-06-10 英特尔公司 用于高动态范围成像的使用照相机阵列的差异估计的技术
CN108055486A (zh) * 2017-12-07 2018-05-18 浙江华睿科技有限公司 一种亮度校正方法及装置
CN109949353A (zh) * 2019-03-25 2019-06-28 北京理工大学 一种低照度图像自然感彩色化方法
CN110114799A (zh) * 2017-01-10 2019-08-09 富士胶片株式会社 噪声处理装置及噪声处理方法
CN111401411A (zh) * 2020-02-28 2020-07-10 北京小米松果电子有限公司 获取样本图像集的方法及装置
WO2020187423A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Noise estimation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040516A1 (en) * 2007-08-10 2009-02-12 Honeywell International Inc. Spectroscopic system
CN108986050B (zh) * 2018-07-20 2020-11-10 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
US10852123B2 (en) * 2018-10-25 2020-12-01 Government Of The United States Of America, As Represented By The Secretary Of Commerce Apparatus for critical-dimension localization microscopy
CN110610463A (zh) * 2019-08-07 2019-12-24 深圳大学 一种图像增强方法及装置
CN111260579B (zh) * 2020-01-17 2021-08-03 北京理工大学 一种基于物理噪声生成模型的微光图像去噪增强方法
CN113256537B (zh) * 2021-06-22 2022-01-07 英特灵达信息技术(深圳)有限公司 一种图像数据生成方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052096A (zh) * 2006-04-04 2007-10-10 广达电脑股份有限公司 用以调整图像的对比度的方法及装置
CN101600113A (zh) * 2008-06-02 2009-12-09 索尼株式会社 图像处理装置及图像处理方法
CN104702852A (zh) * 2013-12-09 2015-06-10 英特尔公司 用于高动态范围成像的使用照相机阵列的差异估计的技术
CN104050645A (zh) * 2014-06-23 2014-09-17 小米科技有限责任公司 图像处理方法及装置
CN110114799A (zh) * 2017-01-10 2019-08-09 富士胶片株式会社 噪声处理装置及噪声处理方法
CN108055486A (zh) * 2017-12-07 2018-05-18 浙江华睿科技有限公司 一种亮度校正方法及装置
WO2020187423A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Noise estimation
CN109949353A (zh) * 2019-03-25 2019-06-28 北京理工大学 一种低照度图像自然感彩色化方法
CN111401411A (zh) * 2020-02-28 2020-07-10 北京小米松果电子有限公司 获取样本图像集的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"低照度图像的去噪算法研究";蒋瑜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170615;全文 *

Also Published As

Publication number Publication date
WO2022267494A1 (zh) 2022-12-29
CN113256537A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113256537B (zh) 一种图像数据生成方法和装置
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
Villalba et al. Smartphone image clustering
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
WO2021114184A1 (zh) 神经网络模型的训练方法、图像处理方法及其装置
CN110210498B (zh) 基于残差学习卷积融合网络的数字图像设备取证系统
CN113962859B (zh) 一种全景图生成方法、装置、设备及介质
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
WO2020215180A1 (zh) 图像处理方法、装置和电子设备
WO2021082819A1 (zh) 一种图像生成方法、装置及电子设备
CN112651911B (zh) 一种基于偏振图像的高动态范围成像生成方法
CN113132695A (zh) 镜头阴影校正方法、装置及电子设备
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
Xiao et al. Effective PRNU extraction via densely connected hierarchical network
CN114494080A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN112581401A (zh) 一种raw图片的获取方法、装置及电子设备
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN111383184B (zh) 图像的处理方法及装置
CN112995518A (zh) 一种图像生成方法及装置
CN112990076A (zh) 一种基于人工智能的数据整理方法和装置
TWI590192B (zh) 適應性高動態範圍影像合成演算法
CN111899184A (zh) 图像缺陷修复、神经网络训练方法、装置、设备和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant