CN110458763A - 基于深度学习的夜间彩色图像的还原方法、系统、介质 - Google Patents
基于深度学习的夜间彩色图像的还原方法、系统、介质 Download PDFInfo
- Publication number
- CN110458763A CN110458763A CN201910608369.3A CN201910608369A CN110458763A CN 110458763 A CN110458763 A CN 110458763A CN 201910608369 A CN201910608369 A CN 201910608369A CN 110458763 A CN110458763 A CN 110458763A
- Authority
- CN
- China
- Prior art keywords
- network model
- training
- picture
- data collection
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013135 deep learning Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 167
- 238000013480 data collection Methods 0.000 claims abstract description 101
- 238000013434 data augmentation Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 55
- 238000003062 neural network model Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 11
- 230000001537 neural effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 210000005036 nerve Anatomy 0.000 claims description 8
- 230000009467 reduction Effects 0.000 abstract description 50
- 230000000694 effects Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000003416 augmentation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 101100242103 Cannabis sativa OLS gene Proteins 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习的夜间彩色图像的还原方法、系统及计算机可读存储介质，其中，基于深度学习的夜间彩色图像的还原方法包括：采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片；通过数据增广获取训练图片数据集；选择网络模型；将训练图片数据集采用RGB格式或RAW格式对选择的网络模型进行网络训练；对训练结果进行分析；基于分析结果优化网络模型，并继续优化迭代；确定最优的网络模型。通过上述方法，由于对采集的图片对的格式并没有要求，且无需灰阶和放大比率处理，直接将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行训练，降低了夜间图像还原的操作难度，扩大了使用范围。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于深度学习的夜间彩色图像的还原方法、一种基于深度学习的夜间彩色图像的还原系统和一种计算机可读存储介质。
背景技术
相关技术中对夜间彩色图像的还原方法，通常是针对Bayer(一种颜色模式)模式下的RAW(原始图片文件)格式图片进行夜间图像还原，具体方法如下：用相机拍摄Bayer模式下RAW格式图片；将Bayer模式下RAW格式图片折叠成R-G-B-G(Red-Green-Blue-Green，红-绿-蓝-绿)的四通道并分别减去黑阶，并乘以放大比率；然后送入全卷积神经网络进行端到端的训练。
由于上述夜间图片还原的方案是针对Bayer模式下的RAW格式的图片，而实际工业应用监控系统采集到的图片大都为sRGB(Standard RedGreen Blue，一种彩色语音协议)空间的jpg(Joint Photographic ExpertsGroup，一种图像格式)格式图片，使得上述方法的使用范围受到限制，同时，图片送入神经网络训练之前，需要减去相机固有参数黑阶，乘以放大比率，而不同相机的黑阶值不同，且对应的放大比率也不尽相同，使得相关技术中的方案实际应用可操作性不强。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的第一个方面在于，提出一种基于深度学习的夜间彩色图像的还原方法。
本发明的第二个方面在于，提出一种基于深度学习的夜间彩色图像的还原系统。
本发明的第三个方面在于，提出一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提供了一种基于深度学习的夜间彩色图像的还原方法，包括：采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片；通过数据增广获取训练图片数据集；选择网络模型；将训练图片数据集采用RGB格式或RAW格式对选择的网络模型进行网络训练；对训练结果进行分析；基于分析结果优化网络模型，并继续优化迭代；确定最优的网络模型。
本发明提供的基于深度学习的夜间彩色图像的还原方法，通过采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片，其中，对夜间图片和白天图片的格式并没有要求，即可以在工业应用场景采集夜间图片和白天图片，即采集的图片可以为sRGB空间的jpg、png(Portable NetworkGraphics，便携式网络图像)、bmp(Bitmap，一种图像文件格式)等格式的彩色图片，通过数据增广获取训练图片数据集，实现图片对的数据增广，选择网络模型，将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练，使得无需灰阶和放大比率处理，直接将训练图片数据集带入网络模型直接进行端到端的网络训练，进而大大降低了夜间图像还原的操作难度，同时，由于对采集的图片对的格式并没有要求，避免了只可以对特殊型号的设备拍摄的夜间图片进行还原的局限性，进而大大提高了夜间彩色图像的还原方法的适用性，扩大了夜间彩色图像的还原方法的使用范围，并进一步降低了夜间彩色图像的还原方法操作难度，使得夜间彩色图像的还原方法易于实现，并适于推广应用。通过对训练结果进行分析，基于分析结果优化网络模型，继续优化迭代，并确定最优的网络模型，使得通过对不同的图片格式、不同的网络模型进行训练，能够得到还原效果较好的最优的网络模型，进而保证夜间彩色图片良好的还原效果。
进一步地，通过将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练，使得本申请的基于深度学习的夜间彩色图像的还原方法能够满足对不同的图片格式进行训练的要求，避免了相关技术中夜间彩色图片的还原方法对图片格式要求严格使得实际使用范围受限，进一步扩大了使用范围，同时，可以根据不同的图片格式选择不同的网络模型，或根据同一图片格式选择不同的网络模型，增大了模型表达能力，且模型种类较多，使得通过较多的数据、较多的网络模型进行多方面的网络训练得到还原效果较高的网络模型进而得到最优的网络模型，并保证夜间彩色图片良好的还原效果。进一步地，将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练，有利于提高夜间彩色图片的还原度，保证图片良好的还原效果。
进一步地，图片对可以为黑夜图片和标定好的Ground Truth(标定好的真实数据)图片，也可以为与夜间图片的黑暗图片具有相同位置和相同内容的白天的图片，如从监控摄像头拍摄的视频中选取部分位置和内容对应的夜间黑暗图片及对应白天的图片。
另外，根据本发明提供的上述技术方案中的基于深度学习的夜间彩色图像的还原方法，还可以具有如下附加技术特征：
在上述技术方案中，优选地，基于将训练图片数据集采用RAW格式对选择的网络模型进行网络训练，在将训练图片数据集采用RAW格式对选择的网络模型进行网络训练的步骤之前，还包括：将训练图片数据集由RGB格式转化为RAW格式。
在该技术方案中，当训练图片数据集采用RAW格式对所选择的网络模型进行网络训练时，在将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练之前，先将训练图片数据集由RGB格式转化为RAW格式，并根据RAW格式对选择的网络模型进行网络训练，使得将采集到的RGB图片转化为RAW格式进行网络训练后得到较优、较好的网络模型，且有利于提高夜间彩色图片的还原度，保证图片良好的还原效果，避免了相关技术中的夜间彩色图片的还原方法只能对采集到的RAW格式进行还原的局限性，进一步扩大了本申请的适用范围。
可以理解的是，由于实际工业应用的监控系统采集到的图片大都为sRGB空间的jpg、png、bmp等格式图片，即均为红-绿-蓝三通道，进而将训练图片数据集采用RGB格式对选择的网络模型直接进行网络，并对训练结果进行分析，根据分析结果优化迭代网络模型并确定最优网络模型，有利于降低夜间彩色图像还原方法的操作难度，易于实现，并有利于普遍应用。
在上述任一技术方案中，优选地，将训练图片数据集由RGB格式转化为RAW格式的步骤，具体包括：采用插值算法，将训练图片数据集由RGB格式转化为RAW格式。
在该技术方案中，通过插值算法，将训练图片数据集由RGB格式转化为RAW格式，具体地，通过插值算法，将训练图片数据集由RGB格式转化为Bayer模式下RAW格式，可以理解的是，也可以通过其他方式将训练图片数据集由RGB格式转化为RAW格式。
具体地，基于双线性插值算法如raw2rgb，开发算法实现将RGB(Red-Green-Blue，红-绿-蓝三通道)图片还原成Bayer模式下的RAW格式然后折叠成R-G-B-G(红-绿-蓝-绿四通道)通道。
在上述任一技术方案中，优选地，将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练的步骤，具体包括：将训练图片数据集采用RGB格式以红-绿-蓝三通道对所选择的网络模型进行网络训练；或将训练图片数据集采用RAW格式以红-绿-蓝-绿四通道对所选择的网络模型进行网络训练。
在该技术方案中，将训练图片数据集采用RGB格式以红-绿-蓝三通道对所选择的网络模型进行网络训练，即当训练图片数据集采用RGB格式进行网络训练时，所选择的网络模型是与红-绿-蓝三通道相匹配的网络模型。
将训练图片数据集采用RAW格式以红-绿-蓝-绿四通道对所选择的网络模型进行网络训练，即当训练图片数据集采用RAW格式进行网络训练时，所选择的网络模型是与红-绿-蓝-绿四通道相匹配的网络模型。
在上述任一技术方案中，优选地，通过数据增广获取训练图片数据集的步骤，具体包括：采用神经风格迁移算法，通过数据增广获取训练图片数据集。
在该技术方案中，通过采用神经风格迁移算法，进行数据增广获取训练图片数据集，进而得到足够多的训练图片数据集，有利于进行充分的网络训练，进而使通过确定的最优的网络模型还原的夜间彩色图片还原度高，具有良好的还原效果。
具体地，为得到足够多的训练图片数据集，即训练集图片对，采用神经风格迁移算法将采集的夜间图片的黑夜的风格迁移到白天图片的白天煤堆内容上，由此生成和白天图片完全对应的夜间图像，完成夜间图片还原任务图片数据集的增广。
在上述任一技术方案中，优选地，网络模型包括损失函数和神经网络模型。
在该技术方案中，网络模型包括损失函数和神经网络模型，即可以通过损失函数利用全卷积神经网络模型进行端到端的训练进而实现网络训练。可以理解的是，针对同一个神经网络模型可以选择不同的损失函数进行端到端的训练，以便于根据训练结果进行分析，确定合理、优化的最优的网络模型。可以理解的是，可以根据不同的图片格式，如RGB格式或RAW，选择不同的损失函数和不同的神经网络模型进行训练。
在上述任一技术方案中，优选地，基于将训练图片数据集采用RGB格式对所选择的网络模型进行网络训练，损失函数为第一损失函数，神经网络模型为第一神经网络模型。
在该技术方案中，当训练图片数据集采用RGB格式进行网络训练时，所选择的网络模型的损失函数为第一损失函数，神经网络模型为第一神经网络模型。即保持sRGB色彩空间图片为RGB格式的红-绿-蓝三通道通过调整神经网络模型的结构得到第一神经网络模型，去掉子像素还原层，使输出图片尺寸与输入图片尺寸相同，并采用第一损失函数进行端到端训练。
在上述任一技术方案中，优选地，基于将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练损失函数为第二损失函数，神经网络模型为第二神经网络模型。
在该技术方案中，当训练图片数据集采用RAW格式进行网络训练时，所选择的网络模型的损失函数为第二损失函数，神经网络模型为第二神经网络模型。即通过将RAW格式的图片折叠成红-绿-蓝-绿四通道，采用第二损失函数，利用第二神经网络模型进行端到端的训练，使得还原后的夜间彩色图片的效果良好，保证了良好的还原效果，适于普通推广，扩大使用范围。
在上述任一技术方案中，优选地，通过以下指标对训练结果进行分析：峰值信噪比和/或结构相似性。
在该技术方案中，通过峰值信噪比和/或结构相似性对训练结果进行分析，使得针对训练结果进行图片测试分析，查看不同损失函数(如第一损失函数、第二损失函数)下的PSNR(Peak Signal to Noise Ratio，峰值信噪比)及SSIM(Structual Similarity Index，结构相似性)，进而衡量还原图片与白天图片的相似度、还原度，有利于根据分析结果确定最优的网络模型。
进一步地，可以在确定的最优的网络模型之后，以最优的网络模型进行工业现场部署，将基于深度学习的夜间彩色图像的还原方法得以应用。
根据本发明的第二方面，提出了一种基于深度学习的夜间彩色图像的还原系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一技术方案的基于深度学习的夜间彩色图像的还原方法，因此具有上述任一技术方案的基于深度学习的夜间彩色图像的还原方法的全部有益效果，在此不再赘述。
根据本发明的第三方面，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案的基于深度学习的夜间彩色图像的还原方法的步骤。因此具有上述任一技术方案的基于深度学习的夜间彩色图像的还原方法的全部有益效果，在此不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例中基于深度学习的夜间彩色图像的还原方法的流程示意图；
图2示出了本发明的另一个实施例中基于深度学习的夜间彩色图像的还原方法的流程示意图；
图3示出了本发明的再一个实施例中基于深度学习的夜间彩色图像的还原方法的流程示意图；
图4示出了本发明的一个实施例中基于深度学习的夜间彩色图像的还原系统的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图4描述根据本发明一些实施例的基于深度学习的夜间彩色图像的还原方法、系统和计算机可读存储介质。
根据本发明的第一方面，提供了一种基于深度学习的夜间彩色图像的还原方法，如图1所示，根据本发明一个实施例的基于深度学习的夜间彩色图像的还原方法，包括：
S102，采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片；
S104，通过数据增广获取训练图片数据集；
S106，选择网络模型；
S108，将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练；
S110，对训练结果进行分析；
S112，基于分析结果优化网络模型，并继续优化迭代；
S114，确定最优的网络模型。
本发明提供的基于深度学习的夜间彩色图像的还原方法，通过采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片，其中，对夜间图片和白天图片的格式并没有要求，即可以在工业应用场景采集夜间图片和白天图片，即采集的图片可以为sRGB空间的jpg、png(Portable NetworkGraphics，便携式网络图像)、bmp(Bitmap，一种图像文件格式)等格式的彩色图片，通过数据增广获取训练图片数据集，实现图片对的数据增广，选择网络模型，将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练，使得无需灰阶和放大比率处理，直接将训练图片数据集带入网络模型直接进行端到端的网络训练，进而大大降低了夜间图像还原的操作难度，同时，由于对采集的图片对的格式并没有要求，避免了只可以对特殊型号的设备拍摄的夜间图片进行还原的局限性，进而大大提高了夜间彩色图像的还原方法的适用性，扩大了夜间彩色图像的还原方法的使用范围，并进一步降低了夜间彩色图像的还原方法操作难度，使得夜间彩色图像的还原方法易于实现，并适于推广应用。通过对训练结果进行分析，基于分析结果优化网络模型，继续优化迭代，并确定最优的网络模型，使得通过对不同的图片格式、不同的网络模型进行训练，能够得到还原效果较好的最优的网络模型，进而保证夜间彩色图片良好的还原效果。
进一步地，通过将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练，使得本申请的基于深度学习的夜间彩色图像的还原方法能够满足对不同的图片格式进行训练的要求，避免了相关技术中夜间彩色图片的还原方法对图片格式要求严格使得实际使用范围受限，进一步扩大了使用范围，同时，可以根据不同的图片格式选择不同的网络模型，或根据同一图片格式选择不同的网络模型，增大了模型表达能力，且模型种类较多，使得通过较多的数据、较多的网络模型进行多方面的网络训练得到还原效果较高的网络模型进而得到最优的网络模型，并保证夜间彩色图片良好的还原效果。进一步地，将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练，有利于提高夜间彩色图片的还原度，保证图片良好的还原效果。
进一步地，图片对可以为黑夜图片和标定好的Ground Truth(标定好的真实数据)图片，也可以为与夜间图片的黑暗图片具有相同位置和相同内容的白天的图片，如从监控摄像头拍摄的视频中选取部分位置和内容对应的夜间黑暗图片及对应白天的图片。
如图2所示，根据本发明另一个实施例的基于深度学习的夜间彩色图像的还原方法，包括：
S202，采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片；
S204，通过数据增广获取训练图片数据集；
S206，选择网络模型；
S208，将训练图片数据集采用RGB格式对所选择的网络模型进行网络训练；
S210，将训练图片数据集由RGB格式转化为RAW格式；
S212，将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练；
S214，对训练结果进行分析；
S216，基于分析结果优化网络模型，并继续优化迭代；
S218，确定最优的网络模型。
在该实施例中，当训练图片数据集采用RAW格式对所选择的网络模型进行网络训练时，在将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练之前，先将训练图片数据集由RGB格式转化为RAW格式，并根据RAW格式对选择的网络模型进行网络训练，即依次执行S202、S204、S206、S210、S212、S214、S216、S218，使得将采集到的RGB图片转化为RAW格式进行网络训练后得到较优、较好的网络模型，且有利于提高夜间彩色图片的还原度，保证图片良好的还原效果，避免了相关技术中的夜间彩色图片的还原方法只能对采集到的RAW格式进行还原的局限性，进一步扩大了本申请的适用范围。
可以理解的是，由于实际工业应用的监控系统采集到的图片大都为sRGB空间的jpg、png、bmp等格式图片，即均为红-绿-蓝三通道，进而将训练图片数据集采用RGB格式对选择的网络模型直接进行网络，并对训练结果进行分析，根据分析结果优化迭代网络模型并确定最优网络模型，即依次执行S202、S204、S206、S208、S214、S216、S218，有利于降低夜间彩色图像还原方法的操作难度，易于实现，并有利于普遍应用。
在本发明的一个实施例中，优选地，将训练图片数据集由RGB格式转化为RAW格式的步骤，具体包括：采用插值算法，将训练图片数据集由RGB格式转化为RAW格式。
在该实施例中，通过插值算法，将训练图片数据集由RGB格式转化为RAW格式，具体地，通过插值算法，将训练图片数据集由RGB格式转化为Bayer模式下RAW格式，可以理解的是，也可以通过其他方式将训练图片数据集由RGB格式转化为RAW格式。具体地，基于双线性插值算法如raw2rgb，开发算法实现将RGB(Red-Green-Blue，红-绿-蓝三通道)图片还原成Bayer模式下的RAW格式然后折叠成R-G-B-G(红-绿-蓝-绿四通道)通道。
在本发明的一个实施例中，优选地，将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练的步骤，具体包括：将训练图片数据集采用RGB格式以红-绿-蓝三通道对所选择的网络模型进行网络训练；或将训练图片数据集采用RAW格式以红-绿-蓝-绿四通道对所选择的网络模型进行网络训练。
在该实施例中，将训练图片数据集采用RGB格式以红-绿-蓝三通道对所选择的网络模型进行网络训练，即当训练图片数据集采用RGB格式进行网络训练时，所选择的网络模型是与红-绿-蓝三通道相匹配的网络模型。
将训练图片数据集采用RAW格式以红-绿-蓝-绿四通道对所选择的网络模型进行网络训练，即当训练图片数据集采用RAW格式进行网络训练时，所选择的网络模型是与红-绿-蓝-绿四通道相匹配的网络模型。在本发明的一个实施例中，优选地，通过数据增广获取训练图片数据集的步骤，具体包括：采用神经风格迁移算法，通过数据增广获取训练图片数据集。
在该实施例中，通过采用神经风格迁移算法，进行数据增广获取训练图片数据集，进而得到足够多的训练图片数据集，有利于进行充分的网络训练，进而使通过确定的最优的网络模型还原的夜间彩色图片还原度高，具有良好的还原效果。
具体地，为得到足够多的训练图片数据集，即训练集图片对，采用神经风格迁移算法将采集的夜间图片的黑夜的风格迁移到白天图片的白天煤堆内容上，由此生成和白天图片完全对应的夜间图像，完成夜间图片还原任务图片数据集的增广。
在本发明的一个实施例中，优选地，网络模型包括损失函数和神经网络模型。
在该实施例中，网络模型包括损失函数和神经网络模型，即可以通过损失函数利用全卷积神经网络模型进行端到端的训练进而实现网络训练。可以理解的是，针对同一个神经网络模型可以选择不同的损失函数进行端到端的训练，以便于根据训练结果进行分析，确定合理、优化的最优的网络模型。可以理解的是，可以根据不同的图片格式，如RGB格式或RAW，选择不同的损失函数和不同的神经网络模型进行训练。
在本发明的一个实施例中，优选地，基于将训练图片数据集采用RGB格式对所选择的网络模型进行网络训练，损失函数为第一损失函数，神经网络模型为第一神经网络模型。
在该实施例中，当训练图片数据集采用RGB格式进行网络训练时，所选择的网络模型的损失函数为第一损失函数，神经网络模型为第一神经网络模型。即通过保持sRGB色彩空间图片为RGB格式的红-绿-蓝三通道，通过调整神经网络模型的结构得到第一神经网络模型，去掉子像素还原层，使输出图片尺寸与输入图片尺寸相同，并采用第一损失函数进行端到端训练。
在本发明的一个实施例中，优选地，基于将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练，损失函数为第二损失函数，神经网络模型为第二神经网络模型。
在该实施例中，当训练图片数据集采用RAW格式进行网络训练时，所选择的网络模型的损失函数为第二损失函数，神经网络模型为第二神经网络模型。即通过将RAW格式的图片折叠成红-绿-蓝-绿四通道，采用第二损失函数，利用第二神经网络模型进行端到端的训练，使得还原后的夜间彩色图片的效果良好，保证了良好的还原效果，适于普通推广，扩大使用范围。
如图3所示，根据本发明再一个实施例的基于深度学习的夜间彩色图像的还原方法，包括：
S302，采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片；
S304，通过数据增广获取训练图片数据集；
S306，选择网络模型，其中，损失函数为第一损失函数，神经网络模型为第一神经网络模型；
S308，将训练图片数据集采用RGB格式对所选择的网络模型进行网络训练；
S310，选择网络模型，其中，损失函数为第二损失函数，神经网络模型为第二神经网络模型；
S312，将训练图片数据集由RGB格式转化为RAW格式；
S314，将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练；
S316，对训练结果进行分析；
S318，基于分析结果优化网络模型，并继续优化迭代；
S320，确定最优的网络模型。
在该实施例中，一方面，由于实际工业应用的监控系统采集到的图片大都为sRGB空间的jpg、png、bmp等格式图片，即均为红-绿-蓝三通道，进而将训练图片数据集采用RGB格式进行网络训练能够大大简化操作步骤，提高该方法的使用范围，通过在数据增广获取训练图片数据集之后，选择网络模型，其中，损失函数为第一损失函数，神经网络模型为第一神经网络模型，然后将训练图片数据集采用RGB格式对所选择的网络模型进行网络训练，并通过对训练结果进行分析，根据分析结果优化迭代网络模型并确定最优的网络模型，即依次执行S302、S304、S306、S308、S316、S318、S320，使得夜间图像还原方法的实际应用的操作难度大大降低，易于实现，并有利于普遍应用，进而扩大了夜间彩色图像的还原方法的使用范围。
另一方面，通过在数据增广获取训练图片数据集之后，选择网络模型，其中，损失函数为第二损失函数，神经网络模型为第二神经网络模型，然后将训练图片数据集由RGB格式转化为RAW格式，并采用RGB格式折叠为红-绿-蓝-绿四通道对所选择的网络模型进行网络训练，并通过对训练结果进行分析，根据分析结果优化迭代网络模型并确定最优的网络模型，即依次执行S302、S304、S310、S312、S314、S316、S318、S320，使得还原后的夜间彩色图片的效果良好，保证了良好的还原效果，适于普通推广，扩大使用范围。
在本发明的一个实施例中，优选地，通过以下指标对训练结果进行分析：峰值信噪比和/或结构相似性。
在该实施例中，通过峰值信噪比和/或结构相似性对训练结果进行分析，使得针对训练结果进行图片测试分析，查看不同损失函数(如第一损失函数、第二损失函数)下的PSNR(Peak Signal to Noise Ratio，峰值信噪比)及SSIM(Structual Similarity Index，结构相似性)，进而衡量还原图片与白天图片的相似度、还原度，有利于根据分析结果确定最优的网络模型。
进一步地，可以在确定的最优的网络模型之后，以最优的网络模型进行工业现场部署，将基于深度学习的夜间彩色图像的还原方法得以应用。
在相关技术中的基于全卷积神经网络进行夜间图像还原的方法，是采用全卷积网络其他结构如CAN(Context Aggregation Network，文本聚集网络)24或CAN36，对sRGB空间的图片不进行通道处理，直接进行端到端的训练。但CAN24、CAN36采用空洞卷积，模型小，参数量少，模型表达能力有限，使得对夜间图像还原这一复杂任务效果差。而本申请通过将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练，并根据不同的格式选择不同的网络模型进行网络训练，使得本申请的基于深度学习的夜间彩色图像的还原方法能够满足对不同的图片格式进行训练的要求，避免了相关技术中夜间彩色图片的还原方法对图片格式要求严格使得实际使用范围受限，进一步扩大了使用范围，同时，可以根据不同的图片格式选择不同的网络模型，或根据同一图片格式选择不同的网络模型，增大了模型表达能力，且模型种类较多，使得通过较多的数据、较多的网络模型进行多方面的网络训练得到还原效果较高的网络模型进而保证夜间彩色图片良好的还原效果。
在具体实施例中，首先，采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片，如从工业应用场景采集夜间图片及对应的groundtruth图片，也可从监控摄像头拍摄的视频中选取部分位置和内容对应的夜间黑暗图片及对应白天的图片；然后，通过数据增广获取训练图片数据集，即为得到足够多的训练集图片对，采用神经风格迁移算法将黑夜的风格迁移到白天煤堆内容上，由此生成和白天图像完全对应的夜间图像，完成夜间图像还原任务图片数据集的增广；接着，基于raw2rgb插值算法，开发算法实现将RGB图片还原成Bayer模式下RAW格式然后折叠成R-G-B-G四通道，送入U-net(卷积神经)网络，选用不同的损失函数(第一损失函数、第二损失函数)进行端到端训练；最后，针对训练结果进行图片测试分析，查看不同损失函数下(第一损失函数、第二损失函数)下的PSNR及SSIM，针对测试结果优化迭代模型，并确定最优的网络模型，将最优的网络模型进行工业现场部署。
根据本发明的第二方面，如图4所示，提出了一种基于深度学习的夜间彩色图像的还原系统400，包括存储器402、处理器404及存储在存储器402上并可在处理器404上运行的计算机程序，处理器404执行计算机程序时实现上述任一实施例的基于深度学习的夜间彩色图像的还原方法，因此具有上述任一实施例的基于深度学习的夜间彩色图像的还原方法的全部有益效果，在此不再赘述。
根据本发明的第三方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的基于深度学习的夜间彩色图像的还原方法的步骤。因此具有上述任一实施例的基于深度学习的夜间彩色图像的还原方法的全部有益效果，在此不再赘述。
在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种基于深度学习的夜间彩色图像的还原方法，其特征在于，包括：
采集图片对，所述图片对包括夜间图片和对应于所述夜间图片的白天图片；
通过数据增广获取训练图片数据集；
选择网络模型；
将所述训练图片数据集采用RGB格式或RAW格式对选择的所述网络模型进行网络训练；
对训练结果进行分析；
基于所述分析结果优化所述网络模型，并继续优化迭代；
确定最优的所述网络模型。
2.根据权利要求1所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，基于将所述训练图片数据集采用RAW格式对选择的所述网络模型进行网络训练，在所述将所述训练图片数据集采用RAW格式对选择的所述网络模型进行网络训练的步骤之前，还包括：
将所述训练图片数据集由RGB格式转化为RAW格式。
3.根据权利要求2所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，所述将所述训练图片数据集由RGB格式转化为RAW格式的步骤，具体包括：
采用插值算法，将所述训练图片数据集由RGB格式转化为RAW格式。
4.根据权利要求1至3中任一项所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，所述将所述训练图片数据集采用RGB格式或RAW格式对选择的所述网络模型进行网络训练的步骤，具体包括：
将所述训练图片数据集采用RGB格式以红-绿-蓝三通道对选择的所述网络模型进行网络训练；或
将所述训练图片数据集采用RAW格式以红-绿-蓝-绿四通道对选择的所述网络模型进行网络训练。
5.根据权利要求1至3中任一项所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，所述通过数据增广获取训练图片数据集的步骤，具体包括：
采用神经风格迁移算法，通过数据增广获取所述训练图片数据集。
6.根据权利要求1至3中任一项所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，
所述网络模型包括损失函数和神经网络模型。
7.根据权利要求6所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，
基于将所述训练图片数据集采用RGB格式对选择的所述网络模型进行网络训练，所述损失函数为第一损失函数，所述神经网络模型为第一神经网络模型。
8.根据权利要求6所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，
基于将所述训练图片数据集采用RAW格式对选择的所述网络模型进行网络训练，所述损失函数为第二损失函数，所述神经网络模型为第二神经网络模型。
9.根据权利要求1至3中任一项所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，通过以下指标对所述训练结果进行分析：
峰值信噪比和/或结构相似性。
10.一种基于深度学习的夜间彩色图像的还原系统，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的基于深度学习的夜间彩色图像的还原方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的基于深度学习的夜间彩色图像的还原方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910608369.3A CN110458763A (zh) | 2019-07-08 | 2019-07-08 | 基于深度学习的夜间彩色图像的还原方法、系统、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910608369.3A CN110458763A (zh) | 2019-07-08 | 2019-07-08 | 基于深度学习的夜间彩色图像的还原方法、系统、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110458763A true CN110458763A (zh) | 2019-11-15 |
Family
ID=68482461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910608369.3A Pending CN110458763A (zh) | 2019-07-08 | 2019-07-08 | 基于深度学习的夜间彩色图像的还原方法、系统、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458763A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127366A (zh) * | 2019-12-26 | 2020-05-08 | 山东浪潮人工智能研究院有限公司 | 一种人像图片还原方法、装置以及设备 |
| CN111325679A (zh) * | 2020-01-08 | 2020-06-23 | 深圳深知未来智能有限公司 | 一种Raw到Raw的暗光图像增强方法 |
| CN111913863A (zh) * | 2020-08-07 | 2020-11-10 | 北京达佳互联信息技术有限公司 | 统计模型建立方法、夜间模式页面生成方法、装置及设备 |
| CN112581401A (zh) * | 2020-12-25 | 2021-03-30 | 英特灵达信息技术(深圳)有限公司 | 一种raw图片的获取方法、装置及电子设备 |
| CN112597811A (zh) * | 2020-12-02 | 2021-04-02 | 北京智芯微电子科技有限公司 | 场景监测模型的获取方法及装置、监测系统及监测方法 |
| CN112712004A (zh) * | 2020-12-25 | 2021-04-27 | 英特灵达信息技术(深圳)有限公司 | 人脸检测系统及人脸检测方法、装置、电子设备 |
| CN113115112A (zh) * | 2021-06-16 | 2021-07-13 | 上海齐感电子信息科技有限公司 | 验证平台和验证方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170032222A1 (en) * | 2015-07-30 | 2017-02-02 | Xerox Corporation | Cross-trained convolutional neural networks using multimodal images |
| CN109118447A (zh) * | 2018-08-01 | 2019-01-01 | Oppo广东移动通信有限公司 | 一种图片处理方法、图片处理装置及终端设备 |
| CN109379572A (zh) * | 2018-12-04 | 2019-02-22 | 北京达佳互联信息技术有限公司 | 图像转换方法、装置、电子设备及存储介质 |
| CN109919073A (zh) * | 2019-03-01 | 2019-06-21 | 中山大学 | 一种具有光照鲁棒性的行人再识别方法 |
-
2019
- 2019-07-08 CN CN201910608369.3A patent/CN110458763A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170032222A1 (en) * | 2015-07-30 | 2017-02-02 | Xerox Corporation | Cross-trained convolutional neural networks using multimodal images |
| CN109118447A (zh) * | 2018-08-01 | 2019-01-01 | Oppo广东移动通信有限公司 | 一种图片处理方法、图片处理装置及终端设备 |
| CN109379572A (zh) * | 2018-12-04 | 2019-02-22 | 北京达佳互联信息技术有限公司 | 图像转换方法、装置、电子设备及存储介质 |
| CN109919073A (zh) * | 2019-03-01 | 2019-06-21 | 中山大学 | 一种具有光照鲁棒性的行人再识别方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127366A (zh) * | 2019-12-26 | 2020-05-08 | 山东浪潮人工智能研究院有限公司 | 一种人像图片还原方法、装置以及设备 |
| CN111325679A (zh) * | 2020-01-08 | 2020-06-23 | 深圳深知未来智能有限公司 | 一种Raw到Raw的暗光图像增强方法 |
| CN111913863A (zh) * | 2020-08-07 | 2020-11-10 | 北京达佳互联信息技术有限公司 | 统计模型建立方法、夜间模式页面生成方法、装置及设备 |
| CN111913863B (zh) * | 2020-08-07 | 2023-10-17 | 北京达佳互联信息技术有限公司 | 统计模型建立方法、夜间模式页面生成方法、装置及设备 |
| CN112597811A (zh) * | 2020-12-02 | 2021-04-02 | 北京智芯微电子科技有限公司 | 场景监测模型的获取方法及装置、监测系统及监测方法 |
| CN112581401A (zh) * | 2020-12-25 | 2021-03-30 | 英特灵达信息技术(深圳)有限公司 | 一种raw图片的获取方法、装置及电子设备 |
| CN112712004A (zh) * | 2020-12-25 | 2021-04-27 | 英特灵达信息技术(深圳)有限公司 | 人脸检测系统及人脸检测方法、装置、电子设备 |
| WO2022135497A1 (zh) * | 2020-12-25 | 2022-06-30 | 英特灵达信息技术(深圳)有限公司 | 一种raw图片的获取方法、装置及电子设备 |
| CN112712004B (zh) * | 2020-12-25 | 2023-09-12 | 英特灵达信息技术(深圳)有限公司 | 人脸检测系统及人脸检测方法、装置、电子设备 |
| CN113115112A (zh) * | 2021-06-16 | 2021-07-13 | 上海齐感电子信息科技有限公司 | 验证平台和验证方法 |
| CN113115112B (zh) * | 2021-06-16 | 2021-09-21 | 上海齐感电子信息科技有限公司 | 验证平台和验证方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458763A (zh) | 基于深度学习的夜间彩色图像的还原方法、系统、介质 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN102884536B (zh) | 用于视频会议压缩的肤色与特征检测 | |
| EP2280376B1 (en) | Image processing apparatus and image processing method | |
| CN1655578B (zh) | 调整图像数据以形成高度可压缩图像平面的系统和方法 | |
| US5111285A (en) | Video printer device | |
| JP5874497B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4883007B2 (ja) | 画像処理装置、画像処理プログラム、および、画像処理方法 | |
| US7876970B2 (en) | Method and apparatus for white balancing digital images | |
| CN111145290B (zh) | 一种图像彩色化方法、系统和计算机可读存储介质 | |
| CN105447840B (zh) | 基于主动采样与高斯过程回归的图像超分辨方法 | |
| CN101170707B (zh) | 图像格式的转换和恢复方法及装置 | |
| JP4386959B1 (ja) | 画像処理装置 | |
| CN113676629B (zh) | 图像传感器、图像采集装置、图像处理方法及图像处理器 | |
| JP2019110467A (ja) | 画像色変換装置、画像色変換プログラム、画像色変換方法 | |
| CN113658043A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN107852456A (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
| CN115314617A (zh) | 图像处理系统及方法、计算机可读介质和电子设备 | |
| CN110891138A (zh) | 黑光全彩实现方法和黑光全彩摄像机 | |
| CN106683082A (zh) | 一种基于四元数的全参考彩色图像质量评价方法 | |
| KR101134665B1 (ko) | 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 | |
| CN109712093A (zh) | 一种基于海天背景的图像颜色还原方法及装置 | |
| CN105631812B (zh) | 一种对显示图像进行色彩增强的控制方法及控制装置 | |
| KR102556960B1 (ko) | 샘플링 된 색차 성분의 복원 장치 | |
| CN113724162A (zh) | 一种零补光实时全彩夜视成像方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191115 |