CN111311507B - 基于多粒度合作网络的极低光成像方法 - Google Patents
基于多粒度合作网络的极低光成像方法 Download PDFInfo
- Publication number
- CN111311507B CN111311507B CN202010068976.8A CN202010068976A CN111311507B CN 111311507 B CN111311507 B CN 111311507B CN 202010068976 A CN202010068976 A CN 202010068976A CN 111311507 B CN111311507 B CN 111311507B
- Authority
- CN
- China
- Prior art keywords
- granularity
- network
- layer
- output
- cooperative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 43
- 238000005286 illumination Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 235000019580 granularity Nutrition 0.000 description 19
- 241000764238 Isis Species 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理与计算机视觉领域,公开了一种基于多粒度合作网络的极低光成像方法,包括以下步骤:S1、采集相机原始信号数据,进行黑电平校正;S2、对黑电平校正后的信号进行增益处理,然后对增益以后的信号数据做降维处理;S3、将降维处理后的信号数据输入到多粒度合作神经网络,通过学习的方式,将其转换到sRGB空间,其中,所述多粒度合作神经网络包括多个依次连接的单粒度网络,其中最后一个单粒度网络为第一个单粒度网络的孪生网络。本发明不仅实现了更高的峰值信噪比(PSNR)和结构相似性度量(SSIM),而且具有更好的视觉效果。
Description
技术领域
本发明属于图像处理与计算机视觉领域,具体涉及一种基于多粒度合作网络的极低光成像方法。
背景技术
低光或极低光照条件下的成像一直以来都是一项十分困难的任务,在低光或极低光照条件下成像设备具有较低的信噪比,传统图像信号处理(ISP)算法处理的图像会存在噪点、模糊、颜色失真等问题。要解决此问题,一种策略是延长曝光时间以获取清晰的图像,但是由于相机抖动或物体移动,曝光时间的增加会导致模糊,因此该策略不适用于视频拍摄。另一种策略是打开闪光灯,但这种策略会使得图像看起来不自然。
到现在为止,已经提出了许多方法来增强图像的质量,例如直方图均衡化算法和Retinex算法。但传统的夜间图像增强技术在实际应用中主要面临两个问题:1.通常会导致增强图像的某些区域过爆或曝光不足,同时产生大量噪声、色差等问题;2.在极弱的光照环境下,尤其是在保护高动态范围(HDR)方面仍然难以获得令人满意的结果。
发明内容
本发明克服现有技术存在的不足,所要解决的技术问题为:提供一种基于多粒度合作网络的极低光成像方法。
为了解决上述技术问题,本发明采用的技术方案为:一种基于多粒度合作网络的极低光成像方法,包括以下步骤:
S1、采集相机原始信号数据,进行黑电平校正;
S2、对黑电平校正后的信号进行增益处理,然后对增益以后的信号数据做降维处理;
S3、将降维处理后的信号数据输入到多粒度合作神经网络,通过学习的方式,将其转换到sRGB空间,其中,所述多粒度合作神经网络包括多个依次连接的单粒度网络,其中最后一个单粒度网络为第一个单粒度网络的孪生网络,其中,第一个网络的输入为所述多粒度合作神经网络的输入input1,后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。
所述步骤S1中,对采集相机原始信号数据,进行黑电平校正的公式为:
raw=max(Iraw-512)/(1683-512);
其中,Iraw表示相机原始信号数据,raw表示经过校正后的信号数据。
所述步骤S2中,采用原始照明图估计函数对黑电平校正后的信号数据进行非线性增益处理,具体处理办法为通过原始照明图估计函数M点乘经过黑电平校正后的信号数据raw,即得到增益后的数据grsd;
所述原始照明图估计函数的计算公式为:
其中,M表示原始照明图估计函数,mf表示照明图函数,ε表示原始照明图估计函数的下限,在网络训练期间ε设置为1;在处理极暗HDR原始图像时ε设置为其中ratio为输入图像与参考图像之间的曝光差比值;照明图函数mf的计算表达式为:
其中参数r用来控制图片的曝光程度,参数α用来避免x出现0,从而造成异常的输出。为通过经验设定;x表示图像的输入,即黑电平校正后的信号数据raw。
所述r和α的设定值分别为α=10-6和r=1。
图像重建损失的计算公式为:
其中,N表示多粒度合作网络中单粒度网络的数量,hi,out表示第i个单粒度网络的输出,I表示参考图像,h'1,out表示反向连接后第一个单粒度网络的输出;
图像平滑度损失的计算公式为:
所述所述多粒度合作神经网络中,第一个单粒度网络的输出h1,out为:
h1,out=φ1,n+1(h1,n+1;w1,n+1,b1,n+1);
其中,n+1表示单粒度网络的总层数,h1,n+1表示第一个单粒度网络的第n+1层的输出,w1,n+1表示第一个单粒度网络的第n+1层的权重,b1,n+1表示第一个单粒度网络的第n+1层的偏差,φ1,n+1表示第一个单粒度网络的第n+1层的激活函数;
第i个单粒度网络的输出为:
hi,out=φi,n+1(f(β1,n+1×h1,n+1,...,βi,n+1×hi,n+1,hi,n+1);wi,n+1,bi,n+1),i∈{2,...,m};
其中,βi,n+1表示第i个单粒度网络的第n+1层的控制不同信息比例的权重;hi,n+1表示第i个单粒度网络的第n+1层的输出,wi,n+1表示第i个单粒度网络的第n+1层的权重;bi,n+1表示第i个单粒度网络的第n+1层的偏差,f(·)表示特征融合函数,φi,n+1表示第i个单粒度网络的第n+1层的激活函数,m+1表示所述多粒度合作神经网络中单粒度网络的个数;
最后一个单粒度网络的输出为:
h′1,out=φ1,n+1(f(h′1,n+1,...,βi,n+1×hi,n+1);w1,n+1,b1,n+1),i∈{1,...,m};
其中,h′1,n+1表示最后一个单粒度网络的第n+1层的输出。
进一步地,第一个单粒度网络的第1层的输出h1,1的表达式为:
h1,1=φ1,1(h1,in;w1,in,b1,in);
第一个单粒度网络的第j+1层的输出h1,j+1的表达式为:
h1,j+1=φ1,j(h1,1,...,h1,j;w1,j,b1,j), j∈{1,...,n};
第i个单粒度网络SGN-i的第1层输出hi,1的表达式为:
hi,1=φi,1(f(α1,out×h1,out,...,αi-1,out×hi-1,out,hi,in);wi,1,bi,1),i∈{2,...,m};
第i个单粒度网络的第j+1层的输出hi,j+1的表达式为:
hi,j+1=φi,j(f(β1,j×h1,j,...,βi-1,j,hi,j);wi,j,bi,j),i∈{2,...,m},j∈{1,...,n};
最后一个单粒度网络的第1层的输出h′1,1为:
h′1,1=φ1,1(f(α1,out×h1,out,...,αi,out×hi,out,hi,in);w1,1,b1,1),i∈{1,...,m};
最后一个单粒度网络的第j+1层的输出h′1,j+1的表达式为:
h′1,j+1=φ1,j(f(h′1,j,β2,j×h2,j,...,βi,j×hi,j);w1,j,b1,j),i∈{1,...,n},j∈{1,...,m}。
本发明与现有技术相比具有以下有益效果:
1.本发明提供了一种基于多粒度合作网络的极低光成像方法,该方法以多粒度合作神经网络进行学习,实现图像增强,不仅实现了更高的峰值信噪比(PSNR)和结构相似性度量(SSIM),而且具有更好的视觉效果。
2.本发明的成像方法,通过一种新颖的原始照度图估计函数,该函数可以在极端弱光环境下生成具有期望属性(清晰度,色彩鲜艳度,良好对比度)的曝光良好的sRGB图像。通过一系列实验,验证了该算法的鲁棒性。
附图说明
图1为本发明实施例提供的一种基于多粒度合作网络的极低光成像方法的流程示意图;
图2为本发明实施例中多粒度合作网络的结构示意图;
图3为拍照设备在极低光条件下获取的原始图像;
图4为采用本发明的成像方法对图3进行处理后的图像;
图5为拍照设备在极低光条件下获取的另一原始图像;
图6为采用本发明的成像方法对图5进行处理后的图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1~2所示,本发明实施例提供了一种基于多粒度合作网络的极低光成像方法,包括以下步骤:
S1、采集相机原始信号数据,进行黑电平校正。
传统的图像增强是直接处理JPEG图像,而本发明实施例为直接从相机原始信号数据(RAW Data)出发,这是因为相机原始信号数据相比于经过处理的JPEG图像包含有更丰富的信息。为了解决暗电流存在的问题,需要对采集到的原始信号数据进行黑电平校正。其中暗电流是指传感器在没有入射光的情况下,存在一定的信号输出,这是由于半导体的热运动造成的,它的大小和传感器结构及温度有关。黑电平校正就是直接在原始数据上减去一个固定值,使其最小值为零,该固定值对RGB各通道可以是一样,也可以是不一样。通过黑电平校正,消除暗电流造成的成像干扰,并将像素值归一化到[0,1]之间。定义输入的低光照图片为Iraw,也就是通过相机采集到的原始信号数据,这里对黑电平进行校正的公式如下:
raw=max(Iraw-512)/(16383-512); (1)
其中,Iraw表示相机原始信号数据,raw表示经过校正后的信号数据。
需要注意的是,本实施例采用的是Sony相机,不同的相机对数据的编码方式不同,因此对黑电平校正的方式会不同,需根据使用的相机具体操作。
S2、对黑电平校正后的信号进行增益处理,然后对增益以后的信号数据做降维处理。
相比于目前主流的线性增益技术,本发明实施例使用了一种新颖的原始光照图估计函数M,它对信号进行非线性增益,从而保护信号的高动态范围。
所述原始照明图估计函数M的计算公式为:
其中,M表示原始照明图估计函数,mf表示照明图函数,ε表示原始照明图估计函数的下限,在网络训练期间ε设置为1;在处理极暗HDR原始图像时ε设置为其中ratio为输入图像与参考图像之间的曝光差比值;照明图函数mf的计算表达式为:
其中,参数r用来控制图片的曝光程度,参数α用来避免x出现0值时造成异常的输出,为通过经验设定;x表示图像的输入,即黑电平校正后的信号数据raw;本实施例中,所述r和α的设定值依经验分别设定为α=10-6和r=1。
本发明实施例中,原始光照图估计函数由两部分组成:用于计算照明图的照明图函数mf和保证估计函数M的最终结果不小于下界ε的最大函数max(·),从而避免了增强图像中的不良像素。本实施例中,非线性增益的具体处理办法为通过原始照明图估计函数M点乘经过黑电平校正后的信号数据raw,即得到增益后的数据grsd(gain raw sensor data)。
为了提高算法的运算时间,还需要对增益以后的信号数据做降维处理,其具体方法为:将信号数据(Bayer arrays)的R,G,B像素分别取出,并将数据原来的单通道格式转化为4个通道格式,此时数据的长为原来的1/2,宽为原来的1/2,然后通过交换相邻元素将X-Trans阵列打包为9个通道,如图1所示。
S3、将降维处理后的信号数据输入到多粒度合作神经网络,通过学习的方式,将其转换到sRGB空间。
其中,本实施例所述的多粒度合作神经网络包括多个依次连接的单粒度网络(SGN),其中最后一个单粒度网络为第一个单粒度网络的孪生网络,其中,第一个网络的输入为所述多粒度合作神经网络的输入input1,后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。
具体地,如图2所示,本实施例的多粒度合作神经网络中,包含四个单粒度网络SGN-1、SGN-2、SGN-3和SGN-1’,其中,SGN-1’与SGN-1是孪生网络,我们最终取out1’作为最终输出结果,多元信息融合包含中间层信息融合以及不同粒度结果的融合,最终的损失函数定义为:loss=loss1+loss2+loss3,使用Adam优化。
具体地,本实施例中,SGN-1包含9个卷积块、1个原始输出卷积层和1个亚像素卷积层。其中每个卷积块有两个卷积层,第二个到第五个卷积块是编码过程,包含4个pooling层,后四个卷积块是解码过程,包含4个反卷积层。pooling层使用的是maxpooling,maxpooling是对邻域内特征点取最大值,它的作用是对特征图进行下采样。反卷积是一种特殊的正向卷积,先按照一定的比例通过补0来扩大输入图像的尺寸,接着旋转卷积核,再进行正向卷积,使用它进行图像的上采样。亚像素卷积层包含两个过程:一个普通的卷积层和排列像素。最后一层卷积层输出的特征个数需要设置成固定值,这样总的像素个数就能与要得到的高分辨率图像一致,然后将像素进行重新排列就能得到高分辨率图,实现从低分辨图到高分辨图的重构。SGN-1详细的参数见表1,其余每个SGN的网络结构是相同的。
表1 SGN-1的网络配置
下面介绍本发明实施例中,多粒度合作神经网络的工作流程。
其中,第1个单粒度网络SGN-1的第1层的输出h1,1的表达式为:
h1,1=φ1,1(h1,in;w1,in,b1,in); (4)
其中,h1,in代表SGN-1的输入,φ1,1(·)是SGN-1的第1层的激活函数,本实施例中采用的是lrelu函数,w1,in是SGN-1输入层的权重,b1,in是SGN-1输入层的偏差。
SGN-1的第j+1层的输出h1,j+1的表达式为:
h1,j+1=φ1,j(h1,1,...,h1,j;w1,j,b1,j),j∈{1,...,n}; (5)
其中,j∈{1,...,n}表示单粒度网络中的层数,h1,j是SGN-1的第j层的输出,φ1,j(·)是SGN-1的第j层的激活函数,w1,j是SGN-1的第j层的权重,b1,j是SGN-1的第j层的偏差,单粒度网络的总层数为n+1。
SGN-1的输出h1,out的表达式为:
h1,out=φ1,n+1(h1,n+1;w1,n+1,b1,n+1); (6)
其中,φ1,n+1表示SGN-1的第n+1层的激活函数。
第i个单粒度网络SGN-i的第1层输出hi,1的表达式为:
hi,1=φi,1(f(α1,out×h1,out,...,αi-1,out×hi-1,out,hi,in);wi,1,bi,1),i∈{2,...,m}; (7)
φi,1(·)是第i个单粒度网络SGN-i的第1层的激活函数,αi-1,out是控制hi,out的权重的参数,hi-1,out是第i-1个单粒度网络的输出,hi,in是第i个单粒度网络SGN-i的输入,wi,1是SGN-i的第1层的权重,bi,1是SGN-i的第1层的偏差,f(·)是特征融合的操作,它用于协作连接或反向连接,i∈{2,...,n}代表特定单粒度网络的顺序,应注意的是,m+1表示本是实施例的单粒度网络的总个数,其中,第m+1个单粒度网络SGN-m+1为第一个网络SGN-1的孪生网络。
第i个单粒度网络SGN-i的第j+1层输出hi,j+1的表达式为:
hi,j+1=φi,j(f(β1,j×h1,j,...,βi-1,j,hi,j);wi,j,bi,j),i∈{2,...,m},j∈{1,...,n}; (8)
βi-1,j是第i-1个单粒度网络的第j层的控制不同信息比例的权重,wi,j是第i个单粒度网络SGN-i的第j层的权重,bi.j是第i个单粒度网络SGN-i的第j层的偏差。
第i个单粒度网络SGN-i的输出hi,out的表达式为:
hi,out=φi,n+1(f(β1,n+1×h1,n+1,...,βi,n+1×hi,n+1,hi,n+1);wi,n+1,bi,n+1),i∈{2,...,m}; (9)
其中,hi,out是反向连接前第i个单粒度网络SGN-i的输出。
反向连接后,即第1个单粒度网络SGN-1的孪生网络SGN-1’的第1层的输出h′1,1为:
h′1,1=φ1,1(f(α1,out×h1,out,...,αi,out×hi,out,hi,in);w1,1,b1,1),i∈{1,...,m}; (10)
其中,h′1,1是孪生网络SGN-1’第1层的输出。
式(9)是反向连接的第一步操作。首先,将SGN-1’的输入更改为输入所有hi,out和原始输入h1,in。
反向连接后SGN-1第j层的输出,即孪生网络SGN-1’的第j层的输出h′1,j的表达式为:
h'1,j+1=φ1,j(f(h′1,j,β2,j×h2,j,...,βi,j×hi,j);w1,j,b1,j),i∈{1,...,n},j∈{1,...,m}; (11)
其中,该网络接收每一层的所有单粒度网络特征,h′1,j代表孪生网络SGN-1’第j层的输出。
反向连接后SGN-1的输出,即孪生网络SGN-1’的输出h′1,out的表达式为:
h′1,out=φ1,n+1(f(h′1,n+1,...,βi,n+1×hi,n+1);w1,n+1,b1,n+1),i∈{1,...,m}; (12)
通过上述的多粒度合作神经网络,可以实现从低分辨图到高分辨图的重构。
图像重建损失的计算公式为:
其中,N表示多粒度合作网络中单粒度网络的数量,hi,out表示第i个单粒度网络的输出,I表示参考图像,h′1,out表示反向连接后第一个单粒度网络的输出;
图像平滑度损失的计算公式为:
本发明提供了一种基于多粒度合作网络的极低光成像方法,以多粒度合作神经网络进行学习,实现图像增强,不仅实现了更高的峰值信噪比(PSNR)和结构相似性度量(SSIM),而且具有更好的视觉效果。此外,本发明采用通过一种新颖的原始照度图估计函数,该函数可以在极端弱光环境下生成具有期望属性(清晰度,色彩鲜艳度,良好对比度)的曝光良好的sRGB图像。通过一系列实验,验证了该算法的鲁棒性。如图3、图4、图5和图6是实验结果图,图3和图5是通过拍照设备获取的原始图像,是在低照度环境下拍摄的。通过本发明的成像方法进行图像增强处理后,得到的效果图如图4和图6所示,可明显看出图像增强的效果。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于多粒度合作网络的极低光成像方法,其特征在于,包括以下步骤:
S1、采集相机原始信号数据,进行黑电平校正;
S2、对黑电平校正后的信号进行增益处理,然后对增益以后的信号数据做降维处理;
所述步骤S2中,采用原始照明图估计函数对黑电平校正后的信号数据进行非线性增益处理,具体处理办法为通过原始照明图估计函数M点乘经过黑电平校正后的信号数据raw,即得到增益后的数据grsd;
所述原始照明图估计函数的计算公式为:
其中,M表示原始照明图估计函数,mf表示照明图函数,ε表示原始照明图估计函数的下限,在网络训练期间ε设置为1;在处理极暗HDR原始图像时ε设置为其中ratio为输入图像与参考图像之间的曝光差比值;照明图函数mf的计算表达式为:
其中参数r用来控制图片的曝光程度,参数α用来避免x出现0,从而造成异常的输出,为通过经验设定;x表示图像的输入,即黑电平校正后的信号数据raw
S3、将降维处理后的信号数据输入到多粒度合作神经网络,通过学习的方式,将其转换到sRGB空间,其中,所述多粒度合作神经网络包括多个依次连接的单粒度网络,其中最后一个单粒度网络为第一个单粒度网络的孪生网络,其中,第一个网络的输入为所述多粒度合作神经网络的输入input1,后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出;
所述多粒度合作神经网络中,损失函数lmu的计算公式为:
其中K是训练过程中输入网络的图像数量,W是lr的宽,H是lr的高,C是lr的通道数,lr和ls分别表示图像重建损失和图像平滑度损失,λr和λs分别表示相应的权重;
图像重建损失的计算公式为:
其中,N表示多粒度合作网络中单粒度网络的数量,hi,out表示第i个单粒度网络的输出,I表示参考图像,h′1,out表示反向连接后第一个单粒度网络的输出;
图像平滑度损失的计算公式为:
2.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法,其特征在于,所述步骤S1中,对采集相机原始信号数据,进行黑电平校正的公式为:
raw=max(Iraw-512)/(16383-512);
其中,Iraw表示相机原始信号数据,raw表示经过校正后的信号数据。
3.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法,其特征在于,所述r和α的设定值分别为α=10-6和r=1。
5.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法,其特征在于,所述多粒度合作神经网络中,第一个单粒度网络的输出h1,out为:
h1,out=φ1,n+1(h1,n+1;w1,n+1,b1,n+1);
其中,n+1表示单粒度网络的总层数,h1,n+1表示第一个单粒度网络的第n+1层的输出,w1,n+1表示第一个单粒度网络的第n+1层的权重,b1,n+1表示第一个单粒度网络的第n+1层的偏差,φ1,n+1表示第一个单粒度网络的第n+1层的激活函数;
第i个单粒度网络的输出为:
hi,out=φi,n+1(f(β1,n+1×h1,n+1,...,βi,n+1×hi,n+1,hi,n+1);wi,n+1,bi,n+1),i∈{2,...,m};
其中,βi,n+1表示第i个单粒度网络的第n+1层的控制不同信息比例的权重;hi,n+1表示第i个单粒度网络的第n+1层的输出,wi,n+1表示第i个单粒度网络的第n+1层的权重;bi,n+1表示第i个单粒度网络的第n+1层的偏差,f(·)表示特征融合函数,φi,n+1表示第i个单粒度网络的第n+1层的激活函数,m+1表示所述多粒度合作神经网络中单粒度网络的个数;
最后一个单粒度网络的输出为:
h′1,out=φ1,n+1(f(h′1,n+1,...,βi,n+1×hi,n+1);w1,n+1,b1,n+1),i∈{1,...,m};
其中,h′1,n+1表示最后一个单粒度网络的第n+1层的输出。
6.根据权利要求5所述的一种基于多粒度合作网络的极低光成像方法,其特征在于,第一个单粒度网络的第1层的输出h1,1的表达式为:
h1,1=φ1,1(h1,in;w1,in,b1,in);
第一个单粒度网络的第j+1层的输出h1,j+1的表达式为:
h1,j+1=φ1,j(h1,1,...,h1,j;w1,j,b1,j),j∈{1,...,n};
第i个单粒度网络的第1层输出hi,1的表达式为:
hi,1=φi,1(f(α1,out×h1,out,...,αi-1,out×hi-1,out,hi,in);wi,1,bi,1),i∈{2,...,m};
其中,αi-1,out表示控制hi,out的权重的参数;
第i个单粒度网络的第j+1层的输出hi,j+1的表达式为:
hi,j+1=φi,j(f(β1,j×h1,j,...,βi-1,j,hi,j);wi,j,bi,j),i∈{2,...,m},j∈{1,...,n};
最后一个单粒度网络的第1层的输出h′1,1为:
h′1,1=φ1,1(f(α1,out×h1,out,...,αi,out×hi,out,hi,in);w1,1,b1,1),i∈{1,...,m};
最后一个单粒度网络的第j+1层的输出h′1,j+1的表达式为:
h′1,j+1=φ1,j(f(h′1,j,β2,j×h2,j,...,βi,j×hi,j);w1,j,b1,j),i∈{1,...,n},j∈{1,...,m}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010068976.8A CN111311507B (zh) | 2020-01-21 | 2020-01-21 | 基于多粒度合作网络的极低光成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010068976.8A CN111311507B (zh) | 2020-01-21 | 2020-01-21 | 基于多粒度合作网络的极低光成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311507A CN111311507A (zh) | 2020-06-19 |
CN111311507B true CN111311507B (zh) | 2022-09-23 |
Family
ID=71159765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010068976.8A Active CN111311507B (zh) | 2020-01-21 | 2020-01-21 | 基于多粒度合作网络的极低光成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311507B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
CN109636754A (zh) * | 2018-12-11 | 2019-04-16 | 山西大学 | 基于生成对抗网络的极低照度图像增强方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102347795B (zh) * | 2011-11-02 | 2014-02-19 | 北京邮电大学 | 基于多面体拓扑结构的光网络共享保护方法 |
DE102018101030A1 (de) * | 2017-01-18 | 2018-07-19 | Nvidia Corporation | Filterung von Bilddaten unter Verwendung eines neutralen Netzwerks |
US10713537B2 (en) * | 2017-07-01 | 2020-07-14 | Algolux Inc. | Method and apparatus for joint image processing and perception |
CN109389171B (zh) * | 2018-10-11 | 2021-06-25 | 云南大学 | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 |
CN109785252B (zh) * | 2018-12-25 | 2023-03-24 | 山西大学 | 基于多尺度残差密集网络夜间图像增强方法 |
CN110033416B (zh) * | 2019-04-08 | 2020-11-10 | 重庆邮电大学 | 一种结合多粒度的车联网图像复原方法 |
CN110097106A (zh) * | 2019-04-22 | 2019-08-06 | 苏州千视通视觉科技股份有限公司 | 基于深度学习的U-net网络的低照度成像算法及装置 |
-
2020
- 2020-01-21 CN CN202010068976.8A patent/CN111311507B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
CN109636754A (zh) * | 2018-12-11 | 2019-04-16 | 山西大学 | 基于生成对抗网络的极低照度图像增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111311507A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102970549B (zh) | 图像处理方法及装置 | |
CN107045715B (zh) | 一种单幅低动态范围图像生成高动态范围图像的方法 | |
CN110378859B (zh) | 一种新的高动态范围图像生成方法 | |
CN102122388B (zh) | 用于获得高动态范围图像的设备和方法 | |
CN112419181B (zh) | 一种宽动态红外图像细节增强方法 | |
KR20100064369A (ko) | 영상 처리 방법 및 장치 | |
WO2021139635A1 (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
CN111986106A (zh) | 一种基于神经网络的高动态图像重建方法 | |
Kinoshita et al. | Convolutional neural networks considering local and global features for image enhancement | |
US20100321520A1 (en) | Digital camera and method | |
CN110009574A (zh) | 一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法 | |
CN113706393B (zh) | 视频增强方法、装置、设备及存储介质 | |
JP2021140663A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
CN111311509A (zh) | 一种非正常曝光图像自适应校正方法 | |
KR20090117617A (ko) | 화상 처리 장치, 방법, 및 프로그램 | |
US20220207672A1 (en) | Apparatus and method for sensing image based on event | |
CN111311507B (zh) | 基于多粒度合作网络的极低光成像方法 | |
GB2588616A (en) | Image processing method and apparatus | |
CN116761093A (zh) | 一种基于深度学习的摄像头图像坏点补偿方法 | |
CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 | |
CN114283100A (zh) | 高动态范围图像合成与色调映射方法及电子设备 | |
Kim et al. | Efficient-HDRTV: Efficient SDR to HDR Conversion for HDR TV | |
CN112381724A (zh) | 一种基于多曝光融合框架的图像宽动态增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |