CN116128743A - 基于深度卷积混合神经网络计算关联成像重建算法 - Google Patents
基于深度卷积混合神经网络计算关联成像重建算法 Download PDFInfo
- Publication number
- CN116128743A CN116128743A CN202211477876.6A CN202211477876A CN116128743A CN 116128743 A CN116128743 A CN 116128743A CN 202211477876 A CN202211477876 A CN 202211477876A CN 116128743 A CN116128743 A CN 116128743A
- Authority
- CN
- China
- Prior art keywords
- value
- channel
- convolution
- size
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 238000004364 calculation method Methods 0.000 title claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 30
- 238000005286 illumination Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000011084 recovery Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算成像的量子成像技术领域，具体公开了基于深度卷积混合神经网络计算关联成像重建算法，利用哈达玛矩阵灰度编码序列代替原计算关联成像的高斯矩阵散斑序列，在计算关联成像的数据采集处理上以固定序列的散斑序列调整数字微镜器件。在相同采样率下,本算法能够重构出优质目标物体图像,并且拥有更高的PSNR值和SSIM值。深度学习在计算关联成像的算法实现对图像端到端图像恢复，减少了图像计算的的步骤。
Description
技术领域
本发明属于计算成像的量子成像技术领域，特别涉及一种基于深度卷积混合神经网络计算关联成像重建算法。
背景技术
计算关联成像又称计算鬼成像，是一种型成像方式，是以运用光场的关联性质计算出图像，展现出“无中生有”和“离物成像”的特点。关联成像经历了两个阶段：第一阶是双光路系统即为物光臂路系统和参考光臂系统。在物光臂路系统中，光经过一待成像的物体，并且对通过物体的光进行桶探测收集总光强，在参考光臂系统中，光场的光强分布由一具有分辨率测量的探测器接收，对这双光路系统的出射光进行联合测量，即可得到成像信息。第二阶只需要一个单像素检测器来接收光强信息省去去参考光臂系统，这称为计算鬼影成(CGI)。计算关联成像突破了成像系统和光场调制设备的约束，主要在于光空间调制器件的发展，如空间光调制器、数字微镜器件、LED阵列、激光阵列等。
在计算关联成像中影响成像质量的两个关键因素为：在测量时光照散斑图案的构造和图像重构的关联算法。在光照散斑的构造中基于正交化正弦散斑方法，基于正交型哈达矩阵光照散斑方法，沃尔什哈达玛变换方法(WT)以及4连通域哈达玛方法(CR)等方法的提出实现了测量关照散斑的优化。计算关联图像的重构算法上：差分CGI,伪逆CGI等算法提高了成像质量。在低采样条件下,差分CGI和伪逆CGI算法重构的图像质量仍模糊不清晰。
发明内容
本发明的目的在于克服现有技术中存在的缺陷，提供一种基于深度卷积混合神经网络计算关联成像重建算法。
本发明提供了基于深度卷积混合神经网络计算关联成像重建算法，包括以下步骤：
步骤1：数据采集；
准备背景纯净的MNIST数据集，并对MNIST数据集进行增强扩充，基于哈达玛矩阵产生散照光斑，利用散照光斑采样率的采集数据得到图像数据集；
步骤2：建立深度卷积混合神经网络模型；
所述深度卷积混合神经网络模型为DCMGI模型，包括：
特征提取模块：包含5个卷积模块,所述卷积模块为：
c_block_n(in_channel,out_channel)
其中，n为c_block的第n个模块，in_channel和out_channel为卷积模块的输入通道数和输出通道数；
特征增强模块：包括通道注意力机制和空间注意力机制，将特征提取模块的输出通道作为特征增强模块的输入通道，分别进行通道注意力机制的处理和空间注意力机制的处理；
输出模块：包括卷积层Conlayer1和卷积层Conlayer2；
所述卷积层Conlayer1的输入通道为10，输出通道为5，核大小为3*3,填充padding为1，步长stride为1；
所述卷积层Conlayer2的输入通道数为5，输出通道为1，核大小为3*3,填充padding为1，步长stride为1；
卷积层Conlayer1添加归一化处理层和激活函数；
步骤3：模型训练；
将步骤1所述的图像数据集按比例分为训练集和测试集，将训练集输入DCMGI模型，基于训练优化器和损失函数对DCMGI模型进行训练；
步骤4：保存训练后的DCMGI模型为DCMGI.pth,以提供实际场景的模型加载，用于重建图像。
进一步的方案为，将所述步骤1中MNIST数据集增强扩充大小为N*N的图像；
N*N的光照散斑序列形成包括以下步骤：
步骤1.11：哈达玛矩阵列向量排序生成：以[1]为根结点的右结点值为[1,1]，以[1,1]为根结点，右结点值是以[1,1]拼接1*[1,1]形成，其值为[1,1,1,1]，左结点值是以[1,1]拼接-1*[1,1]形成，其值为[1,1,-1,-1]，直至叶子结点值得长度为N。
[1,-1]是以[1]为根结点的左结点值，以[1,-1]为根结点的左结点值是以[1,-1]拼接1*[1,-1]形成，其值为[1,-1,1,-1]，右结点值是以[1,-1]拼接-1*[1,-1]形成，其值为[1,-1,-1,1]，直至叶子节点的长度为N，对以[1]为根的左右叶子结点，从右往左形成列向量排序；
步骤1.12：哈达玛矩阵行向量排序生成：以[1]为根结点的左节点值为[1,1]，以[1,1]为根结点，左结点值是以[1,1]拼接1*[1,1]形成，其值为[1,1,1,1]，右结点值是以[1,1]拼接-1*[1,1]形成，其值为[1,1,-1,-1]，直至叶子结点值得长度为N。
[1,-1]是以[1]为根结点的右左结点的值，以[1,-1]为根节点左结点值是以[1,-1]拼接-1*[1,-1]形成，其值为[1,-1,-1,1]，右结点值是以[1,-1]拼接1*[1,-1]形成，其值为[1,-1,1,-1]，直至叶子结点的长度为N，对以[1]为根的左右叶子结点，从左往右形成行向量排序；
步骤1.13：大小为N*N光照散斑矩阵的产生：每个元素为光照散斑，光照散斑大小为N*N，将列向量排序的每个元素与行向量排序的每个元素相乘，同时将散斑为-1的值设置为0，最终形成大小为N*N的光照散斑矩阵。
步骤1.14：对光照散斑矩阵进行之字形扫描排序，形成固定光照散斑序列。
进一步的方案为，步骤1中所述采集数据的方法包括以下步骤：
步骤1.21：计算关联成像每次测量中桶探测器收集光强计算公式如下：
It＝∫dx|t(x)|2*Bt(x)
其中，t(x)为待成像物体的空间分布信息，Bt(x)表示在物体处的光场的光强分布，It是收集到的总光强值，下角标t表示第t次采样；
步骤(1.22)：采样率β设置：图像大小为N*N,则总的采样次数T为：N*N,M为需要采样的次数，采样率β＝M/T；
步骤(1.23)：以步骤1.22的采样率β确定采样次数M，将步骤1.14产生的光照散斑序列，从前往后取M个散照光斑；
步骤(1.24)：将M个光照散斑按顺序加载在数字微镜器件上对光场进行控制，用桶探测器件对照射图像的光强进行收集，收集的总光强记为It(t表示第t次采样),对图像进行M测照射，收集的光强序列为：
I＝[I1,I2,I3....,IM]
将光强序列与对应M个散照光斑序列相乘形成M通道数据以JSON格式进行存储，文件名与图像的编号一致，图像以及M通道数据形成图像数据集。
进一步的方案为，所述卷积模块包括卷积层Conv1和卷积层Conv2；
所述卷积层Conv1卷积核的大小3*3，填充padding设置为1,步长stride设置为1，输入通道数和输出通道均为in_channel；
所述卷积层Conv2卷积核的大小为3*3，填充padding设置为1，步长stride设置为1，输入通为in_channel，输出通道为out_channel。
进一步的方案为，所述通道注意力机制包括：
对所述输入通道的输入数据进行全局平均池化和全局最大池化；
对平均池化和最大池化的结果，利用共享多层感知机进行处理，将处理后的两个结果进行相加，再经过激活函数处理，获取输入数据每一个通道的权值；
将每个通道的权值与输入通道的输入数据相乘，获取输出数据；
所述空间注意力机制包括：
对所述输入通道的输入数据的每一个特征点在输入通道上取最大值和平均值，将最大值和平均值进行堆叠形成2通道数据；
将2通道数据经过输出通道数为1的卷积层调整通道数，再经过激活函数处理，得到每一个特征点的权值；
将权值数据与输入数据相乘；
所述卷积层卷积核大小为3*3，填充padding为1，步长stride为1。
进一步的方案为，所述步骤3中，损失函数采用均方损失函数，损失函数公式为：
Loss(xi，yi)＝(xi，yi)2
其中，loss为损失函数名，xi为原图像，yi为重建图像；
所述训练优化器采用Adam优化器，所述Adam优化器的学习率参数设置为0.0001。
与现有技术相比，本发明的有益效果在于：本发明公开了一种基于深度卷积混合神经网络计算关联成像重建算法，在相同采样率下,本算法能够重构出优质目标物体图像,并且拥有更高的PSNR值和SSIM值；在高采样率下,本算法提供了更优的重构质量,保留了更丰富的图像信息；在低采样率下,也能保留图像的关键信息。并且本发明在数据采集时对光照散斑序列做了优化，可以在少量采样数据的情况下重建优质图像，减少了计算成像的时间，以光强序列与对应的散斑序列为数据源，深度神经网络模型作为计算关联成像的关联函数，实现端到端的图像重建。
附图说明
以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：
图1：深度卷积混合神经网络结构框图；
图2：卷积模块c_block_n结构框图；
图3：特征提取模块结构框图；
图4：特征增强模块结构框图；
图5：共享MLP结构框框图；
图6：通道注意力结构框图；
图7：空间注意力结构框图；
图8：输入模块结构框图；
图9：在采样率为6.25％，三种计算成像效果比较。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
本发明提供了基于深度卷积混合神经网络计算关联成像重建算法，具体是基于哈达玛矩阵散照光斑的灰度编码排序为测量，以光强序列与散班序列作为数据源的深度神经网络图像重建。包含以下步骤：
步骤(1)：对MNIST数据集的70000条数据通过水平、垂直及旋转操作对其增强，统一扩充为N*N大小的图像；
步骤(2)：基于哈达玛矩阵产生散照光斑，且对散照光斑进行灰度编码排序形成固定序列的光照散斑序列,具体步骤包含下；
步骤(2.1)：哈达玛矩阵列向量排序生成，以[1]为根结点的右结点值为[1,1]，以[1,1]为根结点，右结点值是以[1,1]拼接1*[1,1]形成，其值为[1,1,1,1]，左结点值是以[1,1]拼接-1*[1,1]形成，其值为[1,1,-1,-1]，此后子树生成右左结节点值规律相同，直至叶子结点值得长度为N。
[1,-1]是以[1]为根结点的左结点值，以[1,-1]为根结点的左结点值是以[1,-1]拼接1*[1,-1]形成，其值为[1,-1,1,-1]，右结点值是以[1,-1]拼接-1*[1,-1]形成，其值为[1,-1,-1,1]，此后子树生成左右子结点值得规律相同，直至叶子节点的长度为N，对以[1]为根的左右叶子结点，从右往左形成列向量排序。
步骤(2.2)：哈达玛矩阵行向量排序生成，以[1]为根结点的左节点值为[1,1]，以[1,1]为根结点，左结点值是以[1,1]拼接1*[1,1]形成，其值为[1,1,1,1]，右结点值是以[1,1]拼接-1*[1,1]形成，其值为[1,1,-1,-1]，此后子树生成右左结点值规律相同，直至叶子结点值得长度为N。
[1,-1]是以[1]为根结点的右左结点的值，以[1,-1]为根节点左结点值是以[1,-1]拼接-1*[1,-1]形成，其值为[1,-1,-1,1]，右结点值是以[1,-1]拼接1*[1,-1]形成，其值为[1,-1,1,-1]，此后子树生成左右子结点值规律相同，直至叶子结点的长度为N，对以[1]为根的左右叶子结点，从左往右形成行向量排序；
步骤(2.3)：大小为N*N光照散斑矩阵的产生，每个元素为光照散斑并且光照散斑大小为N*N。将列向量排序的每个元素与行向量排序的每个元素进行相乘，同时将光照散斑值中值为-1重新设置为0，最终形成大小为N*N的光照散斑矩阵。
步骤(2.4)：对光照散斑矩阵进行之字型扫描排序，以形成固定散照光斑序列；
步骤(3):对MNIST数据集的70000条数据量进行图像数据采集，包括以下的步骤：
步骤(3.1)：计算关联成像每次测量中桶探测器收集光强计算公式如下：
It＝∫dxt(x)2*Bt(x)
其t(x)为待成像物体的空间分布信息，Bt(x)表示在物体处的光场的光强分布，It是收集到的总光强值，下角标t表示第t次采样。
步骤(3.2)：采样率β设置，图像像大小为N*N,则总的采样次数T为：N*N,M为需要采样的次数，采样率β＝M/T。
步骤(3.3)：以步骤(3.2)的采样率β确定采样次数M，将步骤2产生的光照散斑序列，从前往后取M个光照散斑。
步骤(3.4)：将步骤(2)的M个光照散斑按顺序加载在数字微镜器件上对光场进行控制，用桶探测器件对照射图像的光强进行收集，每个光照散斑对应的总光强记为It,对图像进行M测照射，收集的光强序列I＝[I1,I2,I3....,IM]，将光强序列与对应M个光照散斑序列相乘形成M通道数据以JSON格式进行存储，文件名与图像的编号一致，图像以及M通道数据形成图像数据集；
步骤(4):深度卷积混合神经网络即为DCMGI的搭建,其结构框图如图1所示，该神经网模型包含特体提取模块，特征增强模块和输出模块。
特征提取模块由5个卷积模块组成，如图2所示，结构中的每个卷积模块为c_block_n(in_channel,out_channel)，其中n为特征提取模块的第n个卷积模块，卷积模块如图3所示,in_channel和out_channel为卷积模块的输入通道数和输出通道数，卷积模块包含两个卷积层，卷积层一即为Conv1,该卷积层的卷积的大小3*3，填充padding设置为1,步长stride设置为1，输入通道数和输出通道均为in_channel，该卷积层主要用于空间特征的提取。卷积层二即为Conv2,该卷积核的大小为3*3，填充padding设置为1，步长stride设置为1，输入通为in_channel，输出通道为out_channel，该卷积层进行特征提取，同时也降低通道数量。特征提取模块各卷积模块的顺序及通道参数如下：
c_block_1(M,50)-->c_block_2(50,40)-->c_block_3(40,30)-->c_b lock_4(30,20)-->c_block_5(20,10)
其卷积模块c_block_1中的M表示输入通道的数量，-->表示数据流向。
特征增强模块包含通道注意力机制和空间注意力机制，结构框图如图说4所示，特征增强模块将特征提取模块的输出通道作为输入通道，分别进行通道注意力机制处理和空间注意力机制处理。通道注意力机制结构如图5所示，该结构可以分为三个部分，第一部分是对输入数据，分别进行全局平均池化和全局最大池化。第二部分对平均池化和最大池化的结果，利用共享多层感知机(如图6所示)进行处理，将处理后的两个结果进行相加，再经过一个激活函数处理，获取输入数据每一个通道的权值在0和1之间。第三部将第二部分所得每个通道的权值乘上原通道输入数据，获取输出数据。空间注意力机制结构如图7所示，该结构包含三部分，第一部分将对输入数据，对每一个特征点在通道上取最大值和平均值。将最大值数据和平均值数据行一个堆叠形成2通道数据。第二部分是将第一部分输出的2通道数据讲经过输出通道数为1的卷积层调整通道数，该卷积层卷积核大小为3*3，填充padding为1，步长stride为1，然后经过激活函数处理，将每一个特征点的权值在0和1之间。第三部是将空间权值数据与输入数据相乘。该模块输出数据的通道数为10，输出数据与输入数据大小相同。
输出模块由两层卷积层组成，如图8所示，其卷积层Conlayer1的输入通道为10，输出通道为5，核大小为3*3,填充padding为1，步长stride为1；卷积层Conlayer2的输入通道数为5，输出通道为1，核大小为3*3,填充padding为1，步长stride为1。卷积层Conlayer1与卷积层Conlayer2最大的区别在卷积层Conlayer1其后添加归一化处理层即BatchNorm2d和激活函数。
步骤(5):深度卷积混合神经网络即为DCMGI模型训练包含以下步骤：
步骤(5.1)：将步骤(3)的图像数据集划分为训练集和测试集，其训练集和测试集按照6:1划分。
步骤(5.2)：深度卷积混合神经网络训练优化器和损失函数的确定。损失函数采用均方损失函数，损失函数公式为：
Loss(xi，yi)＝(xi，yi)2
其Loss为损失函数名，xi为原图像，yi为重建图像；
训练优化器采用Adam优化器，该优化器结合了AdaGrad和RMSProp两种优化算法的优点，优化器的学习率参数设置为0.0001。
步骤(5.3)：模型训练参数的的轮数设置为200,
步骤(5.4):模型重建图像的质量评估采用峰值信噪比和结构相似度。结构相似度SSIM是指生成成像图片和真实图像之间的相似程度，计算方式如下：
其上式C1＝(k1l)2，C2＝(k2l)2，l指像素值的动态范围，通常，k1取0.01，k2取0.03，μ为平均值，σ为方差，
为协方差。
峰值信噪比PSNR是指信号量最大值和噪声的强度之间的比值，其值越大表明图像受到的噪声干扰越小，数学表达如下：
其中，MAXi为原图最大像素值，MSE为原图像与重建图像的均方误差。
步骤(6):深度卷积混合神经网络即为DCMGI的模型保存，深度卷积混合神经网络模型保存为DCMGI.pth,保存的模型以提供实际场景的模型加载，用于重建图像。
实施例1
本实施例提供基于深度卷积混合神经网络计算关联成像重建算法，包括如下步骤：
步骤(1):将MNIST数据集中的训练集和测试机的图像统一扩充为大小为64*64的灰度图；
步骤(2):基于哈哈达玛矩阵产生光照散斑，且对光照散进行灰度编码排序形成固定序列的光照散斑序列，光照散斑的序列长度为64*64；
步骤(3):将采样率分别设置为6.25％，光照散斑序列从前往后截取256个光照散斑，按固定顺序加载至DMD上，采集光强序列，分别形成训练数据集和测试数据集；
步骤(4):深度卷积混合神经网络即为DCMGI的训练，训练优化器采Adam，学习率设置为：0.0001，损失函数采用均方误差。模型训练200轮。
在采样率为6.25％情况下，传统计算关联成像算法，伪逆计算关联成像算法以及基于深度卷积混合神经网络计算关联成像算法分别在0至9的手写数字上重构图像，其基于深度卷积混合神经网络计算关联成像的成像效果明显优于其他两种算法的成像效果。成像结果如图9所示，其第一行图为手写数字的原图，第二行图为传统计算关联成像的结果，第三行图为伪逆计算关联成像算法的成像效果，第四行为基于深度卷积混合神经网络计算关联成像的成像结果。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.基于深度卷积混合神经网络计算关联成像重建算法，其特征在于，包括以下步骤：
步骤1：数据采集；
准备背景纯净的MNIST数据集，并对MNIST数据集进行增强扩充；
基于哈达玛矩阵产生散照光斑，且对散照光斑进行灰度编码排序形成固定序列的光照散斑序列；
基于光照散斑序列进行数据采样；光强序列与测量使用光照散斑序列相乘与原图像形成图像数据集；
步骤2：建立深度卷积混合神经网络模型；
步骤3：模型训练；
将步骤1所述的图像数据集按比例分为训练集和测试集，将训练集输入DCMGI模型，基于训练优化器和损失函数对DCMGI模型进行训练；
步骤4：采用训练后的DCMGI模型进行计算关联成像，完成重建图像。
2.根据权利要求1所述的基于深度卷积混合神经网络计算关联成像重建算法，其特征在于，所述深度卷积混合神经网络模型为DCMGI模型，包括：
特征提取模块：包含n个卷积模块,所述卷积模块为：
c_block_n(in_channel,out_channel)
其中，n为c_block的第n个模块，in_channel和out_channel为卷积模块的输入通道数和输出通道数；
特征增强模块：包括通道注意力机制和空间注意力机制，将特征提取模块的输出通道作为特征增强模块的输入通道，分别进行通道注意力机制的处理和空间注意力机制的处理；
输出模块：包括卷积层Conlayer1和卷积层Conlayer2；
所述卷积层Conlayer1的输入通道为10，输出通道为5，核大小为3*3,填充padding为1，步长stride为1；
所述卷积层Conlayer2的输入通道数为5，输出通道为1，核大小为3*3,填充padding为1，步长stride为1；
卷积层Conlayer1添加归一化处理层和激活函数。
3.根据权利要求1所述的基于深度卷积混合神经网络计算关联成像重建算法，其特征在于，将所述步骤1中MNIST数据集增强扩充大小为N*N的图像；
N*N的光照散斑序列形成包括以下步骤：
步骤1.11：哈达玛矩阵列向量排序生成：以[1]为根结点的右结点值为[1,1]，以[1,1]为根结点，右结点值是以[1,1]拼接1*[1,1]形成，其值为[1,1,1,1]，左结点值是以[1,1]拼接-1*[1,1]形成，其值为[1,1,-1,-1]，直至叶子结点值得长度为N。
[1,-1]是以[1]为根结点的左结点值，以[1,-1]为根结点的左结点值是以[1,-1]拼接1*[1,-1]形成，其值为[1,-1,1,-1]，右结点值是以[1,-1]拼接-1*[1,-1]形成，其值为[1,-1,-1,1]，直至叶子节点的长度为N，对以[1]为根的左右叶子结点，从右往左形成列向量排序；
步骤1.12：哈达玛矩阵行向量排序生成：以[1]为根结点的左节点值为[1,1]，以[1,1]为根结点，左结点值是以[1,1]拼接1*[1,1]形成，其值为[1,1,1,1]，右结点值是以[1,1]拼接-1*[1,1]形成，其值为[1,1,-1,-1]，直至叶子结点值得长度为N。
[1,-1]是以[1]为根结点的右左结点的值，以[1,-1]为根节点左结点值是以[1,-1]拼接-1*[1,-1]形成，其值为[1,-1,-1,1]，右结点值是以[1,-1]拼接1*[1,-1]形成，其值为[1,-1,1,-1]，直至叶子结点的长度为N，对以[1]为根的左右叶子结点，从左往右形成行向量排序；
步骤1.13：大小为N*N光照散斑矩阵的产生：每个元素为光照散斑，光照散斑大小为N*N，将列向量排序的每个元素与行向量排序的每个元素相乘，同时将散斑为-1的值设置为0，最终形成大小为N*N的光照散斑矩阵。
步骤1.14：对光照散斑矩阵进行之字形扫描排序，形成固定光照散斑序列。
4.根据权利要求5所述的基于深度卷积混合神经网络计算关联成像重建算法，其特征在于，步骤1中所述采集数据的方法包括以下步骤：
步骤1.21：计算关联成像每次测量中桶探测器收集的总光强；
计算公式如下：
It＝∫dx|t(x)|2*Bt(x)
其中，t(x)为待成像物体的空间分布信息，Bt(x)表示在物体处的光场的光强分布，It是收集到的总光强值，下角标t表示第t次采样；
步骤1.22：采样率β设置：图像大小为N*N,则总的采样次数T为：N*N,M为需要采样的次数，采样率β＝M/T；
步骤1.23：以步骤1.22的采样率β确定采样次数M，将步骤1.14产生的光照散斑序列，从前往后取M个散照光斑；
步骤1.24：将M个散照光斑按顺序加载在数字微镜器件上对光场进行控制，用桶探测器件对照射图像的光强进行收集，每个散照光斑对应的总光强记为It,对图像进行M次照射，收集的光强序列为：
I＝[I1,I2,I3....,IM]
将光强序列与对应M个散照光斑进行存储，图像以及相应的光强序列形成图像数据集。
5.根据权利要求2所述的基于深度卷积混合神经网络计算关联成像重建算法，其特征在于，所述卷积模块包括卷积层Conv1和卷积层Conv2；
所述卷积层Conv1卷积核的大小3*3，填充padding设置为1,步长stride设置为1，输入通道数和输出通道均为in_channel；
所述卷积层Conv2卷积核的大小为3*3，填充padding设置为1，步长stride设置为1，输入通为in_channel，输出通道为out_channel。
6.根据权利要求2所述的基于深度卷积混合神经网络计算关联成像重建算法，其特征在于，所述通道注意力机制包括：
对所述输入通道的输入数据进行全局平均池化和全局最大池化；
对平均池化和最大池化的结果，利用共享多层感知机进行处理，将处理后的两个结果进行相加，再经过激活函数处理，获取输入数据每一个通道的权值；
将每个通道的权值与输入通道的输入数据相乘，获取输出数据；
所述空间注意力机制包括：
对所述输入通道的输入数据的每一个特征点在输入通道上取最大值和平均值，将最大值和平均值进行堆叠形成2通道数据；
将2通道数据经过输出通道数为1的卷积层调整通道数，再经过激活函数处理，得到每一个特征点的权值；
将权值数据与输入数据相乘；
所述卷积层卷积核大小为3*3，填充padding为1，步长stride为1。
7.根据权利要求1所述的基于深度卷积混合神经网络计算关联成像重建算法，其特征在于，所述步骤3中，损失函数采用均方损失函数，损失函数公式为：
Loss(xi，yi)＝(xi，yi)2
其中，Loss为损失函数名，xi为原图像，yi为重建图像；
所述训练优化器采用Adam优化器，所述Adam优化器的学习率参数设置为0.0001。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211477876.6A CN116128743A (zh) | 2022-11-23 | 2022-11-23 | 基于深度卷积混合神经网络计算关联成像重建算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211477876.6A CN116128743A (zh) | 2022-11-23 | 2022-11-23 | 基于深度卷积混合神经网络计算关联成像重建算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116128743A true CN116128743A (zh) | 2023-05-16 |
Family
ID=86299824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211477876.6A Pending CN116128743A (zh) | 2022-11-23 | 2022-11-23 | 基于深度卷积混合神经网络计算关联成像重建算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128743A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117201691A (zh) * | 2023-11-02 | 2023-12-08 | 湘江实验室 | 一种基于深度学习的全景扫描关联成像方法 |
-
2022
- 2022-11-23 CN CN202211477876.6A patent/CN116128743A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117201691A (zh) * | 2023-11-02 | 2023-12-08 | 湘江实验室 | 一种基于深度学习的全景扫描关联成像方法 |
| CN117201691B (zh) * | 2023-11-02 | 2024-01-09 | 湘江实验室 | 一种基于深度学习的全景扫描关联成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325794B (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
| Heber et al. | Neural epi-volume networks for shape from light field | |
| Wang et al. | Deep learning for hdr imaging: State-of-the-art and future trends | |
| CN113139989B (zh) | 一种基于深度学习的粒子图像测速方法与装置 | |
| CN110650340B (zh) | 一种时空复用的压缩视频成像方法 | |
| CN110225260B (zh) | 一种基于生成对抗网络的立体高动态范围成像方法 | |
| CN113962858A (zh) | 一种多视角深度获取方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN115484410B (zh) | 基于深度学习的事件相机视频重建方法 | |
| Rego et al. | Robust lensless image reconstruction via psf estimation | |
| CN114757862B (zh) | 用于红外光场设备的图像增强渐进式融合方法 | |
| CN116128743A (zh) | 基于深度卷积混合神经网络计算关联成像重建算法 | |
| JP2022027464A (ja) | 映像の深度推定に関する方法及び装置 | |
| CN111563562A (zh) | 基于卷积神经网络的单帧散射图像的彩色目标重建方法 | |
| CN113160179A (zh) | 一种基于动态区域卷积的图像去模糊方法 | |
| US11967096B2 (en) | Methods and apparatuses of depth estimation from focus information | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN116385520A (zh) | 融合全光源图像的磨损表面形貌光度立体重建方法及系统 | |
| Silva et al. | Light-field imaging reconstruction using deep learning enabling intelligent autonomous transportation system | |
| Chi et al. | Hdr imaging with spatially varying signal-to-noise ratios | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN117237207A (zh) | 针对动态场景的无鬼影高动态范围光场成像方法 | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| CN116402908A (zh) | 一种基于异构式成像的密集光场图像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |