CN112819742B - 一种基于卷积神经网络的事件场合成孔径成像方法 - Google Patents
一种基于卷积神经网络的事件场合成孔径成像方法 Download PDFInfo
- Publication number
- CN112819742B CN112819742B CN202110159784.2A CN202110159784A CN112819742B CN 112819742 B CN112819742 B CN 112819742B CN 202110159784 A CN202110159784 A CN 202110159784A CN 112819742 B CN112819742 B CN 112819742B
- Authority
- CN
- China
- Prior art keywords
- scene
- event
- image
- neural network
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 41
- 208000006440 Open Bite Diseases 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于卷积神经网络的事件场合成孔径成像方法。首先构建多个视角下场景事件数据集和场景无遮挡图像数据集;然后将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角重聚焦到参考视角的事件数据集;再将多个视角下重聚焦到参考视角的事件数据集输入至卷积神经网络得到重构后无遮挡视觉图像,结合场景无遮挡图像、重构后无遮挡视觉图像构建损失函数,通过ADAM迭代优化器训练卷积神经网络;最后将待重构场景影像通过训练后卷积神经网络得到待重构场景影像对应的无遮挡的目标图像。本发明综合利用了事件相机和卷积神经网络的优势,实现了密集遮挡与极端光照条件下的高质量视觉图像重建。
Description
技术领域
本发明属于图像处理领域,特别涉及一种基于卷积神经网络的事件场合成孔径成像方法。
背景技术
合成孔径成像(Synthetic aperture imaging,SAI)作为光场计算成像领域的重要分支,克服了单一视角拍摄时对遮挡目标无法有效成像的问题。通过将相机在多视角下拍摄的帧图像进行映射和合成,合成孔径成像可等效于一个虚拟的大孔径和小景深相机成像,因此能够虚化远离对焦平面的遮挡物,实现对被遮挡目标的成像,在遮挡物去除、目标识别与跟踪以及场景三维重建等方面具有极高的应用价值。
当前的合成孔径成像方法大多基于帧格式的光学相机。当遮挡物过于密集时,普通光学相机捕获的帧图像中有效目标信息减少且遮挡物干扰增加,严重影响了成像结果的清晰度和对比度,并且常常引入模糊噪声。此外,由于普通光学相机的动态范围较低,传统合成孔径成像方法在过亮/过暗等极端光照条件中不可避免地会产生过曝光/欠曝光的问题,导致无法对目标有效成像。
而基于生物视觉感知机制的事件相机成为了解决以上难题的突破口。与传统光学相机不同,事件相机仅仅感知场景的对数域亮度变化,以异步的事件流取代了传统帧的表现形式,具有低延时、高动态范围、低带宽需求和低功耗等特性。与传统光学相机相比,事件相机能够以极低的延时响应场景亮度的瞬时变化。因此在密集遮挡的环境中,事件相机能够连续地对场景和目标进行感知,从而捕获充分的有效目标信息,提升成像质量。而事件相机自身高动态范围的特性也使得极端光照条件下的目标重建成为可能。
发明内容
基于上述分析,本发明的目的在于提供一种基于卷积神经网络的事件场合成孔径成像算法,该方法利用事件相机低延时、高动态范围等优势,实现了密集遮挡与极端光照条件下的合成孔径成像。并通过构建卷积神经网络学习事件数据与视觉图像之间的映射关系,从纯事件数据中重建出无遮挡、高质量的视觉图像,达到“透视”的效果。
本发明提供的基于事件相机的合成孔径算法包括以下具体步骤:
步骤1:构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集;
步骤2:在多个视角下场景事件数据集中,将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集;
步骤3:引入卷积神经网络,将多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络,进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像Irecon,结合场景无遮挡图像framer、重构后无遮挡视觉图像构建卷积损失函数,通过ADAM迭代优化训练得到训练后卷积神经网络;
步骤4:将待重构场景影像通过训练后卷积神经网络预测重构,得到待重构场景影像对应的无遮挡的目标图像。
作为优选,步骤1所述多个视角下场景事件数据集为:
events(i),s∈[1,S],i∈[1,Cs]
其中,events为第s个视角下场景事件数据集,为第s个视角下场景的第i个事件点,其中为其极性,为其产生时刻的时间戳,与表示其生成位置为相机成像平面的第和第列。T为场景事件数据的捕获总时长;S为视角的数量;Cs为第s个视角下收集到的事件点总数;M为成像平面行的数量;N为成像平面列的数量。
步骤1所述多个视角下场景无遮挡图像数据集为:
frames(us,vs),s∈[1,S],us∈[1,M],vs∈[1,N]
其中,frames为第s个视角下场景无遮挡图像,frames(us,vs)为第s个视角下采集的场景无遮挡图像上第us行第vs列的像素。S为视角的数量;M为成像平面行的数量;N为成像平面列的数量。
其中,为由视角s下第i个事件点映射到参考视角r后的像素位置,K为相机的内参矩阵,为相机视角s相对于参考视角r的旋转矩阵,为相机视角s相对于参考视角r的平移矩阵,d为合成孔径焦距,即受遮挡目标到相机平面的距离;
第s个视角下场景的重聚焦后事件点数据表示为:
第s个视角下场景的重聚焦后事件数据集表示为:
多个视角下重聚焦到参考视角r的事件数据集表示为:
作为优选,步骤3所述卷积损失函数的定义为:
且权重向量为[βper,βL1,βtv]=[1,32,2×10-4]。
作为优选,步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集,然后输入训练好的神经网络后即可得到相应的视觉图像。
本发明提供了一种基于卷积神经网络的事件场合成孔径成像方法,综合利用了事件相机的机制优势和卷积神经网络强大的学习能力,实现了密集遮挡与极端光照条件下的高质量视觉图像重建,大大拓展了合成孔径成像的可应用范围。
附图说明
图1:为实验场景示意图,包括安装在可编程滑轨上的事件相机,密集木栅栏和受遮挡目标。
图2:为本发明所提出的基于卷积神经网络的事件场合成孔径成像算法流程图。
图3:为事件相机移动拍摄过程示意图。
图4:为卷积神经网络结构示意图。输入为不同时间间隔下连接而成的多通道事件帧,输出为视觉图像。
图5:为与不同合成孔径成像算法的结果对比。从左到右第一列为参考图像,第二列为基于传统光学相机合成孔径成像算法(F-SAI),第三列为基于传统光学相机和卷积神经网络的合成孔径成像算法(F-SAI+CNN),第四列为基于事件相机和累加方法的合成孔径成像算法(E-SAI+ACC),第五列是基于事件相机和卷积神经网络的合成孔径成像算法(E-SAI+CNN)。从上到下第一到四行为密集遮挡下的重建结果,第五和第六行为过亮、过暗环境下的重建结果。
图6:为放大细节后的重建图像结果。
图7:本发明方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
通过一个安装在可编程滑轨上的事件相机,可以实现对被遮挡目标的多视角拍摄。在使用事件相机拍摄完受遮挡的目标后,再使用普通光学相机拍摄无遮挡下的目标作为参考图,将参考图与事件流数据配对即可构建数据集。但由于实地拍摄的数据规模有限,需要用数据增强的方法来进行样本扩充。深度学习是一种数据驱动的方法,训练数据集越大,训练的模型泛化能力越强。然而,实际中采集数据时,很难覆盖所有场景,而且采集数据也需要大量成本,这就导致实际中训练集有限。如果能够根据已有数据生成各种训练数据,就能做到更好的开源节流,这就是数据增强的目的。虽然事件流数据没有帧的结构,但仍可以根据每个事件点的像素位置进行相应的变换,得到增强后的事件流。
下面结合图1至图7介绍本发明的具体实施方式为:
本发明提供的基于事件相机的合成孔径算法包括以下具体步骤:
步骤1:构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集;
需要使用事件相机在多个视角下进行密集遮挡场景的数据捕获,可以使用例如事件相机阵列、事件相机移动拍摄等方法。在构建数据集时需要用普通光学相机额外拍摄无遮挡的图像形成训练样本对。
步骤1所述多个视角下场景事件数据集为:
events(i),s∈[1,S],i∈[1,Cs]
其中,events为第s个视角下场景事件数据集,为第s个视角下场景的第i个事件点,其中为其极性,为其产生时刻的时间戳,与表示其生成位置为相机成像平面的第和第列。T为场景事件数据的捕获总时长;S为视角的数量;Cs为第s个视角下收集到的事件点总数;M=260为成像平面行的数量;N=346为成像平面列的数量。
步骤1所述多个视角下场景无遮挡图像数据集为:
frames(us,vs),s∈[1,S],us∈[1,M],vs∈[1,N]
其中,frames为第s个视角下场景无遮挡图像,frames(us,vs)为第s个视角下采集的场景无遮挡图像上第us行第vs列的像素。S为视角的数量;M=260为成像平面行的数量;N=346为成像平面列的数量。
步骤2:在多个视角下场景事件数据集中,将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集;
其中,为由视角s下第i个事件点映射到参考视角r后的像素位置,K为相机的内参矩阵,为相机视角s相对于参考视角r的旋转矩阵,为相机视角s相对于参考视角r的平移矩阵,d为合成孔径焦距,即受遮挡目标到相机平面的距离;
第s个视角下场景的重聚焦后事件点数据表示为:
第s个视角下场景的重聚焦后事件数据集表示为:
多个视角下重聚焦到参考视角r的事件数据集表示为:
步骤3:引入卷积神经网络,将步骤2中所述多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络,进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像Irecon,结合场景无遮挡图像framer、重构后无遮挡视觉图像构建卷积损失函数,通过ADAM迭代优化训练得到训练后卷积神经网络;
步骤3所述卷积损失函数的定义为:
且权重向量为[βper,βL1,βtv]=[1,32,2×10-4]。
步骤4:将待重构场景影像通过训练后卷积神经网络预测重构,得到待重构场景影像对应的无遮挡的目标图像。
步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集,然后输入训练好的神经网络后即可得到相应的视觉图像。
常用的数据增强技术有:
翻转:翻转包括水平翻转和垂直翻转。
旋转:旋转就是顺时针或者逆时针的旋转,注意在旋转的时候,最好旋转90-180°,否则会出现尺度问题。
缩放:图像可以被放大或缩小。放大时,放大后的图像尺寸会大于原始尺寸。大多数图像处理架构会按照原始尺寸对放大后的图像进行裁切。
裁剪:裁剪图片的感兴趣区域,通常在训练的时候,会采用随机裁剪出不同区域,并重新放缩回原始尺寸。
事件相机产生的事件点可表示为e=(p,x,t),其中p∈{+1,-1}为事件点极性,x为事件点的像素位置,t为事件点生成时间。由于拍摄过程中所获得的事件流数据是在不同视角下产生的,因此需要对事件点进行重对焦。以拍摄参考图时的相机位姿作为参考位姿θref,为把在相机位姿θi下的事件点ei=(pi,xi,ti)映射到参考相机位姿的成像平面上,可通过相机多视角几何原理与小孔成像模型得到以下映射公式:
其中为在映射后的事件点像素位置,K为相机的内参矩阵,Ri,Ti为两个相机位姿之间的旋转矩阵和平移矩阵,d为合成孔径焦距,即受遮挡目标到相机平面的距离。重对焦后所得到的事件点为通过事件点重对焦过程,事件流中有效目标信息在时空中被成功对齐,而遮挡物产生的噪声事件点则仍处于离焦状态,达到初步的去遮挡效果。
为从重对焦后的事件数据中重建出高质量的视觉图像,我们构建卷积神经网络模型进行事件数据的处理。在模型训练的过程中,首先将重对焦后的事件流按预先设定的时间间隔Δt进行累加压帧,构建成N张2通道(正负极性)的事件帧,再将所有事件帧按时间顺序拼接在一起,构成(N×2,W,H)的张量作为网络输入,其中W,H分别为图像的宽与长。将压制好的事件帧输入网络后,使用网络输出结果和数据集中无遮挡的普光参考图计算损失(Loss),再使用反向传播算法完成网络模型的训练。
附图6、7展示了本方法在密集遮挡与极端光照条件下的合成孔径成像结果。通过对比以下几种合成孔径成像算法:
F-SAI:基于传统光学相机和累加方法的合成孔径成像算法。
F-SAI+CNN:基于传统光学相机和卷积神经网络的合成孔径成像算法。
E-SAI+ACC:基于事件相机和累加方法的合成孔径成像算法。
E-SAI+CNN(Ours):基于事件相机和卷积神经网络的合成孔径成像算法。
本发明衡量了相同数据集下的数值指标:
表1:模型测试结果
在有参考图像的实验中使用峰值信噪比(PSNR)和结构相似度(SSIM)作为衡量标准,二者具体定义如下:
PSNR=10*log10(2552/mean(mean((X-Y).2)))
SSIM=[L(X,Y)a]×[C(X,Y)b]×[S(X,Y)c]
其中μX和μY分别代表X和Y的均值,σX、σY和σXY分别代表X和Y的方差以及二者的协方差。PSNR与SSIM数值越高,则说明重建效果越好。而极端光照下无法采集有效的参考图像,因此使用无参考指标图像熵(entropy):
其中m为图像中不同像素值的总个数,p(i)为第i类像素值再图像中的归一化概率。图像熵的值越高代表图像中信息量越大。此外标准差STD也用来衡量图像的对比度,STD值越大代表对比度越强。
本发明的保护范围并不限于上述的实施例,显然,本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围内,则本发明的意图也包含这些改动和变形在内。
Claims (1)
1.一种基于卷积神经网络的事件场合成孔径成像方法,其特征在于:
步骤1:构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集;
步骤2:在多个视角下场景事件数据集中,将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集;
步骤3:引入卷积神经网络,将多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络,进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像Irecon,结合场景无遮挡图像framer、重构后无遮挡视觉图像构建卷积损失函数,通过ADAM迭代优化训练得到训练后卷积神经网络;
步骤4:将待重构场景影像通过训练后卷积神经网络预测重构,得到待重构场景影像对应的无遮挡的目标图像;
步骤1所述多个视角下场景事件数据集为:
events(i),s∈[1,S],i∈[1,Cs]
其中,events为第s个视角下场景事件数据集,为第s个视角下场景的第i个事件点,其中为其极性,为其产生时刻的时间戳,与表示其生成位置为相机成像平面的第和第列;T为场景事件数据的捕获总时长;S为视角的数量;Cs为第s个视角下收集到的事件点总数;M为成像平面行的数量;N为成像平面列的数量;
步骤1所述多个视角下场景无遮挡图像数据集为:
frames(us,vs),s∈[1,S],us∈[1,M],vs∈[1,N]
其中,frames为第s个视角下场景无遮挡图像,frames(us,vs)为第s个视角下采集的场景无遮挡图像上第us行第vs列的像素;S为视角的数量;M为成像平面行的数量;N为成像平面列的数量;
其中,为由视角s下第i个事件点映射到参考视角r后的像素位置,K为相机的内参矩阵,为相机视角s相对于参考视角r的旋转矩阵,为相机视角s相对于参考视角r的平移矩阵,d为合成孔径焦距,即受遮挡目标到相机平面的距离;
第s个视角下场景的重聚焦后事件点数据表示为:
第s个视角下场景的重聚焦后事件数据集表示为:
多个视角下重聚焦到参考视角r的事件数据集表示为:
步骤3所述卷积损失函数的定义为:
且权重向量为[βper,βL1,βtv]=[1,32,2×10-4]
步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集,然后输入训练好的神经网络后即可得到相应的视觉图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159784.2A CN112819742B (zh) | 2021-02-05 | 2021-02-05 | 一种基于卷积神经网络的事件场合成孔径成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159784.2A CN112819742B (zh) | 2021-02-05 | 2021-02-05 | 一种基于卷积神经网络的事件场合成孔径成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819742A CN112819742A (zh) | 2021-05-18 |
CN112819742B true CN112819742B (zh) | 2022-05-13 |
Family
ID=75861704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110159784.2A Active CN112819742B (zh) | 2021-02-05 | 2021-02-05 | 一种基于卷积神经网络的事件场合成孔径成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819742B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113177640B (zh) * | 2021-05-31 | 2022-05-27 | 重庆大学 | 一种离散异步事件数据增强方法 |
CN114881921B (zh) * | 2022-03-23 | 2024-08-16 | 清华大学 | 基于事件及视频融合的去遮挡成像方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015074428A1 (zh) * | 2013-11-22 | 2015-05-28 | 华为技术有限公司 | 神经网络系统、基于神经网络系统的图像解析方法和装置 |
CN106407986A (zh) * | 2016-08-29 | 2017-02-15 | 电子科技大学 | 一种基于深度模型的合成孔径雷达图像目标识别方法 |
CN108229404A (zh) * | 2018-01-09 | 2018-06-29 | 东南大学 | 一种基于深度学习的雷达回波信号目标识别方法 |
CN108427961A (zh) * | 2018-02-11 | 2018-08-21 | 陕西师范大学 | 基于卷积神经网络的合成孔径聚焦成像深度评估方法 |
CN110148152A (zh) * | 2019-04-02 | 2019-08-20 | 浙江工业大学 | 基于卷积神经网络的sar目标交互行为识别方法 |
CN110163246A (zh) * | 2019-04-08 | 2019-08-23 | 杭州电子科技大学 | 基于卷积神经网络的单目光场图像无监督深度估计方法 |
CN110895682A (zh) * | 2019-10-15 | 2020-03-20 | 东北大学 | 一种基于深度学习的sar目标识别方法 |
CN111145102A (zh) * | 2019-11-22 | 2020-05-12 | 南京理工大学 | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 |
CN111798513A (zh) * | 2020-06-16 | 2020-10-20 | 武汉大学 | 一种基于事件相机的合成孔径成像方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160337718A1 (en) * | 2014-09-23 | 2016-11-17 | Joshua Allen Talbott | Automated video production from a plurality of electronic devices |
US9838594B2 (en) * | 2016-03-02 | 2017-12-05 | Qualcomm Incorporated | Irregular-region based automatic image correction |
-
2021
- 2021-02-05 CN CN202110159784.2A patent/CN112819742B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015074428A1 (zh) * | 2013-11-22 | 2015-05-28 | 华为技术有限公司 | 神经网络系统、基于神经网络系统的图像解析方法和装置 |
CN106407986A (zh) * | 2016-08-29 | 2017-02-15 | 电子科技大学 | 一种基于深度模型的合成孔径雷达图像目标识别方法 |
CN108229404A (zh) * | 2018-01-09 | 2018-06-29 | 东南大学 | 一种基于深度学习的雷达回波信号目标识别方法 |
CN108427961A (zh) * | 2018-02-11 | 2018-08-21 | 陕西师范大学 | 基于卷积神经网络的合成孔径聚焦成像深度评估方法 |
CN110148152A (zh) * | 2019-04-02 | 2019-08-20 | 浙江工业大学 | 基于卷积神经网络的sar目标交互行为识别方法 |
CN110163246A (zh) * | 2019-04-08 | 2019-08-23 | 杭州电子科技大学 | 基于卷积神经网络的单目光场图像无监督深度估计方法 |
CN110895682A (zh) * | 2019-10-15 | 2020-03-20 | 东北大学 | 一种基于深度学习的sar目标识别方法 |
CN111145102A (zh) * | 2019-11-22 | 2020-05-12 | 南京理工大学 | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 |
CN111798513A (zh) * | 2020-06-16 | 2020-10-20 | 武汉大学 | 一种基于事件相机的合成孔径成像方法及系统 |
Non-Patent Citations (1)
Title |
---|
基于事件相机的合成孔径成像;余磊 等;《自动化学报》;20200930;第1-15页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112819742A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Deep image deblurring: A survey | |
CN108074218B (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
WO2021063341A1 (zh) | 图像增强方法以及装置 | |
WO2021164234A1 (zh) | 图像处理方法以及图像处理装置 | |
CN109284738B (zh) | 不规则人脸矫正方法和系统 | |
CN112987026A (zh) | 一种基于混合神经网络的事件场合成孔径成像算法 | |
Raghavendra et al. | Comparative evaluation of super-resolution techniques for multi-face recognition using light-field camera | |
CN112819742B (zh) | 一种基于卷积神经网络的事件场合成孔径成像方法 | |
Yan et al. | Dual-attention-guided network for ghost-free high dynamic range imaging | |
CN109447930B (zh) | 小波域光场全聚焦图像生成算法 | |
EP2979449B1 (en) | Enhancing motion pictures with accurate motion information | |
CN114862732B (zh) | 一种融合事件相机与传统光学相机的合成孔径成像方法 | |
CN113436130B (zh) | 一种非结构光场智能感知系统与装置 | |
Yang et al. | Learning event guided high dynamic range video reconstruction | |
CN114897752A (zh) | 一种基于深度学习的单透镜大景深计算成像系统及方法 | |
Yu et al. | Luminance attentive networks for HDR image and panorama reconstruction | |
Lei et al. | Blind video deflickering by neural filtering with a flawed atlas | |
CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
CN111914938A (zh) | 一种基于全卷积二分支网络的图像属性分类识别方法 | |
Zhang et al. | Toward real-world panoramic image enhancement | |
CN112070675A (zh) | 一种基于图的正则化光场超分辨率方法和光场显微装置 | |
CN114612305B (zh) | 一种基于立体图建模的事件驱动视频超分辨率方法 | |
CN115984124A (zh) | 一种神经形态脉冲信号去噪和超分辨方法及装置 | |
WO2022089917A1 (en) | Method and image processing device for improving signal-to-noise ratio of image frame sequences | |
CN115731099A (zh) | 基于多退化模型的多任务协同优化图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |