CN110378850A - 一种结合块匹配和神经网络的变焦图像生成方法 - Google Patents
一种结合块匹配和神经网络的变焦图像生成方法 Download PDFInfo
- Publication number
- CN110378850A CN110378850A CN201910614810.9A CN201910614810A CN110378850A CN 110378850 A CN110378850 A CN 110378850A CN 201910614810 A CN201910614810 A CN 201910614810A CN 110378850 A CN110378850 A CN 110378850A
- Authority
- CN
- China
- Prior art keywords
- image
- focal length
- short focus
- neural network
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种结合块匹配和神经网络的变焦图像生成方法。同一时刻利用双焦相机的长焦镜头和短焦镜头在同光轴下分别对同一拍摄场景或对象进行拍摄获得长焦图像和短焦图像;建立Unet神经网络结构,Unet神经网络结构包括卷积部分和解卷积部分,长焦图像和短焦图像均输入到卷积部分进行图像特征提取,从而获得长焦图像和短焦图像的高频细节特征结构;采用块匹配算法将长焦图像和短焦图像的高频细节特征结构进行匹配融合得到一张级联图像;级联图像再输入Unet神经网络结构的解卷积部分中进行重建,得到变焦图像。本发明基于数字图像连续变焦的要求,通过图像裁剪和图像解卷积的结构实现了数字图像任意倍率的连续变焦。
Description
技术领域
本发明属于数字成像技术领域的数字图像变焦算法,具体涉及一种结合块匹配和神经网络的变焦图像生成方法。
技术背景
众所周知,高分辨率图像可以提供比其对应的低分辨率图像更多的细节。这些细节在所有领域都应该是至关重要的,如遥感,医学诊断,智能监视等。由于光学变焦的局限性,数字变焦已广泛应用于许多成像设备。数字变焦是在不改变镜头焦距的情况下,把图像进行了数字放大,因此导致了图像质量的下降:然而,图像处理算法(例如数字变焦系统中使用的图像插值)除锯齿和模糊伪像外不会产生高质量图片。为解决这个问题,过去的几十年中已经提出了许多的改进算法。例如用于使用插值或超分辨率来增加输入图像的空间分辨率、基于内插的恢复方法旨在搜索相邻像素之间的连接并且逐个填充缺失像素函数或内插核等等。虽然它在低计算复杂度下具有快速处理时间,但是逐步运算的方法不能保证估计的准确性,尤其是在存在噪声的情况下。有些文献提出用光流匹配的方法将不同焦距的图像进行融合,但由于昂贵的时间成本以及光流匹配不能完全配准的问题导致输出图像质量并不高。
发明内容
针对上述现有技术中存在的技术问题,本发明提供一种结合块匹配和神经网络的变焦图像生成方法,提升了变焦图像的成像质量,针对不同焦距图像进行设计,在利用长焦图像信息对短焦图像进行修复的方式上提出了新的方法。
本发明采用的技术方案包括以下步骤:
步骤1:同一时刻下,利用双焦相机的长焦镜头和短焦镜头在同光轴下分别对同一拍摄场景或对象进行拍摄获得长焦图像和短焦图像;
步骤2:建立Unet神经网络结构,Unet神经网络结构包括卷积部分和解卷积部分,长焦图像和短焦图像均输入到卷积部分进行图像特征提取,从而获得长焦图像和短焦图像的高频细节特征结构;
步骤3:采用块匹配算法将长焦图像和短焦图像的高频细节特征结构进行匹配融合得到一张级联图像;
步骤4:级联图像再输入Unet神经网络结构的解卷积部分中进行重建,得到变焦图像。
所述的步骤3具体包括:
3.1)将长焦图像和短焦图像的高频细节特征结构分别分为多个细节图像块,再采用非局部均值搜索方法将长焦图像的细节图像块与短焦图像的细节图像块进行匹配,使得短焦图像的每一个细节图像块,在长焦图像中存在与之相似的细节图像块作为匹配图像块。
3.2)用匹配图像块替换短焦图像的每一个细节图像块,得到匹配图像;从而完成长焦图像对短焦图像特征的指导和融合。
3.3)将匹配图像与步骤1获得的短焦图像进行级联获得级联图像。
所述的将长焦图像和短焦图像的高频细节特征结构分别划分为多个细节图像块。
所述的步骤1采集的长焦图像和短焦图像的图像大小尺寸相同,变焦图像的分辨率高于步骤1采集的长焦图像和短焦图像。根据不同的要求,步骤4获得的变焦图像可以是步骤1采集的长焦图像和短焦图像的图像尺寸的2倍或者4倍。
Unet神经网络结构的卷积部分包括两个依次连接的下采样卷积组,长焦和短焦图像分别输入到两个下采样卷积组进行卷积处理得到长焦图像和短焦图像的高频细节特征结构;Unet神经网络结构的解卷积部分包括多个上采样卷积组,两个依次连接的上采样卷积组,级联图像输入到上采样卷积组进行反卷积得到变焦图像。
解卷积部分的两个上采样卷积组依次连接,将步骤3获得的级联图像输入到上采样卷积组中,根据不同分辨率要求,如果要求2倍于原长焦和短焦图像的分辨率,级联图像经过三个上采样卷积组得到最后的输出图像。如果要求4倍于原长焦和短焦图像的分辨率,输出图像经过四个上采样卷积组得到最后的输出图像。从而对级联图像信息进行筛选重构和上采样得到最终的输出图像。
本发明基于Unet结构的神经网络,在其特征提取和图像重建两部分之间通过块匹配算法(Patch Match)进行连接,块匹配算法(Patch Match)采用图像级联的方式对长焦图像和短焦图像的高频细节特征结构进行融合来保证图像下采样的信息不丢失,并在重建阶段进行信息的重构和再利用。
本发明的有益效果如下:
本发明基于数字图像连续变焦的要求,通过图像裁剪和图像解卷积的结构实现了数字图像任意倍率的连续变焦。本发明第一次将传统的块匹配的方法与Unet的神经网络方法进行了结合,解决了神经网络方法难以融合两张未配准图片的问题,相比于现有的技术,无论在PSNR还是视觉效果上都有明显的提升。
附图说明
图1是数字图像变焦算法结构示意图和结构图的对比;
图2是示例性实施例1进行2倍分辨率短焦图;
图3是示例性实施例1进行2倍分辨率长焦图;
图4是实施例1进行2倍分辨率与双三次插值,VDSR以及本发明方法的对比结果;
图5是是实施例1进行2倍分辨率与双三次插值,VDSR以及本发明方法的细节对比结果图;
图6是示例性实施例2进行4倍分辨率短焦图;
图7是示例性实施例2进行4倍分辨率长焦图;
图8是实施例2进行4倍分辨率与双三次插值,VDSR以及本发明方法的对比结果图;
图9是实施例2进行4倍分辨率与双三次插值,VDSR以及本发明方法的细节对比结果图;
具体实施方式
现在将参照附图详细描述本发明的示例性实施例。
如图1所示,三条虚线所划分的处理阶段从左到右分别为特征提取阶段、特征融合阶段、图像重建阶段。长焦和短焦图像通过特征提取阶段进行图像特征提取和尺寸缩放,卷积可以由公式(1)表示:
Fgi=Convi(I) (1)
其中,Convi(I)表示步长为i的卷积,Fgi表示特征提取阶段第i个卷积提取出的特征,I表示输入图像或特征;
长焦图像和短焦图像均输入到Unet神经网络结构的卷积部分进行图像特征提取和下采样,在特征提取阶段,对图像下采样的同时进行图像细节特征提取,提高图像块匹配的精确度同时加速块匹配算法的运行时间。
特征提取阶段包括两个下采样卷积组,对每一个下采样卷积组来说,由两层步长为1的卷积和一层步长为2的卷积构成,由公式(2)表示:
Fg3=Conv2(Conv1(Conv1(I))) (2)
其中,Fg3表示特征提取阶段第3个卷积提取出的特征;
两个下采样卷积组分别对长焦图像和短焦图像进行图像特征的提取之后,再用块匹配的方法融合长焦图像和短焦图像细节以此来增强短焦图像的细节。
块匹配融合阶段中,具体是:将长焦图像和短焦图像分成不同的区块,对每一个短焦图像的区块,使用非局部均值搜索找到与其相似的长焦图像的相应区块。当找到所有类似的区块时,构建一个基于短焦图像的新图像,并用类似的长焦图像区块替换短焦图像区块,获得新的短焦图像,将新的短焦图像拼接级联到原始的长焦图像得到级联图像。
在得到级联图像之后,通过Unet网络的图像恢复结构进行图像信息的筛选重构以及图像尺度特征的恢复,在图像重建阶段中,使用反卷积层来恢复图像尺寸,反卷积由公式(3)表示:
Fdi=Dconvi(I) (3)
其中,Dconvi(·)表示步长为i的反卷积,Fdi表示图像重建阶段第i个卷积提取出的特征。
Unet神经网络结构的解卷积部分包括两个上采样卷积组,对级联图像信息进行筛选重构和上采样得到最终的输出图像。Unet神经网络结构的解卷积部分为图像重建阶段,通过解卷积的结构扩大图像尺寸,并且融合图像特征进行图像恢复。
对每一个上采样卷积组来说,由两层步长为1的卷积和一层步长为2的反卷积构成,由公式(4)表示:
Fd3=Dconv2(Conv1(Conv1(I))) (4)
本发明的具体实施例如下:
本发明具体实施包括图像特征提取和图像特征融合以及图像重建三个阶段,在特征提取阶段,将长焦图片和短焦图片分辨输入Unet网络如图2所示,分别用两个步长为1,尺寸为3*3*64的卷积核对图像进行卷积操作,然后用步长为2,尺寸为3*3*128的卷积核对图像进行卷积,此时图像尺寸缩小为原图像尺寸的1/2。再分别用两个步长为1,尺寸为3*3*128的卷积核对图像进行卷积操作,然后用步长为2,尺寸为3*3*256的卷积核对图像进行卷积,此时图像尺寸缩小为原图像尺寸的1/4。
在特征融合阶段,将得到长焦图像的特征图和短焦图像的特征图先分别用两个步长为2,尺寸为3*3*256的卷积核对图像进行卷积,然后将长焦图和短焦图分为多个4*4的图像块,以短焦图为基准,使用非局部均值搜索找到与其相似的长焦图像的相应区块。在匹配完所有短焦图区块后,重新构建短焦图像,并将相应的匹配区块替换为长焦图像区块从而得到匹配图。将匹配图与原特诊图进行级联一同进行图像重建。
在图像重建阶段,将级联图像用步长为2,尺寸为3*3*128的卷积核进行反卷积,同时于特征提取阶段相对应的卷积特征图进行级联保证下采样信息的重构,之后分别用两个步长为1,尺寸为3*3*128卷积核对图像进行卷积。再用步长为2,尺寸为3*3*64的卷积核进行反卷积,同时于特征提取阶段相对应的卷积特征图进行级联,之后分别用两个步长为1,尺寸为3*3*64卷积核对图像进行卷积。再用步长为2,尺寸为3*3*64的卷积核进行反卷积,之后用一系列步长为1,尺寸大小为3*3*128,3*3*256,3*3*64,3*3*3的卷积核对图像进行卷积操作的到最后的输出图像。
如果要求得到四倍分辨率图像,可以在原网络结构基础上添加一个步长为2的反卷积操作从而获得四倍分辨率图像。
本发明使用图1所示结构,分别对图3,图4所示短焦和长焦图像进行2倍分辨率成像,以及对图5,图6所示短焦和长焦图像进行4倍分辨率成像,并与双三次插值以及VDSR算法对比,说明本发明的有益效果。
使用峰值信噪比(PSNR)来评价成像质量,PSNR反映了待评价图像与参考图像的接近程度,值越大表示越接近,成像质量越好。双三次插值,VDSR的结果和本发明成像结果的评价结果如表1所示。从表1中可以看出,对于2倍和4倍分辨率的图像,本发明的成像结果优于双三次插值和VDSR的成像结果。
表1双三次插值,VDSR成像结果和本发明成像结果对比
在上述实施例中,使用本发明的方法与同等条件下使用双三次插值和VDSR的成像相比,成像质量更高。
在双摄像头系统中,较短焦距模块产生具有低分辨率的宽视图图像。较长焦距的模块通过光学变焦产生远摄视频图像。为了重建连续数字变焦的宽视图图像,首次提出用Unet的结构进行超分辨算法。同时,将块匹配算法集成到Unet中以融合长焦和短焦图像的信息,本发明显著改善了变焦图像的成像质量。
Claims (5)
1.一种结合块匹配和神经网络的变焦图像生成方法,其特征在于方法包括以下步骤:
步骤1:同一时刻下,利用双焦相机的长焦镜头和短焦镜头在同光轴下分别对同一拍摄场景或对象进行拍摄获得长焦图像和短焦图像;
步骤2:建立Unet神经网络结构,Unet神经网络结构包括卷积部分和解卷积部分,长焦图像和短焦图像均输入到卷积部分进行图像特征提取,从而获得长焦图像和短焦图像的高频细节特征结构;
步骤3:采用块匹配算法将长焦图像和短焦图像的高频细节特征结构进行匹配融合得到一张级联图像;
步骤4:级联图像再输入Unet神经网络结构的解卷积部分中进行重建,得到变焦图像。
2.根据权利要求1所述的结合块匹配和神经网络的变焦图像生成方法,其特征在于:所述的步骤3具体包括:
3.1)将长焦图像和短焦图像的高频细节特征结构分别分为多个细节图像块,再将长焦图像的细节图像块与短焦图像的细节图像块进行匹配,使得短焦图像的每一个细节图像块,在长焦图像中存在与之相似的细节图像块作为匹配图像块;
3.2)用匹配图像块替换短焦图像的每一个细节图像块,得到匹配图像;
3.3)将匹配图像与步骤1获得的短焦图像进行级联获得级联图像。
3.根据权利要求1所述的结合块匹配和神经网络的变焦图像生成方法,其特征在于:所述的将长焦图像和短焦图像的高频细节特征结构分别划分为多个细节图像块。
4.根据权利要求1所述的结合块匹配和神经网络的变焦图像生成方法,其特征在于:所述的步骤1采集的长焦图像和短焦图像的图像大小尺寸相同,变焦图像的分辨率高于步骤1采集的长焦图像和短焦图像。
5.根据权利要求1所述的结合块匹配和神经网络的变焦图像生成方法,其特征在于:Unet神经网络结构的卷积部分包括两个依次连接的下采样卷积组,长焦和短焦图像分别输入到两个下采样卷积组进行卷积处理得到长焦图像和短焦图像的高频细节特征结构;Unet神经网络结构的解卷积部分包括多个上采样卷积组,两个依次连接的上采样卷积组,级联图像输入到上采样卷积组进行反卷积得到变焦图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910614810.9A CN110378850B (zh) | 2019-07-09 | 2019-07-09 | 一种结合块匹配和神经网络的变焦图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910614810.9A CN110378850B (zh) | 2019-07-09 | 2019-07-09 | 一种结合块匹配和神经网络的变焦图像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378850A true CN110378850A (zh) | 2019-10-25 |
CN110378850B CN110378850B (zh) | 2021-03-30 |
Family
ID=68252516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910614810.9A Active CN110378850B (zh) | 2019-07-09 | 2019-07-09 | 一种结合块匹配和神经网络的变焦图像生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378850B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111654621A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大学 | 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 |
CN111818262A (zh) * | 2020-07-08 | 2020-10-23 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
CN113240583A (zh) * | 2021-04-13 | 2021-08-10 | 浙江大学 | 一种基于卷积核预测的图像超分辨方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102033725A (zh) * | 2009-09-28 | 2011-04-27 | 英业达股份有限公司 | 实时操作设定的缩放显示界面、系统及方法 |
CN108132529A (zh) * | 2017-03-03 | 2018-06-08 | 中国北方车辆研究所 | 一种基于波前编码的景深变焦光学方法及系统 |
WO2018200493A1 (en) * | 2017-04-25 | 2018-11-01 | The Board Of Trustees Of The Leland Stanford Junior University | Dose reduction for medical imaging using deep convolutional neural networks |
CN109285136A (zh) * | 2018-08-31 | 2019-01-29 | 清华-伯克利深圳学院筹备办公室 | 一种图像的多尺度融合方法、装置、存储介质及终端 |
-
2019
- 2019-07-09 CN CN201910614810.9A patent/CN110378850B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102033725A (zh) * | 2009-09-28 | 2011-04-27 | 英业达股份有限公司 | 实时操作设定的缩放显示界面、系统及方法 |
CN108132529A (zh) * | 2017-03-03 | 2018-06-08 | 中国北方车辆研究所 | 一种基于波前编码的景深变焦光学方法及系统 |
WO2018200493A1 (en) * | 2017-04-25 | 2018-11-01 | The Board Of Trustees Of The Leland Stanford Junior University | Dose reduction for medical imaging using deep convolutional neural networks |
CN109285136A (zh) * | 2018-08-31 | 2019-01-29 | 清华-伯克利深圳学院筹备办公室 | 一种图像的多尺度融合方法、装置、存储介质及终端 |
Non-Patent Citations (5)
Title |
---|
CHEN LIU 等: "A Novel Speckle Noise Reduction Algorithm for Old Movies Recovery", 《2018 11TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI 2018)》 * |
王光霞 等: "基于块匹配的低光度图像对融合方法", 《光子学报》 * |
赫贵然 等: "基于CNN 特征提取的双焦相机连续数字变焦", 《浙江大学学报(工学版)》 * |
陈跃庭 等: "投影算法与块匹配法结合的实时数字稳像方法", 《浙江大学学报(工学版)》 * |
马昊宇: "基于高频信息重构的双焦图像的数字变焦算法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111654621A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大学 | 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 |
CN111654621B (zh) * | 2020-05-26 | 2021-04-16 | 浙江大学 | 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 |
CN111818262A (zh) * | 2020-07-08 | 2020-10-23 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
CN111818262B (zh) * | 2020-07-08 | 2021-12-03 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
WO2022007851A1 (zh) * | 2020-07-08 | 2022-01-13 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
US11778327B2 (en) | 2020-07-08 | 2023-10-03 | Hangzhou Ezviz Software Co., Ltd. | Image reconstruction method and device |
CN113240583A (zh) * | 2021-04-13 | 2021-08-10 | 浙江大学 | 一种基于卷积核预测的图像超分辨方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110378850B (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Real-world single image super-resolution: A brief review | |
Yi et al. | Multi-temporal ultra dense memory network for video super-resolution | |
CN110378850A (zh) | 一种结合块匹配和神经网络的变焦图像生成方法 | |
Nikonorov et al. | Deep learning-based imaging using single-lens and multi-aperture diffractive optical systems | |
CN116152120B (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
CN109949354B (zh) | 一种基于全卷积神经网络的光场深度信息估计方法 | |
US20170206633A1 (en) | Method and apparatus for up-scaling an image | |
Chang et al. | A two-stage convolutional neural network for joint demosaicking and super-resolution | |
Tang et al. | Very deep residual network for image matting | |
Tan et al. | Crossnet++: Cross-scale large-parallax warping for reference-based super-resolution | |
Zhou et al. | Cross-mpi: Cross-scale stereo for image super-resolution using multiplane images | |
CN111654621B (zh) | 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 | |
CN116210219A (zh) | 光场图像的处理方法、编码器、解码器及存储介质 | |
CN115018750A (zh) | 中波红外高光谱及多光谱图像融合方法、系统及介质 | |
CN108401104B (zh) | 基于频带修复和超分辨的双焦相机数字变焦方法 | |
CN113610707A (zh) | 一种基于时间注意力与循环反馈网络的视频超分辨率方法 | |
CN111080533B (zh) | 一种基于自监督残差感知网络的数码变焦方法 | |
CN112767246A (zh) | 光场图像多倍率空间超分辨方法及装置 | |
Yeh et al. | VDNet: video deinterlacing network based on coarse adaptive module and deformable recurrent residual network | |
Shoeiby et al. | Mosaic super-resolution via sequential feature pyramid networks | |
CN110084749B (zh) | 一种焦距非一致的光场图像的拼接方法 | |
Indyk et al. | Monovan: Visual attention for self-supervised monocular depth estimation | |
Li et al. | Swin Transformer-based Cross-view Attention Network for Stereo Image Super-Resolution | |
Mehri et al. | TnTViT-G: Transformer in Transformer Network for Guidance Super Resolution | |
Shen et al. | Light Field Reflection and Background Separation Network Based on Adaptive Focus Selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |