CN112634128A - 一种基于深度学习的立体图像重定向方法 - Google Patents

一种基于深度学习的立体图像重定向方法 Download PDF

Info

Publication number
CN112634128A
CN112634128A CN202011532263.9A CN202011532263A CN112634128A CN 112634128 A CN112634128 A CN 112634128A CN 202011532263 A CN202011532263 A CN 202011532263A CN 112634128 A CN112634128 A CN 112634128A
Authority
CN
China
Prior art keywords
image
attention
parallax
right images
stereo image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011532263.9A
Other languages
English (en)
Other versions
CN112634128B (zh
Inventor
雷建军
范晓婷
徐立莹
彭勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011532263.9A priority Critical patent/CN112634128B/zh
Publication of CN112634128A publication Critical patent/CN112634128A/zh
Application granted granted Critical
Publication of CN112634128B publication Critical patent/CN112634128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于深度学习的立体图像重定向方法，所述方法包括：利用交叉注意力提取模块获取左右图像的注意力图；利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的3D重要性图，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向进行训练，获得最终高质量的重定向立体图像。本发明避免了图像内容失真并保持立体图像的视差一致性。

Description

一种基于深度学习的立体图像重定向方法
技术领域
本发明涉及图像处理以及立体视觉技术领域，尤其涉及一种基于深度学习的立体图像重定向方法。
背景技术
随着立体显示技术的发展和不同立体显示终端的出现，经常需要将3D内容重定向到不同显示终端。与2D图像重定向不同，立体图像重定向不但需要保持图像中显著对象的形状结构，还需要保持3D场景的深度一致性。因此，如何保证重定向后的立体图像的内容质量和视差范围，是立体图像重定向的主要挑战。
近年来，研究人员提出了大量的2D图像重定向方法。2D图像重定向技术分为离散方法和连续方法。离散方法是通过重复地从图像中的每一行/列中移除像素，实现图像的水平或者垂直缩放，例如：基于裁剪的方法、Seam-carving等。连续方法是通过合并相邻像素或将图像分割成变形网格，并利用像素插值使图像变形，包括基于缩放的方法、网格变形方法等。与2D图像不同，立体图像包含深度信息。因此，有效的立体图像重定向方法不仅需要适应具有不同显示尺寸和宽高比的设备，还需要保持立体图像的深度和视差一致性。早期的立体图像重定向方法主要是对2D图像重定向方法的扩展。例如，Basha等人考虑了立体图像中像素之间的匹配关系，将2D图像的Seam-carving方法推广到立体图像实现几何一致性。Yoo等人提出了一种基于四边形网格的立体图像重定向方法，该方法可以减少重要区域的变形扭曲，保持3D场景的深度。然而，这些立体图像重定向方法的性能仍需要进一步改进。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
现有的立体图像重定向方法，无法同时有效地保持显著对象的形状结构和视差关系，可能导致重定向后的立体图像在显著区域出现不连续伪影，并进一步造成立体图像的视差不一致性。
发明内容
本发明提供了一种基于深度学习的立体图像重定向方法，本发明利用深度学习框架，进一步挖掘立体图像的显著信息和视差信息，针对立体图像进行注意力特征提取，并结合立体图像的视差信息，构建图像一致性和视差一致性损失实现对立体图像的重定向，避免图像内容失真并保持立体图像的视差一致性，详见下文描述：
一种基于深度学习的立体图像重定向方法，所述方法包括以下步骤：
利用交叉注意力提取模块获取左右图像的注意力图；
利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的3D重要性图，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；
利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；
将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向模型进行训练，获得最终高质量的重定向立体图像。
其中，所述利用交叉注意力提取模块获取左右图像的注意力图具体为：
交叉注意力模块由通道注意力和空间注意力构成，每个通道注意力由一个最大池化层、两个卷积层、一个ELU层和一个sigmoid层组成，每个空间注意力由两个卷积层、一个ELU层和一个sigmoid层组成；
结合通道注意力和空间注意力，左右图像中每个交叉注意力模块的最终输出的加权特征图Fi L和Fi R如下所示：
Figure BDA0002852391880000021
Figure BDA0002852391880000022
其中
Figure BDA0002852391880000023
其中，
Figure BDA0002852391880000024
和
Figure BDA0002852391880000025
表示左右图像的输入特征图，
Figure BDA0002852391880000027
和
Figure BDA0002852391880000026
表示由输入特征图和通道注意力掩膜相乘得到的左右图像的通道级的特征图，
Figure BDA0002852391880000028
和
Figure BDA0002852391880000029
表示左右图像的交叉空间注意力掩膜，该掩膜是由左右图像的空间注意力掩膜相乘得到的，Mc(·)表示通道注意力掩膜，Ms(·)表示空间注意力掩膜，
Figure BDA00028523918800000210
表示逐像素相乘。
进一步地，所述图像一致性损失用于促进反变换的左右图像与对应的原始图像具有相似的结构，图像一致性损失LR定义如下：
Figure BDA0002852391880000031
和
Figure BDA0002852391880000032
其中，
Figure BDA0002852391880000035
和
Figure BDA0002852391880000036
分别表示反变换的左右图像，两者均是通过将输出的目标立体图像重新送入所设计的深度网络，
Figure BDA0002852391880000037
和
Figure BDA0002852391880000038
分别表示原始左右图像，
Figure BDA0002852391880000039
和
Figure BDA00028523918800000310
分别表示重定向后的左右图像的3D重要性图，sL(1/λ,·)和sR(1/λ,·)分别表示在反变换纵横比1/λ条件下，对重定向后的左右图像的3D重要性图进行偏移映射操作；
Figure BDA00028523918800000311
和
Figure BDA00028523918800000312
分别表示重定向后的左右图像的注意力图，
Figure BDA00028523918800000313
和
Figure BDA00028523918800000314
分别表示重定向后的左右图像的视差图，||·||表示L1范数操作。
其中，所述视差一致性损失包括：视差重建项和视差细化项，视差重建项用于保留重定向立体图像的深度信息，视差细化项用于生成3D重要性图；
视差重建项Lrec定义为：
Figure BDA0002852391880000033
其中，
Figure BDA00028523918800000315
和
Figure BDA00028523918800000316
分别表示反变换的左右图像的视差图；
视差细化项Lref定义为：
Figure BDA0002852391880000034
其中，
Figure BDA00028523918800000317
和
Figure BDA00028523918800000318
分别表示原始左右图像的真实视差图；
将图像一致性损失LR和视差一致性损失LD结合，获得整体损失函数Ltotal定义如下：
Lall＝LR+τLD
其中，τ表示相对权重。
本发明提供的技术方案的有益效果是：
1、本方法能够有效保持图像中的显著区域结构，减少图像的形状失真；同时，能够保持立体图像的视差关系和3D场景的深度，最终获得高质量的重定向立体图像；
2、本发明是首次使用深度学习框架解决立体图像重定向问题，能够有效提取立体图像的注意力信息和视差信息，进一步保持立体图像中对象比例以及避免深度失真。
附图说明
图1为一种基于深度学习的立体图像重定向方法的流程图；
其中，(a)为交叉注意力，其中
Figure BDA0002852391880000041
表示像素级乘法；(b)为通道注意力；(c)为空间注意力，其中Conv表示滤波器大小为1×1的卷积运算，
Figure BDA0002852391880000042
表示sigmoid函数。
图2为交叉注意力模块示意图；
图3为重定向后立体图像的深度失真得分对比结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本发明实施例设计了一种基于深度学习的立体图像重定向方法。该方法由三个模块组成：交叉注意力提取模块用于生成视觉注意力图，以保持显著物体的形状；视差辅助3D重要性图生成模块，用于生成精确的3D重要性图，进一步保存深度信息；图像一致性损失和视差一致性损失模块，最小化几何结构失真和深度失真，进而预测高质量的重定向立体图像。该立体图像的重定向方法实现了对立体图像的尺寸缩放，避免视觉失真同时保持了立体图像的视差一致性，详见下文描述：
一种基于深度学习的立体图像重定向方法，参见图1，该方法包括以下步骤：
步骤1：利用交叉注意力提取模块获取左右图像的注意力图；
对于图像重定向，最基本的任务是保持显著对象的形状结构，并尽可能均匀地拉伸背景区域。由于深度学习模型中的注意力图能够更加关注显著对象，并且左右图像中的显著对象具有相同内容。因此，本发明实施例设计了交叉注意力提取模块，以保持左右图像的显著内容特征，促进左右图像之间的协作。
给定一幅立体图像，大小为W×H(W代表宽度，H代表高度)的左右图像
Figure BDA0002852391880000043
和
Figure BDA0002852391880000044
被送入VGG-16网络中，用于提取图像的特征图，并采用反变换VGG-16网络，将特征图扩展到原始尺度。此外，在VGG-16网络的每两个卷积层之间引入交叉注意力模块，提高特征表示能力，防止深度失真。交叉注意力模块由通道注意力和空间注意力构成，其细节如图2所示，其中每个通道注意力由一个maxpooling(最大池化)层、两个卷积层、一个ELU(指数线性单元)层和一个sigmoid(激活函数)层组成，每个空间注意力由两个卷积层、一个ELU层和一个sigmoid层组成。
结合通道注意力和空间注意力，左右图像中每个交叉注意力模块的最终输出的加权特征图Fi L和Fi R如下所示：
Figure BDA0002852391880000051
Figure BDA0002852391880000052
其中
Figure BDA0002852391880000053
其中，
Figure BDA0002852391880000054
和
Figure BDA0002852391880000055
表示左右图像的输入特征图。
Figure BDA0002852391880000056
和
Figure BDA0002852391880000057
表示由输入特征图和通道注意力掩膜相乘得到的左右图像的通道级的特征图。
Figure BDA0002852391880000058
和
Figure BDA0002852391880000059
表示左右图像的交叉空间注意力掩膜，该掩膜是由左右图像的空间注意力掩膜相乘得到的。Mc(·)表示通道注意力掩膜，Ms(·)表示空间注意力掩膜。
Figure BDA00028523918800000510
表示逐像素相乘。
步骤2：利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的重要性图；
考虑到立体图像的视差图可以作为保留原始深度分布的附加约束，本发明实施例利用视差辅助3D重要性图生成模型，提高重定向后的立体图像的深度精度。具体地，视差生成网络用于生成左右视差图，然后将其作为辅助分别生成左右图像的3D重要性图。
视差生成网络采用对称的网络架构预测左右视差图，其包括：卷积层单元、相关层和视差预测。在视差生成网络中，采用卷积层单元提取左右图像两个分支的特征图。每个分支有八个卷积层，每一层之后是批标准化和ReLU。然后，利用相关层计算左右图像的每两个对应特征映射之间的代价-体积关系。同时，为了生成精确的视差图，将左右分支中卷积层单元的最后一个特征图与代价-体积关系融合，分别生成左右图像对应的代价-体积。最后，利用winner-take-all策略计算出左右图像的视差图。
在立体图像重定向任务中，应该尽可能保持立体图像中显著目标的全局深度感知。本发明实施例采用2D注意力图和视差图的线性组合生成3D重要性图，与2D注意力图相比，3D重要性图提供了更多有价值的形状和深度信息。左右图像的3D重要性图
Figure BDA0002852391880000063
和
Figure BDA0002852391880000064
分别定义如下：
Figure BDA0002852391880000065
Figure BDA0002852391880000066
其中，AL和AR分别表示左右图像的注意力图，DL和DR分别表示左右图像的视差图，ε用来平衡注意图和视差图对3D重要性图的贡献，
Figure BDA0002852391880000067
表示逐像素相加。在获得左右图像的3D重要性图之后，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸。
步骤3：利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真。
立体图像重定向旨在没有明显的几何和视差失真的情况下，获得重定向的立体图像。为了保持立体图像中的显著区域，同时减少非自然的几何失真，本发明实施例设计了图像一致性损失，以促进反变换的左右图像与对应的原始图像具有相似的结构。图像一致性损失LR定义如下：
Figure BDA0002852391880000061
和
Figure BDA0002852391880000062
其中，
Figure BDA0002852391880000068
和
Figure BDA0002852391880000069
分别表示反变换的左右图像，两者均是通过将输出的目标立体图像重新送入所设计的深度网络，
Figure BDA00028523918800000610
和
Figure BDA00028523918800000611
分别表示原始左右图像，
Figure BDA00028523918800000612
和
Figure BDA00028523918800000613
分别表示重定向后的左右图像的3D重要性图，sL(1/λ,·)和sR(1/λ,·)分别表示在反变换纵横比1/λ条件下，对重定向后的左右图像的3D重要性图进行偏移映射操作。
Figure BDA00028523918800000614
和
Figure BDA00028523918800000615
分别表示重定向后的左右图像的注意力图，
Figure BDA0002852391880000071
和
Figure BDA0002852391880000072
分别表示重定向后的左右图像的视差图，||·||表示L1范数操作。
为了确保立体图像的视差一致性，本发明实施例设计了视差一致性损失，强制采用与重定向立体图像一致的方式处理场景的视差，进而避免深度失真。具体地说，视差一致性损失包括视差重建项和视差细化项，其中视差重建项用于保留重定向立体图像的深度信息，视差细化项用于生成精确的3D重要性图。视差一致性损失LD定义如下：
LD＝Lrec+Lref
其中，Lrec和Lref分别表示视差重建项和视差细化项。
在理想情况下，如果能很好地保留重定向立体图像的深度信息，则原始左右图像之间的视差应与反变换的左右图像之间的视差应相似。因此，视差重建项Lrec定义为：
Figure BDA0002852391880000073
其中，
Figure BDA0002852391880000074
和
Figure BDA0002852391880000075
分别表示反变换的左右图像的视差图。
另外，为了生成更精确的3D重要性图，原始左右图像的视差图应尽可能接近真实视差图。视差细化项Lref定义为：
Figure BDA0002852391880000076
其中，
Figure BDA0002852391880000077
和
Figure BDA0002852391880000078
分别表示原始左右图像的真实视差图。
最后，将图像一致性损失LR和视差一致性损失LD结合，获得整体损失函数Ltotal定义如下：
Lall＝LR+τLD
其中，τ表示相对权重。
图3列出了重定向后立体图像的深度失真得分对比结果，对比算法包括：Cho的方法和Li的方法，其中Cho的方法是2D图像重定向算法，Li的方法是立体图像重定向算法。深度失真越小，3D视觉体验越高。由图3可以看出，与Cho的方法相比，本发明实施例的深度失真得分更小，说明视差辅助模型在立体图像重定向中的重要作用。此外，Li的方法在深度失真得分方面的表现也比本发明差。主要原因在于Li的方法受到几何结构变形的影响，会产生不理想的视差失真。相比之下，受益于视差辅助模型和视差一致性损失，本发明减少了重定向后立体图像的深度失真。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的立体图像重定向方法，其特征在于，所述方法包括以下步骤：
利用交叉注意力提取模块获取左右图像的注意力图；
利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的3D重要性图，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；
利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；
将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向进行训练，获得最终高质量的重定向立体图像。
2.根据权利要求1所述的一种基于深度学习的立体图像重定向方法，其特征在于，所述利用交叉注意力提取模块获取左右图像的注意力图具体为：
交叉注意力模块由通道注意力和空间注意力构成，每个通道注意力由一个最大池化层、两个卷积层、一个ELU层和一个sigmoid层组成，每个空间注意力由两个卷积层、一个ELU层和一个sigmoid层组成；
结合通道注意力和空间注意力，左右图像中每个交叉注意力模块的最终输出的加权特征图Fi L和Fi R如下所示：
Figure FDA0002852391870000011
Figure FDA0002852391870000012
其中
Figure FDA0002852391870000013
其中，
Figure FDA0002852391870000014
和
Figure FDA0002852391870000015
表示左右图像的输入特征图，
Figure FDA0002852391870000016
和
Figure FDA0002852391870000017
表示由输入特征图和通道注意力掩膜相乘得到的左右图像的通道级的特征图，Fs L和Fs R表示左右图像的交叉空间注意力掩膜，该掩膜是由左右图像的空间注意力掩膜相乘得到的，Mc(·)表示通道注意力掩膜，Ms(·)表示空间注意力掩膜，
Figure FDA0002852391870000018
表示逐像素相乘。
3.根据权利要求1所述的一种基于深度学习的立体图像重定向方法，其特征在于，所述图像一致性损失用于促进反变换的左右图像与对应的原始图像具有相似的结构，图像一致性损失LR定义如下：
Figure FDA0002852391870000021
和
Figure FDA0002852391870000022
其中，
Figure FDA0002852391870000023
和
Figure FDA0002852391870000024
分别表示反变换的左右图像，两者均是通过将输出的目标立体图像重新送入所设计的深度网络，
Figure FDA0002852391870000025
和
Figure FDA0002852391870000026
分别表示原始左右图像，
Figure FDA0002852391870000027
和
Figure FDA0002852391870000028
分别表示重定向后的左右图像的3D重要性图，sL(1/λ,·)和sR(1/λ,·)分别表示在反变换纵横比1/λ条件下，对重定向后的左右图像的3D重要性图进行偏移映射操作；
Figure FDA0002852391870000029
和
Figure FDA00028523918700000210
分别表示重定向后的左右图像的注意力图，
Figure FDA00028523918700000211
和
Figure FDA00028523918700000212
分别表示重定向后的左右图像的视差图，||·||表示L1范数操作。
4.根据权利要求1所述的一种基于深度学习的立体图像重定向方法，其特征在于，所述视差一致性损失包括：视差重建项和视差细化项，视差重建项用于保留重定向立体图像的深度信息，视差细化项用于生成3D重要性图；
视差重建项Lrec定义为：
Figure FDA00028523918700000213
其中，
Figure FDA00028523918700000214
和
Figure FDA00028523918700000215
分别表示反变换的左右图像的视差图；
视差细化项Lref定义为：
Figure FDA00028523918700000216
其中，
Figure FDA00028523918700000217
和
Figure FDA00028523918700000218
分别表示原始左右图像的真实视差图；
将图像一致性损失LR和视差一致性损失LD结合，获得整体损失函数Ltotal定义如下：
Lall＝LR+τLD
其中，τ表示相对权重。
CN202011532263.9A 2020-12-22 2020-12-22 一种基于深度学习的立体图像重定向方法 Active CN112634128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011532263.9A CN112634128B (zh) 2020-12-22 2020-12-22 一种基于深度学习的立体图像重定向方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011532263.9A CN112634128B (zh) 2020-12-22 2020-12-22 一种基于深度学习的立体图像重定向方法

Publications (2)

Publication Number Publication Date
CN112634128A true CN112634128A (zh) 2021-04-09
CN112634128B CN112634128B (zh) 2022-06-14

Family

ID=75322031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011532263.9A Active CN112634128B (zh) 2020-12-22 2020-12-22 一种基于深度学习的立体图像重定向方法

Country Status (1)

Country Link
CN (1) CN112634128B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511050A (zh) * 2022-09-23 2022-12-23 合肥市综合管廊投资运营有限公司 一种三维模型网格简化的深度学习模型及其训练方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900088A (zh) * 2013-12-03 2016-08-24 谷歌公司 用于视频播放列表的动态缩略图表示
CN107146197A (zh) * 2017-03-31 2017-09-08 北京奇艺世纪科技有限公司 一种缩略图生成方法及装置
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法
CN108989973A (zh) * 2017-05-17 2018-12-11 Lg 电子株式会社 移动终端
CN110546687A (zh) * 2018-04-06 2019-12-06 株式会社恩博迪 图像处理装置及二维图像生成用程序
CN110599443A (zh) * 2019-07-02 2019-12-20 山东工商学院 一种使用双向长短期记忆网络的视觉显著性检测方法
CN111724459A (zh) * 2020-06-22 2020-09-29 合肥工业大学 一种面向异构人体骨骼的运动重定向的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900088A (zh) * 2013-12-03 2016-08-24 谷歌公司 用于视频播放列表的动态缩略图表示
CN107146197A (zh) * 2017-03-31 2017-09-08 北京奇艺世纪科技有限公司 一种缩略图生成方法及装置
CN108989973A (zh) * 2017-05-17 2018-12-11 Lg 电子株式会社 移动终端
CN110546687A (zh) * 2018-04-06 2019-12-06 株式会社恩博迪 图像处理装置及二维图像生成用程序
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法
CN110599443A (zh) * 2019-07-02 2019-12-20 山东工商学院 一种使用双向长短期记忆网络的视觉显著性检测方法
CN111724459A (zh) * 2020-06-22 2020-09-29 合肥工业大学 一种面向异构人体骨骼的运动重定向的方法及系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
MAHDI AHMADI ET AL: "Context-Aware Saliency Detection for Image Retargeting Using Convolutional Neural Networks", 《ARXIV》 *
MAHDI AHMADI ET AL: "Context-Aware Saliency Detection for Image Retargeting Using Convolutional Neural Networks", 《ARXIV》, 17 October 2019 (2019-10-17), pages 1 - 20 *
YUMING FANG ET AL: "Saliency-based stereoscopic image retargeting", 《INFORMATION SCIENCES》 *
YUMING FANG ET AL: "Saliency-based stereoscopic image retargeting", 《INFORMATION SCIENCES》, 18 August 2016 (2016-08-18), pages 347 - 358, XP029735698, DOI: 10.1016/j.ins.2016.08.062 *
吴敏: "立体图像重定向技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
吴敏: "立体图像重定向技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 5, 15 May 2018 (2018-05-15), pages 1 - 41 *
林文崇等: "一种基于人眼视觉注意力的三维视频重定向方法", 《光电子·激光》 *
林文崇等: "一种基于人眼视觉注意力的三维视频重定向方法", 《光电子·激光》, vol. 27, no. 3, 31 March 2016 (2016-03-31), pages 303 - 309 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511050A (zh) * 2022-09-23 2022-12-23 合肥市综合管廊投资运营有限公司 一种三维模型网格简化的深度学习模型及其训练方法

Also Published As

Publication number Publication date
CN112634128B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
Li et al. Hole filling with multiple reference views in DIBR view synthesis
CN111915487B (zh) 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN110930309B (zh) 基于多视图纹理学习的人脸超分辨率方法及装置
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
CN114049420B (zh) 一种模型训练方法、图像渲染方法、装置和电子设备
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
JPWO2013005365A1 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
CN104954780A (zh) 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN108234985B (zh) 用于反向深度图渲染处理的维度变换空间下的滤波方法
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN116310111A (zh) 基于伪平面约束的室内场景三维重建方法
CN116912405A (zh) 一种基于改进MVSNet的三维重建方法及系统
CN112634128B (zh) 一种基于深度学习的立体图像重定向方法
CN112634127B (zh) 一种无监督立体图像重定向方法
CN117152580A (zh) 双目立体视觉匹配网络构建方法及双目立体视觉匹配方法
CN116777971A (zh) 一种基于水平可变形注意力模块的双目立体匹配方法
CN116912114A (zh) 基于高阶曲线迭代的无参考低光照图像增强方法
CN116385577A (zh) 虚拟视点图像生成方法及装置
Dong et al. Shoot high-quality color images using dual-lens system with monochrome and color cameras
CN115620085A (zh) 基于图像金字塔的神经辐射场快速优化方法
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备
Liu et al. Stereoscopic view synthesis based on region-wise rendering and sparse representation
Kanojia et al. MIC-GAN: multi-view assisted image completion using conditional generative adversarial networks
CN114170066B (zh) 一种基于多注意力网络的任意风格迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant