CN111161340B - 基于深度特征提取的图像重定向方法及系统、终端 - Google Patents

基于深度特征提取的图像重定向方法及系统、终端 Download PDF

Info

Publication number
CN111161340B
CN111161340B CN201911216043.2A CN201911216043A CN111161340B CN 111161340 B CN111161340 B CN 111161340B CN 201911216043 A CN201911216043 A CN 201911216043A CN 111161340 B CN111161340 B CN 111161340B
Authority
CN
China
Prior art keywords
image
importance
importance map
redirection
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911216043.2A
Other languages
English (en)
Other versions
CN111161340A (zh
Inventor
宋利
吴继楠
张文军
解蓉
李琳
冯亚楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
MIGU Culture Technology Co Ltd
Original Assignee
Shanghai Jiaotong University
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, MIGU Culture Technology Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN201911216043.2A priority Critical patent/CN111161340B/zh
Publication of CN111161340A publication Critical patent/CN111161340A/zh
Application granted granted Critical
Publication of CN111161340B publication Critical patent/CN111161340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度特征提取的图像重定向方法及系统、终端，其中：训练用于前景分割的卷积神经网络，该网络可以将图像中的显著的前景物体和背景进行分割；使用所述网络提取出输入图像低阶特征和高阶特征，提取出不同尺度上的特征图；对所述特征图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；根据重要度图计算设定的综合目标函数，通过求解一个二次最优化问题最终生成重定向图像。本发明改善了现有的图像重定向方法的对图像高阶语义理解不足，易造成显著物体发生明显变形、图像全局信息丢失的问题，更好地实现了图像的重定向。

Description

基于深度特征提取的图像重定向方法及系统、终端
技术领域
本发明涉及一种图像处理技术领域的方法，具体是一种基于卷积神经网络进行深度特征提取的图像重定向方法及系统、终端。
背景技术
随着成像技术、网络传输技术和消费电子领域的不断发展，图像/视频已经成为多媒体生产和分发的重要组成部分，极大的丰富了人们的生活。生活中的显示设备的种类也逐渐多元化：液晶电视、智能手机、平板电脑、可穿戴设备。通过这些设备，人们可以随时随地的观看数字媒体内容。
这些不同的显示设备因为其用途和市场定位的不同，通常比尺寸和长宽比都没有统一的标准。例如，当前市场上的主流电脑显示器和智能手机屏幕的比例有标准的16：9和最近新推出的18.5：9到19.5：9等多种规格，而可穿戴设备如VR眼镜、智能手表等的屏幕比例更是五花八门。而多媒体内容的制作通常是在考虑特定目标屏幕的情况下制作的。在早期的静态摄影中，胶片的格式比例为3：2。随着数字图像传感器的发展，人们开始普遍采用4：3的比例，早期的影视作品均采用这个比例。截止到目前，大多数电视已经从4：3的比例转换为16：9的比例，电影院采用的宽屏模式长宽比高达2.4：1。近年来，短视频内容领域的崛起更是使多媒体内容如何在大屏、小屏上舒适观看的问题变得亟待解决。
由于传统的方法所采用的重要度图生成方法都不是基于深度学习的方法，其本质在于基于图像的色彩、纹理等局部特征计算显著性，在真实环境下的鲁棒性表现不佳。近几年出现的一些基于深度学习的图像重定向方法，主要是纯生成的方法进行最终的图像重定向，效率和效果均不佳。
经检索，申请号为201811274899.0的中国发明申请，公开了一种基于能量转移和均匀缩放的图像重定向方法，步骤是：输入图像进行预处理；提取彩色RGB图像Icolor的重要度图，根据累积能量矩阵确定最佳接缝，重要度更新，移除最佳接缝，评价缝裁剪后图像的变形程度等，该发明克服了现有技术存在的在图像缩放中原图像主体目标会发生明显变形、图像全局信息丢失以及留有明显的人工处理痕迹以及时间复杂度高的缺陷。
该专利使用重要度图生成方式通过大量手工设计的特征，并且只能提取图像的色彩、对比度等局部特征，缺乏了对图像的高阶语义理解，不够鲁棒，在处理图像主体和背景区分不明显等较为复杂的情况时无法进行有效的图像重定向。此外，缝剪裁重定向方法需要进行迭代进行重要度图更新和最佳接缝移除，计算时间相对比较长。
发明内容
本发明针对现有技术的缺陷，提供一种基于深度特征提取的图像重定向方法及系统。
根据本发明的第一目，提供一种基于深度特征提取的图像重定向方法，包括：
S1：训练用于前景分割的全卷积神经网络，该网络能将图像中的显著的前景物体和背景进行分割；
S2：使用所述全卷积神经网络提取出输入图像的低阶特征和高阶特征，提取出不同尺度上的重要度图；
S3：对所述重要度图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；
S4：根据所述重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像。
可选地，S1中，所述全卷积神经网络在公开的大规模显著物体分割数据集上训练，从数据集原始图像中切割出小于或等于512×512分辨率的图像用于训练和验证，使用的损失函数为逐像素的交叉熵损失。
可选地，S2中，所述提取出不同尺度上的重要度图，是指：
将位于各池化层前卷积层的所有通道的激活输出值进行累加，然后进行离差标准化消除不同尺度重要度图之间的数值上的差异。离差标准化的定义如下：
Figure BDA0002299542090000021
其中Si为尺度i上的重要度图，Si(x',y')为该图中(x',y')处像素的值，
Figure BDA0002299542090000031
为归一化之后的重要度图。
可选地，S3中，所述对重要度图进行线性加权组合，是指：
将各尺度上的重要度图通过双线性插值上采样到和输入图像相同的分辨率，然后对其进行加权平均求和最终的重要度图：
Figure BDA0002299542090000032
其中αi代表尺度的i的重要度图的权值αi；L为不同尺度的数目，S为最终生成的重要度图，
Figure BDA0002299542090000033
为尺度i上归一化之后的重要度图。
可选地，S3中，所述将输入图像和重要度图以预先设定好的网格大小为单位进行划分，是指：
将输入图像和重要度图以预先设定好的网格大小为单位进行轴对齐的划分，每个网格的重要程度为其中所有像素的重要度值的平均值。
可选地，所述S4中，在重要度图的指导之下，通过将网格的大小变化之后的形变程度建模为一个二次最优化问题，进行求解之后得到网格变形之后的大小，以网格为单位进行插值生成最终的重定向图片。
根据本发明的第二方面，提供一种基于深度特征提取的图像重定向系统，包括：
训练模块：训练用于前景分割的全卷积神经网络，该网络能将图像中的显著的前景物体和背景进行分割；
重要度图提取模块：使用所述全卷积神经网络提取出输入图像的低阶特征和高阶特征，提取出不同尺度上的重要度图；
重要度图生成模块：对所述重要度图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；
重定向模块：根据所述重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像。
根据本发明的第三方面，提供一种基于深度特征提取的图像重定向终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于深度特征提取的图像重定向方法。
本发明通过考虑图像的全局的语义信息，采用前景分割的卷积神经网络来进行重要度图的生成弥补传统方法准确性和鲁棒性的不足，采用卷积神经网络进行深度特征提取，然后对图像进行轴对齐网格化重定向的方法，从而达到了视觉上更好的重定向效果。
与现有图像重定向技术相比，本发明具有如下的有益效果：
本发明所述方法考虑到现有的基于学习的方法对图像特征的提取能力，将卷积神经网络应用于图像重要度图的生成，然后结合传统的网格变形方法对图像进行重定向处理，相比于其他基于学习的方法有着更好的视觉效果和计算效率。
与广泛使用的非学习方法相比，本发明所述方法和系统有着更好的鲁棒性。在保持图像中主要结构和区域的同时，有效的减少了背景的过度扭曲和变形，提高了映射结果的视觉效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例方法的流程图；
图2是本发明一实施例中轴对齐网格与传统网格划分的对比；
图3是本发明一实施例中生成结果与现有方法的效果对比。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
参照图1所示，本发明的基于深度特征提取的图像重定向方法的流程图，其设计思路为：
①训练用于前景分割的全卷积神经网络，该网络可以将图像中的前景物体和背景进行分割；
②使用所述①中所述网络提取出输入图像低阶特征和高阶特征，提取出不同尺度的上的重要度图；
③对所述②中得到的特征图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分，用于④中进行图像重定向操作；
④根据所述③中的重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像，并对输出结果进行评价。
其中第①步创建并训练用于前景分割的全卷积神经网络，第②、③步通该网络的对输入图像进行特征提取及重要度图的生成，并对输入图像和重要度图进行以网格为单位的划分，第④步通过设定的综合目标函数求解最优化问题，生成重定向图像。本发明通过上述步骤改善了现有的图像重定向方法的对图像高阶语义理解不足，易造成显著物体发生明显变形、图像全局信息丢失的问题，更好地实现了图像的重定向。
以下通过具体实施例对上述各个步骤中涉及的详细技术操作进行说明，应当理解的是，以下仅仅是本发明部分实施例。
1.前景分割网络的建立和训练
设计前景分割网络时，其主要目的是提取输入图像的浅层和深层特征来检测前景物体的所在区域，然后进行前景物体和背景的分割。因此本发明实施例中的生成器采用全卷积网络架构，其中输入图像通过连续的卷积层不断的提取特征，这之中卷积层的卷积核大小不变，其通道数不断增加，每个通道的大小逐渐缩小，从而达到特征提取的操作，其过程类似于图像信息的编码。
本发明优选实施例中，前景分割网络和VGG-16的网络结构类似，不同之处在于将最后的全连接层变为卷积层，以使得该网络可以接受任意尺寸的输入图像。其中除最后一层卷积层外各卷积层的卷积核的大小都是3×3，最后一层的卷积核大小为1×1，每层卷积操作后都有RELU作为激活函数。另外，生成器的输入层通道数为3，输出层通道数为2。最后通过一个Softmax层进行二分类得到前景物体所在区域的位置。需要注意的是，本发明中后续使用该卷积神经网络时，使用的为预训练好的该网络。
2.不同尺度重要度图的生成
假设使用预训练的卷积神经网络中的不同尺度的数目为L，对卷积神经网络来说，网络的浅层输出即尺度较大的特征图为低阶特征，代表边缘、色彩等，深层输出即尺度较小的特征图为高阶特征，代表了图像的高阶语义。当对该网络输入一张尺寸为H×W的图片I，然后进行一次前向计算之后，可以得到不同尺度的一系列特征图：
Φ(I)＝{Φ(I)1,Φ(I)2,...,Φ(I)L}
特征图Φ(I)i,1≤i≤L的数学表示为一个三维的向量，尺寸为(Hi×Wi×Ci)，其中Hi为该特征图的高度，Wi为该特征图的宽度，Ci为该特征图的通道数。为了得到一张二维的重要度图，对该尺度的所有特征图进行累加处理。假设尺度i的特征图在像素点(x,y)，通道数为c处的激活值为Φ(I)(x,y,c)，则尺度i的重要度图定义为：
Figure BDA0002299542090000061
为了消除不同尺度之间特征图的激活值的数值范围上的差异，因此对各尺度重要度图Si进行离差标准化处理。
离差标准化的定义如下：
Figure BDA0002299542090000062
其中Si为尺度i上的重要度图，Si(x',y')为该图中(x',y')处像素的值，
Figure BDA0002299542090000063
为尺度i上归一化之后的重要度图。
最终将各阶的重要度图进行线性加权和生成最终的用于重定向的重要度图，其中αi代表尺度i的重要度图的权值αi，计算方式如下式：
Figure BDA0002299542090000064
S为最终用于重定向过程的重要度图；
Figure BDA0002299542090000071
为尺度i上的重要度图。
3.轴对齐网格的划分与变形
相比于常规的网格变形方法，轴对齐变形方法的不同之处在于其限制了初始横、纵坐标相同的网格在变形的过程中横、纵坐标仍然相同，如图2所示。一个M×N轴对齐网格可以表示为一个一维的列向量
Figure BDA0002299542090000072
其中srows，scols分别为所有网格的行坐标和列坐标。最终图像重定向问题可以建模为一个最优化问题:
最小化sTQs+sTb，
约束条件为
Figure BDA0002299542090000073
Figure BDA0002299542090000074
Figure BDA0002299542090000075
Figure BDA0002299542090000076
Figure BDA0002299542090000077
Figure BDA0002299542090000078
其中
Figure BDA0002299542090000079
代表自定义的基于上述生成的重要度图构造能量约束矩阵，在重要度图的指导下定义，/>
Figure BDA00022995420900000710
则代表该优化问题中的常数偏置项，在本发明一实施例中该偏置项为0。Lh为网格在重定向过程中的高度的最小值；Hh为高度的最大值；Lw为宽度的最小值；Hw为宽度的最大值；H'为重定向图像的高度；W'为重定向图像的宽度。
4.实施条件与结果评估
在一具体实施例中，代码实现由Python和MATLAB完成，神经网络实现所用的框架使用Pytorch。训练过程中，选取的每次迭代的批次大小为10，优化方法选择SGD，其学习率由10-3起始，随着迭代次数的增加不断减小，每2000次迭代减少
Figure BDA00022995420900000711
一共训练10000次迭代。在进行重要度图的计算时，使用的不同尺度的卷积层数为5，即L＝5；不同层数的权值{αi,i＝1,2,3,4,5}分别为{0.2,0.1,0.1,0.3,0.3}。
使用五种方法包括现有的简单的线性缩放方法、中心裁剪方法、Shai Avidan等人的Seam Carving方法、Philipp Krahenbuhl等人的Streaming Video方法，和本发明上述实施例方法，对RetargetMe图像数据集中随机选取的50幅图像进行高度不变、宽度缩放到原图50％的处理，并对处理结果进行主观评价，为避免随机因素与个人主观差异，由五组没有经过训练的评价者分别对五种方法得出的结果进行评价，评价者根据主观评价标准在五幅缩放后的图像中选出两幅缩放效果最好的图像，则一共将进行500次投票，最终的统计结果如表1所示。
表1本发明实施例与现有方法的效果对比
Figure BDA0002299542090000081
表1中给出了本发明实施例得出的结果与现有方法的结果评价指标对比，其中线性缩放和中心裁剪是非内容感知的方法；Seam Carving和Streaming Video为内容感知的方法，其代码实现来源于作者，其参数设定除图像属性外，均按照默认设定执行。从结果来看，本发明实施例的结果有最高的投票率，可以认为本发明提出的方法相对于现有方法在重定向质量上有提升，结果实例可以参照图3。
图3是本发明实施例的结果与现有方法的结果对比，可以看出本发明的结果有着更好的视觉效果表现，能够更好的保持原始图像中的主要信息。
对应于上述方法，在本发明另一实施例中，还提供一种基于深度特征提取的图像重定向系统，包括：
训练模块：训练用于前景分割的全卷积神经网络，该网络能将图像中的显著的前景物体和背景进行分割；
重要度图提取模块：使用所述全卷积神经网络提取出输入图像的低阶特征和高阶特征，提取出不同尺度上的重要度图；
重要度图生成模块：对所述不同尺度上的重要度图进行线性加权组合，生成衡量输入图像各像素重要程度的最终重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；
重定向模块：根据所述重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像。
以上系统中各模块实现的技术与方法中步骤对应，在此不再赘述。
在本发明另一实施例中，还提供一种基于深度特征提取的图像重定向终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于深度特征提取的图像重定向方法。
本发明所述方法和系统改善了现有的非学习方法鲁棒性不足、图像特征提取方法过于复杂的问题，在保持图像中主要结构和区域的同时，有效的减少了背景的过度扭曲和变形，提高了重定向结果的视觉效果。
以上对本发明的具体实施例进行的描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于深度特征提取的图像重定向方法，其特征在于，包括：
S1：训练用于前景分割的全卷积神经网络，该全卷积神经网络能将图像中的显著的前景物体和背景进行分割；
S2：使用所述全卷积神经网络提取出输入图像的低阶特征和高阶特征，提取出不同尺度上的重要度图；
S3：对所述不同尺度上的重要度图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；
S4：根据所述重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像；
S3中，所述对重要度图进行线性加权组合，是指：
将各尺度上的重要度图通过双线性插值上采样到和输入图像相同的分辨率，然后对其进行加权平均求和最终的重要度图：
Figure FDA0004135218740000011
其中αi代表尺度i的重要度图的权值αi；L为不同尺度的数目，S为最终重定向所使用的重要度图，
Figure FDA0004135218740000012
为尺度i上的重要度图。
2.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：S1中，所述全卷积神经网络在公开的大规模显著物体分割数据集上训练，从数据集原始图像中切割出小于或等于512×512分辨率的图像用于训练和验证，使用的损失函数为逐像素的交叉熵损失。
3.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：S2中，所述提取出不同尺度上的重要度图，是指：
将位于各池化层前卷积层的所有通道的激活输出值进行累加，然后进行离差标准化消除不同尺度重要度图之间的数值上的差异，离差标准化的定义如下：
Figure FDA0004135218740000013
其中Si为尺度i上的重要度图，Si(x',y')为该重要度图中(x',y')处像素的值，Si为尺度i上归一化之后的重要度图。
4.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：S3中，所述将输入图像和重要度图以预先设定好的网格大小为单位进行划分，是指：
将输入图像和重要度图以预先设定好的网格大小为单位进行轴对齐的划分，每个网格的重要程度为其中所有像素的重要度值的平均值。
5.根据权利要求1所述的基于深度特征提取的图像重定向方法，其特征在于：所述S4中，在重要度图的指导之下，通过将网格的大小变化之后的形变程度建模为一个二次最优化问题，进行求解之后得到网格变形之后的大小，以网格为单位进行插值生成最终的重定向图片。
6.根据权利要求5所述的基于深度特征提取的图像重定向方法，其特征在于：所述S4，具体包括：
一个M×N轴对齐网格表示为一个一维的列向量
Figure FDA0004135218740000021
其中srows，scols分别为所有网格的行坐标和列坐标，最终图像重定向问题建模为一个最优化问题:
最小化sTQs+sTb，
约束条件为
Figure FDA0004135218740000022
Figure FDA0004135218740000023
Figure FDA0004135218740000024
Figure FDA0004135218740000025
Figure FDA0004135218740000026
Figure FDA0004135218740000027
其中
Figure FDA0004135218740000028
代表自定义的基于S3生成的重要度图构造能量约束矩阵，在重要度图的指导下定义，/>
Figure FDA0004135218740000029
则代表该优化问题中的常数偏置项，Lh为网格在重定向过程中的高度的最小值；Hh为高度的最大值；Lw为宽度的最小值；Hw为宽度的最大值；H'为重定向图像的高度；W'为重定向图像的宽度；M和N分别是轴对齐划分的行和列的数目。
7.根据权利要求1-6任一项所述的基于深度特征提取的图像重定向方法，其特征在于：所述用于前景分割的全卷积神经网络，其中：最后一层为卷积层，以使得该网络能接受任意尺寸的输入图像，除最后一层卷积层外各卷积层的卷积核的大小都是3×3，最后一层的卷积核大小为1×1，每层卷积操作后都有RELU作为激活函数；另外，生成器的输入层通道数为3，输出层通道数为2，最后通过一个Softmax层进行二分类得到前景物体所在区域的位置。
8.一种基于深度特征提取的图像重定向系统，其特征在于，包括：
训练模块：训练用于前景分割的全卷积神经网络，该网络能将图像中的显著的前景物体和背景进行分割；
重要度图提取模块：使用所述全卷积神经网络提取出输入图像的低阶特征和高阶特征，提取出不同尺度上的重要度图；
重要度图生成模块：对所述重要度图进行线性加权组合，生成衡量输入图像各像素重要程度的重要度图，并将输入图像和重要度图以预先设定好的网格大小为单位进行划分；
重定向模块：根据所述重要度图来计算设定的综合目标函数，通过求解一个最优化问题计算出各网格变形后的大小，最终生成重定向图像；
所述重要度图生成模块中，对重要度图进行线性加权组合，是指：
将各尺度上的重要度图通过双线性插值上采样到和输入图像相同的分辨率，然后对其进行加权平均求和最终的重要度图：
Figure FDA0004135218740000031
其中αi代表尺度i的重要度图的权值αi；L为不同尺度的数目，S为最终重定向所使用的重要度图，
Figure FDA0004135218740000032
为尺度i上的重要度图。
9.一种基于深度特征提取的图像重定向系终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行上述权利要求1-7任一项所述的基于深度特征提取的图像重定向方法。
CN201911216043.2A 2019-12-02 2019-12-02 基于深度特征提取的图像重定向方法及系统、终端 Active CN111161340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911216043.2A CN111161340B (zh) 2019-12-02 2019-12-02 基于深度特征提取的图像重定向方法及系统、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911216043.2A CN111161340B (zh) 2019-12-02 2019-12-02 基于深度特征提取的图像重定向方法及系统、终端

Publications (2)

Publication Number Publication Date
CN111161340A CN111161340A (zh) 2020-05-15
CN111161340B true CN111161340B (zh) 2023-06-02

Family

ID=70556292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911216043.2A Active CN111161340B (zh) 2019-12-02 2019-12-02 基于深度特征提取的图像重定向方法及系统、终端

Country Status (1)

Country Link
CN (1) CN111161340B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127204A (zh) * 2016-06-30 2016-11-16 华南理工大学 一种全卷积神经网络的多方向水表读数区域检测算法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN108921196A (zh) * 2018-06-01 2018-11-30 南京邮电大学 一种改进全卷积神经网络的语义分割方法
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127204A (zh) * 2016-06-30 2016-11-16 华南理工大学 一种全卷积神经网络的多方向水表读数区域检测算法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN108921196A (zh) * 2018-06-01 2018-11-30 南京邮电大学 一种改进全卷积神经网络的语义分割方法
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法

Also Published As

Publication number Publication date
CN111161340A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
EP3576017A1 (en) Method, apparatus, and device for determining pose of object in image, and storage medium
CN111325271B (zh) 图像分类方法及装置
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
WO2022156626A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2021169404A1 (zh) 深度图像生成方法、装置及存储介质
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN109671039B (zh) 基于分层特征的图像矢量化方法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
CN110503002B (zh) 一种人脸检测方法和存储介质
CN112257727A (zh) 一种基于深度学习自适应可变形卷积的特征图像提取方法
CN115546273A (zh) 一种面向室内鱼眼图像的场景结构深度估计方法
CN107945151A (zh) 一种基于相似性变换的重定位图像质量评价方法
CN114926826A (zh) 场景文本检测系统
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN111010605B (zh) 一种视频画中画窗口的显示方法
CN111161340B (zh) 基于深度特征提取的图像重定向方法及系统、终端
CN112184552A (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN115345895B (zh) 用于视觉检测的图像分割方法、装置、计算机设备及介质
US7991225B2 (en) Methods and systems for dynamic color equalization
US20220020113A1 (en) Image resizing using seam carving
CN109146886B (zh) 一种基于深度密度的rgbd图像语义分割优化方法
CN112633065A (zh) 一种基于数据增强的人脸检测方法、系统、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant