CN113284042B - 一种多路并行图像内容特征优化风格迁移方法及系统 - Google Patents
一种多路并行图像内容特征优化风格迁移方法及系统 Download PDFInfo
- Publication number
- CN113284042B CN113284042B CN202110601532.0A CN202110601532A CN113284042B CN 113284042 B CN113284042 B CN 113284042B CN 202110601532 A CN202110601532 A CN 202110601532A CN 113284042 B CN113284042 B CN 113284042B
- Authority
- CN
- China
- Prior art keywords
- feature
- convolution
- feature vector
- depth
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 65
- 230000005012 migration Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005457 optimization Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 78
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 9
- 101100083337 Schizosaccharomyces pombe (strain 972 / ATCC 24843) pic1 gene Proteins 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 9
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000001994 activation Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多路并行图像内容特征优化风格迁移方法及系统，属于深度学习风格迁移领域。为实现风格可变、内容特征一致的风格迁移，其系统提出一种特征优化模块，包含深度特征优化单元和特征增强单元。深度特征融合单元可将多条支路的单一特征通道的图像内容特征进行融合，提取深度内容特征信息，特征增强单元可保持多通道特征完整性。将两个单元输出的四维特征向量进行融合，能够加强深度特征表达能力，保证迁移前后图像内容一致。本发明适用于自主驾驶、安防监控等领域。
Description
技术领域
本发明涉及深度学习风格迁移技术领域，具体涉及一种多路并行图像内容特征优化风格迁移方法及系统。
背景技术
目前自动驾驶系统大多依靠雷达、红外设备感知行车周边环境，其对小目标、模糊目标和高速运动目标定位不精确。随着自动驾驶和智能机器人应用领域迅速发展，作为自动驾驶系统必不可少的风格迁移技术，是当前研究的热点之一。
现有风格迁移算法可分为基于神经网络和基于生成对抗网络的风格迁移。名称为一种图片风格迁移方法，公开号为CN112330535A的发明专利申请中公开了一种基于神经网络构建风格迁移模型，对风格迁移模型进行参数更新和归一化处理，通过优化生成器和判别器，重新构建损失函数，有效减少了模型震荡并加快模型收敛速度。名称为基于神经网络的图像风格迁移方法及系统，公开号为CN112288621A的发明专利申请，借助分类神经网络，得到内容图像和风格样本图像的深度特征图，以风格特征为样本，内容特征为约束，实现图像风格迁移。充分利用了深度特征表达力强的优点，使目标图像更符合内容特征和风格纹理的语义特征，更完整的保持纹理信息。基于神经网络的风格迁移大多使用卷积神经网络提取图像内容特征和风格特征，产生的风格迁移效果在细节表现上存在交叉，不能很好的应用于交通场景自动驾驶领域的风格迁移。
生成对抗网络的提出加速了深度学习风格迁移的进步，基于生成对抗网络的风格迁移大多以编解码形式实现。名称为一种基于潜变量特征生成的图像多风格转化方法，公开号为CN110992252A的发明专利申请，在多模态无监督图像转换网络MUNIT基础上，设计风格编码生成器对图像的风格编码进行拟合，同时在内容编码和多风格编码之间引入跳跃连接，在风格编码中引入注意力机制，提高了图像多风格转换的质量和多样性。名称为一种跨域变分对抗自编码方法，公开号为CN110210549A的发明专利申请，利用编码器解耦跨域数据的内容编码和风格编码，利用对抗操作和变分操作分别拟合图像的内容编码和风格编码，通过交叉将不同域的内容编码和风格编码实现跨域图像的一对多变换。可在不使用配对数据集时实现跨域图像的一对多风格迁移。
现有基于卷积神经网络的风格迁移方法无法从图像表征中分离出深度特征，也不能对纹理结构进行显示干预。这种不可控因素会导致模糊的语义表达，并降低生成图片质量。基于生成对抗网络的风格迁移网络训练难以收敛，且风格映射自由，难以应用于自主驾驶领域。如何有效利用深度特征，保证风格迁移前后图像内容一致，更好的应用于交通场景，成为一个亟待解决的问题。
发明内容
本发明提出一种多路并行图像内容特征优化风格迁移方法及系统，其使用多路并行方式分离出单一特征通道和多个特征通道的图像内容特征，提升了小目标和模糊目标的分离提取能力以及图像细节纹理信息的迁移能力。能够有效实现图像内容特征一致的风格迁移，可很好的应用于自主驾驶、安防监控等领域。
为实现上述目的，本发明的技术方案为：一种多路并行图像内容特征优化风格迁移方法，包括：
准备训练风格迁移网络模型的数据集，所述数据集包括特征通道为c的源域输入图像pic1c×h×w和目标域输入图像pic2c×h×w，两种图像尺寸均为h×w；
读取所述源域输入图像I1 c～h×w和所述目标域输入图像I2 c～h×w，分别对其进行双倍下采样操作，输出特征向量和/>
对所述特征向量使用全局平均池化和全连接函数处理，依次输出特征向量和特征向量/>
对所述特征向量依次进行深度卷积处理、双线性插值、点卷积处理，得到特征向量/>
使用卷积核为Mc×3×3的卷积神经网络、多层残差单元、卷积核为Mc×3×3的反卷积神经网络依次处理所述特征向量得到特征向量/>
将所述特征向量与所述特征向量/>进行融合，得到特征向量/>将所述特征向量/>送到残差单元中，获得内容编码的特征向量Y2 c×h×w；
将所述特征向量X9 c×1×1与所述特征向量Y2 c×h×w合并，通过解码器输出风格迁移结果Y3 c～h×w。
本发明还提供一种多路并行图像内容特征优化风格迁移系统，包括特征优化模块，其源域输入图像pic1∈Rc×h×w经过双倍下采样输出的特征向量作为输入，实现单特征通道图像内容特征分离和深度内容特征提取；所述特征优化模块包括深度特征优化单元和特征增强单元。
本发明可提取多场景图像中任意形状和尺度的目标特征，实现图像内容一致的精确风格变换，能够很好的应用于自动驾驶、移动机器人等领域，能够更好的为人类服务。本发明在各方面的有益效果具体如下：
(1)适用于远处小目标特征情况
本发明实现了不同特征通道大小的特征向量分离和合并工作，充分利用深度特征信息表达能力，能够准确清晰的识别和提取远处或小目标特征信息。
(2)适用于高速运动目标特征情况
本发明将单个特征通道和多个特征通道的图像内容特征并行处理，两者形成参考和特征补足，通过读取并行支路的复合特征信息，有效改善因高速运动而产生的目标模糊，实现高速运动目标的提取工作。
(3)适用于公共安防监控系统
本发明可应用于人流量大、存在模糊和遮挡的安防监控，可针对不同自然场景和外观的监控视频进行风格迁移。依据本发明可适应全天候任何复杂场景、针对多尺度特征有效提取，为下一步检测识别工作提供有力条件，改善公共系统工作效率。
(4)适用于自主驾驶技术
本发明为计算机视觉环境感知技术，适用于自动驾驶领域，能够对行车环境周围的行人、车辆、建筑、交通标识等目标特征和位置进行提取，为风格迁移模型提供全面的特征信息，为行车安全提供有力保障。
(5)适用于视觉不清晰情况
本发明适用于不同复杂场景风格迁移情况，可使用不同曝光度和清晰度的相机镜头对基于红外和可见光条件下视觉不清晰目标特征进行恢复，提升图像清晰度后对其进行风格迁移。
附图说明
图1是多路并行图像内容特征优化风格迁移方法原理框架；
图2是特征优化模块示意图；
图3是实施实例1中安防监控风格迁移情况示意图；
图4是实施实例2中自主驾驶风格迁移情况示意图；
图5是实施实例3中视觉模糊场景风格迁移情况示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。下面的实施例可以使本专业的技术人员更全面地理解本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提出一种多路并行图像内容特征优化风格迁移方法，如图1所示，具体实施步骤如下：
第1步：准备训练风格迁移网络模型的数据集，所述数据集分为尺寸为h×w、特征通道为c的源域输入图像pic1c×h×w和目标域输入图像pic2c×h×w。
第2步：读取源域输入图像pic1c×h×w和目标域输入图像pic2c×h×w，分别对其进行双倍下采样操作，下采样过程包括卷积操作和非线性激活处理两部分。
(1)使用步长s＝2、k＝3×3的卷积核Mc×3×3对源域输入图像pic1c×h×w中的内容特征、目标域输入图像pic2c×h×w风格特征进行粗提取得到特征向量和/>公式为：
其中为卷积过程，每个矩阵表示一个3×3的特征块。
(2)将得到的特征向量和/>进行非线性激活处理，当激活处理的特征值小于或等于0时，激活函数输出值为0，如公式(3)，反之激活函数输出与输入相同，如公式(4)所示。
其中，函数A为激活函数，采用激活函数对特征向量进行非线性处理可以提升特征向量的有效性并降低特征冗余性，为实现图像内容特征一致性风格迁移提供帮助。
第3步：为减小特征位置对于风格特征的影响，将第2步提取到的特征向量使用全局平均池化和全连接函数处理，减小特征位置对风格特征分类的影响，输出特征向量/>
(1)使用全局平均池化对每一单位特征进行均值化，获得每一单位的特征向量公式如下：
其中，Paverage为全局平均池化函数，Mc×2×2为k＝2×2的卷积核对所有特征像素值进行操作，选出平均值并输出。
(2)对特征向量使用全连接函数逐一特征通道进行特征处理，降低像素和特征位置对于特征分类的影响，输出特征向量/>公式如下：
其中，Cfully为全连接函数，选用Mc×1×1即k＝1×1大小的卷积核进行操作，为卷积操作。
第4步：深度特征优化单元输入为内容编码中下采样结果依次进行深度卷积处理、双线性插值、点卷积处理，能够有效消除特征分离和融合过程的映射偏差。
(1)使用深度卷积神经网络将特征优化单元的输入特征分量按照特征通道均匀分为c份，得到每一特征通道的特征分量
其中，为每一特征通道的特征向量集合，Cdeep为深度卷积函数，Mc×3×3为k＝3×3的深度卷积核，/>为卷积操作。
(2)对每一特征通道的特征分量进行双线性插值，对特征分量的每一空间维度进行扩展和进一步提纯，公式如下：
其中，Mi×3×1为特征通道数i∈{1,2,...,c}、k＝3×1的卷积核，Mi×1×3为特征通道数i∈{1,2,...,c}、k＝1×3的卷积核。
(3)使用点卷积神经网络对双线性插值输出的分离特征进行处理，输出深度特征优化单元的结果/>进一步消除特征映射偏差。点卷积/>会随机删除部分神经元操作，公式如下：
其中，Dran为随机删除函数，q为随机删除神经元的比例，该操作可防止网络出现过拟合现象。
其中，公式(10)中Cpoi为点卷积函数，使用Mc×1×1形式的点卷积对特征向量进行点卷积操作，为卷积操作。
第5步：特征增强单元将特征向量作为输入，使用卷积核为Mc×3×3的卷积神经网络、多层(可以优选为4层)残差单元、卷积核为Mc×3×3的反卷积神经网络依次处理下采样输出的特征向量，降低特征冗余性，保证风格迁移过程图像内容一致。
(1)使用卷积核为Mc×3×3、步长s＝1的卷积神经网络对特征增强单元的输入特征向量进行处理，公式如下：
其中，Ccon为卷积操作，表示卷积计算过程。
(2)使用多层残差单元降低特征冗余性，公式为：
其中，Ccon为卷积操作，Mc×3×3为k＝3×3的深度卷积核，表示卷积计算过程。
(3)为输出相同维度的特征向量，进一步提升特征表达能力，使用反卷积神经网络作用于残差单元输出结果，公式为：
其中，Cdec为反卷积函数，Mc×3×3为k＝3×3的深度卷积核，表示卷积计算过程。
第6步：融合第4步和第5步输出的特征向量和/>得到/>将融合结果送到残差单元中，从而降低特征冗余性，获得内容编码的输出结果Y2 c×h×w。
第7步：将第3步和第6步输出的特征向量与/>合并，通过解码器输出风格迁移结果/>
本实施例提出种多路并行图像内容特征优化风格迁移方法，一是使用多个深度卷积核提取特征向量中每一特征通道的图像内容特征，增强深度特征表达能力，加强不同特征通道对于特征信息提取能力。二是使用多条支路校准原始内容特征，保证迁移过程中图像内容特征一致性和完整性。
定义pic1,pic2∈Rc×h×w分别为内容编码器和风格编码器的输入图像，X,Y∈Rc×h×w为卷积层输入输出特征向量，Mc×k×k为k×k大小的卷积核，s为步长，其中h和w表示特征向量尺寸，c表示特征通道数，k∈{1,2,3,4}表示不同大小的卷积核。
本实施例还提供一种多路并行图像内容特征优化风格迁移系统，包括特征优化模块，如图2所示，特征优化模块包括深度特征优化单元和特征增强单元，将输入图像pic1∈Rc×h×w经过双倍下采样输出的特征向量作为输入。深度特征优化单元可实现单特征通道图像内容特征分离和深度内容特征提取工作；特征增强单元在保持多特征通道图像内容特征的同时能够学习更多的细节纹理信息，减小图像内容映射偏差。深度特征优化单元和特征增强单元的输出特征向量合到一起，加强了内容特征的丰富性，可实现图像内容一致的风格变换。
所述深度特征优化单元将针对单特征通道特征向量进行处理，包括p条支路，每一条支路单独提取每一特征通道的图像内容特征，包括深度卷积处理阶段和点卷积处理阶段。深度卷积可实现特征分离-合并工作，使用Mc×3×3大小卷积核的深度卷积分离出每一特征通道上的内容特征向量/>扩大感受野，将每一支路对应的图像区域变大，增强深度特征提取能力。使用双线性插值对每一特征通道的特征向量进行滤波并融合为多特征通道特征向量/>不同支路之间互相学习监督，加强语义特征表达，增强对深度特征提取能力。使用Mc×1×1大小卷积核的点卷积对p条支路融合后的特征向量/>进一步整合，输出特征向量/>实现并行多支路提取图像内容深度特征。
所述特征增强单元输入为双倍下采样输出结果使用卷积核为Mc×3×3的卷积对其进行处理，得到特征向量/>使用多层残差单元提取具有c个特征通道的图像内容深度特征/>降低特征冗余性，保持原始图像纹理细节和轮廓特征信息。为方便特征融合，使用卷积核为Mc×3×3的反卷积作用于残差单元输出结果，得到出特征向量/>将和/>融合到同一分支，得到特征优化模块的输出/>传递给下一阶段弥补单一类别特征的局限性，增强深度特征表达能力，保证风格迁移过程图像内容特征完整性和一致性。
其中，下采样为双倍下采样，输入尺寸可以为256×256的RGB三通道图像，并将输入图像尺寸缩小至128×128、特征通道c∈{4,8,64,128,256,512}，可输出(1,128,128,4)、(1,128,128,8)、(1,128,128,64)、(1,128,128,128)、(1,128,128,256)、(1,128,128,512)中任意一种包含图像内容特征的特征向量。
需要说明的是：所述特征优化模块依据输入图像内容不同，选取不同特征通道的特征向量作为输入：输入图像中包括小目标或模糊目标时，可以选取特征通道c＝256的特征向量作为特征优化模块输入；输入图像中无小目标或模糊目标时，可以选取特征通道c＝4的特征向量作为特征优化模块输入。所述深度特征优化单元中可以传递特征通道c＝1的特征向量。所述特征增强单元中可以传递特征通道c∈{4,8,64,128,256,512}的特征向量。输入图像包括小目标或模糊目标时，输入为特征通道c＝256的特征向量；不包括小目标时，输入为特征通道c＝4的特征向量。深度特征优化单元包括p条支路，且深度特征优化单元的支路数与特征通道数相同，即p＝c。特征增强单元中优选使用4层残差单元提取深度内容特征。
实施例1：
安防监控风格迁移情况
本实例针对学校、十字路口等无人防范和事故多发地进行监控。将本发明用于室外安全监控中，可以有效提升复杂光照下目标的识别能力。安防监控图像风格迁移情况如图3。
实施例2：
自主驾驶风格迁移情况
本实例针对自主驾驶系统风格迁移。将本发明应用于在车载摄像头，对行车周围环境进行感知，对驾驶者提供驾驶辅助手段，降低交通事故率，提高车辆的安全驾驶能力，自主驾驶风格迁移情况如图4。
实施例3：
视觉模糊场景风格迁移情况
本实例针对因光照不均或自然天气等情况导致的视觉模糊场景的风格迁移，可提升复杂场景情况风格迁移生成图像质量，为下一步目标检测或图像分割做准备，视觉模糊场景风格迁移情况如图5。
本发明的实施例有较佳的实施性，并非是对本发明任何形式的限定。本发明实施例中描述的技术特征或技术特征的组合不应当被认为是孤立的，它们可以被互相组合从而达到更好的技术效果。本发明优选实施方式的范围也可以包括另外的实现，且这应被发明实施例所属技术领域的技术人员所理解。
Claims (7)
1.一种多路并行图像内容特征优化风格迁移方法，其特征在于，包括：
准备训练风格迁移网络模型的数据集，所述数据集包括特征通道为c的源域输入图像pic1c×h×w和目标域输入图像pic2c×h×w，两种图像尺寸均为h×w；
读取所述源域输入图像和所述目标域输入图像/>分别对其进行双倍下采样操作，输出特征向量/>和/>
对所述特征向量使用全局平均池化和全连接函数处理，依次输出特征向量/>和特征向量/>
对所述特征向量依次进行深度卷积处理、双线性插值、点卷积处理，得到特征向量/>
使用卷积核为Mc×3×3的卷积神经网络、多层残差单元、卷积核为Mc×3×3的反卷积神经网络依次处理所述特征向量得到特征向量/>
将所述特征向量与所述特征向量/>进行融合，得到特征向量/>将所述特征向量/>送到残差单元中，获得内容编码的特征向量/>
将所述特征向量与所述特征向量/>合并，通过解码器输出风格迁移结果
所述下采样过程包括：使用步长s＝2、k＝3×3的卷积核Mc×3×3对源域输入图像pic1c ×h×w中的内容特征、目标域输入图像pic2c×h×w风格特征进行粗提取得到特征向量和公式为：
其中为卷积过程，每个矩阵表示一个3×3的特征块；
对特征向量和/>进行非线性激活处理，当激活处理的特征值小于或等于0时，激活函数输出值为0，如公式(3)，反之激活函数输出与输入相同，如公式(4)所示：
其中，函数A为激活函数；
使用全局平均池化对每一单位特征进行均值化，获得每一单位的特征向量公式如下：
其中，Paverage为全局平均池化函数，Mc×2×2为k＝2×2的卷积核；
对所述特征向量使用全连接函数逐一特征通道进行特征处理，输出特征向量公式如下：
其中，Cfully为全连接函数，选用k＝1×1大小的卷积核Mc×1×1进行操作，为卷积操作。
2.根据权利要求1所述一种多路并行图像内容特征优化风格迁移方法，其特征在于，使用深度卷积神经网络将所述特征向量按照特征通道均匀分为c份，得到每一特征通道的特征分量/>公式如下：
其中，为每一特征通道的特征向量集合，Cdeep为深度卷积函数，Mc×3×3为k＝3×3的深度卷积核，/>为卷积操作；
对每一特征通道的特征分量进行双线性插值，公式如下：
其中，Mi×3×1为特征通道数i∈{1,2,...,c}、k＝3×1的卷积核，Mi×1×3为特征通道数i∈{1,2,...,c}、k＝1×3的卷积核；
使用点卷积神经网络对分离特征进行处理，得到特征向量/>所述点卷积神经网络会随机删除部分神经元，公式如下
其中，Dran为随机删除函数，q为随机删除神经元的比例；
其中，Cpoi为点卷积函数，Mc×1×1为卷积核，为卷积操作。
3.根据权利要求1所述一种多路并行图像内容特征优化风格迁移方法，其特征在于，使用卷积核为Mc×3×3、步长s＝1的卷积神经网络对所述特征向量进行处理，公式如下：
其中，Ccon为卷积操作，表示卷积计算过程；
使用多层残差单元降低特征冗余性，公式为：
其中，Ccon为卷积操作，Mc×3×3为k＝3×3的深度卷积核，表示卷积计算过程；
使用反卷积神经网络作用于多层残差单元，公式为：
其中，Cdec为反卷积函数，Mc×3×3为k＝3×3的深度卷积核，表示卷积计算过程。
4.一种多路并行图像内容特征优化风格迁移系统，用于实施权利要求1-3任一方法，其特征在于，包括
特征优化模块，其源域输入图像pic1∈Rc×h×w经过双倍下采样输出的特征向量作为输入，实现单特征通道图像内容特征分离和深度内容特征提取；所述特征优化模块包括深度特征优化单元和特征增强单元。
5.根据权利要求4所述一种多路并行图像内容特征优化风格迁移系统，其特征在于，所述深度特征优化单元包含p条支路，每一条支路单独提取每一特征通道的图像内容特征，该单元包括深度卷积处理阶段和点卷积处理阶段。
6.根据权利要求5所述一种多路并行图像内容特征优化风格迁移系统，其特征在于，使用Mc×3×3大小卷积核的深度卷积神经网络分离出特征向量每一特征通道上的内容特征向量/>使用双线性插值对每一特征通道的特征向量进行滤波并融合为多特征通道特征向量/>不同支路之间互相学习监督，使用Mc×1×1大小卷积核的点卷积神经网络对p条支路融合后的特征向量/>进一步整合，输出特征向量实现并行多支路提取图像内容深度特征。
7.根据权利要求4所述一种多路并行图像内容特征优化风格迁移系统，其特征在于，使用卷积核为Mc×3×3的卷积神经网络对特征向量进行处理，得到特征向量/>使用多层残差单元提取具有c个特征通道的图像内容深度特征/>使用卷积核为Mc×3×3的反卷积神经网络作用于残差单元输出结果，得到特征向量/>将特征向量/>和/>融合到同一分支，得到特征优化模块的输出/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110601532.0A CN113284042B (zh) | 2021-05-31 | 2021-05-31 | 一种多路并行图像内容特征优化风格迁移方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110601532.0A CN113284042B (zh) | 2021-05-31 | 2021-05-31 | 一种多路并行图像内容特征优化风格迁移方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284042A CN113284042A (zh) | 2021-08-20 |
| CN113284042B true CN113284042B (zh) | 2023-11-07 |
Family
ID=77282733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110601532.0A Active CN113284042B (zh) | 2021-05-31 | 2021-05-31 | 一种多路并行图像内容特征优化风格迁移方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284042B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943949A (zh) * | 2022-05-18 | 2022-08-26 | 大连民族大学 | 一种并行多元特征处理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118435A (zh) * | 2018-06-15 | 2019-01-01 | 广东工业大学 | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 |
| CN109472733A (zh) * | 2018-10-22 | 2019-03-15 | 天津大学 | 基于卷积神经网络的图像隐写分析方法 |
| CN110706181A (zh) * | 2019-10-09 | 2020-01-17 | 中国科学技术大学 | 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统 |
| WO2020156028A1 (zh) * | 2019-01-28 | 2020-08-06 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN112561791A (zh) * | 2020-12-24 | 2021-03-26 | 上海海事大学 | 一种基于优化AnimeGAN的图像风格迁移 |
-
2021
- 2021-05-31 CN CN202110601532.0A patent/CN113284042B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118435A (zh) * | 2018-06-15 | 2019-01-01 | 广东工业大学 | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 |
| CN109472733A (zh) * | 2018-10-22 | 2019-03-15 | 天津大学 | 基于卷积神经网络的图像隐写分析方法 |
| WO2020156028A1 (zh) * | 2019-01-28 | 2020-08-06 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
| CN110706181A (zh) * | 2019-10-09 | 2020-01-17 | 中国科学技术大学 | 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统 |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN112561791A (zh) * | 2020-12-24 | 2021-03-26 | 上海海事大学 | 一种基于优化AnimeGAN的图像风格迁移 |
Non-Patent Citations (1)
| Title |
|---|
| 基于迁移学习与多标签平滑策略的图像自动标注;汪鹏;张奥帆;王利琴;董永峰;;计算机应用(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113284042A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Single satellite optical imagery dehazing using SAR image prior based on conditional generative adversarial networks | |
| CN107239730B (zh) | 智能汽车交通标志识别的四元数深度神经网络模型方法 | |
| CN111563909B (zh) | 一种复杂街景图像语义分割方法 | |
| CN111652081B (zh) | 一种基于光流特征融合的视频语义分割方法 | |
| CN113887349A (zh) | 一种基于图像和点云融合网络的道路区域图像识别方法 | |
| CN111553869B (zh) | 一种空基视角下的生成对抗网络图像补全方法 | |
| CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| CN112651423A (zh) | 一种智能视觉系统 | |
| Wang et al. | MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection | |
| CN114972748A (zh) | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 | |
| CN113284042B (zh) | 一种多路并行图像内容特征优化风格迁移方法及系统 | |
| CN115511759A (zh) | 一种基于级联特征交互的点云图像深度补全方法 | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN115115917A (zh) | 基于注意力机制和图像特征融合的3d点云目标检测方法 | |
| CN114973199A (zh) | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN113191944B (zh) | 一种多通道图像内容特征融合风格迁移方法及系统 | |
| CN114757819A (zh) | 一种结构引导的风格偏差校正型风格迁移方法及系统 | |
| CN116912485A (zh) | 一种基于热感图像和可见光图像特征融合的场景语义分割方法 | |
| CN116503825A (zh) | 自动驾驶场景下基于图像与点云融合的语义场景补全方法 | |
| CN113191943B (zh) | 一种多路并行图像内容特征分离风格迁移方法及系统 | |
| Shi et al. | Improved event-based dense depth estimation via optical flow compensation | |
| CN114882072A (zh) | 一种多通道图像特征融合的高速相关滤波目标追踪方法 | |
| CN111242044B (zh) | 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |