CN113191944A - 一种多通道图像内容特征融合风格迁移方法及系统 - Google Patents

一种多通道图像内容特征融合风格迁移方法及系统 Download PDF

Info

Publication number
CN113191944A
CN113191944A CN202110603920.2A CN202110603920A CN113191944A CN 113191944 A CN113191944 A CN 113191944A CN 202110603920 A CN202110603920 A CN 202110603920A CN 113191944 A CN113191944 A CN 113191944A
Authority
CN
China
Prior art keywords
feature
channel
feature fusion
fusion
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110603920.2A
Other languages
English (en)
Other versions
CN113191944B (zh
Inventor
杨大伟
王萌
毛琳
张汝波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202110603920.2A priority Critical patent/CN113191944B/zh
Publication of CN113191944A publication Critical patent/CN113191944A/zh
Application granted granted Critical
Publication of CN113191944B publication Critical patent/CN113191944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多通道图像内容特征融合风格迁移方法及系统，属于深度学习风格迁移领域。为实现风格可变、内容特征一致的风格迁移，其系统提出一种特征融合模块，包含深度特征融合单元和特征保持单元，其输入可以为单特征通道、多特征通道及组合形式的图像内容特征。深度特征融合单元可将多条支路的单一特征通道的图像内容特征进行融合，提取深度内容特征信息，特征保持单元可保持多通道特征完整性。将两个单元输出的四维特征向量进行融合，能够加强深度特征表达能力，保证迁移前后图像内容一致。本发明适用于自主驾驶、安防监控等领域。

Description

一种多通道图像内容特征融合风格迁移方法及系统
技术领域
本发明涉及深度学习风格迁移技术领域，具体涉及一种多通道图像内容特征融合风格迁移方法及系统。
背景技术
目前自动驾驶系统大多依靠雷达、红外设备感知行车周边环境，其对小目标、模糊目标和高速运动目标定位不精确。随着自动驾驶和智能机器人应用领域迅速发展，作为自动驾驶系统必不可少的风格迁移技术，是当前研究的热点之一。
现有风格迁移算法可分为基于神经网络和基于生成对抗网络的风格迁移。名称为一种图片风格迁移方法，公开号为CN112330535A的发明专利申请中公开了一种基于神经网络构建风格迁移模型，对风格迁移模型进行参数更新和归一化处理，通过优化生成器和判别器，重新构建损失函数，有效减少了模型震荡并加快模型收敛速度。名称为基于神经网络的图像风格迁移方法及系统，公开号为CN112288621A的发明专利申请，借助分类神经网络，得到内容图像和风格样本图像的深度特征图，以风格特征为样本，内容特征为约束，实现图像风格迁移。充分利用了深度特征表达力强的优点，使目标图像更符合内容特征和风格纹理的语义特征，更完整的保持纹理信息。基于神经网络的风格迁移大多使用卷积神经网络提取图像内容特征和风格特征，产生的风格迁移效果在细节表现上存在交叉，不能很好的应用于交通场景自动驾驶领域的风格迁移。
生成对抗网络的提出加速了深度学习风格迁移的进步，基于生成对抗网络的风格迁移大多以编解码形式实现。名称为一种基于潜变量特征生成的图像多风格转化方法，公开号为CN110992252A的发明专利申请，在多模态无监督图像转换网络MUNIT基础上，设计风格编码生成器对图像的风格编码进行拟合，同时在内容编码和多风格编码之间引入跳跃连接，在风格编码中引入注意力机制，提高了图像多风格转换的质量和多样性。名称为一种跨域变分对抗自编码方法，公开号为CN110210549A的发明专利申请，利用编码器解耦跨域数据的内容编码和风格编码，利用对抗操作和变分操作分别拟合图像的内容编码和风格编码，通过交叉将不同域的内容编码和风格编码实现跨域图像的一对多变换。可在不使用配对数据集时实现跨域图像的一对多风格迁移。
现有基于神经网络的风格迁移方法无法从图像表征中分离出深度特征，也不能对纹理结构进行显示干预。这种不可控因素会导致模糊的语义表达，并降低生成图片质量。基于生成对抗网络的风格迁移网络训练难以收敛，且风格映射自由，难以应用于自主驾驶领域。如何有效利用深度特征，保证风格迁移前后图像内容一致，更好的应用于交通场景，成为一个亟待解决的问题。
发明内容
本发明提出一种多通道图像内容特征融合风格迁移方法及系统，能够将不同特征通道的图像内容特征融合到一起，提升了小目标和模糊目标的提取能力以及图像细节纹理信息的迁移能力。能够有效实现图像内容特征一致性的风格迁移，可很好的应用于自主驾驶、安防监控等领域。
为实现上述目的，本发明的技术方案为：一种多通道图像内容特征融合风格迁移方法，包括：
准备训练风格迁移网络模型的数据集，所述数据集分为源域图像
Figure BDA0003093572810000031
和目标域图像
Figure BDA0003093572810000032
读取源域图像
Figure BDA0003093572810000033
通过下采样对图像内容特征进行粗提取得到特征向量
Figure BDA0003093572810000034
读取目标域图像
Figure BDA0003093572810000035
通过下采样对图像风格特征进行粗提取得到特征向量
Figure BDA0003093572810000036
对所述特征向量
Figure BDA0003093572810000037
进行全局池化和全连接层处理，获得风格编码的结果特征向量
Figure BDA0003093572810000038
对所述特征向量
Figure BDA0003093572810000039
进行单通道特征融合或多通道特征融合或复合通道特征融合；
将所述单通道特征融合或多通道特征融合或复合通道特征融合输出的特征向量与结果特征向量
Figure BDA00030935728100000310
进行融合，输出特征向量
Figure BDA00030935728100000311
使用解码器进一步提取融合后特征向量
Figure BDA00030935728100000312
完成风格迁移，输出迁移结果
Figure BDA00030935728100000313
本发明还提供一种多通道图像内容特征融合风格迁移系统，包括特征融合模块，其输入为源域图像
Figure BDA00030935728100000314
经过双倍下采样后的特征向量
Figure BDA00030935728100000315
所述特征融合模块包括深度特征融合单元和特征保持单元；单个特征通道的特征向量输入到深度特征融合单元中，用于提取深度内容特征；多个特征通道的特征向量输入到特征保持单元中，用于减小图像内容的映射偏差。
本发明的有益效果为：
(1)适用于远处小目标特征情况
本发明中单通道特征融合能够提取多特征通道的深度内容特征，充分利用深度特征信息表达能力，能够准确清晰的识别和提取远处或微小目标特征信息。
(2)适用于高速运动目标特征情况
本发明中多通道特征融合可将属于不同特征通道的图像内容特征融合，不同特征通道间形成互补，有效改善因高速运动而产生的目标模糊，实现高速运动目标的提取工作。
(3)适用于公共安防监控系统
本发明对行人车辆、道路环境、交通标识的有效识别满足了道路交通场景的需求，为驾驶人员提供了安全驾驶辅助手段。依据本发明中的复合通道特征融合可适应全天候任何复杂场景、针对多尺度特征有效提取，为下一步检测识别工作提供有力条件，改善公共系统工作效率。
(4)适用于自主驾驶技术
本发明为计算机视觉环境感知技术，适用于自动驾驶领域，尤其适用于自然场景光照突变的情况，能够对行车环境周围的行人、车辆、建筑、交通标识等目标特征和位置进行提取，为风格迁移模型提供全面的特征信息，为行车安全提供有力保障。
(5)适用于视觉不清晰情况
本发明适用于不同复杂场景风格迁移情况，可使用不同曝光度和清晰度的相机镜头对基于红外和可见光条件下视觉不清晰目标特征进行恢复，提升图像清晰度后对其进行风格迁移。
附图说明
图1是多通道图像内容特征融合风格迁移方法原理框架；
图2是单通道特征融合模块示意图；
图3是多通道特征融合模块示意图；
图4是复合通道特征融合模块示意图；
图5是实施实例1中安防监控风格迁移情况示意图；
图6是实施实例2中自主驾驶风格迁移情况示意图；
图7是实施实例3中视觉模糊场景风格迁移情况示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。下面的实施例可以使本专业的技术人员更全面地理解本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提出一种多通道图像内容特征融合风格迁移方法，如图1所示，具体实施步骤如下：
第1步：准备训练风格迁移网络模型的数据集，所述数据集分为源域图像
Figure BDA0003093572810000051
和目标域图像
Figure BDA0003093572810000052
第2步：读取源域图像
Figure BDA0003093572810000061
通过下采样对图像内容特征进行粗提取得到特征向量
Figure BDA0003093572810000062
读取目标域图像
Figure BDA0003093572810000063
通过下采样对图像风格特征进行粗提取得到特征向量
Figure BDA0003093572810000064
第3步：将第2步输出的风格特征向量
Figure BDA0003093572810000065
进行全局池化和全连接层处理，减小特征位置对于风格特征的影响，获得风格编码的结果
Figure BDA0003093572810000066
第4步：将第2步粗提取的图像内容特征向量
Figure BDA0003093572810000067
作为特征融合模块的输入，按照输入的内容特征形式不同，进行单通道特征融合或多通道特征融合或复合通道特征融合；
单通道特征融合
(1)单通道特征融合使用全连接函数将双倍下采样输出的特征向量
Figure BDA0003093572810000068
变换为单特征通道形式特征向量
Figure BDA0003093572810000069
公式为：
Figure BDA00030935728100000610
其中，D(x)为全连接函数操作，
Figure BDA00030935728100000611
为卷积过程，Mc·3·3为3×3的卷积核，步长s＝2；
(2)使用反卷积神经网络将单特征通道形式特征向量
Figure BDA00030935728100000612
融合为c个特征通道的特征向量
Figure BDA00030935728100000613
公式为：
Figure BDA00030935728100000614
其中，Cdec(x)为反卷积操作，
Figure BDA00030935728100000615
为卷积过程，Mc·3·3为3×3的卷积核，步长s＝2。
(3)使用卷积核为1的普通卷积神经网络整合不同特征通道融合的特征向量，提升深度特征表达能力，输出特征向量
Figure BDA0003093572810000071
公式为：
Figure BDA0003093572810000072
其中，Ccon(x)为卷积操作，
Figure BDA0003093572810000073
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1。
多通道特征融合
(1)多通道特征融合模块仅有特征保持单元起作用，其输入为双倍下采样输出的特征向量
Figure BDA0003093572810000074
使用多层(优选为4层)残差单元进一步提取图像内容的深度特征，输出特征向量
Figure BDA0003093572810000075
降低特征冗余性，提升鲁棒性。公式为：
Figure BDA0003093572810000076
其中，Cr(x)为残差操作，
Figure BDA0003093572810000077
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1。
(2)为进一步提升风格迁移网络对多特征通道形式图像内容特征的表达能力，使用卷积核Mc·1·1为1×1的卷积神经网络对残差单元输出的特征向量
Figure BDA0003093572810000078
进行提纯，输出特征向量
Figure BDA0003093572810000079
公式为：
Figure BDA00030935728100000710
其中，Ccon(x)为卷积操作，
Figure BDA00030935728100000711
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1。
复合通道特征融合
复合通道特征融合模块为单通道特征融合模块和多通道特征融合模块的组合形式。为实现不同形式特征通道的特征向量的组合，使用卷积核Mc·1·1为1×1的普通卷积神经网络将特征向量
Figure BDA0003093572810000081
和特征向量
Figure BDA0003093572810000082
进行融合并输出
Figure BDA0003093572810000083
公式为：
Figure BDA0003093572810000084
其中，Ccon(x)为卷积操作，
Figure BDA0003093572810000085
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1。
第5步：根据实际情况需要，选取第四步中不同的形式图像内容特征处理机制，将其与风格编码输出
Figure BDA0003093572810000086
进行融合，输出特征向量
Figure BDA0003093572810000087
公式为：
Figure BDA0003093572810000088
其中，Ct(x)为融合函数，Θ为对不同形式输出融合的过程。
第6步：使用解码器进一步提取融合后特征，完成风格迁移，输出迁移结果
Figure BDA0003093572810000089
本实施例提出种多通道图像内容特征融合风格迁移方法，将输入特征分为单个特征通道和多个特征通道的两种不同形式图像内容特征。使用1×1的卷积神经网络加强不同特征通道对于特征信息的提取能力，增强深度特征表达能力；使用多层残差单元降低特征冗余性，保证风格迁移过程图像内容一致性和完整性。
定义βi∈Τc·u·v为风格迁移网络中内容编码和风格编码的输入图像，
Figure BDA00030935728100000810
为卷积层输入输出特征向量，Mc×k1×k2为k1×k2的卷积核，s为步长。其中，u和v表示图像尺寸，h和w表示特征向量尺寸，且u＝2h，v＝2s，c表示特征通道数。
本实施例还提供一种多通道图像内容特征融合风格迁移系统，包括特征优化模块，如图2-4所示，所述特征融合模块的输入为双倍下采样后的特征向量
Figure BDA0003093572810000091
包括深度特征融合单元和特征保持单元，特征融合模块可将不同特征通道形式的特征向量作为输入。单个特征通道的特征向量输入到深度特征融合单元中，用于提取深度内容特征；多个特征通道的特征向量输入到特征保持单元中，用于减小图像内容的映射偏差，提升图像内容完整性和一致性。
深度特征融合单元可实现单特征通道图像内容特征的提取和融合工作。特征保持单元在保持原始图像内容特征的同时能够学习到更多的细节信息。加强了风格迁移算法对图像内容深度特征的提取能力，丰富了图像内容特征，可实现高质量风格迁移。依据特征融合模块输入的特征向量形式不同，可划分为单通道特征融合模块、多通道特征融合模块、复合通道特征融合模块。
所述单通道特征融合模块仅有深度特征融合单元工作，其输入为
Figure BDA0003093572810000092
经过全连接函数处理形成单特征通道形式特征向量
Figure BDA0003093572810000093
深度特征融合单元包括p条支路，使用卷积核为Mc×3×3、步长s＝1的反卷积将
Figure BDA0003093572810000094
融合为c个特征通道的特征向量
Figure BDA0003093572810000095
为实现跨特征通道信息交互，使用卷积核为Mc×1×1、步长s＝1的卷积神经网络处理
Figure BDA0003093572810000096
输出特征向量
Figure BDA0003093572810000097
所述多通道特征融合模块仅有特征保持单元工作，其输入为图像经过双倍下采样的结果
Figure BDA0003093572810000101
特征保持单元使用多层残差单元提取深度图像内容特征
Figure BDA0003093572810000102
降低特征冗余性，保持原始图像细节纹理及轮廓信息。为提升风格迁移网络对深度特征的表达能力，使用卷积核为Mc×1×1、步长s＝1的卷积对
Figure BDA0003093572810000103
进行提纯，输出特征向量
Figure BDA0003093572810000104
所述复合通道特征融合模块的输入为单通道特征融合模块和多通道特征融合模块的组合形式。可使得不同特征通道之间互相学习监督，加强了语义特征表达，增强深度特征表达能力，弥补了单一类别特征的局限性，保证风格迁移过程图像内容特征完整性和一致性。
其中，特征融合模块的输入可以是尺寸为256×256的RGB三通道图像经过双倍下采样将尺寸缩小至128×128、特征通道c∈{1，4,8,64,128,256,512}的结果，可以为(1,128,128,4)、(1,128,128,8)、(1,128,128,64)、(1,128,128,128)、(1,128,128,256)、(1,128,128,512)和(1,128,128,1)形式的一种或多种特征向量。单通道特征融合模块的输入可以为c＝1形式的特征向量。多通道特征融合模块的输入可以为c∈{4,8,64,128,256,512}形式的特征向量。复合通道特征融合模块的输入可以为c＝1和c∈{4,8,64,128,256,512}复合形式的特征向量。
需要说明的是：特征保持单元依据图像内容不同，选取不同特征通道的特征向量作为输入：输入图像中包含小目标或模糊目标时，可以选取特征通道c＝256的特征向量作为特征保持单元输入；输入图像中无小目标或模糊目标时，可以选取特征通道c＝4的特征向量作为特征保持单元输入。深度特征融合单元中可以传递特征通道c＝1的特征向量。特征融合模块依据输入的图像内容特征形式不同，可分为单通道特征融合模块、多通道特征融合模块、复合通道特征融合模块。依据输入图像内容不同，选取不同型号特征融合模块进行风格迁移：输入图像中仅包含模糊目标时，选取单通道特征融合模块进行风格迁移；输入图像仅包含小目标时，选取多通道特征融合模块进行风格迁移；输入图像同时包含小目标和模糊目标时，选取复合通道特征融合模块进行风格迁移。特征融合模块可分为特征保持单元和深度特征融合单元。特征保持单元针对多个特征通道的特征向量进行处理，深度特征融合单元针对单个特征通道的特征向量进行处理。特征保持单元优选使用4层残差单元提取深度内容特征。深度特征融合单元包含p条支路，与特征通道数相同，即p＝c。
实施例1：
安防监控风格迁移情况
本实例针对学校、十字路口等无人防范和事故多发地进行监控。将本发明用于室外安全监控中，可以有效提升复杂光照下目标的识别能力。安防监控图像风格迁移情况如图5。
实施例2：
自主驾驶风格迁移情况
本实例针对自主驾驶系统风格迁移。将本发明应用于在车载摄像头，对行车周围环境进行感知，对驾驶者提供驾驶辅助手段，降低交通事故率，提高车辆的安全驾驶能力，自主驾驶风格迁移情况如图6。
实施例3：
视觉模糊场景风格迁移情况
本实例针对因光照不均或自然天气等情况导致的视觉模糊场景的风格迁移，可提升复杂场景情况风格迁移生成图像质量，为下一步目标检测或图像分割做准备，视觉模糊场景风格迁移情况如图7。
本发明的实施例有较佳的实施性，并非是对本发明任何形式的限定。本发明实施例中描述的技术特征或技术特征的组合不应当被认为是孤立的，它们可以被互相组合从而达到更好的技术效果。本发明优选实施方式的范围也可以包括另外的实现，且这应被发明实施例所属技术领域的技术人员所理解。

Claims (10)

1.一种多通道图像内容特征融合风格迁移方法，其特征在于，包括：
准备训练风格迁移网络模型的数据集，所述数据集分为源域图像β1 c·u·v和目标域图像
Figure RE-FDA0003138186150000011
读取源域图像β1 c·u·v，通过下采样对图像内容特征进行粗提取得到特征向量
Figure RE-FDA0003138186150000012
读取目标域图像
Figure RE-FDA0003138186150000013
通过下采样对图像风格特征进行粗提取得到特征向量
Figure RE-FDA0003138186150000014
对所述特征向量
Figure RE-FDA0003138186150000015
进行全局池化和全连接层处理，获得风格编码的结果特征向量
Figure RE-FDA0003138186150000016
对所述特征向量
Figure RE-FDA0003138186150000017
进行单通道特征融合或多通道特征融合或复合通道特征融合；
将所述单通道特征融合或多通道特征融合或复合通道特征融合输出的特征向量与结果特征向量
Figure RE-FDA0003138186150000018
进行融合，输出特征向量
Figure RE-FDA0003138186150000019
使用解码器进一步提取融合后特征向量
Figure RE-FDA00031381861500000110
完成风格迁移，输出迁移结果
Figure RE-FDA00031381861500000111
2.根据权利要求1所述一种多通道图像内容特征融合风格迁移方法，其特征在于，所述单通道特征融合使用全连接函数将所述特征向量
Figure RE-FDA00031381861500000112
变换为单特征通道形式特征向量
Figure RE-FDA00031381861500000113
公式为：
Figure RE-FDA00031381861500000114
其中，D(x)为全连接函数操作，
Figure RE-FDA00031381861500000115
为卷积过程，Mc·3·3为3×3的卷积核，步长s＝2；
使用反卷积神经网络将
Figure RE-FDA00031381861500000116
融合为c个特征通道的特征向量
Figure RE-FDA00031381861500000117
公式为：
Figure RE-FDA0003138186150000021
其中，Cdec(x)为反卷积操作，
Figure RE-FDA0003138186150000022
为卷积过程，Mc·3·3为3×3的卷积核，步长s＝2；
使用卷积核为1的卷积神经网络整合不同特征通道融合的特征向量，输出特征向量
Figure RE-FDA0003138186150000023
公式为：
Figure RE-FDA0003138186150000024
其中，Ccon(x)为卷积操作，
Figure RE-FDA0003138186150000025
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1。
3.根据权利要求1所述一种多通道图像内容特征融合风格迁移方法，其特征在于，所述多通道特征融合使用多层残差单元进一步提取所述特征向量
Figure RE-FDA0003138186150000026
的深度特征，得到特征向量
Figure RE-FDA0003138186150000027
公式为：
Figure RE-FDA0003138186150000028
其中，Cr(x)为残差操作，
Figure RE-FDA0003138186150000029
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1；
使用卷积核Mc·1·1为1×1的卷积神经网络对残差单元输出的特征向量
Figure RE-FDA00031381861500000210
进行提纯，输出特征向量
Figure RE-FDA00031381861500000211
公式为：
Figure RE-FDA00031381861500000212
其中，Ccon(x)为卷积操作，
Figure RE-FDA00031381861500000213
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1。
4.根据权利要求2或3所述一种多通道图像内容特征融合风格迁移方法，其特征在于，所述复合通道特征融合为单通道特征融合与多通道特征融合的组合形式，使用卷积核Mc ·1·1为1×1的卷积神经网络将特征向量
Figure RE-FDA0003138186150000031
和特征向量
Figure RE-FDA0003138186150000032
进行融合并输出
Figure RE-FDA0003138186150000033
公式为：
Figure RE-FDA0003138186150000034
其中，Ccon(x)为卷积操作，
Figure RE-FDA0003138186150000035
为卷积过程，Mc·1·1为1×1的卷积核，步长s＝1。
5.根据权利要求1所述一种多通道图像内容特征融合风格迁移方法，其特征在于，将所述单通道特征融合或多通道特征融合或复合通道特征融合输出的特征向量与结果特征向量
Figure RE-FDA0003138186150000036
进行融合，输出特征向量
Figure RE-FDA0003138186150000037
公式为：
Figure RE-FDA0003138186150000038
其中，Ct(x)为融合函数，Θ为对不同形式输出融合的过程。
6.一种多通道图像内容特征融合风格迁移系统，其特征在于，包括特征融合模块，其输入为源域图像β1 c·u·v经过双倍下采样后的特征向量
Figure RE-FDA0003138186150000039
所述特征融合模块包括深度特征融合单元和特征保持单元；单个特征通道的特征向量输入到深度特征融合单元中，用于提取深度内容特征；多个特征通道的特征向量输入到特征保持单元中，用于减小图像内容的映射偏差。
7.根据权利要求6所述一种多通道图像内容特征融合风格迁移系统，其特征在于，所述特征融合模块分为单通道特征融合模块、多通道特征融合模块和复合通道特征融合模块。
8.根据权利要求7所述一种多通道图像内容特征融合风格迁移系统，其特征在于，所述单通道特征融合模块仅有深度特征融合单元工作，其将特征向量
Figure RE-FDA0003138186150000041
经过全连接函数处理形成单特征通道形式特征向量
Figure RE-FDA0003138186150000042
深度特征融合单元包括p条支路，使用卷积核为Mc×3×3、步长s＝1的反卷积神经网络将特征向量
Figure RE-FDA0003138186150000043
融合为c个特征通道的特征向量
Figure RE-FDA0003138186150000044
再使用卷积核为Mc×1×1、步长s＝1的卷积神经网络处理
Figure RE-FDA0003138186150000045
得到特征向量
Figure RE-FDA0003138186150000046
9.根据权利要求7所述一种多通道图像内容特征融合风格迁移系统，其特征在于，所述多通道特征融合模块仅有特征保持单元工作，所述特征保持单元使用多层残差单元针对特征向量
Figure RE-FDA0003138186150000047
提取深度图像内容得到特征向量
Figure RE-FDA0003138186150000048
再使用卷积核为Mc×1×1、步长s＝1的卷积神经网络对特征向量
Figure RE-FDA0003138186150000049
进行提纯，得到特征向量
Figure RE-FDA00031381861500000410
10.根据权利要求7所述一种多通道图像内容特征融合风格迁移系统，其特征在于，所述复合通道特征融合模块为单通道特征融合模块和多通道特征融合模块的组合形式，使得不同特征通道之间互相学习监督。
CN202110603920.2A 2021-05-31 2021-05-31 一种多通道图像内容特征融合风格迁移方法及系统 Active CN113191944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110603920.2A CN113191944B (zh) 2021-05-31 2021-05-31 一种多通道图像内容特征融合风格迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110603920.2A CN113191944B (zh) 2021-05-31 2021-05-31 一种多通道图像内容特征融合风格迁移方法及系统

Publications (2)

Publication Number Publication Date
CN113191944A true CN113191944A (zh) 2021-07-30
CN113191944B CN113191944B (zh) 2023-11-07

Family

ID=76986095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110603920.2A Active CN113191944B (zh) 2021-05-31 2021-05-31 一种多通道图像内容特征融合风格迁移方法及系统

Country Status (1)

Country Link
CN (1) CN113191944B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593470A (zh) * 2024-01-18 2024-02-23 深圳奥雅设计股份有限公司 一种基于ai模型的街景重构方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308483A (zh) * 2018-07-11 2019-02-05 南京航空航天大学 基于卷积神经网络的双源图像特征提取及融合识别方法
WO2019042139A1 (zh) * 2017-08-29 2019-03-07 京东方科技集团股份有限公司 图像处理方法、图像处理装置、神经网络的训练方法
CN109948557A (zh) * 2019-03-22 2019-06-28 中国人民解放军国防科技大学 多网络模型融合的烟雾检测方法
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111325681A (zh) * 2020-01-20 2020-06-23 南京邮电大学 一种结合元学习机制与特征融合的图像风格迁移方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019042139A1 (zh) * 2017-08-29 2019-03-07 京东方科技集团股份有限公司 图像处理方法、图像处理装置、神经网络的训练方法
CN109308483A (zh) * 2018-07-11 2019-02-05 南京航空航天大学 基于卷积神经网络的双源图像特征提取及融合识别方法
CN109948557A (zh) * 2019-03-22 2019-06-28 中国人民解放军国防科技大学 多网络模型融合的烟雾检测方法
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111325681A (zh) * 2020-01-20 2020-06-23 南京邮电大学 一种结合元学习机制与特征融合的图像风格迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许强;李伟;PIERRE LOUMBI;: "深度卷积神经网络在SAR自动目标识别领域的应用综述", 电讯技术, no. 01 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593470A (zh) * 2024-01-18 2024-02-23 深圳奥雅设计股份有限公司 一种基于ai模型的街景重构方法及系统
CN117593470B (zh) * 2024-01-18 2024-04-02 深圳奥雅设计股份有限公司 一种基于ai模型的街景重构方法及系统

Also Published As

Publication number Publication date
CN113191944B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
Mehra et al. ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN110084850B (zh) 一种基于图像语义分割的动态场景视觉定位方法
CN111563909B (zh) 一种复杂街景图像语义分割方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
Biasutti et al. Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN112651423A (zh) 一种智能视觉系统
CN116912485A (zh) 一种基于热感图像和可见光图像特征融合的场景语义分割方法
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN115019043A (zh) 基于交叉注意力机制的图像点云融合三维目标检测方法
CN115115917A (zh) 基于注意力机制和图像特征融合的3d点云目标检测方法
CN113191944B (zh) 一种多通道图像内容特征融合风格迁移方法及系统
Huang et al. Overview of LiDAR point cloud target detection methods based on deep learning
CN113284042B (zh) 一种多路并行图像内容特征优化风格迁移方法及系统
CN116563553B (zh) 一种基于深度学习的无人机图像分割方法和系统
Pei MSFNet: Multi-scale features network for monocular depth estimation
CN117058641A (zh) 一种基于深度学习的全景驾驶感知方法
CN116883767A (zh) 一种基于多源信息多尺度融合的目标检测方法
CN115050010B (zh) 一种针对三维物体检测器的迁移学习方法
CN114757819A (zh) 一种结构引导的风格偏差校正型风格迁移方法及系统
CN116630917A (zh) 一种车道线检测方法
CN116188779A (zh) 一种基于UFLane-Detection的车道线检测方法
CN115965783A (zh) 一种基于点云和图像特征融合的非结构化道路分割方法
CN113592790B (zh) 基于高低频强化的全景图像分割方法、计算机系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant