CN108509952A - 一种基于深度注意生成对抗网络的实例级图像翻译技术 - Google Patents

一种基于深度注意生成对抗网络的实例级图像翻译技术 Download PDF

Info

Publication number
CN108509952A
CN108509952A CN201810313808.3A CN201810313808A CN108509952A CN 108509952 A CN108509952 A CN 108509952A CN 201810313808 A CN201810313808 A CN 201810313808A CN 108509952 A CN108509952 A CN 108509952A
Authority
CN
China
Prior art keywords
attention
discriminator
instance
level image
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810313808.3A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810313808.3A priority Critical patent/CN108509952A/zh
Publication of CN108509952A publication Critical patent/CN108509952A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明中提出的一种基于深度注意生成对抗网络的实例级图像翻译技术，其主要内容包括：网络模块、实例级图像翻译、集合级图像翻译、完整目标函数，其过程为，首先使用一个深度注意编码器、一个生成器以及两个鉴别器构建深度注意生成对抗网络；然后根据给定的输入图像，采用定位函数预测注意区域的位置并计算注意掩码；接着利用生成器接收来自隐空间的结构化表达式，产生翻译样本；最后使用鉴别器把翻译的样本从真实图像里面鉴别出来。本发明基于深度注意生成对抗网络，提出了一种实例级图像翻译技术，可以同时应用于实例级和集合级的约束，解决大量的实际任务，并且能够获得性能更好的效果。

Description

一种基于深度注意生成对抗网络的实例级图像翻译技术
技术领域
本发明涉及图像翻译领域，尤其是涉及了一种基于深度注意生成对抗网络的实例级图像翻译技术。
背景技术
图像翻译是机器翻译的一个应用，用户可以把一个图像中所包含的文本信息、颜色信息、图标信息等等，转换成为任意的表现形式。高速发展的移动电子设备使得图像翻译技术广泛运用于人们生活的各个方面。比如，此技术可以用于将其他国家的文字，翻译成为自己国家的文字，这样就有利于信息的传递以及文化的交流。再比如，可以利用图像翻译技术将用户在商场看到的描述商品性质的广告词等翻译成为直观的图片，也可以根据用户输入的商品图片，自动搜索到与之类似的相关商品。目前，无监督式图像翻译面临着一个巨大的挑战，即其需要在没有成对数据的情况下发掘正确的对应关系。现有的方法建立在生成对抗网络的基础上面，其属于集合级约束，缺点在于无法学习实例级的对应关系，诸如语义的理解与正确对应。
本发明提出了一种基于深度注意生成对抗网络的实例级图像翻译技术，首先使用一个深度注意编码器、一个生成器以及两个鉴别器构建深度注意生成对抗网络；然后根据给定的输入图像，采用定位函数预测注意区域的位置并计算注意掩码；接着利用生成器接收来自隐空间的结构化表达式，产生翻译样本；最后使用鉴别器把翻译的样本从真实图像里面鉴别出来。本发明基于深度注意生成对抗网络，提出了一种实例级图像翻译技术，可以同时应用于实例级和集合级的约束，解决大量的实际任务，并且能够获得性能更好的效果。
发明内容
针对现有方法存在无法学习实例级的对应关系等问题，本发明的目的在于提供一种基于深度注意生成对抗网络的实例级图像翻译技术，首先用一个深度注意编码器、一个生成器以及两个鉴别器构建深度注意生成对抗网络；然后根据给定的输入图像，采用定位函数预测注意区域的位置并计算注意掩码；接着利用生成器接收来自隐空间的结构化表达式，产生翻译样本；最后使用鉴别器把翻译的样本从真实图像里面鉴别出来。
为解决上述问题，本发明提供一种基于深度注意生成对抗网络的实例级图像翻译技术，其主要内容包括：
(一)网络模块；
(二)实例级图像翻译；
(三)集合级图像翻译；
(四)完整目标函数。
其中，所述的网络模块，深度注意生成对抗网络包括四个网络模块：深度注意编码器、生成器、鉴别器D1和鉴别器D2。
进一步地，所述的深度注意编码器，给定一个输入图像X的特征图像E(X)，首先采用定位函数预测一系列注意区域的位置；一旦得到了注意区域的位置，就可以获得注意掩码
具体来讲，用w和h分别表示图像X宽度和高度的一半，那么，可以采用下面公式对注意区域进行参数化：
然后，通过点乘运算计算接着得到注意区域
进一步地，所述的生成器，生成器接收来自隐空间的高度结构化表达式，用于产生翻译得到的样本；
生成器被迫翻译那些无法从真实图像区分出来的样本。
进一步地，所述的鉴别器D1和鉴别器D2，在目标域当中，使用鉴别器D1把翻译的样本从真实图像里面鉴别出来；鉴别器D2识别重构获得的无法分辨的样本。
其中，所述的实例级图像翻译，采用一致性损失函数：
另外，采用对称损失函数：
上式也可以当作是应用于样本的自编码损失函数；其中，d是距离，理论上有许多不同的取值。
其中，所述的集合级图像翻译，在目标域可以把当作是一个自动编码器；对于目标域里面的任意一个节点，F(t)可以产生距离很近的节点；
上式表示目标函数；这个多对抗性训练过程有利于惩罚丢失的节点，它促使F(t)往邻近的节点靠近；从而可以获得针对不同节点的公平的概率密度函数。
其中，所述的完整目标函数，完整的目标函数可以由下面式子给出，即：
其中α和β分别是一致损失函数和对称损失函数的权重；
目的在于求解下列优化问题：
其中，网络采用由残差块组成的生成器。
进一步地，所述的网络，对于生成器，实例级表达沿着信道方向串联起来，并反馈至残差块；最后，一系列上采样网络层被用于产生一张翻译图像；
对于鉴别器，生成的图像通过下采样块反馈出去；最后，一个带有单一节点的全连接网络层被用于生成一个决策分数。
进一步地，所述的上采样和残差块，上采样块包括由以3×3为距离的卷积块组成的最近邻上采样；
残差块包括以3×3为距离的卷积块和分批归一化块。
附图说明
图1是本发明一种基于深度注意生成对抗网络的实例级图像翻译技术的系统结构图。
图2是本发明一种基于深度注意生成对抗网络的实例级图像翻译技术的深度注意生成对抗网络示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于深度注意生成对抗网络的实例级图像翻译技术的系统结构图。主要包括网络模块，实例级图像翻译，集合级图像翻译和完整目标函数。
其中，所述的网络模块，深度注意生成对抗网络包括四个网络模块：深度注意编码器、生成器、鉴别器D1和鉴别器D2。
其中，所述的实例级图像翻译，采用一致性损失函数：
另外，采用对称损失函数：
上式也可以当作是应用于样本的自编码损失函数；其中，d是距离，理论上有许多不同的取值。
其中，所述的集合级图像翻译，在目标域可以把当作是一个自动编码器；对于目标域里面的任意一个节点，F(t)可以产生距离很近的节点；
上式表示目标函数；这个多对抗性训练过程有利于惩罚丢失的节点，它促使F(t)往邻近的节点靠近；从而可以获得针对不同节点的公平的概率密度函数。
其中，所述的完整目标函数，完整的目标函数可以由下面式子给出，即：
其中α和β分别是一致损失函数和对称损失函数的权重；
目的在于求解下列优化问题：
其中，网络采用由残差块组成的生成器。
进一步地，所述的网络，对于生成器，实例级表达沿着信道方向串联起来，并反馈至残差块；最后，一系列上采样网络层被用于产生一张翻译图像；
对于鉴别器，生成的图像通过下采样块反馈出去；最后，一个带有单一节点的全连接网络层被用于生成一个决策分数。
进一步地，所述的上采样和残差块，上采样块包括由以3×3为距离的卷积块组成的最近邻上采样；
残差块包括以3×3为距离的卷积块和分批归一化块。
图2是本发明一种基于深度注意生成对抗网络的实例级图像翻译技术的深度注意生成对抗网络示意图。
其中，所述的深度注意编码器，给定一个输入图像X的特征图像E(X)，首先采用定位函数预测一系列注意区域的位置；一旦得到了注意区域的位置，就可以获得注意掩码
具体来讲，用w和h分别表示图像X宽度和高度的一半，那么，可以采用下面公式对注意区域进行参数化：
然后，通过点乘运算计算接着得到注意区域
其中，所述的生成器，生成器接收来自隐空间的高度结构化表达式，用于产生翻译得到的样本；
生成器被迫翻译那些无法从真实图像区分出来的样本。
其中，所述的鉴别器D1和鉴别器D2，在目标域当中，使用鉴别器D1把翻译的样本从真实图像里面鉴别出来；鉴别器D2识别重构获得的无法分辨的样本。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于深度注意生成对抗网络的实例级图像翻译技术，其特征在于，主要包括网络模块(一)；实例级图像翻译(二)；集合级图像翻译(三)；完整目标函数(四)。
2.基于权利要求书1所述的网络模块(一)，其特征在于，深度注意生成对抗网络包括四个网络模块：深度注意编码器、生成器、鉴别器D1和鉴别器D2。
3.基于权利要求书2所述的深度注意编码器，其特征在于，给定一个输入图像X的特征图像E(X)，首先采用定位函数预测一系列注意区域的位置；一旦得到了注意区域的位置，就可以获得注意掩码
具体来讲，用w和h分别表示图像X宽度和高度的一半，那么，可以采用下面公式对注意区域进行参数化：
然后，通过点乘运算计算接着得到注意区域
4.基于权利要求书2所述的生成器，其特征在于，生成器接收来自隐空间的高度结构化表达式，用于产生翻译得到的样本；
生成器被迫翻译那些无法从真实图像区分出来的样本。
5.基于权利要求书2所述的鉴别器D1和鉴别器D2，其特征在于，在目标域当中，使用鉴别器D1把翻译的样本从真实图像里面鉴别出来；鉴别器D2识别重构获得的无法分辨的样本。
6.基于权利要求书1所述的实例级图像翻译(二)，其特征在于，采用一致性损失函数：
另外，采用对称损失函数：
上式也可以当作是应用于样本的自编码损失函数；其中，d是距离，理论上有许多不同的取值。
7.基于权利要求书1所述的集合级图像翻译(三)，其特征在于，在目标域可以把当作是一个自动编码器；对于目标域里面的任意一个节点，F(t)可以产生距离很近的节点；
上式表示目标函数；这个多对抗性训练过程有利于惩罚丢失的节点，它促使F(t)往邻近的节点靠近；从而可以获得针对不同节点的公平的概率密度函数。
8.基于权利要求书1所述的完整目标函数(四)，其特征在于，完整的目标函数可以由下面式子给出，即：
其中α和β分别是一致损失函数和对称损失函数的权重；
目的在于求解下列优化问题：
其中，网络采用由残差块组成的生成器。
9.基于权利要求书8所述的网络，其特征在于，对于生成器，实例级表达沿着信道方向串联起来，并反馈至残差块；最后，一系列上采样网络层被用于产生一张翻译图像；
对于鉴别器，生成的图像通过下采样块反馈出去；最后，一个带有单一节点的全连接网络层被用于生成一个决策分数。
10.基于权利要求书9所述的上采样和残差块，其特征在于，上采样块包括由以3×3为距离的卷积块组成的最近邻上采样；
残差块包括以3×3为距离的卷积块和分批归一化块。
CN201810313808.3A 2018-04-10 2018-04-10 一种基于深度注意生成对抗网络的实例级图像翻译技术 Withdrawn CN108509952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810313808.3A CN108509952A (zh) 2018-04-10 2018-04-10 一种基于深度注意生成对抗网络的实例级图像翻译技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810313808.3A CN108509952A (zh) 2018-04-10 2018-04-10 一种基于深度注意生成对抗网络的实例级图像翻译技术

Publications (1)

Publication Number Publication Date
CN108509952A true CN108509952A (zh) 2018-09-07

Family

ID=63381139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810313808.3A Withdrawn CN108509952A (zh) 2018-04-10 2018-04-10 一种基于深度注意生成对抗网络的实例级图像翻译技术

Country Status (1)

Country Link
CN (1) CN108509952A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410179A (zh) * 2018-09-28 2019-03-01 合肥工业大学 一种基于生成对抗网络的图像异常检测方法
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
CN109902602A (zh) * 2019-02-16 2019-06-18 北京工业大学 一种基于对抗神经网络数据增强的机场跑道异物材料识别方法
CN110264398A (zh) * 2019-07-16 2019-09-20 北京市商汤科技开发有限公司 图像处理方法及装置
CN110889316A (zh) * 2018-09-11 2020-03-17 深圳云天励飞技术有限公司 一种目标对象识别方法、装置及存储介质
CN111784560A (zh) * 2019-04-04 2020-10-16 复旦大学 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
CN112084849A (zh) * 2020-07-31 2020-12-15 华为技术有限公司 图像识别方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574215A (zh) * 2016-03-04 2016-05-11 哈尔滨工业大学深圳研究生院 一种基于多层特征表示的实例级图像搜索方法
CN107451994A (zh) * 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574215A (zh) * 2016-03-04 2016-05-11 哈尔滨工业大学深圳研究生院 一种基于多层特征表示的实例级图像搜索方法
CN107451994A (zh) * 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUANG MA ET.AL: ""DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks"", 《ARXIV:1802.06454V1 [CS.CV]》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889316A (zh) * 2018-09-11 2020-03-17 深圳云天励飞技术有限公司 一种目标对象识别方法、装置及存储介质
CN110889316B (zh) * 2018-09-11 2020-11-24 深圳云天励飞技术有限公司 一种目标对象识别方法、装置及存储介质
CN109410179A (zh) * 2018-09-28 2019-03-01 合肥工业大学 一种基于生成对抗网络的图像异常检测方法
CN109410179B (zh) * 2018-09-28 2021-07-23 合肥工业大学 一种基于生成对抗网络的图像异常检测方法
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
CN109902602A (zh) * 2019-02-16 2019-06-18 北京工业大学 一种基于对抗神经网络数据增强的机场跑道异物材料识别方法
CN109902602B (zh) * 2019-02-16 2021-04-30 北京工业大学 一种基于对抗神经网络数据增强的机场跑道异物材料识别方法
CN111784560A (zh) * 2019-04-04 2020-10-16 复旦大学 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
CN110264398A (zh) * 2019-07-16 2019-09-20 北京市商汤科技开发有限公司 图像处理方法及装置
CN110264398B (zh) * 2019-07-16 2021-05-28 北京市商汤科技开发有限公司 图像处理方法及装置
CN112084849A (zh) * 2020-07-31 2020-12-15 华为技术有限公司 图像识别方法和装置

Similar Documents

Publication Publication Date Title
CN108509952A (zh) 一种基于深度注意生成对抗网络的实例级图像翻译技术
CN111581966B (zh) 一种融合上下文特征方面级情感分类方法和装置
CN113486190B (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
CN116756574B (zh) 多模态预训练模型的训练方法、使用方法、装置和设备
CN109376864A (zh) 一种基于堆叠神经网络的知识图谱关系推理算法
CN114692741B (zh) 基于域不变特征的泛化人脸伪造检测方法
CN114817663B (zh) 一种基于类别感知图神经网络的服务建模与推荐方法
CN114283315B (zh) 一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法
CN115686868B (zh) 一种基于联邦哈希学习的面向跨节点多模态检索方法
CN113191530B (zh) 一种具有隐私保护的区块链节点可靠性预测方法及系统
Li et al. Transfer learning for toxoplasma gondii recognition
CN114328841A (zh) 问答模型训练方法及装置、问答方法及装置
Lobry et al. Visual question answering on remote sensing images
CN114723037A (zh) 一种聚合高阶邻居节点的异构图神经网络计算方法
Zhang et al. Type-aware medical visual question answering
CN106056609A (zh) 基于dbnmi模型实现遥感影像自动标注的方法
CN116431827A (zh) 信息处理方法、装置、存储介质及计算机设备
Tian et al. Semantic segmentation of remote sensing image based on GAN and FCN network model
Ren et al. Knowledge base enabled semantic communication: A generative perspective
CN117830537A (zh) 一种弱监督的3d场景图生成方法、装置、设备及介质
CN117078312B (zh) 一种基于人工智能的广告投放管理方法及系统
Ai et al. A map generalization model based on algebra mapping transformation
CN114417021B (zh) 一种基于时、空、义多约束融合的语义信息精准分发方法
Guanglong et al. [Retracted] Correlation Analysis between the Emotion and Aesthetics for Chinese Classical Garden Design Based on Deep Transfer Learning
Lu Design of visual communication based on deep learning approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180907