CN109902723A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN109902723A
CN109902723A CN201910099484.2A CN201910099484A CN109902723A CN 109902723 A CN109902723 A CN 109902723A CN 201910099484 A CN201910099484 A CN 201910099484A CN 109902723 A CN109902723 A CN 109902723A
Authority
CN
China
Prior art keywords
image
data
feature
processing
confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910099484.2A
Other languages
English (en)
Inventor
韩江帆
董潇逸
张瑞茂
罗平
张卫明
俞能海
王晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910099484.2A priority Critical patent/CN109902723A/zh
Publication of CN109902723A publication Critical patent/CN109902723A/zh
Priority to PCT/CN2019/102609 priority patent/WO2020155614A1/zh
Priority to TW108146511A priority patent/TW202032423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法及装置。该方法包括：对待处理图像进行特征提取处理，得到第一特征图像；对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；对所述第二特征图像进行解码处理，得到对抗图像，其中，所述对抗图像的类别与所述对抗数据的类别相同。还公开了相应的装置。本申请通过将对抗数据与图像特征图像进行融合，得到融合后的特征图像，再对融合后的特征图像进行解码处理，实现对融合后的特征图像的解码，得到包含有对抗数据的对抗图像。

Description

图像处理方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。
背景技术
在图像识别领域，基于神经网络的方法克服了传统的图像处理技术，在多种应用上都有很好的效果，如：人脸识别，物体识别，手写文字识别等等。此前，神经网络在这些项目上的识别准确率很低，如果识别出错了，人们很少会在意，随着深度学习算法的完善，神经网络在这些项目上的识别准确率大大提高，研究神经网络犯的错误就变得很有价值，其中有一种错误叫对抗图像。
对抗图像指经过微小调整就可以让神经网络输出错误结果的图像，将该微小调整称为对抗数据，根据不同的对抗数据得到不同的对抗图像，将生成的对抗图像输入被攻击的神经网络，从而发现被攻击的神经网络的缺陷。此外，对抗图像还可用于神经网络的对抗训练，提高神经网络的抗干扰能力。
发明内容
本申请提供一种图像处理方法及装置，以实现生成对抗图像。
第一方面，提供了一种图像处理方法，包括：对待处理图像进行特征提取处理，得到第一特征图像；对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；对所述第二特征图像进行解码处理，得到对抗图像。
在一种可能实现的方式中，所述对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像，包括：对所述对抗数据进行预处理，得到第三特征图像；对所述第三特征图像与所述第一特征图像进行融合处理，得到第四特征图像；对所述第四特征图像进行卷积处理，得到所述第二特征图像。
在另一种可能实现的方式中，所述对所述对抗数据进行预处理，得到第三特征图像，包括：对所述对抗数据进行编码处理，得到编码处理后的对抗数据；对所述编码处理后的对抗数据填充预设值，使填充后得到的第三特征图像的尺寸与所述第一特征图像的尺寸相同。
在又一种可能实现的方式中，所述对所述对抗数据进行编码处理，得到编码处理后的对抗数据，包括：对所述对抗数据进行独热编码处理，得到所述编码处理后的对抗数据。
在又一种可能实现的方式中，所述对所述第三特征图像与所述第一特征图像进行融合处理，得到第四特征图像，包括：将所述第三特征图像与所述第一特征图像在通道维度上进行拼接处理，得到所述第四特征图像。
在又一种可能实现的方式中，所述将所述第一特征图像与对抗数据进行融合处理，得到第二特征图像，还包括：对所述对抗数据进行特征提取处理，得到所述第一特征图像的权重矩阵；将所述第一特征图像与所述权重矩阵在通道维度上进行点乘，得到所述第二特征图像。
在又一种可能实现的方式中，所述对所述对抗数据进行特征提取处理，得到所述第一特征图像的权重矩阵，包括：对所述对抗数据进行线性变换，得到线性变换后的对抗数据；对所述线性变换后的对抗数据进行非线性变换，得到所述第一特征图像的权重矩阵。
在又一种可能实现的方式中，所述对所述对抗数据进行线性变换，得到线性变换后的对抗数据，包括：获取所述对抗数据的权重；根据所述权重对所述对抗数据进行加权求和，得到所述线性变换后的对抗数据。
在又一种可能实现的方式中，所述对所述线性变换后的对抗数据进行非线性变换，得到所述第一特征图像的权重矩阵，包括：将所述线性变换后的对抗数据代入激活函数，得到所述第一特征图像的权重矩阵。
在又一种可能实现的方式中，所述对待处理图像进行特征提取处理，得到第一特征图像，包括：对所述待处理图像进行卷积处理，得到所述第一特征图像。
在又一种可能实现的方式中，所述对所述第二特征图像进行解码处理，得到对抗图像，包括：对所述第二特征图像进行卷积处理，得到第五特征图像；将所述第二特征图像与所述第五特征图像融合处理，得到第六特征图像；对所述第六特征图像进行反卷积处理，得到所述对抗图像。
在又一种可能实现的方式中，基于多目标对抗生成网络对所述待处理图像进行特征提取处理，得到所述第一特征图像；对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；以及对所述第二特征图像进行解码处理，得到所述对抗图像。
在又一种可能实现的方式中，所述多目标对抗生成网络基于损失函数进行反向传播训练得到，所述损失函数为：
其中，为所述对抗图像，t为所述对抗数据，为交叉熵损失函数，为将所述对抗图像输入至被攻击的神经网络得到的类别，α为自然数，
第二方面，提供了一种图像处理装置，包括：第一处理单元，用于对待处理图像进行特征提取处理，得到第一特征图像；融合处理单元，用于对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；第二处理单元，用于对所述第二特征图像进行解码处理，得到对抗图像。
在一种可能实现的方式中，所述融合处理单元包括：预处理子单元，用于对所述对抗数据进行预处理，得到第三特征图像；第一融合处理子单元，用于对所述第三特征图像与所述第一特征图像进行融合处理，得到第四特征图像；第一处理子单元，用于对所述第四特征图像进行卷积处理，得到所述第二特征图像。
在另一种可能实现的方式中，所述预处理子单元还用于：对所述对抗数据进行编码处理，得到编码处理后的对抗数据；以及对所述编码处理后的对抗数据填充预设值，使填充后得到的第三特征图像的尺寸与所述第一特征图像的尺寸相同。
在又一种可能实现的方式中，所述预处理子单元还用于：对所述对抗数据进行独热编码处理，得到所述编码处理后的对抗数据。
在又一种可能实现的方式中，所述第一融合处理子单元还用于：将所述第三特征图像与所述第一特征图像在通道维度上进行拼接处理，得到所述第四特征图像。
在又一种可能实现的方式中，所述融合处理单元还包括：特征提取子单元，用于对所述对抗数据进行特征提取处理，得到所述第一特征图像的权重矩阵；第二处理子单元，用于将所述第一特征图像与所述权重矩阵在通道维度上进行点乘，得到所述第二特征图像。
在又一种可能实现的方式中，所述特征提取子单元还用于：对所述对抗数据进行线性变换，得到线性变换后的对抗数据；以及对所述线性变换后的对抗数据进行非线性变换，得到所述第一特征图像的权重矩阵。
在又一种可能实现的方式中，所述特征提取子单元还用于：获取所述对抗数据的权重；以及根据所述权重对所述对抗数据进行加权求和，得到所述线性变换后的对抗数据。
在又一种可能实现的方式中，所述特征提取子单元还用于：将所述线性变换后的对抗数据代入激活函数，得到所述第一特征图像的权重矩阵。
在又一种可能实现的方式中，所述第一处理单元包括：第三处理子单元，用于对所述待处理图像进行卷积处理，得到所述第一特征图像。
在又一种可能实现的方式中，所述第二处理单元包括：第四处理子单元，用于对所述第二特征图像进行卷积处理，得到第五特征图像；第二融合子单元，用于将所述第二特征图像与所述第五特征图像融合处理，得到第六特征图像；第五处理子单元，用于对所述第六特征图像进行反卷积处理，得到所述对抗图像。
在又一种可能实现的方式中，所述装置还包括：多目标对抗生成网络，用于对所述待处理图像进行特征提取处理，得到所述第一特征图像；以及对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；以及对所述第二特征图像进行解码处理，得到所述对抗图像。
在又一种可能实现的方式中，所述装置还包括：训练单元，用于基于损失函数进行反向传播训练所述多目标对抗生成网络，所述损失函数为：
其中，为所述对抗图像，t为所述对抗数据，为交叉熵损失函数，为将所述对抗图像输入至被攻击的神经网络得到的类别，α为自然数，
第三方面，本申请提供了一种图像处理装置，包括：处理器和存储器，所述处理器和所述存储耦合器；其中，所述存储器存储有程序指令，所述程序指令被所述处理器执行时，使所述处理器执行第一方面中任意一项所述的方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被批处理装置的处理器执行时，使所述处理器执行第一方面中任意一项所述的方法。
本申请通过将对抗数据与图像特征图像进行融合，得到融合后的特征图像，再对融合后的特征图像进行解码处理，实现对融合后的特征图像的解码，得到包含有对抗数据的对抗图像。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的一种提取图像特征的方法的流程示意图；
图3为本申请实施例提供的一种对抗数据与第一特征图像融合的流程示意图；
图4为本申请实施例提供的一种对抗数据与第一特征图像融合模块的结构示意图；
图5为本申请实施例提供的另一种对抗数据与第一特征图像融合的流程示意图；
图6为本申请实施例提供的另一种对抗数据与第一特征图像融合模块的结构示意图；
图7为本申请实施例提供的一种特征图像解码的方法的流程示意图；
图8为本申请实施例提供的一种图像处理装置的结构示意图；
图9为本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供的多目标对抗生成网络(下文称为第一神经网络)，可根据输入的对抗数据对待处理图像进行调整，得到相应的对抗图像，对抗图像可用于攻击已经训练好的神经网络(下文称为第二神经网络)，通过对抗图像对第二神经网络的攻击，找出第二神经网络的缺陷，并可基于对抗图像对第二神经网络训练，以弥补第二神经网络的缺陷，提高第二神经网络的鲁棒性。
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1，图1是本申请实施例提供的一种图像处理方法的流程示意图。
101、对待处理图像进行特征提取处理，得到第一特征图像。
对抗图像指经过微小调整就可以让神经网络输出错误结果的图像，将该微小调整称为对抗数据，根据不同的对抗数据得到不同的对抗图像。本公开实施例提供了一种多目标对抗生成网络用以生成对抗图像，即通过第一神经网络对对抗数据和待处理图像进行处理，得到包含有对抗数据的对抗图像。对待处理图像进行特征提取处理，将待处理图像的大小缩小的同时，得到待处理图像的特征图像。
上述特征提取处理可以为卷积处理，在一种可能实现的方式中，对待处理图像中的任意一个像素点，使卷积模板的中心点和该像素点重合，卷积模板上的点与待处理图像上对应的像素点相乘，最后再将每个像素点的积相加，得到该像素点的卷积值，通过对待处理图像中每个像素点进行上述卷积处理，将待处理图像缩小，并提取出第一特征图像。
102、对上述第一特征图像与对抗数据进行融合处理，得到第二特征图像。
为实现对第二神经网络进行有效的攻击，需要通过不同标签(类别)的对抗图像去攻击第二神经网络，找出第二神经网络的缺陷。将上述第一特征图像与对抗数据进行融合，得到的第二特征图像的类别与对抗数据的类别相同，通过设置不同的对抗数据，可得到不同的对抗图像。在一种可能实现的方式中，对对抗数据进行特征提取处理，得到对抗数据的特征信息，再将对抗数据的特征信息与第一特征图像进行融合，得到包含对抗数据的特征信息的第二特征图像。
103、对上述第二特征图像进行解码处理，得到对抗图像。
经过102的处理，第二特征图像中已经包含对抗数据的特征信息，因此，对第二特征图像进行解码处理，得到的图像就是与对抗数据对应的对抗图像，其中，解码处理可以为一下任意一种：反卷积处理、双线性插值处理、反池化处理。在一种可能实现的方式中，对第二特征图像进行多次反卷积处理，得到与待处理图像的尺寸相同的对抗图像。
本申请实施例通过将对抗数据与图像特征图像进行融合，得到融合后的特征图像，再对融合后的特征图像进行解码处理，实现对融合后的特征图像的解码，得到类别与对抗数据的类别相同的对抗图像。生成的对抗图像攻击已经训练好神经网络，找出已训练好的神经网络的缺陷，并可基于对抗图像对已训练好的神经网络训练，以弥补这些已训练好的神经网络的缺陷，从而提高神经网络的鲁棒性。
请参阅图2，图2是本申请实施例提供的一种提取图像特征的方法的流程示意图。
201、获取待处理图像。
对抗图像指经过细微调整就可以让神经网络输出错误结果的输入图像。在图像识别中，可以理解为原来被一个神经网络分类为一个类(比如“熊猫”)的图片，经过非常细微甚至人眼无法察觉的改动后，突然被误分成另一个类(比如“长臂猿”)。也就是说，通过对待处理图像进行细微调整，可得到攻击第二神经网络的对抗图像，可选地，待处理图像可以为用于训练第二神经网络的数据集。
202、对待处理图像进行特征提取处理，得到第一特征图像。
本公开实施例提供的第一神经网络用以生成对抗图像，即通过第一神经网络对对抗数据和待处理图像进行处理，得到类别与对抗数据的类别相同的对抗图像。首先，通过第一神经网络的编码层对待处理图像进行特征提取处理，特征提取处理可以通过多种方式实现，例如卷积、池化等，本申请实施例对此不做具体限定。在一些可能的实现方式中，图像编码层包括多层卷积层，通过图像编码层对待处理图像逐层进行卷积处理完成对待处理图像的特征提取处理，其中，每个卷积层提取出的特征内容及语义信息均不一样，具体表现为，特征提取处理一步步地将图像的特征抽象出来，同时也将逐步去除相对次要的特征，因此，越到后面提取出的特征尺寸越小，内容及语义信息就越浓缩。通过多层卷积层逐级对待处理图像进行卷积处理，并提取相应的特征，最终得到固定大小的特征图像，这样，可在获得待处理图像主要内容信息(即待处理图像的特征图像)的同时，将图像尺寸缩小，减小系统的计算量，提高运算速度。在一种可能实现的方式中，卷积处理的实现过程如下：卷积层对待处理图像做卷积处理，即利用卷积核在待处理图像上滑动，并将待处理图像上的像素与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素值，最终滑动处理完待处理图像中所有的像素，并提取出第一特征图像。需要理解的是，本申请对上述卷积层的数量不做具体限定，可选地，上述卷积层的数量取为2。
在一种可能实现的方式中，在卷积层后连接有Batch Norm层，通过Batch Norm层加入可训练的参数完成对数据的归一化处理，同时能加快训练速度，并去除数据的相关性，突出特征数据之间的分布差异。再通过ReLu激活层进行处理，可以增加数据的非线性，把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类，同时能在很大程度地解决了图像分割网络在学习过程梯度耗散的问题。
在一种可能实现的方式中，在将待处理图像输入至第一神经网络之前，还可以对待处理图像进行预处理，并将预处理后的待处理图像输入到第一神经网络进行特征提取处理，得到第一特征图像。在一些可能的实现方式中，预处理包括缩放处理，例如，第一神经网络的输入图像大小固定为513*513，此时，对于尺寸大于513*513的待处理图像，可以将待处理图像的尺寸缩小至513*513，而对于尺寸小于513*513的待处理图像，可以将待处理图像的尺寸放大至513*513。需要理解的是，根据实际需求，在将待处理图像输入至第一神经网络之前，也可以不对待处理图像进行预处理，对此，本申请不做具体限定。
本申请实施例通过图像编码层对待处理图像进行特征提取处理，在缩小待处理图像的尺寸的同时，提取出待处理图像的特征图像。
请参阅图3，图3是本申请实施例提供的一种对抗数据与第一特征图像融合的流程示意图。
301、对上述对抗数据进行预处理，得到第三特征图像。
如201所述，对抗图像指经过微小调整就可以让神经网络输出错误结果的图像，将该微小调整称为对抗数据，根据不同的对抗数据可得到不同的对抗图像，通过不同的对抗图像去攻击第二神经网络，找出的第二神经网络的缺陷也不一样。在一些可能实现的方式中，第二神经网络对待处理图像的识别结果为：1，现将对抗数据设为2，将与对抗数据对应的对抗图像输入至第二神经网络，最终得到的识别结果应该为2。也就是说，需要根据对抗数据对待处理图像进行相应的调整，得到与对抗数据对应的对抗图像，如：通过在待处理图像上加入一些人工噪声来“欺骗”第二神经网络，使得第二神经网络输出的类别与对抗数据的类别相同。
如图4所示，本申请实施例提供了一种对抗数据编码及特征融合模块，用于对对抗数据进行特征提取处理，得到对抗数据的特征信息，再将对抗数据的特征信息与上述第一特征图像进行融合，得到类别与对抗数据的类别相同的对抗图像。由于在神经网络对图像进行识别的过程中，往往会遇到分类特征，例如：人的性别有男女，祖国有中国、美国、法国等，显然，这些特征值并不是连续的，而是离散的，无序的，因此，在对对抗数据进行处理之前，需要对上述对抗数据进行编码处理，对对抗数据进行特征数字化。需要理解的是，该编码处理也是对抗数据编码及特征融合模块完成的(图4中未示出)。在一些可能实现的方式中，对上述对抗数据进行独热编码处理(one-hot encoding)，得到编码处理后的对抗数据。独热编码主要是采用N位状态寄存器来对N个状态进行编码，每个状态都有独立的寄存器位，通过独热编码处理后，对抗数据将被表示为二进制向量，其中，N为正整数。
在神经网络的处理待处理图像的过程中，特征提取处理得到的第一特征图像是一个矩阵，为使编码处理后的对抗数据与第一特征图像能进行融合，如图4所示，对抗数据编码及特征融合模块首先对编码处理后的对抗数据进行补位，使补位后得到的第三特征图像的尺寸与第一特征图像的尺寸一致。在一些可能实现的方式中，第一特征图像的大小为4*4，编码处理后的对抗数据的大小为3*1，基于编码处理后的对抗数据构建上述第三特征图像，使得第三特征图像的大小为4*4，其中，第三特征图像中除编码处理后的对抗数据之外的所有元素的值均为预设值，可选地，该预设值为0。对于编码处理后的对抗数据在第三特征图像中的具体位置，本申请不做具体限定。
302、对上述第三特征图像与上述第一特征图像进行融合处理，得到第四特征图像。
如图4所示，对抗数据编码及特征融合模块对上述第三特征图像与上述第一特征图像进行融合处理，在一些可能实现的方式中，将上述第三特征图像与上述第一特征图像在通道维度上进行拼接处理，得到第四特征图像。
303、对上述第四特征图像进行卷积处理，得到第二特征图像。
如图4所示，在对第一特征图像与第三特征图像进行融合得到第四特征图像后，还将对第四特征图像进行卷积处理，以调整第四特征图像的行数、列数、维数，并得到预定大小的第二特征图像。在一些可能实现的例子中，通过302在通道维度上的拼接处理得到的第四特征图像的大小为(K+C)*H*W，其中，K+C为第四特征图像的通道的维度，通过卷积处理将第四特征图像的通道的维度降至C，得到大小为C*H*W的第二特征图像。
本申请实施例通过对对抗数据进行编码处理并补位，得到与第一特征图像大小相同的第三数据，并通过对第一特征图像与第三特征图像的融合处理，将对抗数据的特征信息与待处理图像的特征信息融合入第四特征图像，最后对第四特征图像进行卷积处理，得到特定大小的第二特征图像。
请参阅图5，图5是本申请实施例提供的另一种对抗数据与第一特征图像融合的流程示意图。
501、对上述对抗数据进行特征提取处理，得到上述第一特征图像的权重矩阵。
如图6所示，本实施例提供的对抗数据编码及特征融合模块首先通过多层感知机对对抗数据进行线性变换。多层感知机包含输入输出层，在输入层和输出层中间可以有多个隐层，对于中间隐层的数量本申请不做具体限定。多层感知机的每一层都与上一层全连接(即上一层的任何一个神经元与下一层的所有神经元都有连接)，其中，隐层中的每一个神经元都有相应的权重和偏置，因此，多层感知机所有的参数就是每个神经元的权重以及偏置，该权重和偏置的具体大小是通过对多层感知机进行训练得到的，可选地，多层感知机的训练方法可以为梯度下降法或反向传播法。
将对抗数据输入至多层感知机时，获取多层感知机的权重和偏置(即对抗数据的权重)，再根据权重和偏置对上述对抗数据进行加权求和，得到线性变换后的对抗数据，在一种可能实现的方式中，多层感知机的权重和偏置分别为：wi和bi，其中i为神经元的数量，对抗数据为x，则多层感知机对对抗数据进行线性变换后得到的线性变换后的对抗数据为：
如果不对线性变换后的对抗数据进行任何处理，则输出的信号将仅仅是一个简单的线性函数。由于线性函数的复杂性有限，从数据中学习复杂映射的能力较小，无法学习和处理复杂类型的数据，例如图像、视频、音频、语音等。因此，需要通过对线性变换后的对抗数据进行非线性变换，来解决诸如图像处理、视频处理等复杂问题。在多层感知机后连接非线性激活函数，通过激活函数对线性变换后的对抗数据进行非线性变换，可处理复杂的映射，在一些可能实现的方式中，将上述线性变换后的对抗数据代入sigmoid函数，实现对线性变换后的对抗数据的非线性变换，得到第一特征图像的权重矩阵，该权重矩阵用于对上述第一特征图像在通道维度上进行重新权重化。
在一个可能实现的方式中，多层感知机对对抗数据的处理可参见下式：
其中，δ为ReLu激活函数，W1∈RUXK和W2∈RUXC均为全连接层，U为全连接层中神经元的数量，t′∈RC，C为第一特征图像的通道的维度。
502、将上述第一特征图像与上述权重矩阵在通道维度上进行点乘，得到第二特征图像。
由于在对待处理图像进行卷积处理时，卷积核都是以一个局部感受野的方式对待处理图像进行卷积，因此得到的第一特征图像的各个通道内的数据不能利用通道以外的纹理信息。通过寻找第一特征图像中各通道间的相关性，给予各通道不同的权值，然后再进行加权求和可很好的解决上述问题，增加特征图像中的有用信息。因此，将第一特征图像与权重矩阵在通道维度上进行点乘，得到第二特征图像。
本申请实施例通过对对抗数据进行特征提取处理，得到第一特征图像的权重矩阵，再将第一特征图像与权重矩阵在通道维度上进行点乘，得到第二特征图像。
需要理解的是，301～303与501～502为本申请提供的两种对抗数据编码及特征融合模块，这两种模块都可与第一神经网络中的其他模块相连(如：编码层)，在实际应用中具体使用哪一种模块，本申请不做具体限定。
请参阅图7，图7是本申请实施例提供的一种特征图像解码的方法的流程示意图。
701、对上述第二特征图像进行卷积处理，得到第五特征图像。
通过上述处理得到的第二特征图像融合了对抗数据的特征信息和待处理图像的特征信息，此时，只需通过解码处理对第二特征图像进行解码，即可得到与对抗数据对应的对抗图像。
神经网络的深度越深，训练起来的难度就越大，优化神经网络的难度也就越大，如果不能很好的通过训练学习到合适的权重，深的神经网络会的效果反而不如相对较浅的网络，而通过在第一神经网络中加入残差块可解决上述训练难度大和优化难度大的问题，并提升第一神经网络的效率。因此，在第一神经网络中，对抗数据编码及特征融合模块后连接有一个残差块，残差块中可以是多层卷积层，也可以是多层全连接层，对此，本申请不做具体限定。在一种可能实现的方式中，残差块中包含有6层卷积层，所有卷积层之间串联，即上一层卷积层的输出为下一层卷积层的输入，前两层卷积层依次对第二特征图像进行卷积处理，得到第七特征图像，再将第七特征图像与第二特征图像进行融合，得到第八特征图像，再依次通过第三层卷积层和第四层卷积层的卷积处理，得到第九特征图像，此时，对第九特征图像和第八特征图像进行融合，得到第十特征图像，依次通过第五层卷积层和第六层卷积层的卷积处理，得到第五特征图像。可选地，上述融合可以为特征相加。
702、将上述第二特征图像与上述第五特征图像融合处理，得到第六特征图像。
与701中的融合方式一样，将第二特征图像与第五特征图像相加，得到第六特征图像。
703、对上述第六特征图像进行反卷积处理，得到对抗图像。
卷积层的前向传播过程相当于反卷积层的反向传播过程，卷积层的反向传播过程相当于反卷积层的前向传播过程，因此，通过对上述第六特征图像进行反卷积处理，可实现对第六特征图像的解码，并得到对抗图像。需要指出的是，反卷积层的数量与202中卷积层的数量一致。
本申请实施例通过对第二特征图像进行解码处理，实现对第二特征图像的解码，得到与对抗数据对应的对抗图像。
以下实施例是本申请实施例提供的一种训练第一神经网络的方法。
在应用第一神经网络生成对抗图像之前，需要通过反向传播梯度的方法对第一神经网络进行训练，以优化第一神经网络中的权重。在一种可能实现的方式中，将第一神经网络生成的对抗图像输入至第二神经网络，第二神经网络将对对抗图像进行判别，并给出相应的类别。根据第二神经网络给出的类别与对抗数据的类别之间的误差，以及对抗图像与待处理图像之间的欧氏距离，调整第一神经网络中的权重，不断迭代上述过程，直至收敛，完成对第一神经网络的训练，其中，上述权重参数包括：神经网络中的卷积核的数量、卷积核的大小、神经元的权重大小、神经元的偏置等。可选地，上述训练过程所用的损失函数可参见下式：
其中，为对抗图像，t为所述对抗数据，为交叉熵损失函数，α为自然数， 为将对抗图像输入至第二神经网络(即被攻击的神经网络)得到的类别。重构损失函数 用以测量对抗图像与待处理图像之间的差异，可选地，将p取为2，即为对抗图像与待处理图像之间的欧式距离。通过给重构损失函数设定一个约束∈，使对抗图像与待处理图像之间的欧氏距离较小，即通过选取合适的权重α，可提高第一神经网络的训练速度。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图8，图8为本申请实施例提供的一种图像处理装置的结构示意图，该装置1包括：第一处理单元11、融合处理单元12、第二处理单元13及训练单元14，其中：
第一处理单元11，用于对待处理图像进行特征提取处理，得到第一特征图像；
融合处理单元12，用于对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；
第二处理单元13，用于对所述第二特征图像进行解码处理，得到对抗图像，其中，所述对抗图像的类别与所述对抗数据的类别相同；
训练单元14，用于基于损失函数进行反向传播训练多目标对抗生成网络。
在一种可能实现的方式中，所述融合处理单元12包括：预处理子单元121，用于对所述对抗数据进行预处理，得到第三特征图像；第一融合处理子单元122，用于对所述第三特征图像与所述第一特征图像进行融合处理，得到第四特征图像；第一处理子单元123，用于对所述第四特征图像进行卷积处理，得到所述第二特征图像。
在另一种可能实现的方式中，所述预处理子单元121还用于：对所述对抗数据进行编码处理，得到编码处理后的对抗数据；以及对所述编码处理后的对抗数据填充预设值，使填充后得到的第三特征图像的尺寸与所述第一特征图像的尺寸相同。
在又一种可能实现的方式中，所述预处理子单元121还用于：对所述对抗数据进行独热编码处理，得到所述编码处理后的对抗数据。
在又一种可能实现的方式中，所述第一融合处理子单元122还用于：将所述第三特征图像与所述第一特征图像在通道维度上进行拼接处理，得到所述第四特征图像。
在又一种可能实现的方式中，所述融合处理单元12还包括：特征提取子单元124，用于对所述对抗数据进行特征提取处理，得到所述第一特征图像的权重矩阵；第二处理子单元125，用于将所述第一特征图像与所述权重矩阵在通道维度上进行点乘，得到所述第二特征图像。
在又一种可能实现的方式中，所述特征提取子单元124还用于：对所述对抗数据进行线性变换，得到线性变换后的对抗数据；以及对所述线性变换后的对抗数据进行非线性变换，得到所述第一特征图像的权重矩阵。
在又一种可能实现的方式中，所述特征提取子单元124还用于：获取所述对抗数据的权重；以及根据所述权重对所述对抗数据进行加权求和，得到所述线性变换后的对抗数据。
在又一种可能实现的方式中，所述特征提取子单元124还用于：将所述线性变换后的对抗数据代入激活函数，得到所述第一特征图像的权重矩阵。
在又一种可能实现的方式中，所述第一处理单元11包括：第三处理子单元111，用于对所述待处理图像进行卷积处理，得到所述第一特征图像。
在又一种可能实现的方式中，所述第二处理单元13包括：第四处理子单元131，用于对所述第二特征图像进行卷积处理，得到第五特征图像；第二融合子单元132，用于将所述第二特征图像与所述第五特征图像融合处理，得到第六特征图像；第五处理子单元133，用于对所述第六特征图像进行反卷积处理，得到所述对抗图像。
在又一种可能实现的方式中，所述装置1还包括：所述多目标对抗生成网络，用于对所述待处理图像进行特征提取处理，得到所述第一特征图像；以及对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；以及对所述第二特征图像进行解码处理，得到所述对抗图像。
在又一种可能实现的方式中，所述损失函数为：
其中，为所述对抗图像，t为所述对抗数据，为交叉熵损失函数，为将所述对抗图像输入至被攻击的神经网络得到的类别，α为自然数，
在一些实施例中，本公开实施例提供的装置具有的功能或包含的单元可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图9为本申请实施例提供的一种图像处理装置的硬件结构示意图。该处理装置2包括处理器21，还可以包括输入装置22、输出装置23和存储器24。该输入装置22、输出装置23、存储器24和处理器21之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图9仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对待处理图像进行特征提取处理，得到第一特征图像；
对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；
对所述第二特征图像进行解码处理，得到对抗图像，其中，所述对抗图像的类别与所述对抗数据的类别相同。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像，包括：
对所述对抗数据进行预处理，得到第三特征图像；
对所述第三特征图像与所述第一特征图像进行融合处理，得到第四特征图像；
对所述第四特征图像进行卷积处理，得到所述第二特征图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述对抗数据进行预处理，得到第三特征图像，包括：
对所述对抗数据进行编码处理，得到编码处理后的对抗数据；
对所述编码处理后的对抗数据填充预设值，使填充后得到的第三特征图像的尺寸与所述第一特征图像的尺寸相同。
4.根据权利要求3所述的方法，其特征在于，所述对所述对抗数据进行编码处理，得到编码处理后的对抗数据，包括：
对所述对抗数据进行独热编码处理，得到所述编码处理后的对抗数据。
5.根据权利要求2所述的方法，其特征在于，所述对所述第三特征图像与所述第一特征图像进行融合处理，得到第四特征图像，包括：
将所述第三特征图像与所述第一特征图像在通道维度上进行拼接处理，得到所述第四特征图像。
6.根据权利要求1所述的方法，其特征在于，所述将所述第一特征图像与对抗数据进行融合处理，得到第二特征图像，还包括：
对所述对抗数据进行特征提取处理，得到所述第一特征图像的权重矩阵；
将所述第一特征图像与所述权重矩阵在通道维度上进行点乘，得到所述第二特征图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述对抗数据进行特征提取处理，得到所述第一特征图像的权重矩阵，包括：
对所述对抗数据进行线性变换，得到线性变换后的对抗数据；
对所述线性变换后的对抗数据进行非线性变换，得到所述第一特征图像的权重矩阵。
8.一种图像处理装置，其特征在于，包括：
第一处理单元，用于对待处理图像进行特征提取处理，得到第一特征图像；
融合处理单元，用于对所述第一特征图像与对抗数据进行融合处理，得到第二特征图像；
第二处理单元，用于对所述第二特征图像进行解码处理，得到对抗图像，其中，所述对抗图像的类别与所述对抗数据的类别相同。
9.一种图像处理装置，其特征在于，包括：处理器和存储器，所述处理器和所述存储耦合器；其中，所述存储器存储有程序指令，所述程序指令被所述处理器执行时，使所述处理器执行如权利要求1至7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被批处理装置的处理器执行时，使所述处理器执行如权利要求1至7任意一项所述的方法。
CN201910099484.2A 2019-01-31 2019-01-31 图像处理方法及装置 Pending CN109902723A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910099484.2A CN109902723A (zh) 2019-01-31 2019-01-31 图像处理方法及装置
PCT/CN2019/102609 WO2020155614A1 (zh) 2019-01-31 2019-08-26 图像处理方法及装置
TW108146511A TW202032423A (zh) 2019-01-31 2019-12-18 圖像處理方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910099484.2A CN109902723A (zh) 2019-01-31 2019-01-31 图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN109902723A true CN109902723A (zh) 2019-06-18

Family

ID=66944495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910099484.2A Pending CN109902723A (zh) 2019-01-31 2019-01-31 图像处理方法及装置

Country Status (3)

Country Link
CN (1) CN109902723A (zh)
TW (1) TW202032423A (zh)
WO (1) WO2020155614A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378854A (zh) * 2019-07-17 2019-10-25 上海商汤智能科技有限公司 机器人图像增强方法及装置
CN111079761A (zh) * 2019-11-05 2020-04-28 北京航空航天大学青岛研究院 图像处理方法、装置及计算机存储介质
WO2020155614A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 图像处理方法及装置
CN111709879A (zh) * 2020-06-17 2020-09-25 Oppo广东移动通信有限公司 图像处理方法、图像处理装置及终端设备
CN112434744A (zh) * 2020-11-27 2021-03-02 北京奇艺世纪科技有限公司 一种多模态特征融合模型的训练方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275057B (zh) * 2020-02-13 2023-06-20 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
US12019747B2 (en) * 2020-10-13 2024-06-25 International Business Machines Corporation Adversarial interpolation backdoor detection
CN112669240B (zh) * 2021-01-22 2024-05-10 深圳市格灵人工智能与机器人研究院有限公司 高清图像修复方法、装置、电子设备和存储介质
TWI769724B (zh) * 2021-03-04 2022-07-01 鴻海精密工業股份有限公司 圖像特徵提取方法、裝置、電子設備及存儲介質
CN113657521B (zh) * 2021-08-23 2023-09-19 天津大学 一种分离图像中两种互斥成分的方法
CN113792723B (zh) * 2021-09-08 2024-01-16 浙江力石科技股份有限公司 一种石刻文字识别的优化方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140248A1 (en) * 2015-11-13 2017-05-18 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
CN107292352A (zh) * 2017-08-07 2017-10-24 北京中星微电子有限公司 基于卷积神经网络的图像分类方法和装置
CN107563493A (zh) * 2017-07-17 2018-01-09 华南理工大学 一种多生成器卷积合成图像的对抗网络算法
CN107862377A (zh) * 2017-11-14 2018-03-30 华南理工大学 一种基于文本‑图像生成对抗网络模型的分组卷积方法
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
CN108665506A (zh) * 2018-05-10 2018-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及服务器
CN108765512A (zh) * 2018-05-30 2018-11-06 清华大学深圳研究生院 一种基于多层级特征的对抗图像生成方法
CN109191409A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 图像处理、网络训练方法、装置、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940539B2 (en) * 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN108305238B (zh) * 2018-01-26 2022-03-29 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140248A1 (en) * 2015-11-13 2017-05-18 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN107563493A (zh) * 2017-07-17 2018-01-09 华南理工大学 一种多生成器卷积合成图像的对抗网络算法
CN107292352A (zh) * 2017-08-07 2017-10-24 北京中星微电子有限公司 基于卷积神经网络的图像分类方法和装置
CN107862377A (zh) * 2017-11-14 2018-03-30 华南理工大学 一种基于文本‑图像生成对抗网络模型的分组卷积方法
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
CN108665506A (zh) * 2018-05-10 2018-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及服务器
CN108765512A (zh) * 2018-05-30 2018-11-06 清华大学深圳研究生院 一种基于多层级特征的对抗图像生成方法
CN109191409A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 图像处理、网络训练方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAN J.GOODFELLOW 等: "Explaining and Harnessing Adversarial Examples", 《ARXIV:1412.6572》 *
SHUMEET BALUJA 等: "Adversarial Transformation Networks: Learning to Generate Adversarial Examples", 《ARXIV.ORG》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155614A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 图像处理方法及装置
CN110378854A (zh) * 2019-07-17 2019-10-25 上海商汤智能科技有限公司 机器人图像增强方法及装置
CN110378854B (zh) * 2019-07-17 2021-10-26 上海商汤智能科技有限公司 机器人图像增强方法及装置
CN111079761A (zh) * 2019-11-05 2020-04-28 北京航空航天大学青岛研究院 图像处理方法、装置及计算机存储介质
CN111079761B (zh) * 2019-11-05 2023-07-18 北京航空航天大学青岛研究院 图像处理方法、装置及计算机存储介质
CN111709879A (zh) * 2020-06-17 2020-09-25 Oppo广东移动通信有限公司 图像处理方法、图像处理装置及终端设备
CN111709879B (zh) * 2020-06-17 2023-05-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置及终端设备
CN112434744A (zh) * 2020-11-27 2021-03-02 北京奇艺世纪科技有限公司 一种多模态特征融合模型的训练方法及装置
CN112434744B (zh) * 2020-11-27 2023-05-26 北京奇艺世纪科技有限公司 一种多模态特征融合模型的训练方法及装置

Also Published As

Publication number Publication date
TW202032423A (zh) 2020-09-01
WO2020155614A1 (zh) 2020-08-06

Similar Documents

Publication Publication Date Title
CN109902723A (zh) 图像处理方法及装置
CN113569791B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
Baldassarre et al. Deep koalarization: Image colorization using cnns and inception-resnet-v2
CN109711422B (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN112001914A (zh) 深度图像补全的方法和装置
Jiang et al. Blind image quality measurement by exploiting high-order statistics with deep dictionary encoding network
CN108734653B (zh) 图像风格转换方法及装置
CN113792741B (zh) 文字识别方法、装置、设备及存储介质
CN110009018B (zh) 一种图像生成方法、装置以及相关设备
CN113792526B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备和介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN114078201B (zh) 多目标类别对抗样本生成方法及相关设备
Oyama et al. Influence of image classification accuracy on saliency map estimation
US20240013564A1 (en) System, devices and/or processes for training encoder and/or decoder parameters for object detection and/or classification
CN117499711A (zh) 视频生成模型的训练方法、装置、设备及存储介质
Xia et al. Combination of multi‐scale and residual learning in deep CNN for image denoising
CN117894038A (zh) 一种图像中对象姿态生成方法和装置
CN113159053A (zh) 图像识别方法、装置及计算设备
CN112633079A (zh) 一种手写英文单词识别方法及系统
CN112001865A (zh) 一种人脸识别方法、装置和设备
CN115829962A (zh) 医学图像分割装置、训练方法及医学图像分割方法
Ni et al. MHST: Multiscale Head Selection Transformer for Hyperspectral and LiDAR Classification
CN113792849A (zh) 字符生成模型的训练方法、字符生成方法、装置和设备
CN113989152A (zh) 图像增强方法、装置、设备以及存储介质
CN113971830A (zh) 一种人脸识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40005438

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190618