CN115170440A - 图像处理方法、相关装置及存储介质 - Google Patents
图像处理方法、相关装置及存储介质 Download PDFInfo
- Publication number
- CN115170440A CN115170440A CN202211040800.7A CN202211040800A CN115170440A CN 115170440 A CN115170440 A CN 115170440A CN 202211040800 A CN202211040800 A CN 202211040800A CN 115170440 A CN115170440 A CN 115170440A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- target
- pixel
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 108
- 238000013507 mapping Methods 0.000 claims abstract description 107
- 238000012937 correction Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000009466 transformation Effects 0.000 claims description 177
- 238000012545 processing Methods 0.000 claims description 121
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 45
- 239000003086 colorant Substances 0.000 description 36
- 230000008569 process Effects 0.000 description 26
- 238000010801 machine learning Methods 0.000 description 23
- 238000012360 testing method Methods 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 18
- 238000003066 decision tree Methods 0.000 description 17
- 230000003042 antagnostic effect Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000002441 reversible effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000007639 printing Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007641 inkjet printing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例涉及计算机视觉领域，提供一种图像处理方法、相关装置及存储介质，该方法包括：获取第一图像和第二图像，其中，所述第一图像和所述第二图像均为数字图像，所述第二图像由第一设备基于第三图像采集得到，所述第三图像由第二设备基于所述第一图像输出，所述第一图像中包括至少一个颜色区域，所述一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同；所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块，其中，所述目标色块与所述颜色区域一一对应；获取所述目标色块的校正像素；将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集。本申请实施例训练数据的搜集成本低。
Description
技术领域
本申请实施例涉及计算机视觉领域，更具体地涉及一种图像处理方法、相关装置及存储介质。
背景技术
目前为了对机器学习模型进行安全性测试，往往需要生成对抗图像。在一些场景下，需要将对抗图像实体化，然后置于测试环境中，由图像采集设备采集之后输入待测试的机器学习模型。上述过程中，由于数字化的对抗图像经历了不同物理设备的实体化、数字化采集等处理，如果中间发生了颜色变化，可能导致输入机器学习模型的图像与生成的对抗图像呈现的效果并不一致，影响对机器学习模型的测试结果。为减少对抗图像甲经过物理设备输出后、再次采集呈现出的对抗图像乙的颜色变化影响，提高对机器学习模型测试结果的稳定性，需要对对抗图像乙进行颜色变换预测，使得对抗图像乙的图像显示效果与目标一致。
现有的颜色变换预测方法主要有两大类，第一类是基于搜索的方法，第二类是基于拟合的方法。
基于搜索的方法通过枚举相关设备(例如打印机)可以输出的所有颜色种类，然后用k-近邻的方法来对图像的每一个像素寻找离它最近的k种颜色，利用这k种颜色以及预设的核函数来预测该像素点在经过设备输出后的颜色。基于搜索的方法的时间复杂度正比于预设色表中颜色数目，当选用的颜色较多时，精度高但运行缓慢；而当选用的颜色较少时，运行较快但精度低。基于搜索的方法，缺点在于无法在精度和运算速度之间取得平衡。
基于拟合的方法利用机器学习方法在训练数据上拟合训练一个颜色变换预测模型，然后用训练好的颜色变换预测模型来预测新图片的结果。基于的拟合方法可以分为基于深度学习的方法和基于设备机理的方法两大类。
基于深度学习的拟合方法往往需要大量的训练图像，虽然现有技术可以采用基于图片块的训练方法来提高深度学习模型利用图片的效率，但所需的训练图像的数据量仍然较大，尤其是利用有监督学习训练的方法更是需要配对的训练数据，搜集大量的训练数据意味着相应的成本会很高，而且往往难以得到配对数据，即在像素精度上一一配对的变换前图像和变换后图像。
基于设备机理的拟合方法虽然不需要大量的训练图像，但目前并没有针对打印机、投影仪等设备的内部机理建模方法。
发明内容
本申请实施例提供一种图像处理方法、相关装置及存储介质,可以降低用于训练颜色变换预测模型的训练数据的搜集成本，提高颜色变换预测效率，减少不同物理设备的输入输出处理对对抗图像的颜色改变，降低对对抗图像测试稳定性的影响。
第一方面，本申请实施例提供一种图像处理方法，该方法包括：
获取第一图像和第二图像，其中，所述第一图像和所述第二图像均为数字图像，所述第二图像由第一设备基于第三图像采集得到，所述第三图像由第二设备基于所述第一图像输出，所述第一图像中包括至少一个颜色区域，所述一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同；
基于所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块，其中，所述目标色块与所述颜色区域一一对应；
获取所述目标色块的校正像素，其中，所述校正像素基于所述目标色块的各个像素在预设颜色空间各个通道的数值估计得到；
将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集，其中，所述颜色区域和所述校正像素一一对应，所述目标数据集包括颜色区域和校正像素的映射关系，所述目标数据集用于训练颜色变换预测模型。
在一个可能的设计中，所述目标色块基于所述第一图像中关联的颜色区域从所述第二图像中采样得到。
在一个可能的设计中，所述校正像素在预设颜色空间各个通道的数值，基于所述目标色块的各个像素在预设颜色空间各个通道的数值的中位数确定。
第二方面，本申请实施例提供一种图像处理方法，该方法包括：
获取第四图像；
基于所述第四图像中的各个像素、以及目标数据集中的映射关系，获取第五图像，其中，所述第五图像中各个像素与所述第四图像中的各个像素一一对应、且所述第五图像中的各个像素由所述第四图像中的各个像素、根据所述映射关系独立变换得到；
其中，所述映射关系包括颜色区域和校正像素的映射关系，所述目标数据集根据第一方面所述的方法获取，所述目标数据集用于训练颜色变换预测模型。
在一个可能的设计中，所述第五图像由预设的颜色变换预测模型基于所述第四图像输入得到；
其中，所述预设的颜色变换预测模型基于所述目标数据集训练得到，所述机器学习模型基于所述第四图像中的各个像素，获取所述第五图像。
在一个可能的设计中，所述预设的颜色变换预测模型为深度卷积神经网络模型，所述深度卷积神经网络模型包括至少一个卷积层、且所述卷积层采用特定的卷积核，以拟合所述第一图像中的各个颜色区域中单个像素与各个所述校正像素之间的独立映射关系。
在一个可能的设计中，所述预设的颜色变换预测模型为梯度提升决策树模型，其中，所述梯度提升决策树模型中的梯度提升决策树数量与所述目标数据集中预设颜色空间的预设颜色通道的数量一致，各个所述梯度提升决策树均单独拟合所述第一图像中的各个颜色区域中单个像素在一个预设颜色通道与各个所述校正像素在所述预设颜色通道之间的独立映射关系。
在一个可能的设计中，所述第四图像为预设装置生成的候选对抗图像；
所述第五图像基于所述第四图像、所述目标数据集中的正向映射关系得到，用于输入目标模型，得到识别结果；其中，所述识别结果用于反馈至所述预设装置，以确定所述候选对抗图像是否满足预设条件。
在一个可能的设计中，所述第四图像为预设装置生成的目标对抗图像；
所述第五图像基于所述第四图像、所述目标数据集中的逆向映射关系得到，用于输入目标模型，测试所述目标模型的安全性。
第三方面，本申请实施例提供一种图像处理方法，该方法包括：
获取第一候选对抗图像，其中，所述第一候选对抗图像基于历史候选对抗图像更新得到，所述历史候选对抗图像包括原始图像；
基于目标数据集中的正向映射关系，对所述第一候选对抗图像进行颜色变换处理，得到第二候选对抗图像，其中，所述目标数据集根据第一方面所述的方法获取，所述正向映射关系包括颜色区域和校正像素的正向映射关系，所述目标数据集用于训练颜色变换预测模型；
获取所述第二候选对抗图像与目标图像的识别相似度；
若所述识别相似度不符合预设条件，则更新所述第一候选对抗图像、所述第二候选对抗图像，直至第二候选对抗图像与所述目标图像的识别相似度符合预设条件，并将识别相似度符合预设条件时的第一候选对抗图像作为目标对抗图像。
在一个可能的设计中，对抗攻击包括有目标攻击和无目标攻击；
在对抗攻击为有目标攻击时，所述预设条件包括所述识别相似度大于第一预设数值；
在对抗攻击为无目标攻击时，所述目标图像包括原始图像，所述预设条件包括所述识别相似度小于第二预设数值。
第四方面，本申请实施例提供一种图像处理方法，该方法包括：
获取第三候选对抗图像，其中，所述第三候选对抗图像基于历史候选对抗图像更新得到，所述历史候选对抗图像包括原始图像；
获取所述第三候选对抗图像与目标图像的识别相似度；
若所述识别相似度不符合预设条件，则更新所述第三候选对抗图像，直至第三候选对抗图像与所述目标图像的识别相似度符合预设条件，并将识别相似度符合预设条件时的第三候选对抗图像作为目标对抗图像；
基于目标数据集中的逆向映射关系，对所述目标对抗图像进行颜色变换处理，得到源数字对抗图像，其中，所述目标数据集根据第一方面所述的方法获取，所述逆向映射关系包括颜色区域和校正像素的逆向映射关系，所述目标数据集用于训练颜色变换预测模型；
其中，所述源数字对抗图像用于经过物理设备输出、输入处理后，变换为所述目标对抗图像。
在一个可能的设计中，对抗攻击包括有目标攻击和无目标攻击；
在对抗攻击为有目标攻击时，所述预设条件包括所述识别相似度大于第一预设数值；
在对抗攻击为无目标攻击时，所述目标图像包括原始图像，所述预设条件包括所述识别相似度小于第二预设数值。
第五方面，本申请实施例提供一种图像处理装置，具有实现对应于上述第一方面提供的图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
在一个实施方式中，所述图像处理装置包括：
输入输出模块，被配置为获取第一图像和第二图像，其中，所述第一图像和所述第二图像均为数字图像，所述第二图像由第一设备基于第三图像采集得到，所述第三图像由第二设备基于所述第一图像输出，所述第一图像中包括至少一个颜色区域，所述一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同；
处理模块，被配置为基于所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块，其中，所述目标色块与所述颜色区域一一对应；
所述处理模块，还被配置为获取所述目标色块的校正像素，其中，所述校正像素基于所述目标色块的各个像素在预设颜色空间各个通道的数值估计得到；以及
将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集，其中，所述颜色区域和所述校正像素一一对应，所述目标数据集包括所述颜色区域和所述校正像素的映射关系，用于训练颜色变换预测模型。
第六方面，本申请实施例提供一种图像处理装置，具有实现对应于上述第二方面提供的图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
在一个实施方式中，所述图像处理装置包括：
输入输出单元，被配置为获取第四图像；
处理单元，被配置为基于所述第四图像中的各个像素、以及目标数据集中的映射关系，获取第五图像，其中，所述第五图像中各个像素与所述第四图像中的各个像素一一对应、且所述第五图像中的各个像素由所述第四图像中的各个像素、根据所述映射关系独立变换得到；
其中，所述目标数据集根据第三方面所述的装置处理得到。
第七方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面至第四方面中任一项所述的图像处理方法。
第八方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面至第四方面中任一项所述的图像处理方法。
相较于现有技术，本申请实施例中，由于建立了数字图像(第一图像和第二图像)经过物理设备输出、输入处理操作前后的(目标数据集)颜色变换之间的映射关系，且在建立该映射关系时，不是采用现有技术中简单的将一个颜色区域变换后的各个像素平均，而是鲁棒地估计其中的颜色，作为原始颜色变换后的颜色，因此，与现有技术中简单的平均相比，本申请实施例中基于该映射关系预测颜色变换时的鲁棒性更强，对颜色变换的估计结果更加贴合物理设备对颜色输出输入处理后的真实变换情况，降低了噪声，对后续训练出的颜色变换预测模型的精度提升更加有帮助。另外，本申请在建立数字图像经过物理设备输出、输入处理操作前后的颜色变换映射关系时，将图像中的各个像素均独立的考虑，即一个颜色变换后的像素仅仅建立了其与颜色变换前对应的一个像素的映射关系，而不是图像中的全部像素，降低了数据计算量以及计算过程中的噪声干扰，提高了预测效率和预测精度。另外，本申请还额外提供了一种适用于对抗图像生成的图像处理方法，切实考虑了生成的数字对抗图像，在对目标模型进行攻击测试时，需要经过物理设备输出、输入的处理过程，可能产生颜色变换的影响；在迭代更新数字对抗图像时，以颜色变换后的对抗图像输入目标模型的识别结果为参照，使得直接生成的数字对抗图像在经过物理设备输出、输入的处理过程，最终给目标模型呈现的显示效果与预期一致，提高生成的对抗图像的攻击测试目标模型的稳定性。
附图说明
通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：
图1为本申请实施例中图像处理方法的一种图像处理系统示意图；
图2为本申请实施例中图像处理方法的又一种图像处理系统示意图；
图3为本申请实施例中图像处理方法的再一种图像处理系统示意图
图4为本申请实施例的一种图像处理方法的流程示意图；
图5为本申请实施例的自制色卡的变换和采样处理流程示意图；
图6为本申请实施例的又一种图像处理方法的流程示意图；
图7为本申请实施例的采用颜色变换预测后图像与实际变换后图像之间的差别示意图；
图8为本申请实施例的一种用于生成对抗图像的图像处理方法的流程示意图；
图9为本申请实施例的利用颜色变换预测模型来生成物理世界对抗图像的效果对比图；
图10为本申请实施例的再一种用于生成对抗图像的图像处理方法的流程示意图；
图11为本申请实施例的一种图像处理装置的结构示意图；
图12为本申请实施例的又一种图像处理装置的结构示意图；
图13为本申请实施例的计算设备的一种结构示意图；
图14为本申请实施例中手机的一种结构示意图；
图15为本申请实施例中服务器的一种结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象(例如第一图像和第二图像分别表示为不同的图像，其他类似)，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合，通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例提供一种图像处理方法、相关装置及存储介质，可应用于图像处理系统，基于该图像处理系统实施该图像处理方法时可得到训练颜色变换预测模型的训练数据，或者用于对图像的颜色变换进行预测，或者用于生成对抗图像。下面分别介绍：
当该图像处理方法用于得到训练颜色变换预测模型的训练数据时，该图像处理系统可包括第一图像处理装置、第一设备和第二设备。该第一设备用于基于第三图像进行采集，得到第二图像，该第二设备用于基于所述第一图像进行输出处理，到得到第三图像。该第一图像处理装置至少用于获取所述第一图像和所述第二图像、基于所述第一图像和所述第二图像生成目标数据集。其中，第一图像处理装置可为获取所述第一图像和所述第二图像、基于所述第一图像和所述第二图像生成目标数据集的应用程序，或为安装了获取所述第一图像和所述第二图像、基于所述第一图像和所述第二图像生成目标数据集的应用程序的服务器；第二设备可为打印机或投影仪等图像输出设备；第一设备可为摄像头、扫描仪或集成了图像采集模块的终端设备。
当该图像处理方法用于对数字图像经过物理设备的输出、输入处理后的颜色变换进行预测时，该图像处理系统可包括第二图像处理装置。该第二图像处理装置至少用于获取第四图像、基于所述第四图像进行颜色变换预测，得到第五图像。其中，第二图像处理装置可为获取第四图像、基于所述第四图像进行颜色变换预测，得到第五图像的应用程序，或为安装了获取第四图像、基于所述第四图像进行颜色变换预测，得到第五图像的应用程序的服务器。
当该图像处理方法用于生成对抗图像的图时，该图像处理系统可包括第三图像处理装置和识别装置。第三图像处理装置和识别装置可以集成部署，也可分离式部署。该图像处理装置至少用于基于识别装置反馈的识别结果更新候选对抗图像、生成目标对抗图像。该识别装置用于对经过颜色变换处理后的候选对抗图像进行识别，得到识别结果。识别装置得到的至少一个识别结果(如识别概率分布)可用于图像处理装置去迭代更新所述候选对抗图像，例如更新对抗图像或对抗扰动的像素值。其中，图像处理装置可为更新候选对抗图像、生成目标对抗图像的应用程序，或为安装了更新候选对抗图像、生成目标对抗图像的应用程序的服务器；识别装置可为对经过颜色变换处理后的候选对抗图像进行识别，得到识别结果的识别程序，所述识别程序例如是图像识别模型，所述识别装置还可为部署了图像识别模型的终端设备。
本申请实施例提供的方案涉及人工智能(Artificial Intelligence，AI)、计算机视觉技术(Computer Vision，CV)、机器学习(Machine Learning，ML)等技术，具体通过如下实施例进行说明:
其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括对抗扰动生成、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
现有技术中，往往只是对图像采集过程造成的色彩误差进行颜色修正，例如中国专利申请CN 111062876 A只是为了修正拍摄图像与真实物体之间的色彩差异，而没有考虑到数字图像经过输出、输入处理之后，也会产生误差，影响数字图像本身期望表达的显示效果。另外，中国专利申请CN 111062876 A在修正数字图像与真实物体之间的色彩差异时，是基于事先建立的常规神经网络模型，然而神经网络模型中的全连接层会将图像中的各个像素统一看待，即会破坏图像原始的空间结构，相当于在修正图像重当个像素的色彩时，考虑了整个图像的全部像素，在处理过程中混入了过多噪声，浪费资源且效率不高。
与现有技术相比，本申请实施例中，由于建立了数字图像(第一图像和第二图像)经过物理设备输出、输入处理操作前后的(目标数据集)颜色变换之间的映射关系，且在建立该映射关系时，不是采用现有技术中简单的将一个颜色区域变换后的各个像素平均，而是鲁棒地估计其中的颜色，作为原始颜色变换后的颜色，因此与现有技术中简单的平均相比，本申请实施例中基于该映射关系预测颜色变换时的鲁棒性更强，对颜色变换的估计结果更加贴合物理设备对颜色输出输入处理后的真实变换情况，降低了噪声，对后续训练出的颜色变换预测模型的精度提升更加有帮助。另外，本申请在建立数字图像经过物理设备输出、输入处理操作前后的颜色变换映射关系时，将图像中的各个像素均独立的考虑，即一个颜色变换后的像素仅仅建立了其与颜色变换前对应的一个像素的映射关系，而不是图像中的全部像素，降低了数据计算量以及计算过程中的噪声干扰，提高了预测效率和预测精度。另外，本申请还额外提供了一种适用于对抗图像生成的图像处理方法，切实考虑了生成的数字对抗图像，在对目标模型进行攻击测试时，需要经过物理设备输出、输入的处理过程，可能产生颜色变换的影响；在迭代更新数字对抗图像时，以颜色变换后的对抗图像输入目标模型的识别结果为参照，使得直接生成的数字对抗图像在经过物理设备输出、输入的处理过程，最终给目标模型呈现的显示效果与预期一致，提高生成的对抗图像的攻击测试目标模型的稳定性。
本申请实施例提供的图像处理方法可基于图1-图3所示的图像处理系统实现。
一些实施方式中，参照图1，可以基于图1所示的图像处理系统对图像进行处理，得到用于训练颜色变化模型的目标数据集。该图像处理系统可以包括服务器01、第一设备02和第二设备03。
该服务器01可以是图像处理装置，其中可以部署图像处理程序。该第一设备02可以是摄像机。该第二设备03可以是打印机。服务器01可以自己生成数字化的第一图像或从外部接收数字化的第一图像，在得到第一图像之后，可以将所述第一图像发送至第二设备03。第二设备03可以将第一图像打印输出，得到实体化的第三图像。第一设备02可以拍摄第三图像，得到数字化的第二图像，然后将第二图像发送至服务器01。服务器01可以对第一图像和第二图像进行处理，生成原始颜色与重构变换后的颜色的映射关系，得到目标数据集。
一些实施方式中，可以参照图2，可以基于图2所示的图像处理系统对数字图像进行处理，预测数字图像经过物理设备的输出、输入处理后的颜色变换。该图像处理系统可以包括服务器04。服务器04可以自己生成数字化的第四图像或从外部接收数字化的第四图像，在得到第四图像之后，可以将所述第四图像、按照目标数据集中的映射关系进行颜色变换，得到第五图像。在一些实施例中，可以事先基于目标数据集中的映射关系训练颜色变换预测模型，然后将第四图像输入所述颜色变换预测模型，得到第五图像。
一些实施方式中，参照图3，可以基于图3所示的图像处理系统对原始图像进行处理，得到经过物理设备的输出、输入处理后，依然保持攻击测试性能的对抗图像。该图像处理系统可以包括服务器05和终端设备06。
该服务器05可以是图像处理装置，其中可以部署图像处理程序，例如对抗图像生成程序。
该终端设备06可以是识别装置，其中可以部署有识别模型，例如基于机器学习的方法训练得到的图像识别模型。其中图像识别模型可以为人脸识别模型、车辆识别模型或动物识别模型等。
服务器05可以从外部接收原始图像，然后以原始图像为基础，迭代更新出致力于实现对抗攻击目标的候选对抗图像(第四图像)，并将该候选对抗图像经过颜色变换后(第五图像)，向该终端设备06发送。终端设备06可以采用识别模型对该经过颜色变换后的候选对抗图像(第五图像)进行处理，得到识别结果，例如可以是识别概率分布，然后向服务器05反馈识别结果。服务器05可以基于所述识别结果确定该候选对抗图像与目标图像的识别相似度，确定该候选对抗图像是否能够实现攻击目标，若能够实现攻击目标，则将其确定为目标对抗图像。
或者，在一些实施例中服务器05可以从外部接收原始图像，然后以原始图像为基础，迭代更新出致力于实现对抗攻击目标的候选对抗图像，并将该候选对抗图像向该终端设备06发送。终端设备06可以采用识别模型对该候选对抗图像进行处理，得到识别结果，例如可以是识别概率分布，然后向服务器01反馈识别结果。服务器05可以基于所述识别结果确定该候选对抗图像与目标图像的识别相似度，确定该候选对抗图像是否能够实现攻击目标，若能够实现攻击目标，则将其确定为目标对抗图像。然后服务器05基于目标数据集中的逆映射关系，可以对所述目标对抗图像进行颜色变换处理，得到为了使得呈现给识别模型所述目标对抗图像的情况下，应该向物理设备输出怎样的数字化目标对抗图像。
需要说明的是，本申请实施例涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。
参照图4，图4为本申请实施例提供的一种图像处理方法的流程示意图。该方法可由图11所示的图像处理装置执行，应用于颜色重构变换建模场景，对获取到的第一图像和第二图像进行处理，得到用于训练颜色变换预测模型的目标数据集。所述图像处理方法包括：
步骤S110，获取第一图像和第二图像。
在本申请实施例中，所述第二图像由所述第一图像重构变换得到，所述重构变换指的是：一个数字图像(第一图像)由一个物理设备输出后、再用另一个物理设备采集得到的另一个数字图像(第二图像)。所述第二图像与所述第一图像相比，颜色产生了变化。
参照图1，所述第二图像可以由第一设备基于第三图像采集得到，所述第一设备可以是任意图像采集设备，例如摄像机、照相机、扫描仪或集成图像采集模块的终端设备。所述第三图像可以由第二设备基于所述第一图像输出，所述第一图像可以为最原始的图像，所述第二设备可以是打印机、投影仪、显示器或电视等输出设备。
由此，本申请实施例中的重构变换包括各种方式，可以是以下示例中的一种：
1、数字图像甲，与它经过打印再扫描后的数字图像乙；
2、数字图像甲，与它经过打印再拍摄后的数字图像乙；
3、数字图像甲，与它经过电视屏幕播放再拍摄后的数字图像乙；
4、数字图像甲，与它通过投影仪投射到幕布上再拍摄后的数字图像乙。
在本申请实施例中，获取所述第一图像和所述第二图像的目的是为了建立图像经过特定物理设备重构变换之后的颜色变换关系，以便对数字图像重构变换后呈现的效果图像进行预测。为了更加高效的建模上述颜色变换关系，在本申请实施例中，可以设置第一图像包括多个颜色区域，且每个颜色区域均为纯色；第一图像中多个不同颜色的区域的大小可以相同，也可以不同。例如，一个颜色区域A的颜色为蓝色，那么这个颜色区域A中的各个像素均相同、为蓝色。考虑到，在计算机视觉领域，可以通过像素在某个颜色空间的各个颜色通道的数值，对所述像素的颜色进行定量描述，由此，可以设置所述第一图像中任一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同。
考虑到，需要进行颜色变换预测的原始图像中可能包括的颜色不多，由此，可以基于预测需求，生成第一图像，即所述第一图像包括所述原始图像中的所有颜色，且每个颜色设置一个颜色区域，每个颜色区域包括相同数量的像素。
考虑到，实际应用场景中常用的颜色数量有限，且现有技术中常常使用色卡(也可称之为色表)作为颜色统一标准的工具。为了建立较为统一的、可复用的目标数据集和颜色变换预测模型，在一个可能的设计中，可以将标准色卡(例如Macbeth色卡)设置为第一图像，基于期望建模的重构变换(第一设备和第二设备)对所述标准色卡进行处理，得到第二图像，第二图像的一个示例可参照图。
可以理解的是，在一些场景中，用户期望建模的颜色变化可能相比于色表的颜色更加粗犷或细腻，即颜色粒度不同。由此，为了更加适用用户的需求，在一个可能的设计中，可以由用户根据实际需要自行制作第一图像，所述第一图像根据预设数值间隔、遍历预设颜色空间的各个通道获取，且遍历中每次访问的颜色通道数值组合均形成一个颜色区域。
在本设计中，以用户自制第一图像(色表)为例。为便于描述，下文中变换前颜色记为变量X。
以16为间隔遍历RGB颜色空间中各个颜色通道，即均匀地采样RGB色域中的R、G和B通道的颜色，可以得到4096种颜色，即变换前颜色，记为变量X∈R3，这些颜色的RGB值分别如下：
(0,0,0),(0,0,16)...(0,0,240),(0,16,0),(0,16,16)...(0,16,240),(0,32,0)...(16,0,0)...(240,240,240)。
在多张预设尺寸(例如1320像素X880像素)的色表模板上，用变换前颜色填充色表模板上40像素X40像素的正方形色块，这些正方形色块整齐地排列在色表模板上，得到用户自制的变换前色表(第一图像)，如图5a所示；然后进行重构变换，即可得到变换后色表(第二图像)，如图5b所示。虽然本申请实施例仅提供一种变换前色表的制作方式，但变换前色表的获取并不局限于该种方式。
步骤S120，基于所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块。
在本申请实施例中，为了建模第一图像中的各个颜色重构变换前后的映射关系，需要针对每一个颜色区域，均获取一个目标色块，即所述目标色块与所述颜色区域一一对应。
在本申请实施例中，所述目标色块可以基于所述第一图像中关联的颜色区域从所述第二图像中采样得到。具体来说，由于所述第二图像是所述，第一图像重构变换得到的，若所述第一图像中包括三个颜色区域A、B和C，那么所述第二图像中应该也包括与所述颜色区域A的位置、尺寸相同的颜色区域A’、与所述颜色区域B的位置、尺寸相同的颜色区域B’以及与所述颜色区域C的位置、尺寸相同的颜色区域C’。由此，为了建立各个颜色重构变换前后的映射关系，可以从所述第二图像中的各个颜色区域分别获取目标色块，例如在每一颜色区域的中心区域提取预设大小的子区域图像(目标色块)，以便采样各个颜色区域的子区域图像在预设颜色空间中每一通道的数值。
步骤S130，获取所述目标色块的校正像素。
在本申请实施例中，所述校正像素基于所述目标色块的各个像素在预设颜色空间各个通道的数值估计得到。
在本申请实施例中，考虑到同一个颜色区域中各个像素经过同样的重构变换处理后，颜色变化可能并不一致。例如，在重构变换过程中，同一个颜色区域中不同位置的各个像素可能受到光照不均匀、纸质质量残次不齐、打印机打印效果不均匀等因素的影响，导致重构变换后的各个像素表现出的颜色存在差异。为了最大程度避免上述因素的影响，减少目标数据集中的噪声，降低对后续建模和预测的干扰。在一个可能的设计中，采用鲁棒估计法基于所述目标色块估计得到所述校正像素。具体来说，可以通过所述目标色块的各个像素在预设颜色空间各个通道的数值的中位数，确定所述校正像素在预设颜色空间各个通道的数值。与现有技术中简单的平均相比，本申请实施例中基于该映射关系预测颜色变换时的鲁棒性更强，对颜色变换的估计结果更加贴合物理设备对颜色输出输入处理后的真实变换情况，降低了噪声，对后续训练出的颜色变换预测模型的精度提升更加有帮助。
例如，对目标色块进行像素采样，作为变换后颜色，记为变量Y∈R3，在本申请实施例中，可以对目标色块的中央提取一个小的正方形色块，并用这个小的正方形色块中各个像素在R、G和B通道的中位数来估计第二图像中相应位置的颜色在该通道上的值(即所述校正像素)：
式中Rest，Gest，Best分别表示R，G，B三个通道的估计值，Ri，Gi，Bi分别表示采样得到的第i个像素的R，G，B三个通道的实际值，N是采样像素的总数，median(.)表示对一维数据取中位数统计量。
本申请实施例，基于用户的自制色表进行重构变换后，采样得到的目标色块如图5c所示，采样的目的是让采样点都在目标色块内部中央，其他采样方法，例如随机采样，并不影响本本申请实施例的有效性。
在其它可能的设计中，可以采用其他的鲁棒统计方法来估计目标色块的颜色，关键在于通过增加数据量来减小噪声，即通过对同一个变换前颜色的多个变换后颜色(目标色块中的各个像素)做鲁棒估计，来减小标注噪声，提高变换后颜色的标注准确性。鲁棒估计法的关键是让估计值对噪声异常值不敏感，目的是降噪，从而避免光照不均匀、纸质质量残次不齐、打印机打印效果不均匀等因素给变换后图像带来的噪声，其他鲁棒估计方法，例如四分位数估计、或者转化到其他颜色空间再在新的颜色空间进行鲁棒估计，并不影响本申请实施例的有效性。
步骤S140，将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集。
其中，所述颜色区域和所述校正像素一一对应，所述目标数据集包括颜色区域和校正像素的映射关系，所述目标数据集用于训练颜色变换预测模型。
在本申请实施例中，由于变换前色表(第一图像)是由变换前颜色X(多个纯色区域)制作得到的，而变换后颜色Y(校正像素)是由变换后色表(第二图像)中采集估计到的，而且变换前色表和变换后色表(第一图像和第二图像中的各个像素)存在一一对应关系。由此，本申请实施例中，可以根据所述一一对应关系将变换前颜色X和变换后颜色Y实现一一匹配，得到配对(X,Y),整合成一个目标数据集。
步骤S110到S140为数据采集部分，其采集的结果是得到变换前颜色X与变换后颜色Y的配对，其中，变换前颜色X覆盖了绝大部分需要建模的变换前颜色，变换后颜色Y是通过采集得到的变换后颜色的估计值。接下来，可以根据变换前颜色X与变换后颜色Y的映射关系(即第一图像与第二图像的各个颜色的正向映射关系)进行图像颜色变换的预测和颜色变换预测模型的训练。
可以理解的是，在一个可能的设计，还可以建立变换后颜色Y与变换前颜色X的映射关系(即第一图像与第二图像的各个颜色的逆向映射关系)，以便基于一个图像预测其重构变换前的颜色。
可以理解的是，上述实施例中虽然仅以RGB颜色空间为例对图像变换、像素鲁棒估计、建立目标数据集进行了介绍。但是本领域的技术人员可以根据实际需要，获取第一图像和第二图像在其他任意颜色空间的映射关系，本申请实施例对此不做限定。另外，为了进一步增加目标数据集的数据量，提高第一图像和第二图像的利用效率，可以针对每个现有技术中的颜色空间均生成一个目标数据集，或者可以将第一图像和第二图像在第一颜色空间转换至第二颜色空间，再建立目标数据集。
本申请实施例中的用于生成目标数据集的图像处理方法，可以利用变换后图像的每个像素的颜色变化都是独立同分布的假设，来提升模型对训练数据的利用效率，同时在目标数据集制作阶段，通过对同一个变换前颜色的多个变换后颜色做鲁棒估计，来减小标注噪声，提高变换后颜色的标注准确性。
参照图6，图6为本申请实施例提供的一种图像处理方法的流程示意图。该方法可由图12所示的图像处理装置执行，应用于颜色重构变换预测场景，对获取到的第四图像进行处理，得到所述第四图像颜色变换后的第五图像。所述图像处理方法包括：
步骤S210，获取第四图像。
在本申请实施例中，所述第四图像为数字图像，可以是图像处理装置自身生成的，例如是对抗图像；也可以是其他设备发送至图像处理装置，需要图像处理装置进行颜色变换预测的。
步骤S220，基于所述第四图像中的各个像素、以及目标数据集中的映射关系，获取第五图像。
在本申请实施例中，为了提高颜色变换预测效率、且使得各个像素的颜色变换不受到整体图像的干扰，所述第五图像中各个像素与所述第四图像中的各个像素一一对应、且所述第五图像中的各个像素由所述第四图像中的各个像素、根据所述映射关系独立变换得到；具体来说，假设所述第四图像中左上角的像素为p1，那么可以仅仅根据所述像素p1的颜色(即在预设颜色空间各个颜色通道的数值)在所述目标数据集中的映射关系进行查找，知道所述像素p1进行重构变换后的颜色，然后基于所述颜色确定第五图像中左上角的像素p1。可以理解的是，所述第五图像和所述第四图像的尺寸相同，且其中的每个像素均由第四图像中相应位置的像素进行颜色变换得到。
在本申请实施例中，为了进一步降低颜色变换预测的噪声，所述目标数据集根据上述实施例所述的方法获取，所述映射关系包括颜色区域和校正像素的映射关系。
为了提高颜色变换预测的效率和可复用能力，在一个可能的设计中，所述第五图像由预设的颜色变换预测模型基于所述第四图像输入得到；其中，所述预设的颜色变换预测模型基于所述目标数据集训练得到，所述机器学习模型基于所述第四图像中的各个像素，获取所述第五图像。
本申请实施例可以通过两种可能的设计，介绍如何基于所目标数据模型建立预设机器学习模型，并进行颜色变换预测。
在设计①中，所述预设的颜色变换预测模型为深度卷积神经网络模型，所述深度卷积神经网络模型包括至少一个卷积层、且所述卷积层采用特定的卷积核，以拟合所述第一图像中的各个颜色区域中单个像素与各个所述校正像素之间的独立映射关系。
在设计①中，可以通过一个机器学习模型fθ来拟合所述目标数据集。根据实际的应用场景，本设计中可以通过拟合X(第一图像)到Y(第二图像)来建模变换前颜色到变换后颜色的映射，或者通过拟合Y(第二图像)到X第一图像)来建模变换后颜色到变换前颜色的映射。
可以理解的是，使用不同的机器学习方法来建模以及不同的学习方法来求解模型参数并不影响本申请实施例的有效性，在本申请实施例中，还可以采用其他神经网络来建模X到Y的映射。
在本设计中，可以建立4层的深度卷积神经网络模型，每一层均使用1×1的卷积核来局部地建模像素到像素的映射。在本设计中，该4个卷积层的通道数分别可以是768，768，768，3，每个卷积层都可以用分组数为3的分组卷积(group convolution)来降低各个卷积层的参数量，以减小模型规模和待求解的参数数量。另外，每个卷积层的激活函数都可以是tanh。当然，实际应用中并不限定于上述卷积层数量和通道数量，此处仅为其中一个示例。
需要说明的是，本设计的关键是使用1×1卷积来局部地建模像素到像素的映射，以拟合所述第一图像中的各个颜色区域中单个像素与各个所述校正像素之间的独立映射关系，而不是图像中的全部像素，降低了数据计算量以及计算过程中的噪声干扰，提高了预测效率和预测精度。
在本设计中，所述深度卷积神经网络模型训练时，可以求解下述目标函数：
其中l表示L1损失函数，xi,yi分别是第i个配对的x和y的值。
为了提升模型预测的稳定性，在本设计中，可以使用谱归一化的方法来稳定训练。其中谱归一化的参数设为λ用训练用的优化器可以为Adam、BGD、SGD和MBGD,学习率可以设置为1e-3,权重衰减率可以设置为1e-4。
当模型训练完成以后，可以进行测试，即将变换前图片(第四图像)输入所述颜色变换预测模型获得变换后图片(第五图像)，或者，将变换后图片(第四图像)输入所述颜色变换预测模型获得变换前图片(第五图像)。
本设计中，设变换前图片(第四图像)和变换后图片(第五图像)分别为Ix，Iy∈RH ×W×3，其中H和W分别是图片的高和宽，用颜色变换预测模型进行预测：
其中i，j为第i行第j列的像素。
在不引起混淆的情况下，本设计中也可以用Iy＝Fθ(Ix)来表示对第四图像Ix进行预测处理的过程。其中，针对fθ是卷积神经网络的例子，上述颜色变换预测模型的预测计算可以用目前的高性能深度学习计算库(例如tensorflow,pytorch)来高效地实现，从而达到提高运算速度的目的。
可以理解的是，本申请实施例中的对图像进行的颜色变换预测，其针对的颜色空间可以是上述实施例的RGB颜色空间，也可以是通过亮度和色品去耦合的Lab空间、YUV空间、YCbCr空间、HSV空间。
在一个可能的设计中，可以将上述实施例的变量X和Y从RGB颜色空间转化到通过亮度和色品去耦合的颜色空间，记变换函数为ftrans(.)，其反函数为
本设计中的关键在于利用颜色学的理论对数据做预处理，将亮度和色品分开，来提升颜色变换预测模型对目标数据集的使用效率。其他可能的设计中，将亮度和色品去耦合的其他颜色空间都不影响本申请实施例的有效性。
为了实现对图像在色品通道的颜色变换的预测，在得到第一图像数据和第二图像之后，可以先对图像做预处理，即对图像进行转变，记转变后的图像中颜色为：
X*＝ftrans(X)
Y*＝ftrans(Y)
接下来，可以对转变后的图像做提取处理，从图像中提取出亮度和色品的部分，记提取亮度的操作为fl，获得变换前亮度
和变换后亮度
记提取色品的操作为fc，获得变换前色品
和变换后色品
其中，下标l表示亮度的维度，下标c表示色品的维度。
之后，对处理后的亮度和色品分别配对，得到亮度训练数据集
和色品训练数据集
通过一个机器学习模型fθ来拟合所述色品训练数据集
而保持亮度训练数据集
不变，根据实际中具体的要求，可以通过拟合
到
来建模变换前色品到变换后色品的映射，或者通过拟合
到
来建模变换后色品到变换前色品的映射。
使用不同的机器学习方法来建模以及不同的学习方法来求解模型参数并不影响本设计的有效性。在设计中，下面以采用深度卷积神经网络来建模
到
的映射为例进行介绍。
本设计中，选择的深度卷积神经网络模型的结构包括4层卷积层，每一层卷积层均使用1×1的卷积核。这四层卷积层的通道数分别是64，64，64，2，每层都可以用分组数为3的分组卷积(group convolution)，每层的激活函数都可以是tanh。
在本设计中，所述深度卷积神经网络模型训练时，可以求解下述目标函数：
其中l表示L1损失函数，
分别是第i个配对的
和
的值。
为了提升颜色变换预测模型预测的稳定性，使用谱归一化的方法来稳定训练。其中谱归一化的参数设为λ,训练用的优化器为Adam,设置学习率为1e-3,权重衰减率为1e-4。
当模型训练完成以后，可以进行测试，即将变换前图片(第四图像)输入所述颜色变换预测模型获得变换后图片(第五图像)，或者，将变换后图片(第四图像)输入所述颜色变换预测模型获得变换前图片(第五图像)。
本设计中，设变换前图片(第四图像)和变换后图片(第五图像)分别为Ix，Iy∈RH ×W×3，其中H和W分别是图片的高和宽，用颜色变换预测模型进行预测：
其中i，j为第i行第j列的像素；[.]表示级联(concatenate)操作，上标-1表示反函数。
在不引起混淆的情况下，下文也用Iy＝Fθ(Ix)来表示对第四图像Ix进行预测处理的过程。其中，针对fθ是卷积神经网络的例子，上述颜色变换预测模型的预测计算可以用目前的高性能深度学习计算库(例如tensorflow,pytorch)来高效地实现，从而达到提高运算速度的目的。
为了验证本设计的性能，本申请实施例中进行了实验，建模惠普打印机(型号PageWide Managed MFP P77740dn)在丰彩牌厚型彩色喷墨打印纸上的打印效果。
例如，第一设备采用惠普Color LaserJet MFP M281fdw打印机套装中的扫描仪。图片是从COCO数据集里随机抽取的一个图像数据。结果如图7所示，图7b是变换前图片，图7a是实际的变换后图片，图7c是利用颜色变换预处理来做色彩修正的结果，图7d是不使用颜色变换预处理来做色彩修正的结果。可见，加入颜色变换预处理能提升预测的准确度，即图7c的RGB值相比于图7d，更加接近于图7a。
在设计②中，所述预设的颜色变换预测模型为梯度提升决策树模型，其中，所述梯度提升决策树模型中的梯度提升决策树数量与所述目标数据集中预设颜色空间的预设颜色通道的数量一致，各个所述梯度提升决策树均单独拟合所述第一图像中的各个颜色区域中单个像素在一个预设颜色通道与各个所述校正像素在所述预设颜色通道之间的独立映射关系。
在本设计中，可以采用梯度提升决策树来拟合一一匹配的色品训练数据集
而保持亮度训练数据集
不变，根据实际中具体的要求，可以通过拟合
到
来建模变换前色品到变换后色品的映射，或者通过拟合
到
来建模变换后色品到变换前色品的映射，本设计中的关键在于颜色变换预测模型只对色品建模，而不对亮度建模。
具体来说，可以选择2棵梯度提升决策树进行分组建模2个色品通路的映射。对于第j组(j＝1，2)，模型训练迭代式地进行以下步骤，用t＝1，...，t＝10来表示迭代的时间步长(轮次)，最大时间步长设置为100：
第一步：求解下述目标函数
其中，可以首先初始化
其中l为Huber损失；xi，yi分别是第i个配对的x和y的色品值；ft(.)为当前时间步长的梯度提升决策树模型；
为前一时间步长的预测色品值；Huber损失的公式为：
其中，Ω为正则项，其公式为：
其中T为梯度提升决策树对应的叶子节点数,ω为叶子节点所对应值的L2范数。
在本设计中，γ可以设置为1,λ可以设置为0.1,δ可以设置为0.5。
第二步：更新预测的色品值
颜色变换预测模型训练完后，可以进行颜色变换预测测试，即将变换前图片输入所述颜色变换预测模型获得变换后图片，或者，将变换后图片输入所述颜色变换预测模型获得变换前图片。
本实施例中，设新的变换前图片和变换后图片分别为Ix，Iy∈RH×W×3其中H和W分别是图片的高和宽，用颜色变换预测模型进行预测：
其中i，j为第i行第j列的像素色品值；[.]表示级联(concatenate)操作，上标-1表示反函数。
由上述实施例可知，本申请实施例提供的图像处理方法，其针对的颜色空间并不局限于一种，可以相互转变。为了系统地比较对不同颜色空间中对图像颜色变换预测的处理效果，本实验使用梯度提升决策树来作为颜色变换预测模型，在一个随机采样变换前颜色的测试集上测试预测误差，结果如表1所示，可见，颜色空间预处理(将X,Y从RGB颜色空间转化为亮度和色品去耦合的颜色空间，例如Lab空间、YUV空间、YC_b C_r空间、HSV空间等)能显著地提升某些颜色的预测准确度。
表1在测试集(随机色表)上的预测误差
本申请实施例中的用于预测图像颜色变换的图像处理方法，在建立数字图像经过物理设备输出、输入处理操作前后的颜色变换映射关系时，将图像中的各个像素均独立的考虑，即一个颜色变换后的像素仅仅建立了其与颜色变换前对应的一个像素的映射关系，而不是图像中的全部像素，降低了数据计算量以及计算过程中的噪声干扰，提高了预测效率和预测精度。
参照图8，图8为本申请实施例提供的一种图像处理方法的流程示意图。该方法可由图12所示的图像处理装置执行，应用于对抗图像生成场景，可以对候选对抗图像进行颜色变换处理，由识别装置识别所述候选对抗图像进行颜色变换处理后的图像，并基于所述识别结果确定是否可将所述候选对抗图像作为目标对抗图像。所述图像处理方法包括：
步骤S310，获取第一候选对抗图像。
在本申请实施例中，所述第一候选对抗图像可以基于历史候选对抗图像更新得到，所述历史候选对抗图像包括原始图像；在基于原始图像生成候选对抗图像时，可以采用任意对抗攻击方法生成，本申请实施例对此不做限定。
在一个可能的设计中，上一实施例中的所述第四图像可以为预设装置生成的第一候选对抗图像；所述第五图像(即第二候选对抗图像)基于所述第四图像、所述目标数据集中的正向映射关系得到，用于输入目标模型，得到识别结果；其中，所述识别结果用于反馈至所述预设装置，以确定所述候选对抗图像是否满足预设条件。
步骤S320，基于所述目标数据集中的正向映射关系，对所述第一候选对抗图像进行颜色变换处理，得到第二候选对抗图像。
在本申请实施例中，所述目标数据集可以通过上述实施例中步骤S110-S140的方法获取，然后根据所述目标数据集中颜色区域和校正像素的正向映射关系处理的所述第一候选对抗图像；或者也可以采用机器学习的方式建模所述目标数据集，得到颜色变换模型，然后将所述颜色变换预测模型与对抗图像生成模型串联，组成一个具有颜色变换、对抗图像生成功能的图像处理模型。例如可以将原始图像和目标图像输入所述图像处理模型，即可迭代生成经过物理设备的重构变换后在目标模型可以呈现与生成时相同显示效果的目标对抗图像。
可以理解的是，在本申请实施例中，所述第二候选对抗图像中的任一个像素也是基于所述第一候选对抗图像中的对应一个像素、所述目标数据集中的正向映射关系变换得到。
步骤S330，获取所述第二候选对抗图像与目标图像的识别相似度。
在本申请实施例中，两个图像的识别相似度可以是两个图像的特征识别相似度，所述特征可以通过目标模型的特征提取器获取。在获取到两个图像的特征之后，可以采用任意相似度或特征距离计算方式，计算所述识别相似度，例如余弦相似度、欧式距离等，本申请实施例对此不做限定。
步骤S340，若所述识别相似度不符合预设条件，则更新所述第一候选对抗图像、所述第二候选对抗图像，直至第二候选对抗图像与所述目标图像的识别相似度符合预设条件，并将识别相似度符合预设条件时的第一候选对抗图像作为目标对抗图像。
在本申请实施例中，所述目标图像和预设条件的具体内容，可以根据对抗攻击的攻击目的进行设置。具体来说，对抗攻击包括有目标攻击和无目标攻击，其中，无目标攻击是指：识别模型对该对抗图像的识别结果与该识别模型对原始图像(即目标图像)的识别结果不同。有目标攻击可以是指：识别模型对该对抗图像的识别结果为特定的识别结果，该特定的识别结果与识别模型对目标图像的识别结果相同或相差不大。
因此，在对抗攻击为有目标攻击时，本申请实施例可以要求对抗图像与目标图像的识别相似度大于第一预设数值(例如80％)，即所述预设条件可以为识别相似度大于第一预设数值；在对抗攻击为无目标攻击时，本申请实施例可以要求对抗图像与目标图像(原始图像)的识别相似度小于第二预设数值(例如30％)，即所述预设条件可以为识别相似度小于第二预设数值。
可以理解的是，虽然本申请实施例以识别相似度的数值判断作为更新停止条件，但是并不限于此。在其他可能的设计中，还可以是更新迭代达到预设次数，例如100次。
接下来，以一个具体的示例，介绍如何将颜色变换与对抗图像生成结合，生成更具重构变换稳定性的目标对抗图像：
首先，建模
到
的映射：Fθ。
设待攻击的模型为g，则构造一个对抗图像生成函数h(.)＝g(Fθ(.))。
该对抗图像生成函数构造的核心思想是，先用Fθ来模拟候选对抗图像变换后的显示效果，然后再通过g来给出针对变换后的候选对抗图像的预测结果，从而获得迭代更新所述候选对抗图像所需的监督信号。
接下来，基于输入图片Ix得到候选对抗图像。
所述候选对抗图像可以使用现有的基于优化的对抗图像生成技术来生成。下面以基于动量的对抗图像生成方法为例，描述对抗图像的生成方法。假设基于动量的对抗图像生成方法的目标函数为：
其中，L(.)为任意描述攻击效果的、可导的目标函数；|·|∞是无穷范；∈是最大可能的扰动值；⊙是向量逐元素乘积；W为一个掩码矩阵，W的每一个元素的定义域是{0，1}，记为1的元素标记了需要优化的像素位置，记为0的元素标记了不需要优化的像素位置。
可以通过以下公式更新动量和迭代中的对抗图像:
I＝proj(I+W⊙α·sign(z))
其中，z表示动量(可以初始化为0)；μ表示动量的衰减速度；
表示所述目标函数相对模型输入的梯度；|·|1是L1范数；I为表示迭代中的对抗图像的变量；proj表示将变量投影回约束范围内；α表示梯度下降的步长；sign是符号函数。上述迭代更新过程中，可以初始化I＝Ix。
由此，在迭代更新得到满足预设条件的目标对抗图像
后，可以制作成物理实体，得到物理世界的对抗图像，以在物理世界对目标模型进行测试。
为了验证本申请实施例生成的对抗图像的性能，例如，本实验选用目标检测系统Faster-RCNN作为待攻击的目标模型g。实验采用无定向攻击Faster-RCNN的RCNN中的分类端头，以及重构变换采用“先打印后扫描”，“打印”作为制作物理实体的方法，然后在拍摄场景下测试物理世界对抗图像的攻击效果。
结果如图9所示，图9为采用颜色变换生成的对抗图像与未采用颜色变换生成的对抗图像的攻击结果，其中，图9a为攻击汽车类别对抗攻击结果，图9中的左侧图像采用颜色变换后生成，其识别概率为0.61，显著低于右侧未采用颜色变换生成的对抗图像的识别概率0.81；图9b为攻击公交车类别对抗攻击结果，图9中的左侧图像采用颜色变换后生成，其识别概率为0.81，显著低于右侧未采用颜色变换生成的对抗图像的识别概率1.0；可见，对于物理世界对抗图像攻击，带颜色变换预测模型的结果能显著地降低预测置信度，提高攻击成功率。
在一个可能的设计中，还可以先生成能够输入目标模型实现攻击目的的目标对抗图像，然后采用目标数据集中的逆向映射关系，得到应该获取怎样的数字对抗图像。
参照图10，图10为本申请实施例提供的一种图像处理方法的流程示意图。该方法可由图12所示的图像处理装置执行，应用于对抗图像生成场景，将已生成好的目标对抗图像，用颜色变换预测模型来预测出变换前的源数字对抗图像。所述图像处理方法包括：
步骤S410，获取第三候选对抗图像。
其中，所述第三候选对抗图像基于历史候选对抗图像更新得到，所述历史候选对抗图像包括原始图像；在基于原始图像生成候选对抗图像时，可以采用任意对抗攻击方法生成，本申请实施例对此不做限定。
在一个可能的设计中，上述实施例中的所述第四图像可以为预设装置生成的目标对抗图像；所述第五图像(源数字对抗图像)基于所述第四图像、所述目标数据集中的逆向映射关系得到，用于目标模型，测试所述目标模型的安全性。
步骤S420，获取所述第三候选对抗图像与目标图像的识别相似度。
在本申请实施例中，两个图像的识别相似度可以是两个图像的特征识别相似度，所述特征可以通过目标模型的特征提取器获取。在获取到两个图像的特征之后，可以采用任意相似度或特征距离计算方式，计算所述识别相似度，例如余弦相似度、欧式距离等，本申请实施例对此不做限定。
步骤S430，若所述识别相似度不符合预设条件，则更新所述第三候选对抗图像，直至第三候选对抗图像与所述目标图像的识别相似度符合预设条件，并将识别相似度符合预设条件时的第三候选对抗图像作为目标对抗图像。
在本申请实施例中，所述目标图像和预设条件的具体内容，可以根据对抗攻击的攻击目的进行设置。具体来说，对抗攻击包括有目标攻击和无目标攻击，其中，无目标攻击是指：识别模型对该对抗图像的识别结果与该识别模型对原始图像(即目标图像)的识别结果不同。有目标攻击可以是指：识别模型对该对抗图像的识别结果为特定的识别结果，该特定的识别结果与识别模型对目标图像的识别结果相同或相差不大。
因此，在对抗攻击为有目标攻击时，本申请实施例可以要求对抗图像与目标图像的识别相似度大于第一预设数值(例如80％)，即所述预设条件可以为识别相似度大于第一预设数值；在对抗攻击为无目标攻击时，本申请实施例可以要求对抗图像与目标图像(原始图像)的识别相似度小于第二预设数值(例如30％)，即所述预设条件可以为识别相似度小于第二预设数值。
可以理解的是，虽然本申请实施例以识别相似度的数值判断作为更新停止条件，但是并不限于此。在其他可能的设计中，还可以是更新迭代达到预设次数，例如100次。
步骤S440，基于目标数据集中的逆向映射关系，对所述目标对抗图像进行颜色变换处理，得到源数字对抗图像。
在本申请实施例中，所述目标数据集可以通过上述实施例中步骤S110-S140的方法获取，然后根据所述目标数据集中颜色区域和校正像素的逆向映射关系处理的所述目标对抗图像；或者也可以采用机器学习的方式建模所述目标数据集的逆向映射关系，得到颜色变换模型，然后将所述颜色变换预测模型与对抗图像生成模型串联，组成一个具有颜色变换、对抗图像生成功能的图像处理模型。例如可以将原始图像和目标图像输入所述图像处理模型，即可迭代生成经过物理设备的重构变换后在目标模型可以呈现与生成时相同显示效果的源数字对抗图像。
可以理解的是，在本申请实施例中，所述源数字对抗图像中的任一个像素也是基于所述目标对抗图像中的对应一个像素、所述目标数据集中的逆向映射关系变换得到。
其中，所述源数字对抗图像用于经过物理设备输出、输入处理后，变换为所述目标对抗图像。
接下来，以一个具体的示例，介绍如何将颜色变换与对抗图像生成结合，生成对抗图像的另一种使用方式。
在本设计中，颜色变换预测模型建模Yc *到Xc *的映射。
设待攻击的模型为g。
基于输入的原始图像Ix进行更新跌到，得到目标对抗图像。本设计中，可以使用现有的基于优化的对抗图像生成技术来生成目标对抗图像。下面以基于动量的对抗图像生成方法为例，介绍目标对抗图像的生成方法。假设基于动量的对抗图像生成方法的目标函数为：
在本设计中，可以初始化z＝0,I＝Ix。
在对上述目标函数进行迭代求解，得到目标对抗图像
之后，可以采用颜色变换预测模型fθ(.)来预测变换前的目标对抗图像：
最后，可以将变换前的目标对抗图像
通过物理设备输出，例如打印出来，得到物理世界的对抗图像实体。
本申请实施例的用于生成对抗图像的图像处理方法，切实考虑了生成的数字对抗图像，在对目标模型进行攻击测试时，需要经过物理设备输出、输入的处理过程，可能产生颜色变换的影响；在迭代更新数字对抗图像时，以颜色变换后的对抗图像输入目标模型的识别结果为参照，使得直接生成的数字对抗图像在经过物理设备输出、输入的处理过程，最终给目标模型呈现的显示效果与预期一致，提高生成的对抗图像的攻击测试目标模型的稳定性。
在介绍了本申请实施例的方法之后，接下来，参考图11对本申请实施例的用于获取目标数据集的图像处理装置进行介绍，该装置同样可以适用于图1所示的服务器01，所述装置60包括：
输入输出模块601，被配置为获取第一图像和第二图像，其中，所述第一图像和所述第二图像均为数字图像，所述第二图像由第一设备基于第三图像采集得到，所述第三图像由第二设备基于所述第一图像输出，所述第一图像中包括至少一个颜色区域，所述一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同；
处理模块602，被配置为基于所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块，其中，所述目标色块与所述颜色区域一一对应；
所述处理模块602，还被配置为获取所述目标色块的校正像素，其中，所述校正像素基于所述目标色块的各个像素在预设颜色空间各个通道的数值估计得到；以及
将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集，其中，所述颜色区域和所述校正像素一一对应，所述目标数据集包括颜色区域和校正像素的映射关系，所述目标数据集用于训练颜色变换预测模型。
在一些实施方式中，所述处理模块602，还被配置为采用鲁棒估计法基于所述目标色块估计得到所述校正像素。
在一些实施方式中，所述目标色块基于所述第一图像中关联的颜色区域从所述第二图像中采样得到。
在一些实施方式中，所述校正像素在预设颜色空间各个通道的数值，基于所述目标色块的各个像素在预设颜色空间各个通道的数值的中位数确定。
在一些实施方式中，所述第一图像根据预设数值间隔、遍历预设颜色空间的各个通道获取，且遍历中每次访问的颜色通道数值组合均形成一个颜色区域。
本申请实施例的用于生成目标数据集的图像处理装置，可以利用变换后图像的每个像素的颜色变化都是独立同分布的假设，来提升模型对训练数据的利用效率，同时在目标数据集制作阶段，通过对同一个变换前颜色的多个变换后颜色做鲁棒估计，来减小标注噪声，提高变换后颜色的标注准确性。
参考图12对本申请实施例的用于预测颜色变换的图像处理装置进行介绍，该装置同样可以适用于图2所示的服务器04，所述装置70包括：
输入输出单元701，被配置为获取第四图像；
处理单元702，被配置为基于所述第四图像中的各个像素、以及目标数据集中的映射关系，获取第五图像，其中，所述第五图像中各个像素与所述第四图像中的各个像素一一对应、且所述第五图像中的各个像素由所述第四图像中的各个像素、根据所述映射关系独立变换得到；
其中，所述映射关系包括颜色区域和校正像素的映射关系，所述目标数据集根据上述的装置60处理得到，所述目标数据集用于训练颜色变换预测模型。
在一些实施方式中，所述第五图像由预设的机器学习模型基于所述第四图像输入得到；
其中，所述预设的机器学习模型基于所述目标数据集训练得到，所述机器学习模型基于所述第四图像中的各个像素，获取所述第五图像。
在一些实施方式中，所述预设的机器学习模型为深度卷积神经网络模型，所述深度卷积神经网络模型包括至少一个卷积层、且所述卷积层采用特定的卷积核，以拟合所述第一图像中的各个颜色区域中单个像素与各个所述校正像素之间的独立映射关系。
在一些实施方式中，所述预设的机器学习模型为梯度提升决策树模型，其中，所述梯度提升决策树模型中的梯度提升决策树数量与所述目标数据集中预设颜色空间的预设颜色通道的数量一致，各个所述梯度提升决策树均单独拟合所述第一图像中的各个颜色区域中单个像素在一个预设颜色通道与各个所述校正像素在所述预设颜色通道之间的独立映射关系。
本申请实施例中的用于预测图像颜色变换的图像处理装置，在建立数字图像经过物理设备输出、输入处理操作前后的颜色变换映射关系时，将图像中的各个像素均独立的考虑，即一个颜色变换后的像素仅仅建立了其与颜色变换前对应的一个像素的映射关系，而不是图像中的全部像素，降低了数据计算量以及计算过程中的噪声干扰，提高了预测效率和预测精度。
在一些实施方式中，所述第四图像为预设装置生成的候选对抗图像；
所述第五图像基于所述第四图像、所述目标数据集中的正向映射关系得到，用于输入目标模型，得到识别结果；其中，所述识别结果用于反馈至所述第一设备，以确定所述候选对抗图像是否满足预设条件。
在一些实施方式中，所述第四图像为预设装置生成的目标对抗图像；
所述第五图像基于所述第四图像、所述目标数据集中的逆向映射关系得到，用于目标模型，测试所述目标模型的安全性。
本申请实施例的用于生成对抗图像的图像处理装置，切实考虑了生成的数字对抗图像，在对目标模型进行攻击测试时，需要经过物理设备输出、输入的处理过程，可能产生颜色变换的影响；在迭代更新数字对抗图像时，以颜色变换后的对抗图像输入目标模型的识别结果为参照，使得直接生成的数字对抗图像在经过物理设备输出、输入的处理过程，最终给目标模型呈现的显示效果与预期一致，提高生成的对抗图像的攻击测试目标模型的稳定性。
在一些实施方式中，所述装置70还可以用于执行上述实施例中两种生成对抗图像的图像处理方法。
上面从模块化功能实体的角度对本申请实施例中的图像处理装置进行了描述，下面从硬件处理的角度分别对本申请实施例中的执行图像处理方法的服务器、终端设备进行描述。
需要说明的是，在本申请实施例各实施例(包括图11、图12所示的各实施例)中所有的收发模块对应的实体设备可以为收发器，所有的处理模块对应的实体设备可以为处理器。图11、图12所示的各装置均可以具有如图13所示的结构。
例如，图11所示的图像生成装置60可以具有如图13所示的结构，当图11所示的装置具有如图13所示的结构时，图13中的处理器和收发器能够实现前述对应该图像生成装置60的装置实施例提供的处理模块602和输入输出模块601相同或相似的功能，图13中的中央存储器存储处理器执行上述用于生成目标数据集的图像处理方法时需要调用的计算机程序。在本申请实施例图11所示的实施例中的输入输出模块601所对应的实体设备可以为输入输出接口，处理模块602对应的实体设备可以为处理器。
又例如，图12所示的图像处理装置70可以具有如图13所示的结构，当图12所示的装置具有如图13所示的结构时，图13中的处理器和收发器能够实现前述对应该图像处理装置70的装置实施例提供的处理单元702和输入输出单元701相同或相似的功能，图13中的中央存储器存储处理器执行上述用于预测颜色变换的图像处理方法时需要调用的计算机程序。在本申请实施例图13所示的实施例中的输入输出单元701所对应的实体设备可以为输入输出接口，处理单元702对应的实体设备可以为处理器。
本申请实施例还提供了一种终端设备，如图14所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：
图14示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图14，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图14中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General PacketRadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图14中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；可选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，可选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的处理器1080还具有控制执行以上由识别装置执行的识别候选对抗图像的方法流程。
本申请实施例还提供了一种服务器，请参阅图15，图15是本申请实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：central processing units，英文简称：CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图中未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1120，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图15所示的服务器1100的结构。例如，例如上述实施例中由图15所示的图像处理装置60所执行的步骤可以基于该图15所示的服务器结构。例如，所述中央处理器1122通过调用存储器1132中的指令，执行以下操作：
通过输入输出接口1158获取第一图像和第二图像，其中，所述第一图像和所述第二图像均为数字图像，所述第二图像由第一设备基于第三图像采集得到，所述第三图像由第二设备基于所述第一图像输出，所述第一图像中包括至少一个颜色区域，所述一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同；
基于所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块，其中，所述目标色块与所述颜色区域一一对应；
获取所述目标色块的校正像素，其中，所述校正像素基于所述目标色块的各个像素在预设颜色空间各个通道的数值估计得到；
将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集，其中，所述颜色区域和所述校正像素一一对应，所述目标数据集包括所述颜色区域和所述校正像素的映射关系，用于训练颜色变换预测模型。
还可以通过输入输出接口1158将目标对抗图像输出，以便将其实体化，在物理世界对目标模型进行攻击，衡量目标模型的安全性。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。
Claims (10)
1.一种图像处理方法，所述方法包括：
获取第一图像和第二图像，其中，所述第一图像和所述第二图像均为数字图像，所述第二图像由第一设备基于第三图像采集得到，所述第三图像由第二设备基于所述第一图像输出，所述第一图像中包括至少一个颜色区域，所述一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同；
基于所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块，其中，所述目标色块与所述颜色区域一一对应；
获取所述目标色块的校正像素，其中，所述校正像素基于所述目标色块的各个像素在预设颜色空间各个通道的数值估计得到；
将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集，其中，所述颜色区域和所述校正像素一一对应，所述目标数据集包括颜色区域和校正像素的映射关系，所述目标数据集用于训练颜色变换预测模型。
2.如权利要求1所述的方法，其中，采用鲁棒估计法基于所述目标色块估计得到所述校正像素。
3.如权利要求1或2所述的方法，其中，所述第一图像根据预设数值间隔、遍历预设颜色空间的各个通道获取，且遍历中每次访问的颜色通道数值组合均形成一个颜色区域。
4.一种图像处理方法，所述方法包括：
获取第四图像；
基于所述第四图像中的各个像素、以及目标数据集中的映射关系，获取第五图像，其中，所述第五图像中各个像素与所述第四图像中的各个像素一一对应、且所述第五图像中的各个像素由所述第四图像中的各个像素、根据所述映射关系独立变换得到；
其中，所述映射关系包括颜色区域和校正像素的映射关系，所述目标数据集根据权利要求1-3中任一项所述的方法获取，所述目标数据集用于训练颜色变换预测模型。
5.一种图像处理方法，包括：
获取第一候选对抗图像，其中，所述第一候选对抗图像基于历史候选对抗图像更新得到，所述历史候选对抗图像包括原始图像；
基于目标数据集中的正向映射关系，对所述第一候选对抗图像进行颜色变换处理，得到第二候选对抗图像，其中，所述目标数据集根据权利要求1-3中任一项所述的方法获取，所述正向映射关系包括颜色区域和校正像素的正向映射关系，所述目标数据集用于训练颜色变换预测模型；
获取所述第二候选对抗图像与目标图像的识别相似度；
若所述识别相似度不符合预设条件，则更新所述第一候选对抗图像、所述第二候选对抗图像，直至第二候选对抗图像与所述目标图像的识别相似度符合预设条件，并将识别相似度符合预设条件时的第一候选对抗图像作为目标对抗图像。
6.一种图像处理方法，包括：
获取第三候选对抗图像，其中，所述第三候选对抗图像基于历史候选对抗图像更新得到，所述历史候选对抗图像包括原始图像；
获取所述第三候选对抗图像与目标图像的识别相似度；
若所述识别相似度不符合预设条件，则更新所述第三候选对抗图像，直至第三候选对抗图像与所述目标图像的识别相似度符合预设条件，并将识别相似度符合预设条件时的第三候选对抗图像作为目标对抗图像；
基于目标数据集中的逆向映射关系，对所述目标对抗图像进行颜色变换处理，得到源数字对抗图像，其中，所述目标数据集根据权利要求1-3中任一项所述的方法获取，所述逆向映射关系包括颜色区域和校正像素的逆向映射关系，所述目标数据集用于训练颜色变换预测模型；
其中，所述源数字对抗图像用于经过物理设备输出、输入处理后，变换为所述目标对抗图像。
7.一种图像处理装置，包括：
输入输出模块，被配置为获取第一图像和第二图像，其中，所述第一图像和所述第二图像均为数字图像，所述第二图像由第一设备基于第三图像采集得到，所述第三图像由第二设备基于所述第一图像输出，所述第一图像中包括至少一个颜色区域，所述一个颜色区域中的各个像素在同一个颜色空间的相同通道的数值均相同；
处理模块，被配置为基于所述第一图像的至少一个颜色区域，从所述第二图像中获取至少一个目标色块，其中，所述目标色块与所述颜色区域一一对应；
所述处理模块，还被配置为获取所述目标色块的校正像素，其中，所述校正像素基于所述目标色块的各个像素在预设颜色空间各个通道的数值估计得到；以及
将所述第一图像中的各个颜色区域与各个所述校正像素分别映射，得到目标数据集，其中，所述颜色区域和所述校正像素一一对应，所述目标数据集包括颜色区域和校正像素的映射关系，所述目标数据集用于训练颜色变换预测模型。
8.一种图像处理装置，包括：
输入输出单元，被配置为获取第四图像；
处理单元，被配置为基于所述第四图像中的各个像素、以及目标数据集中的映射关系，获取第五图像，其中，所述第五图像中各个像素与所述第四图像中的各个像素一一对应、且所述第五图像中的各个像素由所述第四图像中的各个像素、根据所述映射关系独立变换得到；
其中，所述映射关系包括颜色区域和校正像素的映射关系，所述目标数据集根据权利要求7所述的装置处理得到，所述目标数据集用于训练颜色变换预测模型。
9.一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的方法，或者实现如权利要求4、5或6所述的方法。
10.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3中任一项所述的方法，或者执行如权利要求4、5或6所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110993564X | 2021-08-27 | ||
| CN202110993564.XA CN113706415A (zh) | 2021-08-27 | 2021-08-27 | 训练数据生成、对抗样本生成、图像色彩修正方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170440A true CN115170440A (zh) | 2022-10-11 |
Family
ID=78655726
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110993564.XA Pending CN113706415A (zh) | 2021-08-27 | 2021-08-27 | 训练数据生成、对抗样本生成、图像色彩修正方法及装置 |
| CN202211040800.7A Pending CN115170440A (zh) | 2021-08-27 | 2022-08-29 | 图像处理方法、相关装置及存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110993564.XA Pending CN113706415A (zh) | 2021-08-27 | 2021-08-27 | 训练数据生成、对抗样本生成、图像色彩修正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113706415A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310745A (zh) * | 2023-05-10 | 2023-06-23 | 北京瑞莱智慧科技有限公司 | 图像处理方法、数据处理方法、相关装置及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110428B (zh) * | 2009-12-23 | 2015-05-27 | 新奥特（北京）视频技术有限公司 | 一种cmyk到rgb色彩空间的转换方法和装置 |
| CN103617596A (zh) * | 2013-10-12 | 2014-03-05 | 中山大学 | 一种基于流型转换的图像色彩风格变换方法 |
| CN103647958B (zh) * | 2013-12-23 | 2016-07-06 | 联想(北京)有限公司 | 图像处理方法、图像处理装置和电子设备 |
| CN103793888B (zh) * | 2014-02-18 | 2017-01-11 | 厦门美图网科技有限公司 | 一种基于参照图像的主要颜色的图像增强方法 |
| CN111062876B (zh) * | 2018-10-17 | 2023-08-08 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN111277809A (zh) * | 2020-02-28 | 2020-06-12 | 广东工业大学 | 一种图像色彩校正方法、系统、设备及介质 |
-
2021
- 2021-08-27 CN CN202110993564.XA patent/CN113706415A/zh active Pending
-
2022
- 2022-08-29 CN CN202211040800.7A patent/CN115170440A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310745A (zh) * | 2023-05-10 | 2023-06-23 | 北京瑞莱智慧科技有限公司 | 图像处理方法、数据处理方法、相关装置及存储介质 |
| CN116310745B (zh) * | 2023-05-10 | 2024-01-23 | 北京瑞莱智慧科技有限公司 | 图像处理方法、数据处理方法、相关装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706415A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230360357A1 (en) | Target detection method and apparatus, model training method and apparatus, device, and storage medium | |
| CN111813532B (zh) | 一种基于多任务机器学习模型的图像管理方法及装置 | |
| US20210152751A1 (en) | Model training method, media information synthesis method, and related apparatuses | |
| CN114297730B (zh) | 对抗图像生成方法、装置及存储介质 | |
| CN110852942B (zh) | 一种模型训练的方法、媒体信息合成的方法及装置 | |
| CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
| CN111401445B (zh) | 一种图像识别模型的训练方法、图像识别的方法及装置 | |
| CN114418069B (zh) | 一种编码器的训练方法、装置及存储介质 | |
| CN108875451A (zh) | 一种定位图像的方法、装置、存储介质和程序产品 | |
| CN114387647B (zh) | 对抗扰动生成方法、装置及存储介质 | |
| CN111709398A (zh) | 一种图像识别的方法、图像识别模型的训练方法及装置 | |
| CN114612531B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| WO2017088434A1 (zh) | 人脸模型矩阵训练方法、装置及存储介质 | |
| CN114444579B (zh) | 通用扰动获取方法、装置、存储介质及计算机设备 | |
| CN116310745B (zh) | 图像处理方法、数据处理方法、相关装置及存储介质 | |
| CN115081643B (zh) | 对抗样本生成方法、相关装置及存储介质 | |
| CN115170440A (zh) | 图像处理方法、相关装置及存储介质 | |
| CN115239941A (zh) | 对抗图像生成方法、相关装置及存储介质 | |
| CN110991325A (zh) | 一种模型训练的方法、图像识别的方法以及相关装置 | |
| CN111914106B (zh) | 纹理与法线库构建方法、纹理与法线图生成方法及装置 | |
| CN116486463B (zh) | 图像处理方法、相关装置及存储介质 | |
| CN115171196B (zh) | 人脸图像处理方法、相关装置及存储介质 | |
| CN113780291B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN117853859B (zh) | 图像处理方法、相关装置及存储介质 | |
| CN112990236B (zh) | 一种数据处理方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |