CN113205149A - 图片处理方法及装置 - Google Patents
图片处理方法及装置 Download PDFInfo
- Publication number
- CN113205149A CN113205149A CN202110556596.3A CN202110556596A CN113205149A CN 113205149 A CN113205149 A CN 113205149A CN 202110556596 A CN202110556596 A CN 202110556596A CN 113205149 A CN113205149 A CN 113205149A
- Authority
- CN
- China
- Prior art keywords
- picture
- initial
- initial picture
- similarity
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 112
- 238000000034 method Methods 0.000 claims description 81
- 239000013598 vector Substances 0.000 claims description 80
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims 1
- 239000000463 material Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000234435 Lilium Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供图片处理方法及装置，其中所述图片处理方法包括：将获取的第一图片和第二图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张第一初始图片和至少一张第二初始图片，所述第一初始图片为任意一张第一图片，所述第二初始图片为任意一张第二图片，所述第一图片的分辨率高于所述第二图片的分辨率；根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合；根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，其中所述目标图片的特征信息与所述第二初始图片的特征信息相同。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种图片处理方法。本申请同时涉及一种图片处理装置、一种超分辨模型训练方法、一种超分辨模型训练装置、一种计算设备，以及一种计算机可读存储介质。
背景技术
随着计算机技术的迅速发展，计算机的硬件设备得到了迅速的更新。游戏客户端的显示设备的清晰度也大幅度提升，针对广泛使用的高分辨率的显示设备，各个游戏厂商纷纷推出了高清和超高清的游戏资源。但是对于经典游戏来说，由于其制作时间久远且只有分辨率较低的游戏素材，无法满足超高清版本的制作需求。因此，对低清游戏素材进行超分辨是势在必行的任务。
现有技术中，通常采用主流的超分辨模型进行对低清图片进行超分辨，即由高清图片下采样生成低清图片，构成低清——高清的配对训练样本，在这些配对的数据上训练深度网络模型。在这种模式下，模型的训练集和验证集的低清数据从同一种方法(下采样)得到，属于同一个域内，因此在训练数据上适用的模型在验证数据上同样适用。但是在实际应用中，以游戏贴图素材作为测试集，它不是利用下采样的方法得到的，而是由美术专家一张张绘制得到。它和一般下采样的低清图片不在同一个域内，因此，基于下采样构造的超分辨数据集训练的超分辨模型无法适用于低清游戏素材。此外，早期的游戏素材由于其风格、年代、制作人等差异，相互之间存在较大的差异性，不能假设其处于同一域内，因此需要根据实际情况差异化处理。
发明内容
有鉴于此，本申请实施例提供了一种图片处理方法。本申请同时涉及一种图片处理装置、一种超分辨模型训练方法、一种超分辨模型训练装置、一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的低清游戏素材与下采样的低清图片不在同一个域内且各个游戏素材差异较大的问题。
根据本申请实施例的第一方面，提供了一种图片处理方法，包括：
将获取的第一图片和第二图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张第一初始图片和至少一张第二初始图片，所述第一初始图片为任意一张第一图片，所述第二初始图片为任意一张第二图片，所述第一图片的分辨率高于所述第二图片的分辨率；
根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合；
根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，其中所述目标图片的特征信息与所述第二初始图片的特征信息相同。
根据本申请实施例的第二方面，提供了一种超分辨模型训练方法，包括：
接收训练样本和标签，其中所述标签为第一初始图片，所述训练样本为所述第一初始图片对应的目标图片，所述目标图片是通过上述图片处理方法处理得到的；
将所述目标图片输入至超分辨模型中获得预测图片，根据所述预测图片和所述第一初始图片计算损失值；
根据所述损失值调整所述超分辨模型的参数，训练所述超分辨模型，直至达到训练停止条件。
根据本申请实施例的第三方面，提供了一种图片处理装置，包括：
分类模块，被配置为将获取的第一图片和第二图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张第一初始图片和至少一张第二初始图片，所述第一初始图片为任意一张第一图片，所述第二初始图片为任意一张第二图片，所述第一图片的分辨率高于所述第二图片的分辨率；
相似集合确定模块，被配置为根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合；
采样模块，被配置为根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，其中所述目标图片的特征信息与所述第二初始图片的特征信息相同。
根据本申请实施例的第四方面，提供了一种超分辨模型训练装置，包括：
接收模块，被配置为接收训练样本和标签，其中所述标签为第一初始图片，所述训练样本为所述第一初始图片对应的目标图片，所述目标图片是通过上述图片处理方法处理得到的；
训练模块，被配置为将所述目标图片输入至超分辨模型中获得预测图片，根据所述预测图片和所述第一初始图片计算损失值；
训练完成确定模块，被配置为根据所述损失值调整所述超分辨模型的参数，继续训练所述超分辨模型，直至达到训练停止条件。
根据本申请实施例的第五方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述图片处理方法或者超分辨模型训练方法的步骤。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述图片处理方法或者超分辨模型训练方法的步骤。
本申请提供的图片处理方法，通过将获取的第一图片和第二图片进行分类，将相同域内的第二图片划分至同一类别中，解决了第二图片差异较大的问题；根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合，以每张第二初始图片的特征信息矩阵为指导，对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，可以使得到的目标图片与第二初始图片处于同一个域内。
本申请提供的超分辨模型训练方法，通过以图片处理方法得到的目标图片为训练样本、以目标图片对应的第一初始图片为标签，对超分辨模型进行训练、调参，能够更好地使超分辨模型适用于低清图片的超分辨，使得超分辨结果更加自然。
附图说明
图1是本申请一实施例提供的一种图片处理方法的流程图；
图2是本申请一实施例提供的对第一图片和第二图片进行分类的示意图；
图3是本申请一实施例提供的相似集合的示意图；
图4是本申请一实施例提供的一种超分辨模型训练方法的流程图；
图5A和图5B是本申请一实施例提供的一种应用于游戏素材的图片处理方法和超分辨模型训练方法的处理流程图；
图6是本申请一实施例提供的一种应用于游戏素材的图片处理方法和超分辨模型训练方法的效果示意图；
图7是本申请一实施例提供的一种图片处理装置的结构示意图；
图8是本申请一实施例提供的一种超分辨模型训练装置的结构示意图；
图9是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着科技的迅速发展，计算机的硬件设备得到了迅速的更新，游戏客户端硬件设备的计算能力也在成倍提高。同时，游戏客户端的显示设备的清晰度也大幅度提升。目前已有大量2K、4K显示屏应用于个人电脑终端，游戏行业中使用率更高。针对广泛使用的高分辨率的显示设备，各个游戏厂商分别推出了高清和超高清的游戏资源。
但是一款游戏的设计、开发、制作、发行需要很长的时间周期，因此，为了尽快让用户体验到高清的游戏体验，现行的游戏内容提供超高清的版本成为必需的解决方案，节省了大量的前期开发周期，有较低的试错成本和更快的迭代周期。在实际操作中，经典游戏由于其制作时间久远，只有较简陋的游戏素材，无法满足超高清版本的制作需求。因此，对低清游戏素材进行超分辨是势在必行的任务。由于已有对应素材的低清晰度版本，应用人工智能超分辨率的算法是水到渠成的方案。另外，人工再一次制作对应的超高清版本的素材，不仅会造成劳动资源的浪费，而且需要较长的时间周期和大量的资金消耗。
图像超分辨指将一张低分辨率的图像变为其对应的高分辨率版本，是图像处理领域的一个经典任务。从最早的基于差值的方法发展到近来深度学习的方案，算法性能的提升是肉眼可见的。尤其是在2012年后，深度学习的极速发展带动了图像超分辨在内的图像处理任务的巨大提升。
第一个将卷积神经网络应用到图像超分辨任务的是Dong et al，提出了SRCNN。在这之后，单张图像超分辨任务随着卷积神经网络的发展进入井喷时期。Kim et al在DRCN和VDSR中使用残差结构，堆叠了20层的深度网络。RCAN则利用通道注意力机制，使得网络模型不仅能够学习图像的局部特征，而且能充分挖掘图像通道之间的相互关联性。另一方面，SRGAN在2016年首次使用对抗生成式网络来对低清图片缺乏的细节信息进行联想，在当时取得了突破式的效果。此后，对于超大比例的极限超分辨任务，研究者们也纷纷取得突破。此外，单张图像超分辨还有基于知识蒸馏的网络IDN、基于递归神经网络的模型DSRN等等。目前实时的超分算法已经成功应用到了视频直播等多个应用上。
由于目前主流的超分辨模型都是基于监督学习的方法，即由高清图片下采样生成低清图片，构成低清——高清的配对训练样本，在这些配对的数据上训练深度网络模型。在这种模式下，模型的训练集和验证集的低清数据从同一种方法得到，属于同一个域内，因此在训练数据上适用的模型在验证数据上同样适用。但是在真实的应用场景下，以游戏贴图素材作为测试集，游戏贴图素材不是利用下采样的方法得到的，而是绘制得到。它和一般下采样的低清数据不在同一个域内，因此，基于下采样构造的超分辨数据集训练的模型无法适用于低清游戏素材。此外，早期的游戏素材由于其风格、年代、制作人等差异，相互之间存在较大的差异性，不能假设其处于同一域内，因此需要根据实际情况差异化处理。
在本申请中，提供了一种图片处理方法，本申请同时涉及一种图片处理装置、一种超分辨模型训练方法、一种超分辨模型训练装置、一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种图片处理方法的流程图，具体包括以下步骤：
步骤102：将获取的第一图片和第二图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张第一初始图片和至少一张第二初始图片，所述第一初始图片为任意一张第一图片，所述第二初始图片为任意一张第二图片，所述第一图片的分辨率高于所述第二图片的分辨率。
具体的，所述第一图片是指图片分辨率较高的高清图片，例如网页下载的高清图片；所述第二图片是指相对于第一图片来说分辨率较低的低清图片，例如年代较为久远的游戏贴图；所述目标类别是指分类后同时包含第一图片和第二图片的类别，也即包含至少一张第一初始图片和至少一张第二初始图片的类别；所述第一初始图片是所有第一图片中的任意一张，所述第二图片是所有第二图片中的任意一张；所述分辨率是指图片的解析度、解像度，也即图片单位英寸中所包含的像素点数。
实际应用中，可以将获取到的所有的第一图片和第二图片根据风格、年代等进行分类，即将所有的第一图片和第二图片进行混合，构成一个混合分辨率的图片集，将图片集中的所有图片按图片内容进行划分，划分之后会得到多个类别，如图2所示，将第一图片和第二图片分为了S个类别。之后将同时包含有第一初始图片和第二初始图片的类别确定为目标类别，也即目标类别中既含有第一图片，也含有第二图片。
例如，有16张第一图片和9张第二图片，将其划分为五个类别：类别一包括4张第一图片和2张第二图片，即类别一包含4张第一初始图片和2张第二初始图片；类别二包括2张第一图片和1张第二图片，即类别二包含2张第一图片和1张第二图片；类别三包括3张第一图片，即类别三包含3张第一初始图片；类别四包括5张第一图片和4张第二图片，也即类别四包括5张第一初始图片和3张第二初始图片；类别五包括5张第一图片和2张第二图片，也即类别四包括5张第一初始图片和3张第二初始图片。其中，类别一、类别二、类别四以及类别五均为目标类别。
为了提高分类速度以及使分类结果更加精准，在将获取的第一图片和第二图片进行分类时，可以获取第一图片和第二图片，对所述第一图片和所述第二图片的图片内容进行识别，根据识别结果将所述第一图片和所述第二图片进行分类；和/或获取第一图片和第二图片，根据所述第一图片和所述第二图片的图片名称将所述第一图片和所述第二图片进行分类，其中所述第一图片和所述第二图片均携带有图片名称。
具体的，所述图片内容是指图片中描绘的事物，例如花、草、动物、房子等；所述图片名称是指图片的文件名，例如“鸟-麻雀”、“花-百合”等，图片名称可以表明图片的主题内容。
实际应用中，先获取图片处理所需的第一图片和第二图片，在此之后，可以对所有的第一图片和第二图片描绘的内容进行识别，即对图片内容进行识别，根据识别结果将所有的第一图片和第二图片进行分类；还可以提取获取的第一图片和第二图片的图片名称，根据图片名称将第一图片和第二图片进行分类，需要说明的是，任意一张第一图片以及第二图片均携带有表征图片内容或者图片特征的图片名称。上述两种分类方法，可以根据实际情况进行选择，可以采用任意一种分类方法对第一图片和第二图片进行分类，也可以对第一图片和第二图片中的部分图片采用一种分类方法、其他部分采用另一种分类方法进行分类。
例如，获取到四张第一图片和三张第二图片，其图片内容和图片名称如表1所示。若根据图片内容进行分类，图片1为百合，图片7为樱花，其图片内容为同一类，将图片1与图片7划分至同一类别中；图片2为耳环，图片6为发带，其图片内容为同一类，将图片2与图片6划分至同一类别中；图片3为沙发，图片5为餐桌，其图片内容为同一类，将图片3与图片5划分至同一类别中；而图片4为青蛙，没有同类的图片，将图片四单独归为一个类别。若根据图片名称进行分类，图片1与图片7的图片名称均为植物，将图片1与图片7划分至同一类别中；图片2与图片6的图片名称均为装饰品，将图片2与图片6划分至同一类别中；图片3与图片5的图片名称均为家用物品，将图片3与图片5划分至同一类别中；只有图片4的图片名称为动物，将其归为一个类别。
表1图片的图片内容和图片名称
本申请中，通过图片内容或者图片名称对第一图片和第二图片进行分类，简化了分类的过程，使分类结果更加精准，有效地提高了分类速度，从而一定程度上提高了图片处理的速度。
由于第一图片和/或第二图片中可能存在相同的图片，为了避免重复地对同样的图片进行多次处理，在将获取的第一图片和第二图片进行分类之前，还需要对获取的第一图片和第二图片进行去重处理，具体实现过程可以如下：
获取至少两张第一图片和至少两张第二图片；
根据图片相似模型，获取所述至少两张第一图片中任意两张第一图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张第一图片进行去重处理；
根据图片相似模型，获取所述至少两张第二图片中任意两张第二图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张第二图片进行去重处理。
具体的，所述图片相似模型是指可以计算两张图片之间的相似度的模型，即输入两张图片并输出一个相似度数值的模型，例如卷积神经网络模型；所述去重处理是指对于相同的几张图片只保留其中的一张、删除其他重复的图片的过程；全局特征是指图片的整体属性，全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等；哈希值，又称散列函数、哈希函数(Hash Function)，是将任意长度的输入通过散列算法变换成固定长度的输出，该输出就是哈希值。
实际应用中，在获取到多张第一图片和多张第二图片的基础上，为了避免重复地对同样的图片进行多次处理，减少数据处理量并提高数据处理速度，需要分别对第一图片和第二图片进行去重处理。对于第一图片，通过图片相似模型计算每两张第一图片之间的相似度。对于相似度大于预先设置的第三阈值的两张第一图片，删除其中的一张第一图片即可。同样的，对于第二图片也进行同样的处理。
例如，获取到三张第一图片(图片1、图片2、图片3)和两张第二图片(图片4、图片5)且第三相似度阈值为0.98。对于第一图片来说，通过图片相似模型计算得到：图片1与图片2的相似度为0.6、图片1与图片3的相似度为0.99、图片2与图片3的相似度为0.32，则可以删除图片1或者图片3；对于第二图片来说，通过图片相似模型计算得到：图片4与图片5的相似度为1，则删除图片4与图片5中的任意一张。
可选地，在获取至少两张第一图片和至少两张第二图片的基础上，还可以通过哈希算法进行去重，具体实现过程如下：
获取所述至少两张第一图片中每张第一图片的全局特征，将每张第一图片的全局特征转换为哈希值，确定所述至少两张第一图片中任意两张第一图片的哈希值的相似度，当所述相似度大于第四相似度阈值时，对所述至少两张第一图片进行去重处理；
获取所述至少两张第二图片中每张第二图片的全局特征，将每张第二图片的全局特征转换为哈希值，确定所述至少两张第二图片中任意两张第二图片的哈希值的相似度，当所述相似度大于第四相似度阈值时，对所述至少两张第二图片进行去重处理。
具体的，全局特征是指图片的整体属性，全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等；哈希值，又称散列函数、哈希函数(Hash Function)，是将任意长度的输入通过散列算法变换成固定长度的输出，该输出就是哈希值。
实际应用中，可以通过提取全局特征确定相似度进而去重：对于第一图片，可以通过小波变换(Gabor)提取第一图片的全局特征，对于提取后的全局特征进行编码得到哈希值，比较每一张的第一图片的哈希值，如果对于任意两张第一图片的哈希值有N个位的数值相同，N为第四相似度阈值，即这两张第一图片的哈希值的相似度大于第四相似度阈值，此时删除其中的一张第一图片即可；同样的，对于第二图片也进行同样的处理。
例如，有两张第一图片(图片6和图片7)，使用小波变换分别提取图片6和图片7的全局特征，进一步地分别将图片6和图片7的全局特征进行编码，得到图片6的哈希值(10000101)和图片7的哈希值(1101 0101)，1000 0101和1101 0101有6位相同，在N为5的情况下，图片6的哈希值与图片7的哈希值相似度大于第四相似度阈值，则删除图片6或者额删除图片7。
需要说明的是，在去重时，可以先对第一图片进行去重处理，再对第二图片进行去重处理；可以先对第二图片进行去重处理，再对第一图片进行去重处理；还可以同时对第一图片和第二图片分别进行去重处理。此外，除了上述提到的提取图片的全局变量的方法，还可以提取图像的局部特征，如尺度不变特征变换(SIFT)，在通过VLAD算法进行聚类，进一步去重；还可以直接使用imagededup等图片去重工具对第一图片和第二图片去重。
本申请中，通过对获取的第一图片和第二图片进行分类，将同一类型的图片划分至同一个类别中，不仅可以提高后续图片处理的速度，还可以使图片处理以分类的结果进行展示，提高用户体验性。
步骤104：根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合。
在将获取的第一图片和第二图片进行分类，得到至少一个目标类别的基础上，进一步地，根据同一目标类别中的第二初始图片与第一初始图片之间的相似度确定第二初始图片对应的相似集合。
具体的，所述相似度可以是余弦相似度，也可以是皮尔森相关系数，本申请对此不做限定；所述相似集合是指由与第二初始图片相似的所有第一初始图片构成的集合。对于每一个目标类别来说，其中包含几个第二初始图片，就需要确定几个相似集合，即第二初始图片与相似集合一一对应。
实际应用中，在对目标类别中的图片进行处理时，需要明确第二初始图片与该第二初始图片所在的目标类别中每张第一初始图片的相似度，再根据相似度确定该第二初始图片的相似集合，其中，确定过程是指选择与第二初始图片的相似度大于预设相似度阈值的第一初始图片组成该第二初始图片的相似集合的过程。如图3所示，左图为某个第二初始图片，右图为该第二初始图片所在的目标类别中的第一初始图片，其中箭头指向的第一初始图片为该第二初始图片对应的相似集合。
以一个目标类别为例，该目标类别中含有5张第一初始图片(图片1、图片2、图片3、图片4以及图片5)和2张第二初始图片(图片A和图片B)，分别确定图片A与图片1、图片2、图片3、图片4以及图片5的相似度A1、A2、A3、A4和A5，分别确定图片B与图片1、图片2、图片3、图片4以及图片5的相似度B1、B2、B3、B4和B5，再根据A1、A2、A3、A4和A5确定图片A的相似集合，根据B1、B2、B3、B4和B5确定图片B的相似集合。
具体的，为了提高确定相似集合的速度以及相似集合与第二初始图片的相关性，根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合的具体实现过程可以如下：
提取同一个目标类别中每张第二初始图片的特征向量和每张第一初始图片的特征向量；
确定同一个目标类别中每张第二初始图片的特征向量与每张第一初始图片的特征向量的相似度；
选取同一个目标类别中每张第二初始图片对应的相似度大于第一相似度阈值的第一初始图片，分别生成每张第二初始图片对应的相似集合。
具体的，所述特征向量具体是指将图片在不同的维度对应的特性组成的向量表达。实际应用中，确定第二初始图片对应的相似集合时，可以先提取每张第二初始图片和每张第一初始图片的特征向量。对于任意一个第二初始图片来说，需要确定该第二初始图片的特征向量与该第二初始图片所在的目标类别中每张第一初始图片的特征向量之间的相似度，如果该目标类别中某个第一初始图片的特征向量与该第二初始图片的特征向量的相似度大于预先设置的第一相似度阈值，则将该第一初始图片添加至该第二初始图片对应的相似集中。
例如，在一个目标类别中，有5张第一初始图片(图片1、图片2、图片3、图片4以及图片5)和2张第二初始图片(图片A和图片B)，分别获取图片1、图片2、图片3、图片4、图片5、图片A和图片B的特征向量，然后确定图片A与图片1、图片2、图片3、图片4以及图片5的相似度，确定图片B与图片1、图片2、图片3、图片4以及图片5的相似度，其相似度如表2所示。当第一相似度阈值为0.6时，将图片3、图片4和图片5确定为图片A的相似集合，将图片1、图片2和图片3确定为图片B的相似集合。其他目标类别也按照上述方法进行处理。
表2第一初始图片与第二初始图片的特征向量的相似度
本申请中，在确定每张第一初始图片以及每张第二初始图片的特征向量的基础上，进一步根据同一目标类别中第二初始图片与第一初始图片的特征向量的相似度，确定每张第二初始图片对应的相似集合，不仅提高了确定相似集合的效率，还一定程度上提高了图片处理的效率。
鉴于灰度直方图可以用少量的数据表达图像的特征，且灰度直方图能描述图像的概貌，因此可以采用灰度直方图来确定图片的特征向量，即提取同一个目标类别中每张第二初始图片的特征向量和每张第一初始图片的特征向量时，可以采用如下方法：
获取同一个目标类别中每张第二初始图片的灰度直方图和每张第一初始图片的灰度直方图；
根据同一个目标类别中每张第二初始图片的灰度直方图确定每张第二初始图片的特征向量，根据同一个目标类别中每张第一初始图片的灰度直方图确定每张第一初始图片的特征向量。
具体的，灰度直方图是关于灰度级分布的函数，是将数字图片中的所有像素，按照灰度值的大小，统计其出现的频率。实际应用中，可以将第一初始图片和第二初始图片进行灰度处理，进而获取第一初始图片的灰度直方图和第二初始图片的灰度直方图。每张第一初始图片和每张第二初始图片的灰度直方图均为一个1*255的向量，可以以直方图的形式画出来，然后直接以这个1*255的向量作为对应的第一初始图片或者第二初始图片的特征向量，即根据第一初始图片的灰度直方图确定第一初始图片的特征向量，根据第二初始图片的灰度直方图确定第二初始图片的特征向量。这样，使用灰度直方图来分别确定第一初始图片和第二初始图片的特征向量，可以自动增强第一初始图片和第二初始图片各自的对比度，一定程度上提高了提取的特征向量的精确度；此外灰度直方图作为一个简单有效的经典特征，处理大量图片时，在保证一定表征能力的条件下，极大地加快了相似度比较的速度。
进一步地，对于经过上述处理没有相似集合的第二初始图片来说，还需要通过另一种方法确定所述第二初始图片的相似集合，具体实现过程如下：
针对不存在相似集合的第二初始图片，通过深度神经网络确定所述第二初始图片以及所述第二初始图片所在目标类别中每张第一初始图片的嵌入向量；
确定所述第二初始图片的嵌入向量与每张第一初始图片的嵌入向量的相似度；
选取所述第二初始图片对应的相似度最高的N张第一初始图片，生成所述第二初始图片对应的相似集合，其中N为正整数。
具体的，所述深度神经网络是指有很多隐藏层的神经网络，又被称为深度前馈网络、多层感知机；所述嵌入向量是指神经网络中将离散的序列映射为连续的向量。
实际应用中，可能会存在这样的情况，在某个目标类别中，一些第二初始图片与该目标类别中的每张第一初始图片的相似度均不大于第一相似度阈值，从而导致这些第二初始图片上述过程中没有对应的相似集合。此时，对于这些没有相似集合的第二初始图片，可以通过神经网络确定该第二初始图片的嵌入向量，并确定该第二初始图片所在的目标类别中每张第一初始图片的嵌入向量，再计算该第二初始图片与该目标类别中每张第一初始图片的嵌入向量的相似度，取相似度最高的前N个第一初始图片作为该第二初始图片的相似集合，其中N为预先设置的一个正整数。
例如，第二初始图片X在根据特征向量确定相似集合阶段，没有生成对应的相似集合，第二初始图片X所在的目标类别中由三张第一初始图片：图片1、图片2和图片3。根据深度神经网络确定第二初始图片X、图片1、图片2和图片3的嵌入向量，再分别确定第二初始图片X分别与图片1、图片2、图片3的嵌入向量的相似度X1、X2、X3，在X1＜X2＜X3且N为2的情况下，将图片2和图片3确定为第二初始图片X的相似集合。
本申请中，对不存在相似集合的第二初始图片，进一步获取所述第二初始图片以及对应的第一初始图片的嵌入向量，并基于嵌入向量计算相似度，确定了第二初始图片的相似集合，保证了每张第二初始图片都拥有对应的相似集合，有利于后续图片处理的顺利进行。
在本实施例的一个或多个实施方式中，所述选取所述第二初始图片对应的相似度最高的N张第一初始图片，生成所述第二初始图片对应的相似集合的具体实现过程可以为：
判断所述第二初始图片的嵌入向量与每张第一初始图片的嵌入向量的相似度是否均小于等于第二相似度阈值；
若是，选取所述第二初始图片对应的相似度最高的N1张第一初始图片，生成所述第二初始图片对应的相似集合，其中N1为正整数；
若否，选取所述第二初始图片对应的相似度最高的N2张第一初始图片，生成所述第二初始图片对应的相似集合，其中N2为小于N1的正整数。
实际应用中，在确定了所述第二初始图片的嵌入向量与每张第一初始图片的嵌入向量的相似度的基础上，进一步判断这些相似度是否全部小于或者等于第二相似度，如果是，则选择相似度最高的N1张第一初始图片作为该第二初始图片对应相似集合；如果不是，则选择相似度最高的N2张第一初始图片作为该第二初始图片对应相似集合，需要说明的是N2为小于N1的正整数。如此不仅保证了每张第二初始图片都能拥有对应的相似集合，还有利于保证相似度整体较低的第二初始图片的相似集合中有充足的第一初始图片。
例如，某一目标类型中的第二初始图片(图片A和图片B)在根据特征向量确定相似集合阶段，没有确定对应的相似集合。该目标类别中有5张第一初始图片(图片1、图片2、图片3、图片4以及图片5)，已知图片A与图片1、图片2、图片3、图片4以及图片5的嵌入向量的相似度，图片B与图片1、图片2、图片3、图片4以及图片5的嵌入向量的相似度，如表3所示。当第二相似度阈值为0.4、N1为3且N2为2时，将图片2和图片3确定为图片A的相似集合，将图片1、图片3和图片4确定为图片B的相似集合。其他目标类别也按照上述方法进行处理。
表3第一初始图片与第二初始图片的嵌入向量的相似度
本申请中，通过确定同一个目标类别中每张第二初始图片与每张第一初始图片的相似度，进一步确定每张第二初始图片对应的相似集合，为后续图片处理做好了准备工作，有利于提高图片处理的效率。
步骤106：根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，其中所述目标图片的特征信息与所述第二初始图片的特征信息相同。
在根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合的基础上，进一步地，根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片。
具体的，所述特征信息可以是颜色特征信息、光照特征信息、灰度平均值信息、纹理特征信息；所述特征信息矩阵是指将第二初始图片进行特征抽取，将每张第二初始图片的特征记录在一个特征信息的矩阵，称为kernel矩阵，也即将特征信息以数据的方式量化为矩阵；所述下采样是指将分辨率较高的图片转变为分辨率较低的图片的过程。
实际应用中，以一个第二初始图片进行说明，以该第二初始图片对应的特征信息矩阵为指导，对该第二初始图片对应的相似集合中每张第一初始图片经过计算可以得到一张下采样的目标图片，由于目标图片以第二初始图片对应的特征信息矩阵为指导，因此，目标图片的特征信息与该第二初始图片的特征信息相同；由于目标图片是对第一初始图片进行下采样得到的，因此，所述第一初始图片与第一初始图片对应的目标图片的图片内容相同，所述第一初始图片的分辨率高于与第一初始图片对应的目标图片的分辨率。此时，我们得到一个目标图片——第一初始图片配对的超分辨数据集，即低清——高清配对的超分辨数据集。如此，可以保证目标图片与第二初始图片处于同一个域内。
例如，某个第二初始图片特征信息矩阵包括颜色特征信息和光照特征信息，以第二初始图片的特征信息矩阵为指导，对该第二初始图片的相似集合中的5张第一初始图片进行下采样，将得到5张分别与第一初始图片的图片内容相同的、且颜色特征信息和光照特征信息与第二初始图片一致的目标图片。
需要说明的是，在根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样之前，还需要分别获取每张第二初始图片的图片特征，根据每张第二初始图片的图片特征分别生成每张第二初始图片的特征信息矩阵。其中，所述图片特征是指对图片中的信息进行处理和分析，将其中不易受随机因素干扰的、具有标志性的信息，如图片的颜色特征、光照特征、纹理特征、结构信息作为该图片的特征。如此，有利于凸显第二初始图片的特征，从而使第二初始图片的特征信息更具代表性，并且为后续依据第二初始图片的特征信息矩阵做好了准备，一定程度上提高了图像处理的效率。
本申请提供的图片处理方法，通过将获取的第一图片和第二图片进行分类，将相同域内的第二图片划分至同一类别中，解决了第二图片差异较大的问题；根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合，以每张第二初始图片的特征信息为指导，对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，可以使得到的目标图片与第二初始图片处于同一个域内。
图4示出了根据本申请一实施例提供的一种超分辨模型训练方法的流程图，具体包括以下步骤：
步骤402：接收训练样本和标签，其中所述标签为第一初始图片，所述训练样本为所述第一初始图片对应的目标图片，所述目标图片是通过上述的图片处理方法处理得到的。
具体的，所述训练样本为用于训练超分辨模型的样本，也即分辨率较低的目标图片；所述标签为与目标图片对应的分辨率较高的第一初始图片，用于监督超分辨模型的训练；其中，目标图片与第一初始图片一一对应。
在实际应用中，在训练超分辨模型之前，需要获取用于训练超分辨模型的训练样本和标签，以便于通过训练样本和标签对超分辨模型进行训练，使超分辨模型学习从训练样本到标签的映射，以达到用户所需的超分辨效果。
例如，接收到15张分辨率较低的目标图片，还需要接收到与这15张目标图片一一对应的15张分辨率较高的第一初始图片，将15张目标图片作为训练样本，将15张第一初始图片作为标签。
本申请中，通过接收用于超分辨模型训练的训练样本和标签，为后续超分辨模型训练做好了准备工作，有利于超分辨模型训练的顺利进行。
步骤404：将所述目标图片输入至超分辨模型中获得预测图片，根据所述预测图片和所述第一初始图片计算损失值。
在接收到用于超分辨模型训练的训练样本和标签的基础上，进一步地，将目标图片输入至超分辨模型中获得预测图片，并根据所述预测图片和所述第一初始图片计算损失值。
具体的，所述超分辨模型简称超分模型，用于将图片的分辨率放大，比如说512x512的图片放大到1024x1024的图片，可以以SRCNN(Super Resolution ConvolutionalNeural Network，超分辨率卷积神经网络)、DRCN(Deeply Recursive ConvolutionalNetwork，深度递归卷积网络)、VDSR(Very Deep Convolutional Networks，深度卷积网络)、RCAN(Residual Channel Attention Network，残差信道注意网络)、SRGAN(SuperResolution Generated Adversarial Network，超分辨率生成对抗网络)、IDN(Information Distillation Network，信息蒸馏网络)、DSRN(Deep Recursive NeuralNetworks，深度递归神经网络)等为框架建立超分辨模型；所述预测图片是将目标图片输入至超分辨模型后，由超分辨模型进行超分辨处理后输出的图片；计算损失值的损失函数有很多，如L1范数损失函数、均方误差损失函数、感知损失函数等，在本申请中，不对计算损失值的损失函数的选择做限定。
实际应用中，可以将分辨率较低的目标图片输入至超分辨模型中，由超分辨模型输出预测图片，再根据接收到的预测图片和第一初始图片计算损失值。
例如，将目标图片输入至以RCAN(Residual Channel Attention Network，残差通道注意力网络)为框架的超分辨模型中，或者输入至以HAN(Hierarchical AttentionNetwork，分层注意网络)为框架的超分辨模型中，得到预测图片，从而根据获得的预测图片与该目标图片对应的第一初始图片通过L1范数损失函数计算损失值。
在本实施例的一个或多个实施方式中，根据所述预测图片和所述第一初始图片计算损失值，包括：将所述预测图片与所述第一初始图片进行对比，得到所述预测图片的损失值。具体的，可以将所述月图片的像素与所述第一初始图片的像素进行比较，然后计算得到损失值。
需要说明的是，本实施例中，计算所述预测图片的损失值时，引入了第一初始图片与得到的预测图片进行对比计算损失值。这样优化了超分辨模型在超分辨过程中的表现，使得超分辨效果更加适用于用户的需要。
本申请中，通过将目标图片输入至超分辨模型中获得预测图片，在此基础上根据预测图片和第一初始图片计算损失值，为后续调整超分辨模型做好了前提准备，不仅提高了超分辨模型的训练速度，还提高了超分辨模型的稳定性。
步骤406：根据所述损失值调整所述超分辨模型的参数，继续训练所述超分辨模型，直至达到训练停止条件。
在将所述目标图片输入至超分辨模型中获得预测图片，根据所述预测图片和所述第一初始图片计算损失值的基础上，进一步地，根据所述损失值调整所述超分辨模型的参数，继续训练所述超分辨模型，直至达到训练停止条件。
实际应用中，在调整所述超分辨模型的参数时，需要根据所述损失值调整所述超分辨模型的参数。继续将目标图片输入至调整后的超分辨模型中，获得预测图片，再根据第一初始图片和预测图片计算损失值，当符合训练停止条件时，可以停止训练，即超分辨模型训练完成。
在本实施例的一个或多个实施方式中，继续训练所述超分辨模型，直至达到训练停止条件的具体实现过程为：当所述损失值小于目标值时，停止训练所述超分辨模型；当所述损失值停止下降时，停止训练所述超分辨模型；或者当所述超分辨模型的迭代次数达到目标迭代次数时，停止训练所述超分辨模型。
在本实施例中，预先设置了目标值，当所述超分辨模型的损失值低于预设的目标值时，或者当所述损失值停止下降时，又或者，当所述超分辨模型的迭代次数达到目标迭代次数时，说明所述超分辨模型达到超分辨标准或者一定的超分辨水平，即达到了训练停止条件，因此，停止训练所述超分辨模型。
本申请提供的超分辨模型训练方法，通过以图片处理方法得到的目标图片为训练样本、以目标图片对应的第一初始图片为标签，对超分辨模型进行训练、调参，能够更好地使模型适用于低清图片的超分辨，使得超分辨结果更加自然。此外，以最小化损失值对超分辨模型的参数进行优化，超分辨模型经过多次迭代优化，其超分辨表现明显提高，使得超分辨效果更加适用于用户的需要。
下述结合附图5，以本申请提供的图片处理方法和超分辨模型训练方法在游戏素材中的应用为例，对所述图片处理方法和超分辨模型训练方法进行进一步说明。其中，图5示出了本申请一实施例提供的一种应用于游戏素材中的图片处理方法和超分辨模型训练方法的处理流程图，具体包括以下步骤：
步骤502：获取普通图片和游戏图片，所述普通图片的分辨率高于所述游戏图片的分辨率。
步骤504：根据图片相似模型，获取所述至少两张普通图片中任意两张普通图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张普通图片进行去重处理。
步骤506：根据图片相似模型，获取所述至少两张游戏图片中任意两张游戏图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张游戏图片进行去重处理。
需要说明的是，步骤504和步骤506可以是顺序执行，可以是指并列执行。
步骤508：根据图片名称将去重后的普通图片和游戏图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张初始普通图片和至少一张初始游戏图片，所述初始普通图片为任意一张普通图片，所述初始游戏图片为任意一张游戏图片。
步骤510：获取同一个目标类别中每张初始游戏图片的灰度直方图和每张初始普通图片的灰度直方图。
步骤512：根据同一个目标类别中每张初始游戏图片的灰度直方图确定每张初始游戏图片的特征向量。
步骤514：根据同一个目标类别中每张初始普通图片的灰度直方图确定每张初始普通图片的特征向量。
需要说明的是，步骤512和步骤514可以是顺序执行，也可以是并列执行。
步骤516：确定同一个目标类别中每张初始游戏图片的特征向量与每张初始普通图片的特征向量的相似度。
步骤518：选取同一个目标类别中每张初始游戏图片对应的相似度大于第一相似度阈值的初始普通图片，分别生成每个初始游戏图片对应的相似集合。
步骤520：针对不存在相似集合的初始游戏图片，通过深度神经网络确定所述初始游戏图片以及所述初始游戏图片所在目标类别中每张初始普通图片的嵌入向量。
步骤522：确定所述初始游戏图片的嵌入向量与每张初始普通图片的嵌入向量的相似度。
步骤524：选取所述初始游戏图片对应的相似度最高的N张初始普通图片，生成所述初始游戏图片对应的相似集合，其中N为正整数。
步骤526：分别获取每张初始游戏图片的图片特征，根据每张初始游戏图片的图片特征分别生成每张初始游戏图片的特征信息矩阵。
步骤528：根据每张初始游戏图片的特征信息矩阵对每个初始游戏图片对应的相似集合中的每张初始普通图片进行下采样，得到每张初始普通图片对应的目标普通图片，其中所述目标普通图片的特征信息与所述初始游戏图片的特征信息相同。
步骤530：将所述目标普通图片输入至超分辨模型中获得预测图片。
步骤532：将所述预测图片和所述目标普通图片对应的初始普通图片进行对比，得到所述预测图片的损失值。
步骤534：根据所述损失值调整所述超分辨模型的参数，训练所述超分辨模型。
步骤536：当所述超分辨模型的迭代次数达到目标迭代次数时，停止训练所述超分辨模型。
步骤538：将所述游戏图片输入至训练完成后的超分辨模型，得到目标游戏图片。
具体的，所述目标游戏图片的分辨率高于所述游戏图片的分辨率。所述游戏图片和所述目标游戏图片的对比效果如图6所示，其中左边一列为游戏图片，中间一列为分辨率提高为两倍的目标游戏图片，右边一列为分辨率提高为四倍的目标游戏图片。
本申请提供的应用于游戏图片的图片处理方法，通过将获取的普通图片和游戏图片进行分类，将相同域内的游戏图片划分至同一类别中，解决了游戏图片差异较大的问题；根据同一个目标类别中每张初始游戏图片与每张初始普通图片的相似度确定每张初始游戏图片对应的相似集合，以每张初始游戏图片的特征信息矩阵为指导，对每个初始游戏图片对应的相似集合中的每张初始普通图片进行下采样，得到每张初始普通图片对应的目标普通图片，可以使得到的目标普通图片与初始游戏图片处于同一个域内。本申请提供的应用于游戏图片的超分辨模型训练方法，通过将目标普通图片为训练样本、以目标普通图片对应的初始普通图片为标签，对超分辨模型进行训练、调参，能够更好地使超分辨模型适用于低清图片的超分辨，使得超分辨结果更加自然。此外，将游戏图片输入至训练好的超分辨模型，可以有效地获得目标游戏图片，提高了目标游戏图片的准确性和清晰度。
与上述方法实施例相对应，本申请还提供了图片处理装置实施例，图7示出了本申请一实施例提供的一种图片处理装置的结构示意图。如图7所示，该装置包括：
分类模块702，被配置为将获取的第一图片和第二图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张第一初始图片和至少一张第二初始图片，所述第一初始图片为任意一张第一图片，所述第二初始图片为任意一张第二图片，所述第一图片的分辨率高于所述第二图片的分辨率；
相似集合确定模块704，被配置为根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合；
采样模块706，被配置为根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，其中所述目标图片的特征信息与所述第二初始图片的特征信息相同。
在本实施例的一个或多个实施方式中，所述分类模块702，还被配置为：
获取第一图片和第二图片，对所述第一图片和所述第二图片的图片内容进行识别，根据识别结果将所述第一图片和所述第二图片进行分类；和/或
获取第一图片和第二图片，根据所述第一图片和所述第二图片的图片名称将所述第一图片和所述第二图片进行分类，其中所述第一图片和所述第二图片均携带有图片名称。
在本实施例的一个或多个实施方式中，所述相似集合确定模块704，还被配置为：
提取同一个目标类别中每张第二初始图片的特征向量和每张第一初始图片的特征向量；
确定同一个目标类别中每张第二初始图片的特征向量与每张第一初始图片的特征向量的相似度；
选取同一个目标类别中每张第二初始图片对应的相似度大于第一相似度阈值的第一初始图片，分别生成每张第二初始图片对应的相似集合。
在本实施例的一个或多个实施方式中，所述相似集合确定模块704，还被配置为：
获取同一个目标类别中每张第二初始图片的灰度直方图和每张第一初始图片的灰度直方图；
根据同一个目标类别中每张第二初始图片的灰度直方图确定每张第二初始图片的特征向量，根据同一个目标类别中每张第一初始图片的灰度直方图确定每张第一初始图片的特征向量。
在本实施例的一个或多个实施方式中，所述相似集合确定模块704，还被配置为：
针对不存在相似集合的第二初始图片，通过深度神经网络确定所述第二初始图片以及所述第二初始图片所在目标类别中每张第一初始图片的嵌入向量；
确定所述第二初始图片的嵌入向量与每张第一初始图片的嵌入向量的相似度；
选取所述第二初始图片对应的相似度最高的N张第一初始图片，生成所述第二初始图片对应的相似集合，其中N为正整数。
在本实施例的一个或多个实施方式中，所述相似集合确定模块704，还被配置为：
判断所述第二初始图片的嵌入向量与每张第一初始图片的嵌入向量的相似度是否均小于等于第二相似度阈值；
若是，选取所述第二初始图片对应的相似度最高的N1张第一初始图片，生成所述第二初始图片对应的相似集合，其中N1为正整数；
若否，选取所述第二初始图片对应的相似度最高的N2张第一初始图片，生成所述第二初始图片对应的相似集合，其中N2为小于N1的正整数。
在本实施例的一个或多个实施方式中，所述装置还包括特征信息矩阵生成模块，被配置为：
分别获取每张第二初始图片的图片特征，根据每张第二初始图片的图片特征分别生成每张第二初始图片的特征信息矩阵。
在本实施例的一个或多个实施方式中，所述装置还包括去重模块，被配置为：
获取至少两张第一图片和至少两张第二图片；
根据图片相似模型，获取所述至少两张第一图片中任意两张第一图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张第一图片进行去重处理；
根据图片相似模型，获取所述至少两张第二图片中任意两张第二图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张第二图片进行去重处理。
在本实施例的一个或多个实施方式中，所述第一初始图片与第一初始图片对应的目标图片的图片内容相同，所述第一初始图片的分辨率高于与第一初始图片对应的目标图片的分辨率。
本申请提供的图片处理装置，通过将获取的第一图片和第二图片进行分类，将相同域内的第二图片划分至同一类别中，解决了第二图片差异较大的问题；根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合，以每张第二初始图片的特征信息矩阵为指导，对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，可以使得到的目标图片与第二初始图片处于同一个域内。
上述为本实施例的一种图片处理装置的示意性方案。需要说明的是，该图片处理装置的技术方案与上述的图片处理方法的技术方案属于同一构思，图片处理装置的技术方案未详细描述的细节内容，均可以参见上述图片处理方法的技术方案的描述。
与上述方法实施例相对应，本申请还提供了超分辨模型训练装置实施例，图8示出了本申请一实施例提供的一种超分辨模型训练装置的结构示意图。如图8所示，该装置包括：
接收模块802，被配置为接收训练样本和标签，其中所述标签为第一初始图片，所述训练样本为所述第一初始图片对应的目标图片，所述目标图片是通过所述的图片处理方法处理得到的；
计算模块804，被配置为将所述目标图片输入至超分辨模型中获得预测图片，根据所述预测图片和所述第一初始图片计算损失值；
训练模块806，被配置为根据所述损失值调整所述超分辨模型的参数，继续训练所述超分辨模型，直至达到训练停止条件。
在本实施例的一个或多个实施方式中，所述计算模块804，还被配置为：
将所述预测图片与所述第一初始图片进行对比，得到所述预测图片的损失值。
在本实施例的一个或多个实施方式中，所述训练模块806，还被配置为：
当所述损失值小于目标值时，停止训练所述超分辨模型；
当所述损失值停止下降时，停止训练所述超分辨模型；或者
当所述超分辨模型的迭代次数达到目标迭代次数时，停止训练所述超分辨模型。
本申请提供的超分辨模型训练装置，通过以图片处理方法得到的目标图片为训练样本、以目标图片对应的第一初始图片为标签，对超分辨模型进行训练、调参，能够更好地使超分辨模型适用于低清图片的超分辨，使得超分辨结果更加自然。
上述为本实施例的一种超分辨模型训练装置的示意性方案。需要说明的是，该超分辨模型训练装置的技术方案与上述的超分辨模型训练方法的技术方案属于同一构思，超分辨模型训练装置的技术方案未详细描述的细节内容，均可以参见上述超分辨模型训练方法的技术方案的描述。
图9示出了根据本说明书一个实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。
计算设备900还包括接入设备940，接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中，处理器920执行所述计算机指令时实现所述的图片处理方法或者超分辨模型训练方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图片处理方法或者超分辨模型训练方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图片处理方法或者超分辨模型训练方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述图片处理方法或者超分辨模型训练方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图片处理方法或者超分辨模型训练方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图片处理方法或者超分辨模型训练方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (16)
1.一种图片处理方法，其特征在于，包括：
将获取的第一图片和第二图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张第一初始图片和至少一张第二初始图片，所述第一初始图片为任意一张第一图片，所述第二初始图片为任意一张第二图片，所述第一图片的分辨率高于所述第二图片的分辨率；
根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合；
根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，其中所述目标图片的特征信息与所述第二初始图片的特征信息相同。
2.根据权利要求1所述的方法，其特征在于，所述将获取的第一图片和第二图片进行分类，包括：
获取第一图片和第二图片，对所述第一图片和所述第二图片的图片内容进行识别，根据识别结果将所述第一图片和所述第二图片进行分类；和/或
获取第一图片和第二图片，根据所述第一图片和所述第二图片的图片名称将所述第一图片和所述第二图片进行分类，其中所述第一图片和所述第二图片均携带有图片名称。
3.根据权利要求1所述的方法，其特征在于，所述根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合，包括：
提取同一个目标类别中每张第二初始图片的特征向量和每张第一初始图片的特征向量；
确定同一个目标类别中每张第二初始图片的特征向量与每张第一初始图片的特征向量的相似度；
选取同一个目标类别中每张第二初始图片对应的相似度大于第一相似度阈值的第一初始图片，分别生成每张第二初始图片对应的相似集合。
4.根据权利要求3所述的方法，其特征在于，所述提取同一个目标类别中每张第二初始图片的特征向量和每张第一初始图片的特征向量，包括：
获取同一个目标类别中每张第二初始图片的灰度直方图和每张第一初始图片的灰度直方图；
根据同一个目标类别中每张第二初始图片的灰度直方图确定每张第二初始图片的特征向量，根据同一个目标类别中每张第一初始图片的灰度直方图确定每张第一初始图片的特征向量。
5.根据权利要求4所述的方法，其特征在于，还包括：
针对不存在相似集合的第二初始图片，通过深度神经网络确定所述第二初始图片以及所述第二初始图片所在目标类别中每张第一初始图片的嵌入向量；
确定所述第二初始图片的嵌入向量与每张第一初始图片的嵌入向量的相似度；
选取所述第二初始图片对应的相似度最高的N张第一初始图片，生成所述第二初始图片对应的相似集合，其中N为正整数。
6.根据权利要求5所述的方法，其特征在于，所述选取所述第二初始图片对应的相似度最高的N张第一初始图片，生成所述第二初始图片对应的相似集合，包括：
判断所述第二初始图片的嵌入向量与每张第一初始图片的嵌入向量的相似度是否均小于等于第二相似度阈值；
若是，选取所述第二初始图片对应的相似度最高的N1张第一初始图片，生成所述第二初始图片对应的相似集合，其中N1为正整数；
若否，选取所述第二初始图片对应的相似度最高的N2张第一初始图片，生成所述第二初始图片对应的相似集合，其中N2为小于N1的正整数。
7.根据权利要求1所述的方法，其特征在于，所述根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样之前，还包括：
分别获取每张第二初始图片的图片特征，根据每张第二初始图片的图片特征分别生成每张第二初始图片的特征信息矩阵。
8.根据权利要求1所述的方法，其特征在于，所述将获取的第一图片和第二图片进行分类之前，包括：
获取至少两张第一图片和至少两张第二图片；
根据图片相似模型，获取所述至少两张第一图片中任意两张第一图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张第一图片进行去重处理；
根据图片相似模型，获取所述至少两张第二图片中任意两张第二图片的相似度，当所述相似度大于第三相似度阈值时，对所述至少两张第二图片进行去重处理。
9.根据权利要求1所述的方法，其特征在于，所述第一初始图片与第一初始图片对应的目标图片的图片内容相同，所述第一初始图片的分辨率高于与第一初始图片对应的目标图片的分辨率。
10.一种超分辨模型训练方法，其特征在于，包括：
接收训练样本和标签，其中所述标签为第一初始图片，所述训练样本为所述第一初始图片对应的目标图片，所述目标图片是通过权利要求1-9任意一项所述的图片处理方法处理得到的；
将所述目标图片输入至超分辨模型中获得预测图片，根据所述预测图片和所述第一初始图片计算损失值；
根据所述损失值调整所述超分辨模型的参数，继续训练所述超分辨模型，直至达到训练停止条件。
11.根据权利要求10所述的方法，其特征在于，所述根据所述预测图片和所述第一初始图片计算损失值，包括：
将所述预测图片与所述第一初始图片进行对比，得到所述预测图片的损失值。
12.根据权利要求10所述的方法，其特征在于，所述继续训练所述超分辨模型，直至达到训练停止条件，包括：
当所述损失值小于目标值时，停止训练所述超分辨模型；
当所述损失值停止下降时，停止训练所述超分辨模型；或者
当所述超分辨模型的迭代次数达到目标迭代次数时，停止训练所述超分辨模型。
13.一种图片处理装置，其特征在于，包括：
分类模块，被配置为将获取的第一图片和第二图片进行分类，得到至少一个目标类别，其中每个目标类别中包含至少一张第一初始图片和至少一张第二初始图片，所述第一初始图片为任意一张第一图片，所述第二初始图片为任意一张第二图片，所述第一图片的分辨率高于所述第二图片的分辨率；
相似集合确定模块，被配置为根据同一个目标类别中每张第二初始图片与每张第一初始图片的相似度确定每张第二初始图片对应的相似集合；
采样模块，被配置为根据每张第二初始图片的特征信息矩阵对每张第二初始图片对应的相似集合中的每张第一初始图片进行下采样，得到每张第一初始图片对应的目标图片，其中所述目标图片的特征信息与所述第二初始图片的特征信息相同。
14.一种超分辨模型训练装置，其特征在于，包括：
接收模块，被配置为接收训练样本和标签，其中所述标签为第一初始图片，所述训练样本为所述第一初始图片对应的目标图片，所述目标图片是通过权利要求1-9任意一项所述的图片处理方法处理得到的；
计算模块，被配置为将所述目标图片输入至超分辨模型中获得预测图片，根据所述预测图片和所述第一初始图片计算损失值；
训练模块，被配置为根据所述损失值调整所述超分辨模型的参数，继续训练所述超分辨模型，直至达到训练停止条件。
15.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现权利要求1-9或者10-12任意一项所述方法的步骤。
16.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-9或者10-12任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110556596.3A CN113205149A (zh) | 2021-05-21 | 2021-05-21 | 图片处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110556596.3A CN113205149A (zh) | 2021-05-21 | 2021-05-21 | 图片处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113205149A true CN113205149A (zh) | 2021-08-03 |
Family
ID=77022799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110556596.3A Pending CN113205149A (zh) | 2021-05-21 | 2021-05-21 | 图片处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113205149A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492731A (zh) * | 2021-12-23 | 2022-05-13 | 北京达佳互联信息技术有限公司 | 图像处理模型的训练方法及装置、电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017070841A1 (zh) * | 2015-10-27 | 2017-05-04 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110264407A (zh) * | 2019-06-28 | 2019-09-20 | 北京金山云网络技术有限公司 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
| CN111340700A (zh) * | 2020-02-21 | 2020-06-26 | 北京中科虹霸科技有限公司 | 模型生成方法、分辨率提高方法、图像识别方法及装置 |
| CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
| CN112749626A (zh) * | 2020-12-10 | 2021-05-04 | 同济大学 | 一种面向dsp平台的快速人脸检测与识别方法 |
-
2021
- 2021-05-21 CN CN202110556596.3A patent/CN113205149A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017070841A1 (zh) * | 2015-10-27 | 2017-05-04 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110264407A (zh) * | 2019-06-28 | 2019-09-20 | 北京金山云网络技术有限公司 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
| CN111340700A (zh) * | 2020-02-21 | 2020-06-26 | 北京中科虹霸科技有限公司 | 模型生成方法、分辨率提高方法、图像识别方法及装置 |
| CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
| CN112749626A (zh) * | 2020-12-10 | 2021-05-04 | 同济大学 | 一种面向dsp平台的快速人脸检测与识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| XU, WENJIA 等: "HIGH QUALITY REMOTE SENSING IMAGE SUPER-RESOLUTION USING DEEP MEMORY CONNECTED NETWORK", 《IGARSS 2018 - 2018 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》, 4 November 2018 (2018-11-04), pages 8889 - 8892 * |
| 谢海平 等: "图像超分辨率方法研究进展", 《计算机工程与应用》, no. 19, 7 September 2020 (2020-09-07), pages 34 - 41 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492731A (zh) * | 2021-12-23 | 2022-05-13 | 北京达佳互联信息技术有限公司 | 图像处理模型的训练方法及装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Klibisz et al. | Fast, simple calcium imaging segmentation with fully convolutional networks | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| Mohamed et al. | Content-based image retrieval using convolutional neural networks | |
| CN112733965B (zh) | 一种基于小样本学习的无标签图像分类方法 | |
| CN114495129B (zh) | 文字检测模型预训练方法以及装置 | |
| CN110188827A (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
| Wang et al. | Jpeg artifacts removal via contrastive representation learning | |
| CN114581918A (zh) | 一种文本识别模型训练方法及装置 | |
| CN114330514A (zh) | 一种基于深度特征与梯度信息的数据重建方法及系统 | |
| CN110009049A (zh) | 一种基于自步约束机制的可监督图像分类方法 | |
| CN113205149A (zh) | 图片处理方法及装置 | |
| Meng et al. | Merged region based image retrieval | |
| Fan et al. | [Retracted] Accurate Recognition and Simulation of 3D Visual Image of Aerobics Movement | |
| CN115410000A (zh) | 对象分类方法以及装置 | |
| JP6995262B1 (ja) | 学習システム、学習方法、及びプログラム | |
| CN108416389A (zh) | 基于降噪稀疏自动编码器和密度空间采样的图像分类方法 | |
| CN114663765A (zh) | 一种基于弱监督细粒度的植物叶片识别系统及方法 | |
| KR101913140B1 (ko) | 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법 | |
| Saxena et al. | An Optimized Technique for Plant Identification Through Deep Residual Networks | |
| Pallavi | Suggestive GAN for supporting Dysgraphic drawing skills | |
| Riza et al. | Lightweight convolutional neural network for khat naskhi and riq'ah classification | |
| Li et al. | Bisupervised network with pyramid pooling module for land cover classification of satellite remote sensing imagery | |
| Guo et al. | Image Retrieval Algorithm Based on Fractal Coding | |
| Lu et al. | Recognition of Grape Species with Small Samples Based on Attention Mechanism | |
| Rui et al. | Deep auto-encoder based on supervised learning for damaged face reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329 Applicant after: Zhuhai Jinshan Digital Network Technology Co.,Ltd. Address before: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329 Applicant before: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd. |